Resolving Measurement Errors Inherent with Time-of-Flight Range Imaging Cameras

Range imaging cameras measure the distance to objects in the field-of-view (FoV) of the camera, these cameras enable new machine vision applications in robotics, manufacturing, and human computer interaction. Time-of-flight (ToF) range cameras operate by illuminating the scene with amplitude modulated continuous wave (AMCW) light and measuring the phase difference between the emitted and reflected modulation envelope. Currently ToF range cameras suffer from measurement errors that are highly scene dependent, and these errors limit the accuracy of the depth measurement. The major cause of measurement errors is multiple propagation paths from the light source to pixel, known as multi path interference. Multi-path interference typically arises from: inter reflections, lens flare, subsurface scattering, volumetric scattering, and translucent objects. This thesis contributes three novel methods for resolving multi-path interference: coding in time, coding in frequency, and coding in space. Time coding is implemented by replacing the single frequency amplitude modulation with a binary sequence. Fundamental to ToF range cameras is the cross-correlation between the reflected light and a reference signal. The measured cross-correlation depends on the selection of the binary sequence. With selection of an appropriate binary sequence and using sparse deconvolution on the measured cross-correlation the multiple return path lengths and their amplitudes can be recovered. However, the minimal resolvable path length is dependent on the highest frequency in the binary sequence. Frequency coding is implemented by taking multiple measurements at different modulation frequencies. A subset of frequency coding is operating the camera in a mode analogous to stepped frequency continuous wave (SFCW). Frequency coding uses techniques from radar to resolve multiple propagation paths. The minimal resolvable path length is dependent on the camera's modulation bandwidth and the spectrum estimation technique used to recover distance, and it is shown that SFCW can be used to measure depth of objects behind a translucent sheet, while AMCW measurements can not. Path lengths below quarter a wavelength of the highest modulation frequency are difficult to resolve. The use of spatial coding is used to resolve diffuse multi-path interference. The original technique comes from direct and global separation in computer graphics, and it is modified to operate on the complex data produced by a ToF range camera. By illuminating the scene with a pattern the illuminated areas contain the direct return and the scattering (global return). The non-illuminated regions contain the scattering return, assuming the global component is spatially smooth. The direct and global separation with sinusoidal patterns is combining with the sinusoidal modulation signal of ToF range cameras for a closed form solution to multi-path interference in nine frames. With nine raw frames it is possible to implement direct and global separation at video frame rates. The RMSE of a corner is reduced from 0.0952 m to 0.0112 m. Direct and global separation correctly measures the depth of a diffuse corner, and resolves subsurface scattering however fails to resolve specular reflections. Finally the direct and global separation is combined with replacing the illumination and reference signals with a binary sequence. The combination allows for resolving diffuse multi-path interference present in a corner, with the sparse multi-path interference caused mixed pixels between the foreground and background. The corner is correctly measured and the number of mixed pixels is reduced by 90%. With the development of new methods to resolve multi-path interference ToF range cameras can measure scenes with more confidence. ToF range cameras can be built into small form factors as they require a small number of parts: a pixel array, a light source and a lens. The small form factor coupled with accurate range measurements allows ToF range cameras to be embedded in cellphones and consumer electronic devices, enabling wider adoption and advantages over competing range imaging technologies

Gravitational-Wave Astronomy: Modelling, detection, and data analysis

La detección directa de la primera señal de ondas gravitatorias, el 14 de Septiembre de 2015, puede considerarse uno de los mayores hitos científicos de todos los tiempos. No solo porque supone la confirmación de la última de las predicciones de la Teoría de la Relatividad General de Albert Einstein, sino porque anticipa una autentica revolución en el campo de las astrofísica, comparable a la producida con la invención del telescopio por Galileo Galilei en 1609. Este descubrimiento ha inaugurado un nuevo tipo de astronomía, la astronomía de ondas gravitatorias. Se abre así una nueva ventana al universo que permitirá el estudio de procesos físicos producidos en regiones no accesibles al espectro electromagnético, con lo que se podrá obtener información clave sobre la estructura de los agujeros negros, la evolución estelar, la ecuación de estado de las estrellas de neutrones o el universo primitivo. En esta tesis he trabajado fundamentalmente en tres temas de investigación relacionados con las ondas gravitatorias, como son, (i) el modelado numérico de fuentes astrofísicas de radiación gravitatoria, (ii) la caracterización y clasificación del ruido presente en los detectores interferométricos, y (iii) el desarrollo de nuevas técnicas de análisis de datos de señales gravitatorias. Objetivos El objetivo global de la presente tesis es estudiar los diferentes aspectos que se incluyen en campo de la Astronomía de ondas gravitatorias. Cada uno de los tres apartados, modelado, detección y análisis de datos tienen sus objetivos generales que a su vez se pueden desarrollar en objetivos específicos dentro de cada estudio realizado. El modelado de fuentes astrofísicas de radiación gravitatoria es clave para entender los procesos físicos que llevan a la generación de una determinada señal gravitatoria susceptible de ser detectada. Por lo tanto, el objetivo general de esta sección es conocer de manera general los distintos tipos de fuentes astrofísicas de señal gravitatoria y las métodos de relatividad numérica empleados en las simulaciones. En este contexto se han estudiado dos escenarios particulares, el proceso de acreción sobre estrellas de neutrones magnetizadas y los modos de oscilación de protoestrellas de neutrones. Más específicamente, se han estudiado los procesos de acreción sobre estrellas de neutrones que dan origen a un fenómeno conocido como ``enterramiento'' del campo magnético. El objetivo es averiguar bajo qué condiciones es posible que dicho fenómeno proporcione una explicación válida para los inusualmente bajos valores del campo magnético observados en algunas estrellas de neutrones que se encuentran en el centro de restos de supernovas. La explicación de dichos valores del campo magnético es todavía causa de controversia en la actualidad. Simulaciones numéricas previas sugieren que es posible que el campo magnético se comprima hasta la superficie de la estrella debido a la presión ejercida por el fluido acretante. El estudio de los modos de oscilación de protoestrellas de neutrones procedentes del colapso gravitational de estrellas masivas se engloba dentro de un proyecto más amplio cuyo objetivo es obtener un modelo sencillo que permita obtener información sobre los parámetros físicos del progenitor de la supernova a partir de su impronta en la posible señal gravitatoria detectada. Este proyecto se puede dividir en tres pasos esenciales, primero estudiar los modos de oscilación de una protoestrella de neutrones a partir de los datos de una simulación numérica y comprobar correspondencia de la distribución tiempo-frecuencia de dichos modos con el diagrama tiempo-frecuencia (espectrograma) de la señal gravitatoria obtenida de la simulación. El segundo paso consiste determinar la relación entre los parámetros físicos del progenitor y la distribución tiempo-frecuencia de los correspondientes modos de oscilación. Finalmente, realizar un modelo sencillo que relacione los modos oscilación con la onda gravitatoria e implementarlo en el software de inferencia Bayesiana LALInference desarrollado por la colaboración LIGO-Virgo. La siguiente sección de la presente tesis doctoral se centra en el estudio de los detectores de ondas gravitatorias. El objetivo global consiste en conocer dicho detectores, su principio de detección y las diversas fuentes de ruido que limitan su sensibilidad. La detección y eliminación de transitorios de ruido es una prioridad dentro de la colaboración LIGO/Virgo. Este proceso, conocido como caracterización del detector, es clave para conseguir la sensibilidad necesaria para detectar señales gravitatorias, y, en el caso de se produzcan, que éstas tengan la suficiente significación estadística. Más concretamente, dentro de la colaboración LIGO/Virgo se ha puesto en marcha varios proyectos para clasificar y eliminar dichos transitorios de ruido. Así pues, los objetivos de esta parte de la tesis son: colaborar en el desarrollo del código WDF-ML, diseñado por la Dr. Elena Cuoco dentro de la colaboración Virgo, y utilizar dicho código para detectar y clasificar transitorios de ruido usando datos de los detectores LIGO. Finalmente, la última parte de la tesis está dedicado a desarrollar y testar métodos de análisis de datos y aplicarlos al contexto de la astronomía de ondas gravitatorias. El objetivo fundamental es desarrollar nuevas técnicas de eliminación de ruido que permitan mejorar las posibilidades de detección. Para ello se han estudiado dos técnicas diferentes. La primera está basada en el concepto de Variación Total. Desarrollado ampliamente en el contexto de tratamiento de imágenes, esta clase de métodos no se han utilizado hasta ahora para tratamiento de señal gravitatoria. El objetivo de este trabajo consiste en adaptar dichas técnicas al escenario particular de la astronomía de ondas gravitatorias y comprobar su eficacia de eliminar ruido. La segunda técnica está basada en el uso de diccionarios para reconstruir una señal mezclada con ruido. Al igual que el primer método, esta técnica a resultado ser muy eficiente usado con imágenes. Los objetivos principales son dos, por un lado generar diccionarios basados en señales de ondas gravitatorias de diferente tipología y aplicarlos para extraer señal de un entorno ruidoso. Metodologia Para estudiar los procesos de acreción sobre estrellas de neutrones magnetizadas se ha desarrollado un modelo 1D basado en la solución del problema de Riemann magnetohidrodinámico. Las condiciones particulares de nuestro escenario, campo magnético perpendicular a la velocidad del fluido acretante, permiten usar la descripción del problema de Riemann. Además de los parámetros principales del escenario astrofísico, como son la tasa de acreción y el valor del campo magnético de la estrella, se ha estudiado la influencia de otros parámetros físicos, como la masa y la ecuación de estado de la estrella de neutrones, la composición química del fluido y la configuración geométrica del campo magnético. Con todos estos ingredientes, se ha obtenido una expresión sencilla de la relación entre tasa de acreción y el campo magnético que permite distinguir en que casos este escenario es válido. A día de hoy, los mecanismos físicos involucrados en la explosión de supernovas y su posterior evolución todavía no se conocen con seguridad. La información contenida en la señal de la radiación gravitatoria que producen este tipo de fuentes es muy importante para determinar la física implicada en dichas explosiones. En esta línea de investigación, esta tesis incluye resultados iniciales de un proyecto destinado a obtener algunos de los parámetros físicos de los progenitores de supernovas a partir del estudio de la posible señal gravitatoria producida. Para ello, se ha estudiado la relación existente entre los modos de oscilación de la protoestrella de neutrones que se forma tras el colapso del núcleo de una estrella masiva y el espectro de la señal gravitatoria. Nuestro modelo aproxima las oscilaciones de la protoestrella de neutrones como perturbaciones de un sistema en equilibrio. A partir de los datos proporcionados por la simulación numérica del colapso de una estrella masiva, se ha comparado la distribución tiempo-frecuencia de los diferentes modos de oscilación con la señal gravitatoria generada por la simulación, obteniendo una correspondencia muy significativa entre ambas magnitudes físicas. La extrema sensibilidad que requiere la medición de las minúsculas variaciones en la distancia que separa las masas prueba de un detector interferométrico al paso de una onda gravitatoria, hace que tales detectores se vean afectados por innumerables fuentes de ruido. La búsqueda de las fuentes de ruido y su posterior eliminación es, por tanto, una tarea fundamental para garantizar el éxito de la nueva astronomía de ondas gravitatorias. En este contexto, la presente tesis incluye resultados de un proyecto de colaboración en el cual se ha intentado clasificar y eliminar de manera automática los transitorios de ruido (comúnmente denominados `glitches' en inglés) que aparecen en los detectores avanzados LIGO y Virgo. Algunos de estos ruidos transitorios son particularmente dañinos pues pueden ser muy semejantes a una señal gravitatoria real. El primer paso ha consistido en estudiar los diferentes tipos de ruido presentes en los detectores de ondas gravitatorias. El código WDF-ML es un generador de eventos (busca excesos de potencia en la trama de datos y genera un aviso cada vez que encuentra uno) basado en transformaciones wavelet. Con la lista de eventos, se aplican técnicas de aprendizaje automático para buscar correlaciones entre los eventos y dividirlos en diferentes grupos según sus características. Esta clasificación se compara con las obtenidas por los otros dos métodos (desarrollados dentro del la colaboración LIGO/Virgo) demostrando que los tres son capaces de clasificar correctamente el 95\% de los transitorios detectados. A pesar de los enormes esfuerzos realizados para reducir el ruido de los detectores interferométricos, es inevitable que parte del mismo se mezcle con la señal gravitatoria. En la actualidad, existen muchos métodos destinados a extraer la señal del fondo de ruido, muchos de ellos basados en técnicas de estadística bayesiana. Durante una buena parte de esta tesis, he explorado la posibilidades de utilizar algoritmos para la eliminación de ruido basados en el concepto de variación total. Estos algoritmos, que no requieren ninguna información a priori sobre la señal, han demostrado ser altamente eficientes para la eliminación de ruido en el contexto de tratamiento de imágenes. Nuestros resultados, aplicados de forma pionera en esta tesis en el análisis de señales de radiación gravitatoria, muestran que los algoritmos de variación total son capaces de eliminar suficiente ruido como para producir señales gravitatorias distinguibles, tanto si éstas han sido inicialmente mezcladas con ruido gausiano como si lo han sido con ruido real del detector LIGO. Uno de los aspectos más interesantes de esta línea de investigación es la posible combinación de estos métodos con otros técnicas comunes del análisis de ondas gravitatorias, pues puede conducir a mejorar notablemente los resultados. La metodología utilizada ha sido la siguiente: primero se han modificado el algoritmo basado en variación total para adaptarlo a las características propias de las señales gravitatorias. El primer paso para testar cualquier algoritmo de eliminación de ruido es probar sus capacidades en un entorno controlado, usando ruido simulado con un espectro de frecuencias similar al de los detectores reales, pero que no contiene transitorios de ruido, para una vez determinados los parámetros del algoritmo que producen los mejores resultados, iniciar el estudio con datos reales procedentes de los detectores LIGO. Por último, en un intento de acortar la brecha entre el modelado numérico y el análisis de datos, he explorado también en esta tesis el uso de técnicas de aprendizaje automático de diccionarios basados en plantillas de radiación gravitatoria proporcionadas por simulaciones de relatividad numérica para reconstruir formas de onda mezcladas con ruido gaussiano. Estas técnicas ofrecen muchas posibilidades, no solo para extraer señales, sino también para clasificar transitorios de ruido o para extraer parámetros físicos de señales detectadas. Primero se han generado dos diccionarios diferentes basados en distintas tipologías de señal gravitatoria, como son señales procedentes del colapso de estrellas compactas y señales generadas por binarias de agujeros negros. Seguidamente se han estudiado diversos casos típicos para determinar en que casos la extracción de señales del fondo de ruido se realiza con éxito. Conclusiones Acreción sobre estrella de neutrones y el escenario de campo magnético enterrado Hemos estudiado el proceso de submergencia del campo magnético en una estrella de neutrones recién nacida durante la etapa de acreción hipercrítica posterior a la explosión de una supernova de colapso colapso gravitacional. Este es uno de los posibles escenarios propuestos para explicar el campo dipolar externo aparentemente bajo de los CCOs. Nuestro enfoque se ha basado en soluciones 1D del problema relativista de Riemann, que proporcionan la ubicación de la frontera esférica (magnetopausa) que coincide con una solución de acreción externa no magnetizada con una solución de potencial de campo magnético interno. Para una masa dada y una fuerza de campo magnético determinada, la magnetopausa sigue moviéndose hacia la estrella si la presión total del fluido acretante excede la presión magnética debajo de la magnetopausa. Explorando una amplia gama de masas acumuladas y las intensidades de campo, hemos encontrado las condiciones para las que la magnetopausa alcanza el punto de equilibrio por debajo de la superficie de la estrella de neutrones, lo que implica el enterramiento del campo magnético. Nuestro estudio ha considerado varios modelos con diferente entropía específica, composición, y masas de la estrellas de neutrones, encontrando que estos parámetros no tienen un impacto importante sobre los resultados. Nuestra principal conclusión ha sido que, dada la modesta masa acumulada requerida para enterrar los campos magnéticos típicos encontrados en estrellas de neutrones, el escenario CCO no es inusual. Por el contrario, la masa acumulada requerida para enterrar el campo magnético de un magnetar es tan grande, que la estrellas de neutrones es más probable que colapse a un BH. Sin embargo, nuestro enfoque 1D, aunque suficiente para obtener una buena aproximación al problema, no tiene en cuenta otros efectos, como la convección, que pueden modificar los resultados. La extensión natural de nuestro estudio inicial del escenario del campo magnético enterrado implica la realización de simulaciones numéricas 2D. Sin embargo, esto no es una tarea fácil debido a una serie de razones: (a) la gran diferencia entre los valores de la presión magnética y la presión térmica en algunos de los regímenes extremos de este escenario, puede dar lugar a inexactitudes numéricas o incluso a la terminación normal de la ejecución del código; (b) el acoplamiento entre la magnetosfera y el fluido caliente debe ser manejado con cuidado para evitar posibles efectos de sobrecalentamiento. Aún así, las simulaciones 2D son esenciales para mejorar nuestra comprensión del proceso de enterramiento del campo magnético tras una explosión de supernova. Oscilaciones lineales del espectro de protoestrellas de neutrones El estudio de la física involucrada en el colapso del núcleo de estrellas masivas y la posterior emisión de ondas gravitatorias no es bien conocida. Por otra parte, el modelado numérico de este tipo de sistemas es computacionalmente muy costoso, por ejemplo, las simulaciones en 3D pueden llevar varios meses en los actuales superordenadores. Por lo tanto, no es posible inferir la física de las posibles señales gravitatorias detectadas, como se hace en el caso de las señales producidas por binarias de agujeros negros. Estos últimos son sistemas significativamente más simples que las supernovas de colapso gravitacional y pudiendose emplear múltiples formas de onda basadas en relatividad general (usando enfoques postnewtonianos) e incluso la relatividad numérica para la fase de fusión, para hacer coincidir el filtro con formas de onda gravitacionales reales. En esta sección de la tesis nuestra meta ha sido diseñar un modelo sencillo pero robusto, basado en la teoría de los modos normales de oscilación de un sistema esférico, que permita inferir parámetros físicos del progenitor a partir de una señal de colapso gravitacional dada. Como primer paso hemos determinado si los modos de oscilación de la protoestrella de neutrones pueden estar relacionados con el espectro de ondas gravitatorias del progenitor. Para ello, se ha utilizado un modelo 1D para obtener la función propia de los modos de oscilación a partir de los datos de una simulación numérica existente y de vanguardia de este tipo de escenario. Una vez identificado el origen de los modos, hemos separado los distintos tipos. Nuestros resultados muestran que existe una clara correspondencia entre el espectro de modo y el espectro de ondas gravitatorias. Por lo tanto, parece posible analizar una señal gravitatoria procedente del colapso del núcleo de estrellas masivas en términos de los modos de oscilación de la protoestrella de neutrones. Habiendo cumplido esta necesaria prueba de concepto, planeamos dar el siguiente paso en un futuro próximo. La idea es realizar varias simulaciones numéricas unidimensionales cambiando los parámetros del progenitor para estudiar la dependencia de la distribución tiempo-frecuencia (y posiblemente relajando la aproximación de Cowling empleada en el trabajo actual). El objetivo final de este estudio es desarrollar un modelo para relacionar los parámetros del progenitor del colapso con los correspondientes modos de oscilación de la protoestrella de neutrones (y por lo tanto con el espectro de ondas gravitatorias) que nos permita inferir los parámetros directamente del espectro de ondas gravitatorias sin necesidad de realizar costosas simulaciones numéricas. Clasificación de transitorios de ruido La presencia de transitorios de ruido (glitches) en los canales de señal de los detectores avanzados LIGO / Virgo es un efecto inevitablemente ligado a la extrema sensibilidad requerida para detectar este tipo de señales desde distancias cosmológicas. Existen dos estrategias posibles para eliminarlas, o al menos limitar su impacto. Uno de ellos es tratar de determinar el origen y tomar las medidas necesarias para resolver el problema que causa el transitorio de ruido. Si esto no es posible o no se puede determinar el origen de los mismos, la estrategia consiste en vetar los datos y no utilizarlos para ciencia. Las técnicas automáticas de clasificación de transitorios de ruido que hemos presentado en esta tesis pueden contribuir a mejorar ambas estrategias. Por un lado, pueden relacionar la información proporcionada por los canales auxiliares de detección con los datos del canal de señale gravitatoria y ayudar a determinar la causa de un tipo determinado de transitorio. Por otro lado, la determinación del tipo de glitch automáticamente puede ayudar a los algoritmos de veto. Nuestros resultados han demostrado que nuestros tres métodos pueden clasificar los transitorios de ruido en datos de LIGO avanzado con una precisión del 95 \%. Además, el uso de los tres métodos sobre los mismos datos es una estrategia ganadora ya que los glitches no detectados por uno de los métodos pueden ser clasificados por los otros, aumentando la eficiencia general. Además, el método WDF-ML incluye un generador de eventos diferente al utilizado en los detectores LIGO / Virgo y, por lo tanto, puede utilizarse para comprobar los eventos generados por este último. Nuestros tres métodos son ejemplos de cómo los métodos de aprendizaje automático pueden aplicarse a la astronomía de ondas gravitatorias. Desde su uso en los subsistemas de detector y diseño de hardware hasta su uso en el ámbito del análisis de datos, existen una gran variedad de métodos de aprendizaje automático para mejorar las posibilidades de detección de señales de ondas gravitatorias. Hay algunas mejoras interesantes que planeamos aplicar a los métodos de clasificación de transitorios. Para empezar, el procedimiento de blanqueamiento de los datos realizado por el algoritmo WDF-ML se mejorará usando una técnica conocida como blanqueamiento adaptativo. También se pueden realizar mejoras mediante el uso de un conjunto de formas de onda preclasificadas como entrenamiento o explorando el uso de algoritmos de aprendizaje con diccionarios, como el presentado en esta tesis, para el problema específico de clasificación de glitches. También vale la pena mencionar el proyecto Gravity Spy, financiado por la NSF, que tiene como objetivo la creación de grupos de formas de onda clasificadas a través de un programa de ciudadano-ciencia(zooniverse). El potencial de las clasificaciones de glitches se maximiza si los conjuntos de datos pueden ser empleados en tiempo real. Para lograr este objetivo, la eficiencia computacional de todos nuestros algoritmos tendrá que mejorar. El proyecto para construir un código más eficiente, añadiendo capacidades de paralelización e incluso capaz de funcionar con GPUs, ha comenzado en el momento de redactar esta tesis y continuará en un futuro cercano en estrechas colaboraciones con la Dra. Elena Cuoco (EGO) Y Massimiliano Razzano (Universidad de Pisa). Métodos TV para la eliminación de ruido en ondas gravitatorias Nuestro estudi

Treatise on Hearing: The Temporal Auditory Imaging Theory Inspired by Optics and Communication

A new theory of mammalian hearing is presented, which accounts for the auditory image in the midbrain (inferior colliculus) of objects in the acoustical environment of the listener. It is shown that the ear is a temporal imaging system that comprises three transformations of the envelope functions: cochlear group-delay dispersion, cochlear time lensing, and neural group-delay dispersion. These elements are analogous to the optical transformations in vision of diffraction between the object and the eye, spatial lensing by the lens, and second diffraction between the lens and the retina. Unlike the eye, it is established that the human auditory system is naturally defocused, so that coherent stimuli do not react to the defocus, whereas completely incoherent stimuli are impacted by it and may be blurred by design. It is argued that the auditory system can use this differential focusing to enhance or degrade the images of real-world acoustical objects that are partially coherent. The theory is founded on coherence and temporal imaging theories that were adopted from optics. In addition to the imaging transformations, the corresponding inverse-domain modulation transfer functions are derived and interpreted with consideration to the nonuniform neural sampling operation of the auditory nerve. These ideas are used to rigorously initiate the concepts of sharpness and blur in auditory imaging, auditory aberrations, and auditory depth of field. In parallel, ideas from communication theory are used to show that the organ of Corti functions as a multichannel phase-locked loop (PLL) that constitutes the point of entry for auditory phase locking and hence conserves the signal coherence. It provides an anchor for a dual coherent and noncoherent auditory detection in the auditory brain that culminates in auditory accommodation. Implications on hearing impairments are discussed as well.Comment: 603 pages, 131 figures, 13 tables, 1570 reference

Proceedings of the 7th Sound and Music Computing Conference

Proceedings of the SMC2010 - 7th Sound and Music Computing Conference, July 21st - July 24th 2010