Recent Progress in Image Deblurring

This paper comprehensively reviews the recent development of image deblurring, including non-blind/blind, spatially invariant/variant deblurring techniques. Indeed, these techniques share the same objective of inferring a latent sharp image from one or several corresponding blurry images, while the blind deblurring techniques are also required to derive an accurate blur kernel. Considering the critical role of image restoration in modern imaging systems to provide high-quality images under complex environments such as motion, undesirable lighting conditions, and imperfect system components, image deblurring has attracted growing attention in recent years. From the viewpoint of how to handle the ill-posedness which is a crucial issue in deblurring tasks, existing methods can be grouped into five categories: Bayesian inference framework, variational methods, sparse representation-based methods, homography-based modeling, and region-based methods. In spite of achieving a certain level of development, image deblurring, especially the blind case, is limited in its success by complex application conditions which make the blur kernel hard to obtain and be spatially variant. We provide a holistic understanding and deep insight into image deblurring in this review. An analysis of the empirical evidence for representative methods, practical issues, as well as a discussion of promising future directions are also presented.Comment: 53 pages, 17 figure

Self-supervised Sparse-to-Dense: Self-supervised Depth Completion from LiDAR and Monocular Camera

Depth completion, the technique of estimating a dense depth image from sparse depth measurements, has a variety of applications in robotics and autonomous driving. However, depth completion faces 3 main challenges: the irregularly spaced pattern in the sparse depth input, the difficulty in handling multiple sensor modalities (when color images are available), as well as the lack of dense, pixel-level ground truth depth labels. In this work, we address all these challenges. Specifically, we develop a deep regression model to learn a direct mapping from sparse depth (and color images) to dense depth. We also propose a self-supervised training framework that requires only sequences of color and sparse depth images, without the need for dense depth labels. Our experiments demonstrate that our network, when trained with semi-dense annotations, attains state-of-the- art accuracy and is the winning approach on the KITTI depth completion benchmark at the time of submission. Furthermore, the self-supervised framework outperforms a number of existing solutions trained with semi- dense annotations.Comment: Software: https://github.com/fangchangma/self-supervised-depth-completion . Video: https://youtu.be/bGXfvF261pc . 12 pages, 6 figures, 3 table

Recent Progress in Image Deblurring

This paper comprehensively reviews the recent development of image deblurring, including non-blind/blind, spatially invariant/variant deblurring techniques. Indeed, these techniques share the same objective of inferring a latent sharp image from one or several corresponding blurry images, while the blind deblurring techniques are also required to derive an accurate blur kernel. Considering the critical role of image restoration in modern imaging systems to provide high-quality images under complex environments such as motion, undesirable lighting conditions, and imperfect system components, image deblurring has attracted growing attention in recent years. From the viewpoint of how to handle the ill-posedness which is a crucial issue in deblurring tasks, existing methods can be grouped into five categories: Bayesian inference framework, variational methods, sparse representation-based methods, homography-based modeling, and region-based methods. In spite of achieving a certain level of development, image deblurring, especially the blind case, is limited in its success by complex application conditions which make the blur kernel hard to obtain and be spatially variant. We provide a holistic understanding and deep insight into image deblurring in this review. An analysis of the empirical evidence for representative methods, practical issues, as well as a discussion of promising future directions are also presented

Data-Driven Image Restoration

Every day many images are taken by digital cameras, and people are demanding visually accurate and pleasing result. Noise and blur degrade images captured by modern cameras, and high-level vision tasks (such as segmentation, recognition, and tracking) require high-quality images. Therefore, image restoration specifically, image deblurring and image denoising is a critical preprocessing step. A fundamental problem in image deblurring is to recover reliably distinct spatial frequencies that have been suppressed by the blur kernel. Existing image deblurring techniques often rely on generic image priors that only help recover part of the frequency spectrum, such as the frequencies near the high-end. To this end, we pose the following specific questions: (i) Does class-specific information offer an advantage over existing generic priors for image quality restoration? (ii) If a class-specific prior exists, how should it be encoded into a deblurring framework to recover attenuated image frequencies? Throughout this work, we devise a class-specific prior based on the band-pass filter responses and incorporate it into a deblurring strategy. Specifically, we show that the subspace of band-pass filtered images and their intensity distributions serve as useful priors for recovering image frequencies. Next, we present a novel image denoising algorithm that uses external, category specific image database. In contrast to existing noisy image restoration algorithms, our method selects clean image “support patches” similar to the noisy patch from an external database. We employ a content adaptive distribution model for each patch where we derive the parameters of the distribution from the support patches. Our objective function composed of a Gaussian fidelity term that imposes category specific information, and a low-rank term that encourages the similarity between the noisy and the support patches in a robust manner. Finally, we propose to learn a fully-convolutional network model that consists of a Chain of Identity Mapping Modules (CIMM) for image denoising. The CIMM structure possesses two distinctive features that are important for the noise removal task. Firstly, each residual unit employs identity mappings as the skip connections and receives pre-activated input to preserve the gradient magnitude propagated in both the forward and backward directions. Secondly, by utilizing dilated kernels for the convolution layers in the residual branch, each neuron in the last convolution layer of each module can observe the full receptive field of the first layer

Dictionary optimization for representing sparse signals using Rank-One Atom Decomposition (ROAD)

Dictionary learning has attracted growing research interest during recent years. As it is a bilinear inverse problem, one typical way to address this problem is to iteratively alternate between two stages: sparse coding and dictionary update. The general principle of the alternating approach is to fix one variable and optimize the other one. Unfortunately, for the alternating method, an ill-conditioned dictionary in the training process may not only introduce numerical instability but also trap the overall training process towards a singular point. Moreover, it leads to difficulty in analyzing its convergence, and few dictionary learning algorithms have been proved to have global convergence. For the other bilinear inverse problems, such as short-and-sparse deconvolution (SaSD) and convolutional dictionary learning (CDL), the alternating method is still a popular choice. As these bilinear inverse problems are also ill-posed and complicated, they are tricky to handle. Additional inner iterative methods are usually required for both of the updating stages, which aggravates the difficulty of analyzing the convergence of the whole learning process. It is also challenging to determine the number of iterations for each stage, as over-tuning any stage will trap the whole process into a local minimum that is far from the ground truth. To mitigate the issues resulting from the alternating method, this thesis proposes a novel algorithm termed rank-one atom decomposition (ROAD), which intends to recast a bilinear inverse problem into an optimization problem with respect to a single variable, that is, a set of rank-one matrices. Therefore, the resulting algorithm is one stage, which minimizes the sparsity of the coefficients while keeping the data consistency constraint throughout the whole learning process. Inspired by recent advances in applying the alternating direction method of multipliers (ADMM) to nonconvex nonsmooth problems, an ADMM solver is adopted to address ROAD problems, and a lower bound of the penalty parameter is derived to guarantee a convergence in the augmented Lagrangian despite nonconvexity of the optimization formulation. Compared to two-stage dictionary learning methods, ROAD simplifies the learning process, eases the difficulty of analyzing convergence, and avoids the singular point issue. From a practical point of view, ROAD reduces the number of tuning parameters required in other benchmark algorithms. Numerical tests reveal that ROAD outperforms other benchmark algorithms in both synthetic data tests and single image super-resolution applications. In addition to dictionary learning, the ROAD formulation can also be extended to solve the SaSD and CDL problems. ROAD can still be employed to recast these problems into a one-variable optimization problem. Numerical tests illustrate that ROAD has better performance in estimating convolutional kernels compared to the latest SaSD and CDL algorithms.Open Acces

Development Of A High Performance Mosaicing And Super-Resolution Algorithm

In this dissertation, a high-performance mosaicing and super-resolution algorithm is described. The scale invariant feature transform (SIFT)-based mosaicing algorithm builds an initial mosaic which is iteratively updated by the robust super resolution algorithm to achieve the final high-resolution mosaic. Two different types of datasets are used for testing: high altitude balloon data and unmanned aerial vehicle data. To evaluate our algorithm, five performance metrics are employed: mean square error, peak signal to noise ratio, singular value decomposition, slope of reciprocal singular value curve, and cumulative probability of blur detection. Extensive testing shows that the proposed algorithm is effective in improving the captured aerial data and the performance metrics are accurate in quantifying the evaluation of the algorithm

Gravitational-Wave Astronomy: Modelling, detection, and data analysis

La detección directa de la primera señal de ondas gravitatorias, el 14 de Septiembre de 2015, puede considerarse uno de los mayores hitos científicos de todos los tiempos. No solo porque supone la confirmación de la última de las predicciones de la Teoría de la Relatividad General de Albert Einstein, sino porque anticipa una autentica revolución en el campo de las astrofísica, comparable a la producida con la invención del telescopio por Galileo Galilei en 1609. Este descubrimiento ha inaugurado un nuevo tipo de astronomía, la astronomía de ondas gravitatorias. Se abre así una nueva ventana al universo que permitirá el estudio de procesos físicos producidos en regiones no accesibles al espectro electromagnético, con lo que se podrá obtener información clave sobre la estructura de los agujeros negros, la evolución estelar, la ecuación de estado de las estrellas de neutrones o el universo primitivo. En esta tesis he trabajado fundamentalmente en tres temas de investigación relacionados con las ondas gravitatorias, como son, (i) el modelado numérico de fuentes astrofísicas de radiación gravitatoria, (ii) la caracterización y clasificación del ruido presente en los detectores interferométricos, y (iii) el desarrollo de nuevas técnicas de análisis de datos de señales gravitatorias. Objetivos El objetivo global de la presente tesis es estudiar los diferentes aspectos que se incluyen en campo de la Astronomía de ondas gravitatorias. Cada uno de los tres apartados, modelado, detección y análisis de datos tienen sus objetivos generales que a su vez se pueden desarrollar en objetivos específicos dentro de cada estudio realizado. El modelado de fuentes astrofísicas de radiación gravitatoria es clave para entender los procesos físicos que llevan a la generación de una determinada señal gravitatoria susceptible de ser detectada. Por lo tanto, el objetivo general de esta sección es conocer de manera general los distintos tipos de fuentes astrofísicas de señal gravitatoria y las métodos de relatividad numérica empleados en las simulaciones. En este contexto se han estudiado dos escenarios particulares, el proceso de acreción sobre estrellas de neutrones magnetizadas y los modos de oscilación de protoestrellas de neutrones. Más específicamente, se han estudiado los procesos de acreción sobre estrellas de neutrones que dan origen a un fenómeno conocido como ``enterramiento'' del campo magnético. El objetivo es averiguar bajo qué condiciones es posible que dicho fenómeno proporcione una explicación válida para los inusualmente bajos valores del campo magnético observados en algunas estrellas de neutrones que se encuentran en el centro de restos de supernovas. La explicación de dichos valores del campo magnético es todavía causa de controversia en la actualidad. Simulaciones numéricas previas sugieren que es posible que el campo magnético se comprima hasta la superficie de la estrella debido a la presión ejercida por el fluido acretante. El estudio de los modos de oscilación de protoestrellas de neutrones procedentes del colapso gravitational de estrellas masivas se engloba dentro de un proyecto más amplio cuyo objetivo es obtener un modelo sencillo que permita obtener información sobre los parámetros físicos del progenitor de la supernova a partir de su impronta en la posible señal gravitatoria detectada. Este proyecto se puede dividir en tres pasos esenciales, primero estudiar los modos de oscilación de una protoestrella de neutrones a partir de los datos de una simulación numérica y comprobar correspondencia de la distribución tiempo-frecuencia de dichos modos con el diagrama tiempo-frecuencia (espectrograma) de la señal gravitatoria obtenida de la simulación. El segundo paso consiste determinar la relación entre los parámetros físicos del progenitor y la distribución tiempo-frecuencia de los correspondientes modos de oscilación. Finalmente, realizar un modelo sencillo que relacione los modos oscilación con la onda gravitatoria e implementarlo en el software de inferencia Bayesiana LALInference desarrollado por la colaboración LIGO-Virgo. La siguiente sección de la presente tesis doctoral se centra en el estudio de los detectores de ondas gravitatorias. El objetivo global consiste en conocer dicho detectores, su principio de detección y las diversas fuentes de ruido que limitan su sensibilidad. La detección y eliminación de transitorios de ruido es una prioridad dentro de la colaboración LIGO/Virgo. Este proceso, conocido como caracterización del detector, es clave para conseguir la sensibilidad necesaria para detectar señales gravitatorias, y, en el caso de se produzcan, que éstas tengan la suficiente significación estadística. Más concretamente, dentro de la colaboración LIGO/Virgo se ha puesto en marcha varios proyectos para clasificar y eliminar dichos transitorios de ruido. Así pues, los objetivos de esta parte de la tesis son: colaborar en el desarrollo del código WDF-ML, diseñado por la Dr. Elena Cuoco dentro de la colaboración Virgo, y utilizar dicho código para detectar y clasificar transitorios de ruido usando datos de los detectores LIGO. Finalmente, la última parte de la tesis está dedicado a desarrollar y testar métodos de análisis de datos y aplicarlos al contexto de la astronomía de ondas gravitatorias. El objetivo fundamental es desarrollar nuevas técnicas de eliminación de ruido que permitan mejorar las posibilidades de detección. Para ello se han estudiado dos técnicas diferentes. La primera está basada en el concepto de Variación Total. Desarrollado ampliamente en el contexto de tratamiento de imágenes, esta clase de métodos no se han utilizado hasta ahora para tratamiento de señal gravitatoria. El objetivo de este trabajo consiste en adaptar dichas técnicas al escenario particular de la astronomía de ondas gravitatorias y comprobar su eficacia de eliminar ruido. La segunda técnica está basada en el uso de diccionarios para reconstruir una señal mezclada con ruido. Al igual que el primer método, esta técnica a resultado ser muy eficiente usado con imágenes. Los objetivos principales son dos, por un lado generar diccionarios basados en señales de ondas gravitatorias de diferente tipología y aplicarlos para extraer señal de un entorno ruidoso. Metodologia Para estudiar los procesos de acreción sobre estrellas de neutrones magnetizadas se ha desarrollado un modelo 1D basado en la solución del problema de Riemann magnetohidrodinámico. Las condiciones particulares de nuestro escenario, campo magnético perpendicular a la velocidad del fluido acretante, permiten usar la descripción del problema de Riemann. Además de los parámetros principales del escenario astrofísico, como son la tasa de acreción y el valor del campo magnético de la estrella, se ha estudiado la influencia de otros parámetros físicos, como la masa y la ecuación de estado de la estrella de neutrones, la composición química del fluido y la configuración geométrica del campo magnético. Con todos estos ingredientes, se ha obtenido una expresión sencilla de la relación entre tasa de acreción y el campo magnético que permite distinguir en que casos este escenario es válido. A día de hoy, los mecanismos físicos involucrados en la explosión de supernovas y su posterior evolución todavía no se conocen con seguridad. La información contenida en la señal de la radiación gravitatoria que producen este tipo de fuentes es muy importante para determinar la física implicada en dichas explosiones. En esta línea de investigación, esta tesis incluye resultados iniciales de un proyecto destinado a obtener algunos de los parámetros físicos de los progenitores de supernovas a partir del estudio de la posible señal gravitatoria producida. Para ello, se ha estudiado la relación existente entre los modos de oscilación de la protoestrella de neutrones que se forma tras el colapso del núcleo de una estrella masiva y el espectro de la señal gravitatoria. Nuestro modelo aproxima las oscilaciones de la protoestrella de neutrones como perturbaciones de un sistema en equilibrio. A partir de los datos proporcionados por la simulación numérica del colapso de una estrella masiva, se ha comparado la distribución tiempo-frecuencia de los diferentes modos de oscilación con la señal gravitatoria generada por la simulación, obteniendo una correspondencia muy significativa entre ambas magnitudes físicas. La extrema sensibilidad que requiere la medición de las minúsculas variaciones en la distancia que separa las masas prueba de un detector interferométrico al paso de una onda gravitatoria, hace que tales detectores se vean afectados por innumerables fuentes de ruido. La búsqueda de las fuentes de ruido y su posterior eliminación es, por tanto, una tarea fundamental para garantizar el éxito de la nueva astronomía de ondas gravitatorias. En este contexto, la presente tesis incluye resultados de un proyecto de colaboración en el cual se ha intentado clasificar y eliminar de manera automática los transitorios de ruido (comúnmente denominados `glitches' en inglés) que aparecen en los detectores avanzados LIGO y Virgo. Algunos de estos ruidos transitorios son particularmente dañinos pues pueden ser muy semejantes a una señal gravitatoria real. El primer paso ha consistido en estudiar los diferentes tipos de ruido presentes en los detectores de ondas gravitatorias. El código WDF-ML es un generador de eventos (busca excesos de potencia en la trama de datos y genera un aviso cada vez que encuentra uno) basado en transformaciones wavelet. Con la lista de eventos, se aplican técnicas de aprendizaje automático para buscar correlaciones entre los eventos y dividirlos en diferentes grupos según sus características. Esta clasificación se compara con las obtenidas por los otros dos métodos (desarrollados dentro del la colaboración LIGO/Virgo) demostrando que los tres son capaces de clasificar correctamente el 95\% de los transitorios detectados. A pesar de los enormes esfuerzos realizados para reducir el ruido de los detectores interferométricos, es inevitable que parte del mismo se mezcle con la señal gravitatoria. En la actualidad, existen muchos métodos destinados a extraer la señal del fondo de ruido, muchos de ellos basados en técnicas de estadística bayesiana. Durante una buena parte de esta tesis, he explorado la posibilidades de utilizar algoritmos para la eliminación de ruido basados en el concepto de variación total. Estos algoritmos, que no requieren ninguna información a priori sobre la señal, han demostrado ser altamente eficientes para la eliminación de ruido en el contexto de tratamiento de imágenes. Nuestros resultados, aplicados de forma pionera en esta tesis en el análisis de señales de radiación gravitatoria, muestran que los algoritmos de variación total son capaces de eliminar suficiente ruido como para producir señales gravitatorias distinguibles, tanto si éstas han sido inicialmente mezcladas con ruido gausiano como si lo han sido con ruido real del detector LIGO. Uno de los aspectos más interesantes de esta línea de investigación es la posible combinación de estos métodos con otros técnicas comunes del análisis de ondas gravitatorias, pues puede conducir a mejorar notablemente los resultados. La metodología utilizada ha sido la siguiente: primero se han modificado el algoritmo basado en variación total para adaptarlo a las características propias de las señales gravitatorias. El primer paso para testar cualquier algoritmo de eliminación de ruido es probar sus capacidades en un entorno controlado, usando ruido simulado con un espectro de frecuencias similar al de los detectores reales, pero que no contiene transitorios de ruido, para una vez determinados los parámetros del algoritmo que producen los mejores resultados, iniciar el estudio con datos reales procedentes de los detectores LIGO. Por último, en un intento de acortar la brecha entre el modelado numérico y el análisis de datos, he explorado también en esta tesis el uso de técnicas de aprendizaje automático de diccionarios basados en plantillas de radiación gravitatoria proporcionadas por simulaciones de relatividad numérica para reconstruir formas de onda mezcladas con ruido gaussiano. Estas técnicas ofrecen muchas posibilidades, no solo para extraer señales, sino también para clasificar transitorios de ruido o para extraer parámetros físicos de señales detectadas. Primero se han generado dos diccionarios diferentes basados en distintas tipologías de señal gravitatoria, como son señales procedentes del colapso de estrellas compactas y señales generadas por binarias de agujeros negros. Seguidamente se han estudiado diversos casos típicos para determinar en que casos la extracción de señales del fondo de ruido se realiza con éxito. Conclusiones Acreción sobre estrella de neutrones y el escenario de campo magnético enterrado Hemos estudiado el proceso de submergencia del campo magnético en una estrella de neutrones recién nacida durante la etapa de acreción hipercrítica posterior a la explosión de una supernova de colapso colapso gravitacional. Este es uno de los posibles escenarios propuestos para explicar el campo dipolar externo aparentemente bajo de los CCOs. Nuestro enfoque se ha basado en soluciones 1D del problema relativista de Riemann, que proporcionan la ubicación de la frontera esférica (magnetopausa) que coincide con una solución de acreción externa no magnetizada con una solución de potencial de campo magnético interno. Para una masa dada y una fuerza de campo magnético determinada, la magnetopausa sigue moviéndose hacia la estrella si la presión total del fluido acretante excede la presión magnética debajo de la magnetopausa. Explorando una amplia gama de masas acumuladas y las intensidades de campo, hemos encontrado las condiciones para las que la magnetopausa alcanza el punto de equilibrio por debajo de la superficie de la estrella de neutrones, lo que implica el enterramiento del campo magnético. Nuestro estudio ha considerado varios modelos con diferente entropía específica, composición, y masas de la estrellas de neutrones, encontrando que estos parámetros no tienen un impacto importante sobre los resultados. Nuestra principal conclusión ha sido que, dada la modesta masa acumulada requerida para enterrar los campos magnéticos típicos encontrados en estrellas de neutrones, el escenario CCO no es inusual. Por el contrario, la masa acumulada requerida para enterrar el campo magnético de un magnetar es tan grande, que la estrellas de neutrones es más probable que colapse a un BH. Sin embargo, nuestro enfoque 1D, aunque suficiente para obtener una buena aproximación al problema, no tiene en cuenta otros efectos, como la convección, que pueden modificar los resultados. La extensión natural de nuestro estudio inicial del escenario del campo magnético enterrado implica la realización de simulaciones numéricas 2D. Sin embargo, esto no es una tarea fácil debido a una serie de razones: (a) la gran diferencia entre los valores de la presión magnética y la presión térmica en algunos de los regímenes extremos de este escenario, puede dar lugar a inexactitudes numéricas o incluso a la terminación normal de la ejecución del código; (b) el acoplamiento entre la magnetosfera y el fluido caliente debe ser manejado con cuidado para evitar posibles efectos de sobrecalentamiento. Aún así, las simulaciones 2D son esenciales para mejorar nuestra comprensión del proceso de enterramiento del campo magnético tras una explosión de supernova. Oscilaciones lineales del espectro de protoestrellas de neutrones El estudio de la física involucrada en el colapso del núcleo de estrellas masivas y la posterior emisión de ondas gravitatorias no es bien conocida. Por otra parte, el modelado numérico de este tipo de sistemas es computacionalmente muy costoso, por ejemplo, las simulaciones en 3D pueden llevar varios meses en los actuales superordenadores. Por lo tanto, no es posible inferir la física de las posibles señales gravitatorias detectadas, como se hace en el caso de las señales producidas por binarias de agujeros negros. Estos últimos son sistemas significativamente más simples que las supernovas de colapso gravitacional y pudiendose emplear múltiples formas de onda basadas en relatividad general (usando enfoques postnewtonianos) e incluso la relatividad numérica para la fase de fusión, para hacer coincidir el filtro con formas de onda gravitacionales reales. En esta sección de la tesis nuestra meta ha sido diseñar un modelo sencillo pero robusto, basado en la teoría de los modos normales de oscilación de un sistema esférico, que permita inferir parámetros físicos del progenitor a partir de una señal de colapso gravitacional dada. Como primer paso hemos determinado si los modos de oscilación de la protoestrella de neutrones pueden estar relacionados con el espectro de ondas gravitatorias del progenitor. Para ello, se ha utilizado un modelo 1D para obtener la función propia de los modos de oscilación a partir de los datos de una simulación numérica existente y de vanguardia de este tipo de escenario. Una vez identificado el origen de los modos, hemos separado los distintos tipos. Nuestros resultados muestran que existe una clara correspondencia entre el espectro de modo y el espectro de ondas gravitatorias. Por lo tanto, parece posible analizar una señal gravitatoria procedente del colapso del núcleo de estrellas masivas en términos de los modos de oscilación de la protoestrella de neutrones. Habiendo cumplido esta necesaria prueba de concepto, planeamos dar el siguiente paso en un futuro próximo. La idea es realizar varias simulaciones numéricas unidimensionales cambiando los parámetros del progenitor para estudiar la dependencia de la distribución tiempo-frecuencia (y posiblemente relajando la aproximación de Cowling empleada en el trabajo actual). El objetivo final de este estudio es desarrollar un modelo para relacionar los parámetros del progenitor del colapso con los correspondientes modos de oscilación de la protoestrella de neutrones (y por lo tanto con el espectro de ondas gravitatorias) que nos permita inferir los parámetros directamente del espectro de ondas gravitatorias sin necesidad de realizar costosas simulaciones numéricas. Clasificación de transitorios de ruido La presencia de transitorios de ruido (glitches) en los canales de señal de los detectores avanzados LIGO / Virgo es un efecto inevitablemente ligado a la extrema sensibilidad requerida para detectar este tipo de señales desde distancias cosmológicas. Existen dos estrategias posibles para eliminarlas, o al menos limitar su impacto. Uno de ellos es tratar de determinar el origen y tomar las medidas necesarias para resolver el problema que causa el transitorio de ruido. Si esto no es posible o no se puede determinar el origen de los mismos, la estrategia consiste en vetar los datos y no utilizarlos para ciencia. Las técnicas automáticas de clasificación de transitorios de ruido que hemos presentado en esta tesis pueden contribuir a mejorar ambas estrategias. Por un lado, pueden relacionar la información proporcionada por los canales auxiliares de detección con los datos del canal de señale gravitatoria y ayudar a determinar la causa de un tipo determinado de transitorio. Por otro lado, la determinación del tipo de glitch automáticamente puede ayudar a los algoritmos de veto. Nuestros resultados han demostrado que nuestros tres métodos pueden clasificar los transitorios de ruido en datos de LIGO avanzado con una precisión del 95 \%. Además, el uso de los tres métodos sobre los mismos datos es una estrategia ganadora ya que los glitches no detectados por uno de los métodos pueden ser clasificados por los otros, aumentando la eficiencia general. Además, el método WDF-ML incluye un generador de eventos diferente al utilizado en los detectores LIGO / Virgo y, por lo tanto, puede utilizarse para comprobar los eventos generados por este último. Nuestros tres métodos son ejemplos de cómo los métodos de aprendizaje automático pueden aplicarse a la astronomía de ondas gravitatorias. Desde su uso en los subsistemas de detector y diseño de hardware hasta su uso en el ámbito del análisis de datos, existen una gran variedad de métodos de aprendizaje automático para mejorar las posibilidades de detección de señales de ondas gravitatorias. Hay algunas mejoras interesantes que planeamos aplicar a los métodos de clasificación de transitorios. Para empezar, el procedimiento de blanqueamiento de los datos realizado por el algoritmo WDF-ML se mejorará usando una técnica conocida como blanqueamiento adaptativo. También se pueden realizar mejoras mediante el uso de un conjunto de formas de onda preclasificadas como entrenamiento o explorando el uso de algoritmos de aprendizaje con diccionarios, como el presentado en esta tesis, para el problema específico de clasificación de glitches. También vale la pena mencionar el proyecto Gravity Spy, financiado por la NSF, que tiene como objetivo la creación de grupos de formas de onda clasificadas a través de un programa de ciudadano-ciencia(zooniverse). El potencial de las clasificaciones de glitches se maximiza si los conjuntos de datos pueden ser empleados en tiempo real. Para lograr este objetivo, la eficiencia computacional de todos nuestros algoritmos tendrá que mejorar. El proyecto para construir un código más eficiente, añadiendo capacidades de paralelización e incluso capaz de funcionar con GPUs, ha comenzado en el momento de redactar esta tesis y continuará en un futuro cercano en estrechas colaboraciones con la Dra. Elena Cuoco (EGO) Y Massimiliano Razzano (Universidad de Pisa). Métodos TV para la eliminación de ruido en ondas gravitatorias Nuestro estudi

Depth Assisted Background Modeling and Super-resolution of Depth Map

Background modeling is one of the fundamental tasks in the computer vision, which detects the foreground objects from the images. This is used in many applications such as object tracking, traffic analysis, scene understanding and other video applications. The easiest way to model the background is to obtain background image that does not include any moving objects. However, in some environment, the background may not be available and can be changed by the surrounding conditions like illumination changes (light switch on/off), object removed from the scene and objects with constant moving pattern (waving trees). The robustness and adaptation of the background are essential to this problem. Mixture of Gaussians (MOG) is one of the most widely used methods for background modeling using color information, whereas the depth map provides one more dimensional information of the images that is independent of the color. In this thesis, the color only based methods such as Gaussian Mixture Models (GMM), Hidden Markov Models (HMM), Kernel Density Estimation (KDE) are thoroughly reviewed firstly. Then the algorithm that jointly uses color and depth information is proposed, which uses MOG and single Gaussian model (SGM) to represent recent observations of the color and depth respectively. And the color-depth consistency check mechanism is also incorporated into the algorithm to improve the accuracy of the extracted background. The spatial resolution of the depth images captured from consumer depth camera is generally limited due to the element size of the senor. To overcome this limitation, depth image super-resolution is proposed to obtain the high resolution depth image from the low resolution depth image by making the inference on high frequency components. Deep convolution neural network has been widely successfully used in various computer vision tasks like image segmentation, classification and recognitions with remarkable performance. Recently, the residual network configuration has been proposed to further improve the performance. Inspired by this residual network, we redesign the popular deep model Super-Resolution Convolution Neural Network (SRCNN) for depth image super-resolution. Based on the idea of residual network and SRCNN structure, we proposed three neural network based approaches to address the problem of depth image super-resolution. In these approaches, we introduce the deconvolution layer into the network which enables the learning directly from original low resolution image to the desired high resolution image, instead of using conventional method like bicubic to interpolate the image before entering the network. Then in order to minimize the sharpness loss near the boundary regions, we add layers at the end of network to learn the residuals. The main contributions of this thesis are investigating the utilization of the depth information for background modeling and proposing three approaches on depth image super-resolution. For the first part, the property of depth image is exploited and added into the commonly used background models. By doing so, the background model can be constructed more efficiently and accurately because the depth information is not affected by the color information. During the investigation, we found that the depth image usually has two problems, which are spatial resolution and accuracy, which need to be addressed. Most of the depth images either have small resolution or the accuracy is very bad. In the second part of this thesis, we investigate three methods to obtain the accurate high resolution depth image from the low resolution one