Proyecciones cónicas de rectas en sistemas catadióptricos para percepción visual en entornos construidos por el hombre

Los sistemas de visión omnidireccional son dispositivos que permiten la adquisición de imágenes con un campo de vista de 360º en un eje y superior 180º en el otro. La necesidad de integrar estas cámaras en sistemas de visión por computador ha impulsado la investigación en este campo profundizando en los modelos matemáticos y la base teórica necesaria que permite la implementación de aplicaciones. Existen diversas tecnologías para obtener imágenes omnidireccionales. Los sistemas catadióptricos son aquellos que consiguen aumentar el campo de vista utilizando espejos. Entre estos, encontramos los sistemas hiper-catadióptricos que son aquellos que utilizan una cámara perspectiva y un espejo hiperbólico. La geometría hiperbólica del espejo garantiza que el sistema sea central. En estos sistemas adquieren una especial relevancia las rectas del espacio, en la medida en que, rectas largas son completamente visibles en única imagen. La recta es una forma geométrica abundante en entornos construidos por el hombre que además acostumbra a ordenarse según direcciones dominantes. Salvo construcciones singulares, la fuerza de la gravedad fija una dirección vertical que puede utilizarse como referencia en el cálculo de la orientación del sistema. Sin embargo el uso de rectas en sistemas catadióptricos implica la dificultad añadida de trabajar con un modelo proyectivo no lineal en el que las rectas 3d son proyectadas en cónicas. Este TFM recoge el trabajo que se presenta en el artículo "Significant Conics on Catadioptric Images for 3D Orientation and Image Rectification" que pretendemos enviar a "Robotics and Autonomous Systems". En él se presenta un método para calcular la orientación de un sistema hiper-catadióptrico utilizando las cónicas que son proyecciones de rectas 3D. El método calcula la orientación respecto del sistema de referencia absoluto definido por el conjunto de puntos de fuga en un entorno en que existan direcciones dominantes

Fitting line projections in non-central catadioptric cameras with revolution symmetry

Line-images in non-central cameras contain much richer information of the original 3D line than line projections in central cameras. The projection surface of a 3D line in most catadioptric non-central cameras is a ruled surface, encapsulating the complete information of the 3D line. The resulting line-image is a curve which contains the 4 degrees of freedom of the 3D line. That means a qualitative advantage with respect to the central case, although extracting this curve is quite difficult. In this paper, we focus on the analytical description of the line-images in non-central catadioptric systems with symmetry of revolution. As a direct application we present a method for automatic line-image extraction for conical and spherical calibrated catadioptric cameras. For designing this method we have analytically solved the metric distance from point to line-image for non-central catadioptric systems. We also propose a distance we call effective baseline measuring the quality of the reconstruction of a 3D line from the minimum number of rays. This measure is used to evaluate the different random attempts of a robust scheme allowing to reduce the number of trials in the process. The proposal is tested and evaluated in simulations and with both synthetic and real images

OmniSCV: An omnidirectional synthetic image generator for computer vision

Omnidirectional and 360º images are becoming widespread in industry and in consumer society, causing omnidirectional computer vision to gain attention. Their wide field of view allows the gathering of a great amount of information about the environment from only an image. However, the distortion of these images requires the development of specific algorithms for their treatment and interpretation. Moreover, a high number of images is essential for the correct training of computer vision algorithms based on learning. In this paper, we present a tool for generating datasets of omnidirectional images with semantic and depth information. These images are synthesized from a set of captures that are acquired in a realistic virtual environment for Unreal Engine 4 through an interface plugin. We gather a variety of well-known projection models such as equirectangular and cylindrical panoramas, different fish-eye lenses, catadioptric systems, and empiric models. Furthermore, we include in our tool photorealistic non-central-projection systems as non-central panoramas and non-central catadioptric systems. As far as we know, this is the first reported tool for generating photorealistic non-central images in the literature. Moreover, since the omnidirectional images are made virtually, we provide pixel-wise information about semantics and depth as well as perfect knowledge of the calibration parameters of the cameras. This allows the creation of ground-truth information with pixel precision for training learning algorithms and testing 3D vision approaches. To validate the proposed tool, different computer vision algorithms are tested as line extractions from dioptric and catadioptric central images, 3D Layout recovery and SLAM using equirectangular panoramas, and 3D reconstruction from non-central panoramas

Food ProteineInduced Enterocolitis Syndrome in Adulthood: Clinical Characteristics, Prognosis, and Risk Factors

Food proteineinduced enterocolitis syndrome (FPIES) in adults is being increasingly recognized; however, little is known about its characteristics. OBJECTIVE: To describe the clinical characteristics, prognosis, and associated factors in adult FPIES. METHODS: A 10-year prospective study was conducted in the Allergy Section of Alicante General Hospital in adults diagnosed with FPIES. Detailed interviews with patients and oral food challenges (OFCs) were performed to confirm diagnosis or evaluate for tolerance. Comorbidities and possible risk factors were analyzed retrospectively through electronic medical records to assess their association with the disease. RESULTS: One hundred and seven adults with FPIES (93.5% female) were followed for a median of 6.2 years. Abdominal pain was the most common manifestation (96.3%), followed by diarrhea (72%) and vomiting (60.7%). Seafood (59.8%), egg (14%), and milk (10.3%) were the most common triggers, whereas 43.9% reacted to more than 1 food group. We performed 49 OFCs: 9 to confirm diagnosis and 40 to evaluate for tolerance. After a median 3.5 years, 16.8% achieved tolerance. Resolution was correlated inversely with duration of the disease (P[.04) and seafood (P[.023) but not with age of onset. The prevalence of gastrointestinal pathologies such as irritable bowel syndrome (IBS), eosinophilic esophagitis, inflammatory bowel disease, and celiac disease was higher than in the general population. A higher number of FPIES triggers were correlated with also having a diagnosis of IBS (P [ .02).CONCLUSIONS: Although adult FPIES normally persists, some patients achieve tolerance. Adults with FPIES have a relatively high prevalence of gastrointestinal pathologies. The predominance of women may be related to hormonal factors. The clinical differences with pediatric FPIES warrant a revision of diagnostic criteria in adults

Food ProteineInduced Enterocolitis Syndrome in Adulthood: Clinical Characteristics, Prognosis, and Risk Factors

Background: Food protein-induced enterocolitis syndrome (FPIES) in adults is being increasingly recognized; however, little is known about its characteristics.Objective: To describe the clinical characteristics, prognosis, and associated factors in adult FPIES.Methods: A 10-year prospective study was conducted in the Allergy Section of Alicante General Hospital in adults diagnosed with FPIES. Detailed interviews with patients and oral food challenges (OFCs) were performed to confirm diagnosis or evaluate for tolerance. Comorbidities and possible risk factors were analyzed retrospectively through electronic medical records to assess their association with the disease.Results: One hundred and seven adults with FPIES (93.5% female) were followed for a median of 6.2 years. Abdominal pain was the most common manifestation (96.3%), followed by diarrhea (72%) and vomiting (60.7%). Seafood (59.8%), egg (14%), and milk (10.3%) were the most common triggers, whereas 43.9% reacted to more than 1 food group. We performed 49 OFCs: 9 to confirm diagnosis and 40 to evaluate for tolerance. After a median 3.5 years, 16.8% achieved tolerance. Resolution was correlated inversely with duration of the disease (P = .04) and seafood (P = .023) but not with age of onset. The prevalence of gastrointestinal pathologies such as irritable bowel syndrome (IBS), eosinophilic esophagitis, inflammatory bowel disease, and celiac disease was higher than in the general population. A higher number of FPIES triggers were correlated with also having a diagnosis of IBS (P = .02).Conclusions: Although adult FPIES normally persists, some patients achieve tolerance. Adults with FPIES have a relatively high prevalence of gastrointestinal pathologies. The predominance of women may be related to hormonal factors. The clinical differences with pediatric FPIES warrant a revision of diagnostic criteria in adults

Parallel Lines for Calibration of Non-Central Conical Catadioptric Cameras

In this paper we propose a new calibration method for non-central catadioptric cameras that use a conical mirror. This method consists of using parallel lines, extracted from a single omnidirectional image, instead of using the typical checkerboard to obtain the calibration parameters of the system

Simulador de prótesis visual en entornos 360º con gafas de realidad virtual

El sentido del que más dependen las personas es la visión, la mayor parte de la información recibida es a través de éste sentido. Es muy importante en la vida cotidiana, se usa constantemente hasta en las tareas más sencillas, aquellas como reconocer objetos, personas, etc. Sin embargo, algunas patologías o enfermedades degenerativas pueden causar la ceguera total o parcial. Como alternativa para paliar los efectos de la ceguera, existen diferentes tipos de prótesis visuales que se pueden situar en la retina, la corteza visual o el nervio óptico en función del problema que cause la ceguera. Una de las posibilidades es que estas prótesis tengan una microcámara que capta la información visual que posteriormente es convertida a estimulaciones eléctricas lo que permite ver puntos de luz denominados fosfenos. Desgraciadamente, el campo de visión actual de estos dispositivos es en torno a los 20º por lo que se están investigando diferentes representaciones de mapas de fosfenos para mejorar la interacción de los pacientes con el entorno. En este proyecto se ha desarrollado un simulador de visión fosfénica que permite, mediante las gafas de realidad virtual Oculus Rift DK2, mostrar un entorno virtual de 360º en tiempo real a partir de imágenes panorámicas. Este simulador permite introducir dos tipos de representaciones de mapas de fosfenos, el método Downsampling y el método SIE-OMS. El primer método reduce la resolución de color y espacial de la imagen panorámica y la transforma a un mapa de fosfenos mientras que el segundo realiza una extracción de objetos mediante un algoritmo de aprendizaje automático y lo combina con el layout de la imagen. El código se ha implementado en leguaje C++, con la propia interfaz de programación de aplicaciones (API) de Oculus y las librerías OpenCV para el manejo de imágenes. Ha sido necesario realizar un cursillo previo para aprender a manejar las librerías. Los resultados obtenidos han sido bastante satisfactorios cumpliendo todos los objetivos planteados. El objetivo principal era crear el simulador de prótesis visual que pueda ser empleado para el avance de la investigación de este campo.<br /

Simulador de imágenes omnidireccionales fotorealistas para visión por computador

La motivación de este proyecto es la necesidad de bases de imágenes omnidireccionales y panorámicas para visión por computador. Su elevado campo de visión permite obtener una gran cantidad de información del entorno a partir de una única imagen. Sin embargo, la distorsión propia de estas imágenes requiere desarrollar algoritmos específicos para su tratamiento e interpretación. Además, un elevado número de imágenes es imprescindible para el correcto entrenamiento de algoritmos de visión por computador basados en aprendizaje profundo. La adquisición, etiquetado y preparación de estas imágenes de forma manual con sistemas reales requiere una cantidad de tiempo y volumen de trabajo que en la práctica limita el tamaño de estas bases de datos. En este trabajo se propone la implementación de una herramienta que permita generar imágenes omnidireccionales sintéticas fotorrealistas que automatice la generación y el etiquetado como estrategia para aumentar el tamaño de estas bases de datos. Este trabajo se apoya en los entornos virtuales que se pueden crear con el motor de videojuegos Unreal Engine 4, el cual se utiliza junto a uno de sus plugin, UnrealCV. A partir de estos entornos virtuales se construyen imágenes de una variedad de cámaras omnidireccionales y 360º con calidad fotorrealista. Las características del entorno permiten además generar imágenes de profundidad y semánticas. Al hacerse todo de forma virtual, se pueden controlar los parámetros de adquisición de la cámara y las características del entorno, permitiendo construir una base de datos con un etiquetado automático sin supervisión. Conocidos los parámetros de calibración, posición y orientación de la cámara y la distribución del entorno y sus objetos, se puede conseguir el ground truth para diversos algoritmos de visión. Con las imágenes e información que se dispone, se pueden evaluar algoritmos de extracción de rectas en imágenes dióptricas y catadióptricas, obtención de layouts en panoramas o métodos de reconstrucción 3D como la localización y mapeado simultáneos (SLAM).<br /

Detección de personas para simulación de prótesis visual

Las personas reciben la información del entorno que les rodea por medio de los sentidos. La vista es el sentido que más información aporta acerca de una escena y de los objetos ubicados en la misma. A través de la visión y el aprendizaje somos capaces de reconocer objetos, personas, etc, pudiendo así, interactuar con ellos. Sin embargo, algunas patologías pueden causar daños en los sistemas visuales, conduciendo incluso a la ceguera. En función del tipo de daño, existen investigaciones en curso para colocar una prótesis de visión biónica que, mediante una estimulación eléctrica en determinadas zonas del nervio óptico o del cortex cerebral, permiten la visualización de puntos de luz denominados fosfenos. Para la estimulación de los fosfenos, una de las posibilidades es la captura de información de la escena mediante una cámara. Las técnicas actuales de procesamiento de imagen que se aplican sobre las prótesis visuales son bastante limitadas. La introducción de técnicas avanzadas de visión por computador incluyendo información de profundidad puede provocar un punto de inflexión en la forma de interacción con el entorno de las personas operadas con estos novedosos implantes. En este proyecto se ha avanzado en el desarrollo de un simulador de prótesis visuales considerando nuevas técnicas de visión por computador para favorecer la interpretación del entorno. En particular, se ha desarrollado una aplicación para la detección de personas y su representación mediante fosfenos. Se ha partido de un sistema compuesto de un sensor de profundidad RGB-D, Kinect v2 y de un sistema de realidad virtual, Oculus DK2. Mediante técnicas de visión por computador se ha inferido una descripción articular de la persona y una descripción de la cara que incluye ojos, boca y estado de ánimo. Esta información es representada de manera icónica en el simulador de visión protésica para una mejor interpretación por parte del usuario. Además, se han realizado varias pruebas para poder evaluar diferentes tipos de representación, en función de los distintos mapas de fosfenos diseñados. Los resultados obtenidos han sido bastante satisfactorios, cumpliendo todas las previsiones realizadas. Uno de los objetivos más importantes ha sido la de realizar la representación mediante fosfenos proponiendo varios ejemplos que permitan una correcta interpretación por parte del usuario pese a disponer de una resolución reducida

Reconocimiento y localización de objetos en imágenes de 360 grados

En este trabajo, se ha desarrollado un software capaz de reconstruir el layout de una habitación, colocando los objetos presentes en la misma utilizando una única imagen panorámica de 360 grados de campo de vista horizontal. Dicho programa es la continuación de dos trabajos desarrollados anteriormente, encargados de devolver la forma del layout de la habitación y de detectar los objetos presentes en la escena. Combinando razonamientos geométricos con restricciones impuestas por el entorno, siendo la principal restricción, la suposición de Mundo Manhattan, de forma que se consigue el posicionamiento de los objetos en un entorno reconstruido, sin ningún otro dato, a parte de los extraídos de las imágenes.<br /