Viewfinder: final activity report

The VIEW-FINDER project (2006-2009) is an 'Advanced Robotics' project that seeks to apply a semi-autonomous robotic system to inspect ground safety in the event of a fire. Its primary aim is to gather data (visual and chemical) in order to assist rescue personnel. A base station combines the gathered information with information retrieved from off-site sources. The project addresses key issues related to map building and reconstruction, interfacing local command information with external sources, human-robot interfaces and semi-autonomous robot navigation. The VIEW-FINDER system is a semi-autonomous; the individual robot-sensors operate autonomously within the limits of the task assigned to them, that is, they will autonomously navigate through and inspect an area. Human operators monitor their operations and send high level task requests as well as low level commands through the interface to any nodes in the entire system. The human interface has to ensure the human supervisor and human interveners are provided a reduced but good and relevant overview of the ground and the robots and human rescue workers therein

A new methodology for a detiled 3D modeling and documentation of the complex architectural heritage elements: A feasibility and case study of wooden projected window “the Roshan” in the historical city of Jeddah

[EN] Characterizing the traditional architecture of Hejaz in Saudi Arabia and is considered as its emblem, the Roshan is the most obvious element in most of the Historical Jeddah’s heritage buildings. The city has witnessed continued degradation during the past which has caused the loss hundreds of these balconies. This research focuses on the study of a strategy combining various computer applications of surveying, photogrammetry, virtual modeling of complex forms and visualization with others traditional, posed to the educational application, in order to dispose resources and experts, with the capacity to document hundreds of the Roshans, intricately ornamented, are in danger of disappearing and generate with them a multi-record database, integrated into the existing city. We have conducted a feasibility study and testing over the evaluation of that strategy with local students of architecture which has demonstrated the validity of the method[ES] La arquitectura tradicional de la región de Hejaz, Arabia Saudita, se caracteriza por los roshan, miradores de madera, el elemento más emblemático de Jeddah, su capital, cuya degradación continuada a lo largo de siglos ha comportado la pérdida de cientos. Esta investigación se centra en el estudio de una estrategia que combina diversas aplicaciones informáticas de captura, fotomodelado, modelización virtual y visualización junto con otras tradicionales, planteada para su aplicación docente, con el fin de disponer de los medios y personas, con la capacidad de documentar los cientos de roshan, que con sus intrincados motivos ornamentales, están en peligro de desparecer y generar con todos ellos una base de datos multi-registro, integrada en la existente en la ciudad. Hemos llevado a cabo un estudio de viabilidad y el ensayo más la valoración de esa estrategia con los estudiantes locales de arquitectura donde se ha demostrado la validez del método.Alitany, A.; Redondo, E.; Adas, A. (2014). Una nueva metodología para la documentación y modelado 3d de elementos del patrimonio arquitectónico: Un estudio de viabilidad y de caso. Los miradores colgantes de madera “Roshan” en la ciudad histórica de Jeddah. EGA. Revista de Expresión Gráfica Arquitectónica. 19(24):176-187. doi:10.4995/ega.2014.2316.SWORD176187192

Evaluation of the reserve effect in a marine protected area in Sagres (PNSACV)

Marine Protected Areas (MPAs), especially when set up as marine reserves, have been found beneficial for fish communities and species worldwide. Evaluation of MPA effects needs to be done to understand whether existing protection measures are efficient or not. To detect potential protection effect, we aimed to assess differences in demersal fish and commercial invertebrate community at Ilhotes do Martinhal marine reserve. Based on a comparison between locations situated inside and outside the reserve, differences in richness, abundance, length and biomass were analysed at community and species level. The influence of physical habitat was investigated, as it could get confounded with protection effect. In addition, we wanted to validate the results from Stereo Baited Remote Underwater Video (SBRUV) by another method, being Stereo Diver Operated Video (SDOV). Comparison between methods performance and costs was held to decide on the more efficient monitoring tool. SBRUV results suggest that the marine reserve provides positive effects, especially as it sustains greater biomass of target species and target species above minimum landing size. The reserve was found beneficial for Diplodus sargus, a valuable commercial, and Labrus bergylta, a by-catch species. However, two species showed an opposite pattern, indicating negative protection effect or influence of other habitat characteristics rather than physical complexity. Furthermore, SBRUV results for abundance were non-conclusive of differences, probably due to a delayed response. SDOV showed no signs of positive protection effects, with some results complementary while other contradictory to SBRUV’s ones. This was attributed to the differences in community sampled, reflecting diver and bait effects. As illegal fishing gear was encountered inside the reserve, legal enforcement and active management might play a key role in future reserve success. This study is especially relevant for further monitoring and revaluation of protection measures and zonation of Ilhotes de Martinhal.As Áreas Marinhas Protegidas (AMPs) são consideradas uma ferramenta de conservação de meio marinho que tem como objetivo principal a proteção de habitats, de ecossistemas e da biodiversidade. Além disso, as AMPs podem promover a pesca sustentável e a recuperação de recursos de pesca. Especialmente quando designadas como reservas marinhas, onde todas as atividades extrativas são proibidas, as AMPs tem sido benéficas para comunidades e espécies de peixes. Os efeitos positivos geralmente associados a AMPs são o aumento de riqueza de espécies, de densidades, de tamanhos e de biomassa de peixes e invertebrados. Para avaliar os efeitos de medidas de proteção, idealmente, são realizadas comparações de dados de antes e de depois da sua implementação. Na ausência de dados anteriores à implementação de uma AMP, uma comparação entre locais com proteção (impacto) e sem proteção (controle) pode usar-se, tendo em conta a influência de habitat que pode confundir-se com efeitos de proteção. Neste estudo, foi comparada a comunidade de peixes demersais e invertebrados comerciais dentro e fora de uma reserva marinha dos Ilhotes do Martinhal em Sagres. Esta zona foi estabelecida em 2011 como área de proteção parcial I (a única atividade extrativa permitida é a apanha de percebe nas arribas da costa por pescadores comerciais, sendo considerada reserva marinha para o subtidal) integrante no Parque Marinho do Parque Natural do Sudoeste Alentejano e Costa Vicentina (PNSACV). Como os dados comparáveis anteriores à implementação da reserva não estavam disponíveis, os dados sobre a comunidade de peixes demersais e invertebrados comerciais foram comparados entre locais da reserva e locais adjacentes (zona complementar ou ‘buffer’) com substrato rochoso. A influência da complexidade física de habitat rochoso foi também considerada na análise porque os efeitos de reserva podem confundir-se com efeitos de habitat. As diferenças na riqueza de espécies foram investigadas. Em relação à abundância e biomassa, as diferenças foram analisadas por grupos de espécies (espécies demersais, espécies comerciais, espécies comerciais acima de tamanho mínimo legal (TML) e abaixo de TML, espécies sem interesse comercial). Ao lado da abundança e da biomassa, as diferenças de tamanhos foram também examinadas nas espécies individuais mais abundantes: comerciais (Diplodus sargus e Diplodus vulgaris) e sem interesse comercial (Coris julis, Serranus cabrilla, Labrus bergylta). Dois métodos estéreo-vídeo de recolha de dados foram usados: as Câmaras Iscadas Estéreo (SBRUV) e o Vídeo Estéreo por Mergulho (SDOV). Estes métodos apresentam uma alternativa ao Censo Visual por Mergulho (UVC) que é o método o mais usado em monitorização de AMPs. Os dois métodos estéreo-vídeo também são de caracter não destrutivo, e por isso podem ser preferíveis a uma monitorização de reservas marinhas quando comparados com as artes de pesca. Os dois métodos permitem estimar tamanhos de organismos mais precisos que os estimados por observações directas em UVC e também oferecem uma gravação permanente que pode ser vista por múltiplos observadores no laboratório. Assim, o erro ligado ao observador é reduzido quando comparado ao UVC. Dado a presença de isco, as SBRUVs servem como ponto de atração para peixes e como resultado, este método é considerado eficiente para a amostragem de riqueza de espécies de peixes, e particularmente de peixes carnívoros de tamanhos grandes. Os resultados de amostragem com SBRUV sugerem que existem efeitos positivos dentro da reserva, visto ter-se encontrado uma maior riqueza e uma maior biomassa da comunidade de peixes demersais e de invertebrados comerciais dentro da reserva em relação à zona adjacente. Principalmente, a biomassa de espécies comerciais e de espécies comerciais acima de TML, os dois grupos que se espera que respondam mais à exclusão de pesca, foi mais alta dentro que fora da reserva. Os resultados sugerem que a espécie D. sargus, uma das principais espécies alvo nesta região, terá beneficiado da proteção em termos de tamanhos e de biomassa. A abundância e a biomassa de L. bergylta, que é uma de espécie de tamanho grande, mas que é capturada de forma acessória, também foram significativamente maiores dentro da reserva em comparação com zona adjacente. No entanto, Diplodus vulgaris (também de interesse comercial) e S. cabrilla (sem ou de baixo interesse comercial) parecem mais associados aos locais fora da reserva, sugerindo uma resposta negativa à proteção. Os resultados negativos nestas espécies podem também estar ligados a características do habitat sem ser a complexidade física. Neste estudo, não se encontraram diferenças significativas entre a complexidade física de habitats dentro e fora da reserva, nem interações significativas entre proteção e habitat. No entanto, algumas espécies apresentaram uma maior afinidade aos habitats de menor (D. sargus) ou de maior complexidade física (D. vulgaris abaixo de TML). Apesar dos resultados significativos para a biomassa, os resultados da abundância de peixes e invertebrados não revelaram diferenças suficientes para apoiar os efeitos positivos de proteção. No geral, os tamanhos e a biomassa fornecem uma resposta mais rápida relativamente as medidas de proteção, resultando diretamente da eliminação da pesca que selecciona os indivíduos de tamanhos maiores. Os efeitos em abundância podem precisar de mais anos de proteção para serem reconhecidos, devido à variabilidade de fatores ambientais que afetam o sucesso de recrutamento em organismos marinhos. Os resultados da abundância podem também ter uma ligação com a pesca ilegal, visto que artes de pesca ilegais (covos) foram encontradas repetidamente dentro da reserva. Neste contexto, a implementação de uma gestão ativa, baseada na participação da comunidade local, na fiscalização e na monitorização ao prazo longo será fundamental para segurar o sucesso da reserva no futuro. Em relação à comparação entre os dois métodos, o SBRUV mostrou-se eficiente para monitorização, visto que este método permitiu a deteção de eventuais efeitos de reserva em riqueza e em biomassa. Os resultados de SDOV não mostraram diferenças entre níveis de proteção que sugerissem efeitos positivos de reserva. Contudo, os resultados do SDOV validaram os resultados de SBRUV ao terem também detetado que os adultos de D. vulgaris preferiam os locais da parte oeste fora da reserva em comparação com os locais dentro da reserva. Ao contrário e como resultado complementar ao SBRUV, o SDOV revelou que, na reserva, foi observada uma maior proporção de juvenis desta espécie que nos locais adjacentes. Estes resultados sugerem que os indivíduos de D. vulgaris partem da reserva quando adultos. Relativamente a comunidade amostrada, o SDOV amostrou as espécies mais comuns e conspícuas (por exemplo D. vulgaris) com sucesso, mas já não foi eficaz na amostragem de espécies mais crípticas (por exemplo Symphodus spp. ou S. cabrilla). No total, o SDOV forneceu uma riqueza de espécies menor quando comparado ao SBRUV. Estes resultados podem ser explicados pelos efeitos negativos da presença de um mergulhador no comportamento de algumas espécies de peixes, em combinação com a visibilidade da água, um outro fator limitante, que influencia mais a deteção do SDOV que do SBRUV. De outro lado, a presença de isco no SBRUV permitiu atrair mais espécies, incuindo os de tamanhos grandes, para perto das câmaras, resultando numa maior riqueza e biomassa. Além destes resultados, o SDOV apresentou custos mais altos que SBRUV, devido à possibilidade de obter um número maior de amostras de SBRUV por dia. Uma comparação com UVC ainda tem que ser considerada para selecionar o melhor método não extrativo para monitorização. O UVC tem um potencial de amostrar uma comunidade de peixes mais ampla que os métodos de vídeo, devido à maior capacidade do olho humano para detetar e identificar espécies crípticas, mas é mais dependente do treino do observador em termos de identificação e capacidade de medição, não permitindo uma validação. O presente estudo fornece conhecimentos importantes sobre dois métodos vídeo-estéreo de amostragem subaquática da biodiversidade marinha, ainda pouco usados em águas temperadas de baixa visibilidade. Este estudo é de alta impôrtancia porque permite avaliar a qualidade e/ou eficiência da reserva de Ilhotes do Martinhal, bem como fornece uma base para sua boa gestão através de monitorização biológica. Neste contexto, os nossos resultados podem servir para reavaliar as medidas e os limites atuais de proteção em comparação com os objetivos específicos desta reserva.The thesis was cofinanced by MARSW project and CCMAR/FCT/UID/Multi/04326/2019. Diving equipment and part of diving logistics were financed by CCMAR Scientific Dive Center

SLAM VISUAL 3D usando Optimización de Grafo de Poses 3D Visual SLAM using Pose Graph Optimization

En los próximos años, los robots móviles serán más y más comunes en nuestra vida cotidiana, llegando a áreas como educación, salud o asistir a humanos en tareas del día a día. Para efectuar estas tareas de forma autónoma los robots deben ser capaces de reconocer su entorno de trabajo (es decir, construir un mapa) y ser capaces de localizarse dentro de ellos. Estos dos problemas deben resolverse simultáneamente, un paradigma clave en robótica llamado SLAM (Simultaneous localization and mapping), el cual es un importante área de investigación hoy en día. Este trabajo de fin de grado desarrolla un sistema SLAM usando optimización de grafo de poses, que logra una solución de la secuencia de poses (posición y orientación) del robot en el plano (2D). Este tipo de sistemas se denominan Full SLAM, ya que se estiman la trayectoria completa del robot. Observaciones del entorno son dadas por un par de cámaras estéreo calibradas montadas en el robot desde donde se obtienen las coordenadas 3D de los landmarks. Por esto, el proceso se denomina SLAM Visual. Un objetivo adicional de este proyecto es implementar el sistema de SLAM Visual de manera que pueda ser usada de forma ilustrativa y educacional en clases relacionadas con la Visión por Computador y la Robótica, con la intención de mostrar cómo estos campos que están de moda pueden trabajar juntos. Para ello, técnicas de visión por computador son aplicadas a las imágenes estéreo obtenidas por el robot móvil para extraer keypoints de las imágenes, establecer correspondencias fiables entre ellos y triangular los pares correspondientes para obtener landmarks 3D en el espacio. Además de la implementación del sistema de SLAM Visual con las características previamente mencionadas, este proyecto también proporciona un modelo virtual del entorno, haciendo uso de la librería Unity 3D, donde robots móviles equipados con cámaras RGB pueden ser simulados para generar datasets para ser usados por el sistema

Percepción basada en visión estereoscópica, planificación de trayectorias y estrategias de navegación para exploración robótica autónoma

Tesis inédita de la Universidad Complutense de Madrid, Facultad de Informática, Departamento de Ingeniería del Software e Inteligencia artificial, leída el 13-05-2015En esta tesis se trata el desarrollo de una estrategia de navegación autónoma basada en visión artificial para exploración robótica autónoma de superficies planetarias. Se han desarrollado una serie de subsistemas, módulos y software específicos para la investigación desarrollada en este trabajo, ya que la mayoría de las herramientas existentes para este dominio son propiedad de agencias espaciales nacionales, no accesibles a la comunidad científica. Se ha diseñado una arquitectura software modular multi-capa con varios niveles jerárquicos para albergar el conjunto de algoritmos que implementan la estrategia de navegación autónoma y garantizar la portabilidad del software, su reutilización e independencia del hardware. Se incluye también el diseño de un entorno de trabajo destinado a dar soporte al desarrollo de las estrategias de navegación. Éste se basa parcialmente en herramientas de código abierto al alcance de cualquier investigador o institución, con las necesarias adaptaciones y extensiones, e incluye capacidades de simulación 3D, modelos de vehículos robóticos, sensores, y entornos operacionales, emulando superficies planetarias como Marte, para el análisis y validación a nivel funcional de las estrategias de navegación desarrolladas. Este entorno también ofrece capacidades de depuración y monitorización.La presente tesis se compone de dos partes principales. En la primera se aborda el diseño y desarrollo de las capacidades de autonomía de alto nivel de un rover, centrándose en la navegación autónoma, con el soporte de las capacidades de simulación y monitorización del entorno de trabajo previo. Se han llevado a cabo un conjunto de experimentos de campo, con un robot y hardware real, detallándose resultados, tiempo de procesamiento de algoritmos, así como el comportamiento y rendimiento del sistema en general. Como resultado, se ha identificado al sistema de percepción como un componente crucial dentro de la estrategia de navegación y, por tanto, el foco principal de potenciales optimizaciones y mejoras del sistema. Como consecuencia, en la segunda parte de este trabajo, se afronta el problema de la correspondencia en imágenes estéreo y reconstrucción 3D de entornos naturales no estructurados. Se han analizado una serie de algoritmos de correspondencia, procesos de imagen y filtros. Generalmente se asume que las intensidades de puntos correspondientes en imágenes del mismo par estéreo es la misma. Sin embargo, se ha comprobado que esta suposición es a menudo falsa, a pesar de que ambas se adquieren con un sistema de visión compuesto de dos cámaras idénticas. En consecuencia, se propone un sistema experto para la corrección automática de intensidades en pares de imágenes estéreo y reconstrucción 3D del entorno basado en procesos de imagen no aplicados hasta ahora en el campo de la visión estéreo. Éstos son el filtrado homomórfico y la correspondencia de histogramas, que han sido diseñados para corregir intensidades coordinadamente, ajustando una imagen en función de la otra. Los resultados se han podido optimizar adicionalmente gracias al diseño de un proceso de agrupación basado en el principio de continuidad espacial para eliminar falsos positivos y correspondencias erróneas. Se han estudiado los efectos de la aplicación de dichos filtros, en etapas previas y posteriores al proceso de correspondencia, con eficiencia verificada favorablemente. Su aplicación ha permitido la obtención de un mayor número de correspondencias válidas en comparación con los resultados obtenidos sin la aplicación de los mismos, consiguiendo mejoras significativas en los mapas de disparidad y, por lo tanto, en los procesos globales de percepción y reconstrucción 3D.Depto. de Ingeniería de Software e Inteligencia Artificial (ISIA)Fac. de InformáticaTRUEunpu

Stereoscopic hand-detection system based on FPGA

Tese de mestrado integrado. Engenharia Electrotécnica e de Computadores (Major de Telecomunicações). Faculdade de Engenharia. Universidade do Porto. 200

Analysis Image-Based Automated 3D Crack Detection for Post-disaster Bridge Assessment in Flyover Mall Boemi Kedaton

Recovery efforts following a disaster can be slow and painstaking work, and potentially put responders in harm's way. A system which helps identify defects in critical building elements (e.g., concrete columns) before responders must enter a structure can save lives. In this paper we propose a system, centered around an image based three-dimensional (3D) reconstruction method and a new 3D crack detection algorithm. The image-based method is capable of detecting and analyzing surface damages in 3D. We also demonstrate how the robotics can be used to gather the images from which the reconstruction is created, further reducing the risk to responders. In this regard, image-based 3D reconstructions represent a convenient method of creating 3D models because most robotic platforms can carry a lightweight camera payload. Additionally, the proposed 3D crack detection algorithm also provides the advantage of being able to operate on 3D mesh models regardless of their data collection source. Our experimental results show that 3D crack detection algorithm performs well constructions, successfully identifying cracks, reconstructing 3D profiles, and measuring geometrical characteristics on damaged elements and not finding any cracks on intact ones

Visual SLAM and scale estimation from omnidirectional wearable vision

La resolución del problema de Localización y Mapeado Simultáneos (SLAM) con sistemas de visión permite reconstruir un mapa del entorno a partir de medidas extraídas de imágenes y, al mismo tiempo, estimar la trayectoria u odometría visual de la cámara. En los último años el SLAM visual ha sido uno de los problemas más tratados en el campo de la visión por computador y ha sido abordado tanto con sistemas estéreo como monoculares. Los sistemas estéreo tienen la característica de que conocida la distancia entre las cámaras se pueden triangular los puntos observados y por lo tanto, es posible obtener una estimación tridimensional completa de la posición de los mismos. Por el contrario, los sistemas monoculares, al no poderse medir la profundidad a partir de una sola imagen, permiten solamente una reconstrucción tridimensional con una ambigüedad en la escala. Además, como es frecuente en la resolución del problema de SLAM, el uso de filtros probabilísticos que procesan las imágenes de forma secuencial, da lugar a otro problema más alla de una ambigüedad de escala. Se trata de la existencia de una deriva en la escala que hace que esta no sea constate durante en toda la reconstrucción, y que da lugar a una deformación gradual en la reconstrucción final a medida que el mapa crece. Dado el interés en el uso de dichos sensores por su bajo coste, su universalidad y su facilidad de calibración existen varios trabajos que proponen resolver dicho problema; bien utilizando otros sensores de bajo coste como IMUs, o sensores de odometría disponibles en los vehículos con ruedas; bien sin necesidad de sensores adicionales a partir de algún tipo de medida conocida a priori como la distancia de la cámara al suelo o al eje de rotación del vehículo. De entre los trabajos mencionados, la mayoría se centran en cámaras acopladas a vehículos con ruedas. Las técnicas descritas en los mismos son dificilmente aplicables a una cámara llevada por una persona, debido en primer lugar a la imposibilidad de obtener medidas de odometría, y en segundo lugar, por el modelo más complejo de movimiento. En este TFM se recoge y se amplia el trabajo presentado en el artículo ``Full Scaled 3D Visual Odometry From a Single Wearable Omnidirectional Camera'' enviado y aceptado para su publicación en el próximo ``IEEE International Conference on Intelligent Robots and Sytems (IROS)''. En él se presenta un algoritmo para estimar la escala real de la odometría visual de una persona a partir de la estimación SLAM obtenida con una cámara omnidireccional catadióptrica portable y sin necesidad de usar sensores adicionales. La información a priori para la estimación en la escala viene dada por una ley empírica que relaciona directamente la velocidad al caminar con la frecuencia de paso o, dicho de otra forma equivalente, define la longitud de zancada como una función de la frecuencia de paso. Dicha ley está justificada en una tendencia de la persona a elegir una frecuencia de paso que minimiza el coste metabólico para una velocidad dada. La trayectoria obtenida por SLAM se divide en secciones, calculándose un factor de escala en cada sección. Para estimar dicho factor de escala, en primer lugar se estima la frecuencia de paso mediante análisis espectral de la señal correspondiente a la componente $z$ de los estados de la cámara de la sección actual. En segundo lugar se calcula la velocidad de paso mediante la relación empírica descrita anteriormente. Esta medida de velocidad real, así como el promedio de la velocidad absoluta de los estados contenidos en la sección, se incluyen dentro de un filtro de partículas para el cálculo final del factor de escala. Dicho factor de escala se aplica a la correspondiente sección mediante una fórmula recursiva que asegura la continuidad en posición y velocidad. Sobre este algoritmo básico se han introducido mejoras para disminuir el retraso entre la actualización de secciones de la trayectoria, así como para ser capaces de descartar medidas erróneas de la frecuencia de paso y detectar zonas o situaciones, como la presencia de escaleras, donde el modelo empírico utilizado para estimar la velocidad de paso no sería aplicable. Además, dado que inicialmente se implementó el algoritmo en MATLAB, aplicándose offline a la estimación de trayectoria completa desde la aplicación SLAM, se ha realizado también su implementación en C++ como un módulo dentro de esta aplicación para trabajar en tiempo real conjuntamente con el algoritmo de SLAM principal. Los experimentos se han llevado a cabo con secuencias tomadas tanto en exteriores como en interiores dentro del Campus Río Ebro de la Universida dde Zaragoza. En ellos se compara la estimación de la trayectoria a escala real obtenida mediante nuestro método con el Ground Truth obtenido de las imágenes por satélite de Google Maps. Los resultados de los experimentos muestran que se llega a alcanzar un error medio de hasta menos de 2 metros a lo largo de recorridos de 232 metros. Además se aprecia como es capaz de corregir una deriva de escala considerable en la estimación inicial de la trayectoria sin escalar. El trabajo realizado en el presente TFM utiliza el realizado durante mi Proyecto de Fin de Carrera, "Localización por Visión Omnidireccional para Asistencia Personal", con una beca de Iniciación a la Investigación del I3A y defendido en septiembre de 2011. En dicho proyecto se adaptó una completa aplicación C++ de SLAM en tiempo real con cámaras convencionales para ser usada con cámaras omnidireccionales de tipo catadióptrico. Para ello se realizaron modificaciones sobre dos aspectos básicos: el modelo de proyección y las transformaciones aplicadas a los descriptores de los puntos característicos. Fruto de ese trabajo se realizó una publicación, "Adapting a Real-Time Monocular Visual SLAM from Conventional to Omnidirectional Cameras" en el ``11th OMNIVIS'' celebrado dentro del ICCV 2011

Precise and Robust Visual SLAM with Inertial Sensors and Deep Learning.

Dotar a los robots con el sentido de la percepción destaca como el componente más importante para conseguir máquinas completamente autónomas. Una vez que las máquinas sean capaces de percibir el mundo, podrán interactuar con él. A este respecto, la localización y la reconstrucción de mapas de manera simultánea, SLAM (por sus siglas en inglés) comprende todas las técnicas que permiten a los robots estimar su posición y reconstruir el mapa de su entorno al mismo tiempo, usando únicamente el conjunto de sensores a bordo. El SLAM constituye el elemento clave para la percepción de las máquinas, estando ya presente en diferentes tecnologías y aplicaciones como la conducción autónoma, la realidad virtual y aumentada o los robots de servicio. Incrementar la robustez del SLAM expandiría su uso y aplicación, haciendo las máquinas más seguras y requiriendo una menor intervención humana.En esta tesis hemos combinado sensores inerciales (IMU) y visuales para incrementar la robustez del SLAM ante movimientos rápidos, oclusiones breves o entornos con poca textura. Primero hemos propuesto dos técnicas rápidas para la inicialización del sensor inercial, con un bajo error de escala. Estas han permitido empezar a usar la IMU tan pronto como 2 segundos después de lanzar el sistema. Una de estas inicializaciones ha sido integrada en un nuevo sistema de SLAM visual inercial, acuñado como ORB-SLAM3, el cual representa la mayor contribución de esta tesis. Este es el sistema de SLAM visual-inercial de código abierto más completo hasta la fecha, que funciona con cámaras monoculares o estéreo, estenopeicas o de ojo de pez, y con capacidades multimapa. ORB-SLAM3 se basa en una formulación de Máximo a Posteriori, tanto en la inicialización como en el refinamiento y el ajuste de haces visual-inercial. También explota la asociación de datos en el corto, medio y largo plazo. Todo esto hace que ORB-SLAM3 sea el sistema SLAM visual-inercial más preciso, como así demuestran nuestros resultados en experimentos públicos.Además, hemos explorado la aplicación de técnicas de aprendizaje profundo para mejorar la robustez del SLAM. En este aspecto, primero hemos propuesto DynaSLAM II, un sistema SLAM estéreo para entornos dinámicos. Los objetos dinámicos son segmentados mediante una red neuronal, y sus puntos y medidas son incluidas eficientemente en la optimización de ajuste de haces. Esto permite estimar y hacer seguimiento de los objetos en movimiento, al mismo tiempo que se mejora la estimación de la trayectoria de la cámara. En segundo lugar, hemos desarrollado un SLAM monocular y directo basado en predicciones de profundidad a través de redes neuronales. Optimizamos de manera conjunta tanto los residuos de predicción de profundidad como los fotométricos de distintas vistas, lo que da lugar a un sistema monocular capaz de estimar la escala. No sufre el problema de deriva de escala, siendo más robusto y varias veces más preciso que los sistemas monoculares clásicos.<br /