Método para el registro automático de imágenes basado en transformaciones proyectivas planas dependientes de las distancias y orientado a imágenes sin características comunes

Tesis inédita de la Universidad Complutense de Madrid, Facultad de Ciencias Físicas, Departamento de Arquitectura de Computadores y Automática, leída el 18-12-2015Multisensory data fusion oriented to image-based application improves the accuracy, quality and availability of the data, and consequently, the performance of robotic systems, by means of combining the information of a scene acquired from multiple and different sources into a unified representation of the 3D world scene, which is more enlightening and enriching for the subsequent image processing, improving either the reliability by using the redundant information, or the capability by taking advantage of complementary information. Image registration is one of the most relevant steps in image fusion techniques. This procedure aims the geometrical alignment of two or more images. Normally, this process relies on feature-matching techniques, which is a drawback for combining sensors that are not able to deliver common features. For instance, in the combination of ToF and RGB cameras, the robust feature-matching is not reliable. Typically, the fusion of these two sensors has been addressed from the computation of the cameras calibration parameters for coordinate transformation between them. As a result, a low resolution colour depth map is provided. For improving the resolution of these maps and reducing the loss of colour information, extrapolation techniques are adopted. A crucial issue for computing high quality and accurate dense maps is the presence of noise in the depth measurement from the ToF camera, which is normally reduced by means of sensor calibration and filtering techniques. However, the filtering methods, implemented for the data extrapolation and denoising, usually over-smooth the data, reducing consequently the accuracy of the registration procedure...La fusión multisensorial orientada a aplicaciones de procesamiento de imágenes, conocida como fusión de imágenes, es una técnica que permite mejorar la exactitud, la calidad y la disponibilidad de datos de un entorno tridimensional, que a su vez permite mejorar el rendimiento y la operatividad de sistemas robóticos. Dicha fusión, se consigue mediante la combinación de la información adquirida por múltiples y diversas fuentes de captura de datos, la cual se agrupa del tal forma que se obtiene una mejor representación del entorno 3D, que es mucho más ilustrativa y enriquecedora para la implementación de métodos de procesamiento de imágenes. Con ello se consigue una mejora en la fiabilidad y capacidad del sistema, empleando la información redundante que ha sido adquirida por múltiples sensores. El registro de imágenes es uno de los procedimientos más importantes que componen la fusión de imágenes. El objetivo principal del registro de imágenes es la consecución de la alineación geométrica entre dos o más imágenes. Normalmente, este proceso depende de técnicas de búsqueda de patrones comunes entre imágenes, lo cual puede ser un inconveniente cuando se combinan sensores que no proporcionan datos con características similares. Un ejemplo de ello, es la fusión de cámaras de color de alta resolución (RGB) con cámaras de Tiempo de Vuelo de baja resolución (Time-of-Flight (ToF)), con las cuales no es posible conseguir una detección robusta de patrones comunes entre las imágenes capturadas por ambos sensores. Por lo general, la fusión entre estas cámaras se realiza mediante el cálculo de los parámetros de calibración de las mismas, que permiten realizar la trasformación homogénea entre ellas. Y como resultado de este xii Abstract procedimiento, se obtienen mapas de profundad y de color de baja resolución. Con el objetivo de mejorar la resolución de estos mapas y de evitar la pérdida de información de color, se utilizan diversas técnicas de extrapolación de datos. Un factor crucial a tomar en cuenta para la obtención de mapas de alta calidad y alta exactitud, es la presencia de ruido en las medidas de profundidad obtenidas por las cámaras ToF. Este problema, normalmente se reduce mediante la calibración de estos sensores y con técnicas de filtrado de datos. Sin embargo, las técnicas de filtrado utilizadas, tanto para la interpolación de datos, como para la reducción del ruido, suelen producir el sobre-alisamiento de los datos originales, lo cual reduce la exactitud del registro de imágenes...Sección Deptal. de Arquitectura de Computadores y Automática (Físicas)Fac. de Ciencias FísicasTRUEunpu

Sensor architectures and technologies for upper limb 3d surface reconstruction: A review

3D digital models of the upper limb anatomy represent the starting point for the design process of bespoke devices, such as orthoses and prostheses, which can be modeled on the actual patient’s anatomy by using CAD (Computer Aided Design) tools. The ongoing research on optical scanning methodologies has allowed the development of technologies that allow the surface reconstruction of the upper limb anatomy through procedures characterized by minimum discomfort for the patient. However, the 3D optical scanning of upper limbs is a complex task that requires solving problematic aspects, such as the difficulty of keeping the hand in a stable position and the presence of artefacts due to involuntary movements. Scientific literature, indeed, investigated different approaches in this regard by either integrating commercial devices, to create customized sensor architectures, or by developing innovative 3D acquisition techniques. The present work is aimed at presenting an overview of the state of the art of optical technologies and sensor architectures for the surface acquisition of upper limb anatomies. The review analyzes the working principles at the basis of existing devices and proposes a categorization of the approaches based on handling, pre/post-processing effort, and potentialities in real-time scanning. An in-depth analysis of strengths and weaknesses of the approaches proposed by the research community is also provided to give valuable support in selecting the most appropriate solution for the specific application to be addressed

Multisensor data fusion via Gaussian process models for dimensional and geometric verification

An increasing amount of commercial measurement instruments implementing a wide range of measurement technologies is rapidly becoming available for dimensional and geometric verification. Multiple solutions are often acquired within the shop-floor with the aim of providing alternatives to cover a wider array of measurement needs, thus overcoming the limitations of individual instruments and technologies. In such scenarios, multisensor data fusion aims at going one step further by seeking original and different ways to analyze and combine multiple measurement datasets taken from the same measurand, in order to produce synergistic effects and ultimately obtain overall better measurement results. In this work an original approach to multisensor data fusion is presented, based on the development of Gaussian process models (the technique also known as kriging), starting from point sets acquired from multiple instruments. The approach is illustrated and validated through the application to a simulated test case and two real-life industrial metrology scenarios involving structured light scanners and coordinate measurement machines. The results show that not only the proposed approach allows for obtaining final measurement results whose metrological quality transcends that of the original single-sensor datasets, but also it allows to better characterize metrological performance and potential sources of measurement error originated from within each individual sensor

Lidar-based scene understanding for autonomous driving using deep learning

With over 1.35 million fatalities related to traffic accidents worldwide, autonomous driving was foreseen at the beginning of this century as a feasible solution to improve security in our roads. Nevertheless, it is meant to disrupt our transportation paradigm, allowing to reduce congestion, pollution, and costs, while increasing the accessibility, efficiency, and reliability of the transportation for both people and goods. Although some advances have gradually been transferred into commercial vehicles in the way of Advanced Driving Assistance Systems (ADAS) such as adaptive cruise control, blind spot detection or automatic parking, however, the technology is far from mature. A full understanding of the scene is actually needed so that allowing the vehicles to be aware of the surroundings, knowing the existing elements of the scene, as well as their motion, intentions and interactions. In this PhD dissertation, we explore new approaches for understanding driving scenes from 3D LiDAR point clouds by using Deep Learning methods. To this end, in Part I we analyze the scene from a static perspective using independent frames to detect the neighboring vehicles. Next, in Part II we develop new ways for understanding the dynamics of the scene. Finally, in Part III we apply all the developed methods to accomplish higher level challenges such as segmenting moving obstacles while obtaining their rigid motion vector over the ground. More specifically, in Chapter 2 we develop a 3D vehicle detection pipeline based on a multi-branch deep-learning architecture and propose a Front (FR-V) and a Bird’s Eye view (BE-V) as 2D representations of the 3D point cloud to serve as input for training our models. Later on, in Chapter 3 we apply and further test this method on two real uses-cases, for pre-filtering moving obstacles while creating maps to better localize ourselves on subsequent days, as well as for vehicle tracking. From the dynamic perspective, in Chapter 4 we learn from the 3D point cloud a novel dynamic feature that resembles optical flow from RGB images. For that, we develop a new approach to leverage RGB optical flow as pseudo ground truth for training purposes but allowing the use of only 3D LiDAR data at inference time. Additionally, in Chapter 5 we explore the benefits of combining classification and regression learning problems to face the optical flow estimation task in a joint coarse-and-fine manner. Lastly, in Chapter 6 we gather the previous methods and demonstrate that with these independent tasks we can guide the learning of higher challenging problems such as segmentation and motion estimation of moving vehicles from our own moving perspective.Con más de 1,35 millones de muertes por accidentes de tráfico en el mundo, a principios de siglo se predijo que la conducción autónoma sería una solución viable para mejorar la seguridad en nuestras carreteras. Además la conducción autónoma está destinada a cambiar nuestros paradigmas de transporte, permitiendo reducir la congestión del tráfico, la contaminación y el coste, a la vez que aumentando la accesibilidad, la eficiencia y confiabilidad del transporte tanto de personas como de mercancías. Aunque algunos avances, como el control de crucero adaptativo, la detección de puntos ciegos o el estacionamiento automático, se han transferido gradualmente a vehículos comerciales en la forma de los Sistemas Avanzados de Asistencia a la Conducción (ADAS), la tecnología aún no ha alcanzado el suficiente grado de madurez. Se necesita una comprensión completa de la escena para que los vehículos puedan entender el entorno, detectando los elementos presentes, así como su movimiento, intenciones e interacciones. En la presente tesis doctoral, exploramos nuevos enfoques para comprender escenarios de conducción utilizando nubes de puntos en 3D capturadas con sensores LiDAR, para lo cual empleamos métodos de aprendizaje profundo. Con este fin, en la Parte I analizamos la escena desde una perspectiva estática para detectar vehículos. A continuación, en la Parte II, desarrollamos nuevas formas de entender las dinámicas del entorno. Finalmente, en la Parte III aplicamos los métodos previamente desarrollados para lograr desafíos de nivel superior, como segmentar obstáculos dinámicos a la vez que estimamos su vector de movimiento sobre el suelo. Específicamente, en el Capítulo 2 detectamos vehículos en 3D creando una arquitectura de aprendizaje profundo de dos ramas y proponemos una vista frontal (FR-V) y una vista de pájaro (BE-V) como representaciones 2D de la nube de puntos 3D que sirven como entrada para entrenar nuestros modelos. Más adelante, en el Capítulo 3 aplicamos y probamos aún más este método en dos casos de uso reales, tanto para filtrar obstáculos en movimiento previamente a la creación de mapas sobre los que poder localizarnos mejor en los días posteriores, como para el seguimiento de vehículos. Desde la perspectiva dinámica, en el Capítulo 4 aprendemos de la nube de puntos en 3D una característica dinámica novedosa que se asemeja al flujo óptico sobre imágenes RGB. Para ello, desarrollamos un nuevo enfoque que aprovecha el flujo óptico RGB como pseudo muestras reales para entrenamiento, usando solo information 3D durante la inferencia. Además, en el Capítulo 5 exploramos los beneficios de combinar los aprendizajes de problemas de clasificación y regresión para la tarea de estimación de flujo óptico de manera conjunta. Por último, en el Capítulo 6 reunimos los métodos anteriores y demostramos que con estas tareas independientes podemos guiar el aprendizaje de problemas de más alto nivel, como la segmentación y estimación del movimiento de vehículos desde nuestra propia perspectivaAmb més d’1,35 milions de morts per accidents de trànsit al món, a principis de segle es va predir que la conducció autònoma es convertiria en una solució viable per millorar la seguretat a les nostres carreteres. D’altra banda, la conducció autònoma està destinada a canviar els paradigmes del transport, fent possible així reduir la densitat del trànsit, la contaminació i el cost, alhora que augmentant l’accessibilitat, l’eficiència i la confiança del transport tant de persones com de mercaderies. Encara que alguns avenços, com el control de creuer adaptatiu, la detecció de punts cecs o l’estacionament automàtic, s’han transferit gradualment a vehicles comercials en forma de Sistemes Avançats d’Assistència a la Conducció (ADAS), la tecnologia encara no ha arribat a aconseguir el grau suficient de maduresa. És necessària, doncs, una total comprensió de l’escena de manera que els vehicles puguin entendre l’entorn, detectant els elements presents, així com el seu moviment, intencions i interaccions. A la present tesi doctoral, explorem nous enfocaments per tal de comprendre les diferents escenes de conducció utilitzant núvols de punts en 3D capturats amb sensors LiDAR, mitjançant l’ús de mètodes d’aprenentatge profund. Amb aquest objectiu, a la Part I analitzem l’escena des d’una perspectiva estàtica per a detectar vehicles. A continuació, a la Part II, desenvolupem noves formes d’entendre les dinàmiques de l’entorn. Finalment, a la Part III apliquem els mètodes prèviament desenvolupats per a aconseguir desafiaments d’un nivell superior, com, per exemple, segmentar obstacles dinàmics al mateix temps que estimem el seu vector de moviment respecte al terra. Concretament, al Capítol 2 detectem vehicles en 3D creant una arquitectura d’aprenentatge profund amb dues branques, i proposem una vista frontal (FR-V) i una vista d’ocell (BE-V) com a representacions 2D del núvol de punts 3D que serveixen com a punt de partida per entrenar els nostres models. Més endavant, al Capítol 3 apliquem i provem de nou aquest mètode en dos casos d’ús reals, tant per filtrar obstacles en moviment prèviament a la creació de mapes en els quals poder localitzar-nos millor en dies posteriors, com per dur a terme el seguiment de vehicles. Des de la perspectiva dinàmica, al Capítol 4 aprenem una nova característica dinàmica del núvol de punts en 3D que s’assembla al flux òptic sobre imatges RGB. Per a fer-ho, desenvolupem un nou enfocament que aprofita el flux òptic RGB com pseudo mostres reals per a entrenament, utilitzant només informació 3D durant la inferència. Després, al Capítol 5 explorem els beneficis que s’obtenen de combinar els aprenentatges de problemes de classificació i regressió per la tasca d’estimació de flux òptic de manera conjunta. Finalment, al Capítol 6 posem en comú els mètodes anteriors i demostrem que mitjançant aquests processos independents podem abordar l’aprenentatge de problemes més complexos, com la segmentació i estimació del moviment de vehicles des de la nostra pròpia perspectiva

Desarrollo de geotecnologías aplicadas a la inspección y monitorización de entornos industriales

Tesis por compendio de publicaciones[ES]El desarrollo tecnológico de las últimas dos décadas ha supuesto un cambio radical que está llevando a un nuevo paradigma en el que se entremezclan el mundo físico y el digital. Estos cambios han influido enormemente en la sociedad, modificando las formas de comunicación, acceso a información, ocio, trabajo, etc. Asimismo, la industria ha adoptado estas tecnologías disruptivas, las cuales están contribuyendo a lograr un mayor control y automatización del proceso productivo. En el ámbito industrial, las tareas de mantenimiento son críticas para garantizar el correcto funcionamiento de una planta o instalación, ya que influyen directamente en la productividad y pueden suponer un elevado costo adicional. Las nuevas tecnologías están posibilitando la monitorización continua y a la inspección automatizada, proporcionando herramientas auxiliares a los inspectores que mejoran la detección de fallos y permiten anticipar y optimizar la planificación de las tareas de mantenimiento. Con el objetivo de desarrollar herramientas que aporten mejoras en las tareas de mantenimiento en industria, la presente tesis doctoral se basa en el estudio de como las geotecnologías pueden aportar soluciones óptimas en la monitorización e inspección. Debido a la gran variedad de entornos industriales, las herramientas de apoyo al mantenimiento deben adaptarse a cada caso en concreto. En este aspecto, y con el fin de demostrar la adaptabilidad de la geomática y las geotecnologías, se han estudiado instalaciones industriales de ámbitos muy diversos, como una sala de máquinas (escenario interior), plantas fotovoltaicas (escenario exterior) y soldaduras (interior y exterior). La escala de los escenarios objeto de estudio ha sido muy variada, desde las escalas más pequeñas, para el estudio de las soldaduras y la sala de máquinas, a las escalas más grandes, en los estudios de evolución de la vegetación y presencia de masas de agua en plantas fotovoltaicas. Las geotecnologías demuestran su versatilidad para trabajar a distintas escalas, con soluciones que permiten un gran detalle y precisión, como la fotogrametría de rango cercano y el sistema de escaneado portátil (Portable Mobile Mapping System - PMMS), y otras que pueden abarcar zonas más amplias del territorio, como es el caso de la teledetección o la fotogrametría con drones. Según lo expuesto anteriormente, el enfoque de la tesis ha sido el estudio de elementos o instalaciones industriales a diferentes escalas. En el primer caso se desarrolló una herramienta para el control de calidad externo de soldaduras utilizando fotogrametría de rango cercano y algoritmos para la detección automática de defectos. En el segundo caso se propuso el uso de un PMMS para optimizar la toma de datos en las tareas de inspección en instalaciones fluidomecánicas. En el tercer caso se utilizó la fotogrametría con drones y la combinación de imágenes RGB y térmicas con algoritmos de visión computacional para la detección de patologías en paneles fotovoltaicos. Finalmente, para la monitorización de la vegetación y la detección de masas de agua en el entorno de plantas fotovoltaicas, se empleó la teledetección mediante el cálculo de índices espectrales. [EN]The technological development of the last two decades has brought about a radical change that is leading to a new paradigm in which the physical and digital worlds are intertwined. These changes have had a great impact on society, modifying communication methods, access to information, leisure, work, etc. In addition, the industry has adopted these disruptive technologies, which are contributing to achieving greater control and automation of the production process. In the industrial sector, maintenance tasks are critical to ensuring the proper operation of a plant or facility, as they directly influence productivity and can involve high additional costs. New technologies are making continuous monitoring and automated inspection possible, providing auxiliary tools to inspectors that improve fault detection and allow for the anticipation and optimization of maintenance task planning. With the aim of developing tools that provide improvements in maintenance tasks in industry, this doctoral thesis is based on the study of how geotechnologies can provide optimal solutions in monitoring and inspection. Due to the great variety of industrial environments, maintenance support tools must adapt to each specific case. In this regard, and in order to demonstrate the adaptability of geomatics and geotechnologies, industrial installations from very diverse areas have been studied, such as a machine room (indoor scenario), photovoltaic plants (outdoor scenario), and welding (indoor and outdoor scenarios). The scale of the studied scenarios has been very varied, ranging from smaller scales for the study of welds and machine rooms, to larger scales in the studies of vegetation evolution and the presence of bodies of water in photovoltaic plants. Geotechnologies demonstrate their versatility to work at different scales, with solutions that allow for great detail and precision, such as close-range photogrammetry and the Portable Mobile Mapping System (PMMS), as well as others that can cover larger areas of the territory, such as remote sensing or photogrammetry with drones. The focus of the thesis has been the study of industrial elements or installations at different scales. In the first case, a tool was developed for external quality control of welding, using close-range photogrammetry and algorithms for automatic defect detection. In the second case, the use of a PMMS is proposed to optimize data collection in fluid-mechanical installation inspection tasks. In the third case, drone photogrammetry and the combination of RGB and thermal images with computer vision algorithms were used for the detection of pathologies in photovoltaic panels. Finally, for the monitoring of vegetation and the detection of water masses in the environment of photovoltaic plants, remote sensing was employed through the calculation of spectral indices

On multiple optical scattering in a scanning nephelometer

Optical nephelometry is the measurement of the angular distribution of light scattered from a particle suspension. Experimental nephelometers confirm the predictions of optical models and their readings are inverted to determine properties of unknown suspensions. Single scattering models, which assume a single particle interaction prior to detection, are used to model tenuous suspensions in the nephelometer. Multiple scattering models can be used to obtain higher-order solutions, but lack generality. Any given method addresses some subset of possible problems, e.g. tenuous or dense suspensions, small or large particles. This thesis explores the feasibility of using empirical models to extrapolate the single scattering approach in a non-linear manner, improving the generality of a multiple-scattering description. Initially, single scattering (Mie) theory for spherical particles is presented and extended to polydispersions of particles and to spectral scattering. The principle of integrating the single scattering result over a finite scattering volume is examined as a precursor to modelling the actual nephelometer. A low-cost, PC controlled scanning nephelometer is developed with a 0.9° resolution and ±150° range and a small (-25ml) volume sample cell. The photodiode detector has a numerical aperture of 0.079, providing, for most angles, a scattering volume with length 10mm and cross-section determined by the HeNe laser source ('-1mrn 2). The optics of the air/glass/water interfaces and of single and first-order multiple scattering over the scattering volume are modelled. These models are found to predict the scattering footprints observed in tenuous suspensions of spherical latex particles. Experimental data are obtained from tenuous to relatively dense (5% by volume) suspensions of latex spheres over a size range of 54nm to 14tm. These data are compared with single and first-order multiple scattering and their form and dependencies are considered. They are used to train an empirical neural (multi-layer perceptron) model of the multiple scattering based on particle characteristics and on the scattering footprint of the individual particles. This non-linear extrapolation of the single scattering model is applied to the nephelometer, improving the generality over a purely theoretical multiple scattering approach. The trained neural model is used, initially, to investigate some of the empirical characteristics of the multiple scattering process

Robotic Crop Interaction in Agriculture for Soft Fruit Harvesting

Autonomous tree crop harvesting has been a seemingly attainable, but elusive, robotics goal for the past several decades. Limiting grower reliance on uncertain seasonal labour is an economic driver of this, but the ability of robotic systems to treat each plant individually also has environmental benefits, such as reduced emissions and fertiliser use. Over the same time period, effective grasping and manipulation (G&M) solutions to warehouse product handling, and more general robotic interaction, have been demonstrated. Despite research progress in general robotic interaction and harvesting of some specific crop types, a commercially successful robotic harvester has yet to be demonstrated. Most crop varieties, including soft-skinned fruit, have not yet been addressed. Soft fruit, such as plums, present problems for many of the techniques employed for their more robust relatives and require special focus when developing autonomous harvesters. Adapting existing robotics tools and techniques to new fruit types, including soft skinned varieties, is not well explored. This thesis aims to bridge that gap by examining the challenges of autonomous crop interaction for the harvesting of soft fruit. Aspects which are known to be challenging include mixed obstacle planning with both hard and soft obstacles present, poor outdoor sensing conditions, and the lack of proven picking motion strategies. Positioning an actuator for harvesting requires solving these problems and others specific to soft skinned fruit. Doing so effectively means addressing these in the sensing, planning and actuation areas of a robotic system. Such areas are also highly interdependent for grasping and manipulation tasks, so solutions need to be developed at the system level. In this thesis, soft robotics actuators, with simplifying assumptions about hard obstacle planes, are used to solve mixed obstacle planning. Persistent target tracking and filtering is used to overcome challenging object detection conditions, while multiple stages of object detection are applied to refine these initial position estimates. Several picking motions are developed and tested for plums, with varying degrees of effectiveness. These various techniques are integrated into a prototype system which is validated in lab testing and extensive field trials on a commercial plum crop. Key contributions of this thesis include I. The examination of grasping & manipulation tools, algorithms, techniques and challenges for harvesting soft skinned fruit II. Design, development and field-trial evaluation of a harvester prototype to validate these concepts in practice, with specific design studies of the gripper type, object detector architecture and picking motion for this III. Investigation of specific G&M module improvements including: o Application of the autocovariance least squares (ALS) method to noise covariance matrix estimation for visual servoing tasks, where both simulated and real experiments demonstrated a 30% improvement in state estimation error using this technique. o Theory and experimentation showing that a single range measurement is sufficient for disambiguating scene scale in monocular depth estimation for some datasets. o Preliminary investigations of stochastic object completion and sampling for grasping, active perception for visual servoing based harvesting, and multi-stage fruit localisation from RGB-Depth data. Several field trials were carried out with the plum harvesting prototype. Testing on an unmodified commercial plum crop, in all weather conditions, showed promising results with a harvest success rate of 42%. While a significant gap between prototype performance and commercial viability remains, the use of soft robotics with carefully chosen sensing and planning approaches allows for robust grasping & manipulation under challenging conditions, with both hard and soft obstacles