LiDAR and Camera Detection Fusion in a Real Time Industrial Multi-Sensor Collision Avoidance System

Collision avoidance is a critical task in many applications, such as ADAS (advanced driver-assistance systems), industrial automation and robotics. In an industrial automation setting, certain areas should be off limits to an automated vehicle for protection of people and high-valued assets. These areas can be quarantined by mapping (e.g., GPS) or via beacons that delineate a no-entry area. We propose a delineation method where the industrial vehicle utilizes a LiDAR {(Light Detection and Ranging)} and a single color camera to detect passive beacons and model-predictive control to stop the vehicle from entering a restricted space. The beacons are standard orange traffic cones with a highly reflective vertical pole attached. The LiDAR can readily detect these beacons, but suffers from false positives due to other reflective surfaces such as worker safety vests. Herein, we put forth a method for reducing false positive detection from the LiDAR by projecting the beacons in the camera imagery via a deep learning method and validating the detection using a neural network-learned projection from the camera to the LiDAR space. Experimental data collected at Mississippi State University's Center for Advanced Vehicular Systems (CAVS) shows the effectiveness of the proposed system in keeping the true detection while mitigating false positives.Comment: 34 page

ToF cameras for eye-in-hand robotics

This work was supported by the Spanish Ministry of Science and Innovation under project PAU+ DPI2011-27510, by the EU Project IntellAct FP7-ICT2009-6-269959 and by the Catalan Research Commission through SGR-00155.Peer Reviewe

Obstacle Avoiding Robot using Visual Information

A robot using computer vision to avoid obstacles was built for Depush, a Chinese company specializing in educational robotics. We used the Open Computer Vision library to implement stereo vision for obstacle detection. We then sent commands to the motors using a microcontroller. This robot successfully detected and avoided different kinds of obstacles such as bottles, chairs and walls

Semantically-enhanced Deep Collision Prediction for Autonomous Navigation using Aerial Robots

This paper contributes a novel and modularized learning-based method for aerial robots navigating cluttered environments containing hard-to-perceive thin obstacles without assuming access to a map or the full pose estimation of the robot. The proposed solution builds upon a semantically-enhanced Variational Autoencoder that is trained with both real-world and simulated depth images to compress the input data, while preserving semantically-labeled thin obstacles and handling invalid pixels in the depth sensor's output. This compressed representation, in addition to the robot's partial state involving its linear/angular velocities and its attitude are then utilized to train an uncertainty-aware 3D Collision Prediction Network in simulation to predict collision scores for candidate action sequences in a predefined motion primitives library. A set of simulation and experimental studies in cluttered environments with various sizes and types of obstacles, including multiple hard-to-perceive thin objects, were conducted to evaluate the performance of the proposed method and compare against an end-to-end trained baseline. The results demonstrate the benefits of the proposed semantically-enhanced deep collision prediction for learning-based autonomous navigation.Comment: 8 Pages, 8 figures. Accepted to the IEEE/RSJ International Conference on Intelligent Robots and Systems 202

Human Body Scattering Effects at Millimeter Waves Frequencies for Future 5G Systems and Beyond

[ES] Se espera que las futuras comunicaciones móviles experimenten una revolución técnica que vaya más allá de las velocidades de datos de Gbps y reduzca las latencias de las velocidades de datos a niveles muy cercanos al milisegundo. Se han investigado nuevas tecnologías habilitadoras para lograr estas exigentes especificaciones. Y la utilización de las bandas de ondas milimétricas, donde hay mucho espectro disponible, es una de ellas. Debido a las numerosas dificultades técnicas asociadas a la utilización de esta banda de frecuencias, se necesitan complicados modelos de canal para anticipar las características del canal de radio y evaluar con precisión el rendimiento de los sistemas celulares en milimétricas. En concreto, los modelos de propagación más precisos son los basados en técnicas de trazado de rayos deterministas. Pero estas técnicas tienen el estigma de ser computacionalmente exigentes, y esto dificulta su uso para caracterizar el canal de radio en escenarios interiores complejos y dinámicos. La complejidad de la caracterización de estos escenarios depende en gran medida de la interacción del cuerpo humano con el entorno radioeléctrico, que en las ondas milimétricas suele ser destructiva y muy impredecible. Por otro lado, en los últimos años, la industria de los videojuegos ha desarrollado potentes herramientas para entornos hiperrealistas, donde la mayor parte de los avances en esta emulación de la realidad tienen que ver con el manejo de la luz. Así, los motores gráficos de estas plataformas se han vuelto cada vez más eficientes para manejar grandes volúmenes de información, por lo que son ideales para emular el comportamiento de la propagación de las ondas de radio, así como para reconstruir un escenario interior complejo. Por ello, en esta Tesis se ha aprovechado la capacidad computacional de este tipo de herramientas para evaluar el canal radioeléctrico milimétricas de la forma más eficiente posible. Esta Tesis ofrece unas pautas para optimizar la propagación de la señal en milimétricas en un entorno interior dinámico y complejo, para lo cual se proponen tres objetivos principales. El primer objetivo es evaluar los efectos de dispersión del cuerpo humano cuando interactúa con el canal de propagación. Una vez evaluado, se propuso un modelo matemático y geométrico simplificado para calcular este efecto de forma fiable y rápida. Otro objetivo fue el diseño de un reflector pasivo modular en milimétricas, que optimiza la cobertura en entornos de interior, evitando la interferencia del ser humano en la propagación. Y, por último, se diseñó un sistema de apuntamiento del haz predictivo en tiempo real, para que opere con el sistema de radiación en milimétricas, cuyo objetivo es evitar las pérdidas de propagación causadas por el cuerpo humano en entornos interiores dinámicos y complejos.[CA] S'espera que les futures comunicacions mòbils experimenten una revolució tècnica que vaja més enllà de les velocitats de dades de Gbps i reduïsca les latències de les velocitats de dades a nivells molt pròxims al milisegundo. S'han investigat noves tecnologies habilitadoras per a aconseguir estes exigents especificacions. I la utilització de les bandes d'ones millimètriques, on hi ha molt espectre disponible, és una d'elles. A causa de les nombroses dificultats tècniques associades a la utilització d'esta banda de freqüències, es necessiten complicats models de canal per a anticipar les característiques del canal de ràdio i avaluar amb precisió el rendiment dels sistemes cellulars en millimètriques. En concret, els models de propagació més precisos són els basats en tècniques de traçat de rajos deterministes. Però estes tècniques tenen l'estigma de ser computacionalment exigents, i açò dificulta el seu ús per a caracteritzar el canal de ràdio en escenaris interiors complexos i dinàmics. La complexitat de la caracterització d'estos escenaris depén en gran manera de la interacció del cos humà amb l'entorn radioelèctric, que en les ones millimètriques sol ser destructiva i molt impredicible. D'altra banda, en els últims anys, la indústria dels videojocs ha desenrotllat potents ferramentes per a entorns hiperrealistes, on la major part dels avanços en esta emulació de la realitat tenen a veure amb el maneig de la llum. Així, els motors gràfics d'estes plataformes s'han tornat cada vegada més eficients per a manejar grans volums d'informació, per la qual cosa són ideals per a emular el comportament de la propagació de les ones de ràdio, així com per a reconstruir un escenari interior complex. Per això, en esta Tesi s'ha aprofitat la capacitat computacional d'este tipus de ferramentes per a avaluar el canal radioelèctric millimètriques de la manera més eficient possible. Esta Tesi oferix unes pautes per a optimitzar la propagació del senyal en millimètriques en un entorn interior dinàmic i complex, per a la qual cosa es proposen tres objectius principals. El primer objectiu és avaluar els efectes de dispersió del cos humà quan interactua amb el canal de propagació. Una vegada avaluat, es va proposar un model matemàtic i geomètric simplificat per a calcular este efecte de forma fiable i ràpida. Un altre objectiu va ser el disseny d'un reflector passiu modular en millimètriques, que optimitza la cobertura en entorns d'interior, evitant la interferència del ser humà en la propagació, per a així evitar pèrdues de propagació addicionals. I, finalment, es va dissenyar un sistema d'apuntament del feix predictiu en temps real, perquè opere amb el sistema de radiació en millimètriques, l'objectiu del qual és evitar les pèrdues de propagació causades pel cos humà en entorns interiors dinàmics i complexos.[EN] Future mobile communications are expected to experience a technical revolution that goes beyond Gbps data rates and reduces data rate latencies to levels very close to a millisecond. New enabling technologies have been researched to achieve these demanding specifications. The utilization of mmWave bands, where a lot of spectrum is available, is one of them. Due to the numerous technical difficulties associated with using this frequency band, complicated channel models are necessary to anticipate the radio channel characteristics and to accurately evaluate the performance of cellular systems in mmWave. In particular, the most accurate propagation models are those based on deterministic ray tracing techniques. But these techniques have the stigma of being computationally intensive, and this makes it difficult to use them to characterize the radio channel in complex and dynamic indoor scenarios. The complexity of characterizing these scenarios depends largely on the interaction of the human body with the radio environment, which at mmWaves is often destructive and highly unpredictable. On the other hand, in recent years, the video game industry has developed powerful tools for hyper-realistic environments, where most of the progress in this reality emulation has to do with the handling of light. Therefore, the graphic engines of these platforms have become more and more efficient to handle large volumes of information, becoming ideal to emulate the radio wave propagation behavior, as well as to reconstruct a complex interior scenario. Therefore, in this Thesis one has taken advantage of the computational capacity of this type of tools to evaluate the mmWave radio channel in the most efficient way possible. This Thesis offers some guidelines to optimize the signal propagation in mmWaves in a dynamic and complex indoor environment, for which three main objectives are proposed. The first objective has been to evaluate the scattering effects of the human body when it interacts with the propagation channel. Once evaluated, a simplified mathematical and geometrical model has been proposed to calculate this effect in a reliable and fast way. Another objective has been the design of a modular passive reflector in mmWaves, which optimizes the coverage in indoor environments, avoiding human interference in the propagation, in order to avoid its harmful scattering effects. And finally, a real-time predictive beam steering system has been designed for the mmWaves radiation system, in order to avoid propagation losses caused by the human body in dynamic and complex indoor environments.Romero Peña, JS. (2022). Human Body Scattering Effects at Millimeter Waves Frequencies for Future 5G Systems and Beyond [Tesis doctoral]. Universitat Politècnica de València. https://doi.org/10.4995/Thesis/10251/19132

Development of a probabilistic perception system for camera-lidar sensor fusion

La estimación de profundidad usando diferentes sensores es uno de los desafíos clave para dotar a las máquinas autónomas de sólidas capacidades de percepción robótica. Ha habido un avance sobresaliente en el desarrollo de técnicas de estimación de profundidad unimodales basadas en cámaras monoculares, debido a su alta resolución o sensores LiDAR, debido a los datos geométricos precisos que proporcionan. Sin embargo, cada uno de ellos presenta inconvenientes inherentes, como la alta sensibilidad a los cambios en las condiciones de iluminación en el caso delas cámaras y la resolución limitada de los sensores LiDAR. La fusión de sensores se puede utilizar para combinar los méritos y compensar las desventajas de estos dos tipos de sensores. Sin embargo, los métodos de fusión actuales funcionan a un alto nivel. Procesan los flujos de datos de los sensores de forma independiente y combinan las estimaciones de alto nivel obtenidas para cada sensor. En este proyecto, abordamos el problema en un nivel bajo, fusionando los flujos de sensores sin procesar, obteniendo así estimaciones de profundidad que son densas y precisas, y pueden usarse como una fuente de datos multimodal unificada para problemas de estimación de nivel superior. Este trabajo propone un modelo de campo aleatorio condicional (CRF) con múltiples potenciales de geometría y apariencia que representa a la perfección el problema de estimar mapas de profundidad densos a partir de datos de cámara y LiDAR. El modelo se puede optimizar de manera eficiente utilizando el algoritmo Conjúgate Gradient Squared (CGS). El método propuesto se evalúa y compara utilizando el conjunto de datos proporcionado por KITTI Datset. Adicionalmente, se evalúa cualitativamente el modelo, usando datos adquiridos por el autor de esté trabajoMulti-modal depth estimation is one of the key challenges for endowing autonomous machines with robust robotic perception capabilities. There has been an outstanding advance in the development of uni-modal depth estimation techniques based on either monocular cameras, because of their rich resolution or LiDAR sensors due to the precise geometric data they provide. However, each of them suffers from some inherent drawbacks like high sensitivity to changes in illumination conditions in the case of cameras and limited resolution for the LiDARs. Sensor fusion can be used to combine the merits and compensate the downsides of these two kinds of sensors. Nevertheless, current fusion methods work at a high level. They processes sensor data streams independently and combine the high level estimates obtained for each sensor. In this thesis, I tackle the problem at a low level, fusing the raw sensor streams, thus obtaining depth estimates which are both dense and precise, and can be used as a unified multi-modal data source for higher level estimation problems. This work proposes a Conditional Random Field (CRF) model with multiple geometry and appearance potentials that seamlessly represents the problem of estimating dense depth maps from camera and LiDAR data. The model can be optimized efficiently using the Conjugate Gradient Squared (CGS) algorithm. The proposed method was evaluated and compared with the state-of-the-art using the commonly used KITTI benchmark dataset. In addition, the model is qualitatively evaluated using data acquired by the author of this work.MaestríaMagíster en Ingeniería de Desarrollo de Producto