Odometry and Laser Scanner Fusion Based on a Discrete Extended Kalman Filter for Robotic Platooning Guidance

This paper describes a relative localization system used to achieve the navigation of a convoy of robotic units in indoor environments. This positioning system is carried out fusing two sensorial sources: (a) an odometric system and (b) a laser scanner together with artificial landmarks located on top of the units. The laser source allows one to compensate the cumulative error inherent to dead-reckoning; whereas the odometry source provides less pose uncertainty in short trajectories. A discrete Extended Kalman Filter, customized for this application, is used in order to accomplish this aim under real time constraints. Different experimental results with a convoy of Pioneer P3-DX units tracking non-linear trajectories are shown. The paper shows that a simple setup based on low cost laser range systems and robot built-in odometry sensors is able to give a high degree of robustness and accuracy to the relative localization problem of convoy units for indoor applications

Multi-Camera Sensor System for 3D Segmentation and Localization of Multiple Mobile Robots

This paper presents a method for obtaining the motion segmentation and 3D localization of multiple mobile robots in an intelligent space using a multi-camera sensor system. The set of calibrated and synchronized cameras are placed in fixed positions within the environment (intelligent space). The proposed algorithm for motion segmentation and 3D localization is based on the minimization of an objective function. This function includes information from all the cameras, and it does not rely on previous knowledge or invasive landmarks on board the robots. The proposed objective function depends on three groups of variables: the segmentation boundaries, the motion parameters and the depth. For the objective function minimization, we use a greedy iterative algorithm with three steps that, after initialization of segmentation boundaries and depth, are repeated until convergence

Localization of Mobile Robots Using Odometry and an External Vision Sensor

This paper presents a sensor system for robot localization based on the information obtained from a single camera attached in a fixed place external to the robot. Our approach firstly obtains the 3D geometrical model of the robot based on the projection of its natural appearance in the camera while the robot performs an initialization trajectory. This paper proposes a structure-from-motion solution that uses the odometry sensors inside the robot as a metric reference. Secondly, an online localization method based on a sequential Bayesian inference is proposed, which uses the geometrical model of the robot as a link between image measurements and pose estimation. The online approach is resistant to hard occlusions and the experimental setup proposed in this paper shows its effectiveness in real situations. The proposed approach has many applications in both the industrial and service robot fields

Review of Research on Speech Technology: Main Contributions From Spanish Research Groups

In the last two decades, there has been an important increase in research on speech technology in Spain, mainly due to a higher level of funding from European, Spanish and local institutions and also due to a growing interest in these technologies for developing new services and applications. This paper provides a review of the main areas of speech technology addressed by research groups in Spain, their main contributions in the recent years and the main focus of interest these days. This description is classified in five main areas: audio processing including speech, speaker characterization, speech and language processing, text to speech conversion and spoken language applications. This paper also introduces the Spanish Network of Speech Technologies (RTTH. Red Temática en Tecnologías del Habla) as the research network that includes almost all the researchers working in this area, presenting some figures, its objectives and its main activities developed in the last years

이종 센서들을 이용한 지능형 공간의 운용

학위논문 (박사)-- 서울대학교 대학원 : 전기·컴퓨터공학부, 2014. 8. 이범희.A new approach of multi-sensor operation is presented in an intelligent space, which is based on heterogeneous multiple vision sensors and robots mounted with an infrared (IR) sensor. The intelligent space system is a system that exists in task space of robots, helps missions of the robots, and can self-control the robots in a particular situation. The conventional intelligent space consists of solely static cameras. However, the adoption of multiple heterogeneous sensors and an operation technique for the sensors are required in order to extend the ability of intelligent space. First, this dissertation presents the sub-systems for each sensor group in the proposed intelligent space. The vision sensors consist of two groups: static (fixed) cameras and dynamic (pan-tilt) cameras. Each sub-system can detect and track the robots. The sub-system using static cameras localize the robot within a high degree of accuracy. In this system, a handoff method is proposed using the world-to-pixel transformation in order to interwork among the multiple static cameras. The sub-system using dynamic cameras is designed to have various views without losing the robot in view. In this system, a handoff method is proposed using the predictive positions of the robot, relationship among cameras, and relationship between the robot and the camera in order to interwork among the multiple dynamic cameras. The robots system localizes itself using an IR sensor and IR tags. The IR sensor can localize the robot even if illumination of the environment is low. For robust tracking, a sensor selection method is proposed using the advantages of these sensors under environmental change of the task space. For the selection method, we define interface protocol among the sub-systems, sensor priority, and selection criteria. The proposed method is adequate for a real-time system, which has a low computational cost than sensor fusion methods. Performance of each sensor group is verified through various experiments. In addition, multi-sensor operation using the proposed sensor selection method is experimentally verified in the environment with an occlusion and low-illumination setting.Abstracts i Contents iii List of Figures vii List of Tables xv Chapter 1 Introduction 1 1.1 Background and Motivation 1 1.2 Related Work 4 1.3 Contributions 7 1.4 Organization 10 Chapter 2 Overview of Intelligent Space 11 2.1 Original Concept of Intelligent Space 11 2.2 Related Research 13 2.3 Problem Statement and Objective 16 Chpater 3 Architecture of a Proposed Intelligent Space 18 3.1 Hardware Architecture 19 3.2.1 Metallic Structure 20 3.2.2 Static Cameras 22 3.2.3 Dynamic Cameras 24 3.2.4 Infrared (IR) Camera and Passive IR Tags 27 3.2.5 Mobile Robots 28 3.2 Software Architecture 31 Chpater 4 Localization and Tracking of Mobile Robots in a Proposed Intelligent Space 36 4.1 Localization and Tracking with an IR Sensor Mounted on Robots 36 4.1.1 Deployment of IR Tags 36 4.1.2 Localization and Tracking Using an IR Sensor 38 4.2 Localization and Tracking with Multiple Dynamic Cameras 41 4.2.1 Localization and Tracking based on the Geometry between a Robot and a Single Dynamic Camera 41 4.2.2 Proposed Predictive Handoff among Dynamic Cameras 45 4.3 Localization and Tracking with Multiple Static Cameras 53 4.3.1 Preprocess for Static Cameras 53 4.3.2 Marker-based Localization and Tracking of Multiple Robots 58 4.3.3 Proposed Reprojection-based Handoff among Static Cameras 67 Chpater 5 Operation with Heterogeneous Sensor Groups 72 5.1 Interface Protocol among Sensor Groups 72 5.2 Sensor Selection for an Operation Using Heterogeneous Sensors 84 5.3 Proposed Operation with Static Cameras and Dynamic cameras 87 5.4 Proposed Operation with the iSpace and Robots 90 Chapter 6 Experimental Results 94 6.1 Experimental Setup 94 6.2 Experimental Results of Localization 95 6.2.1 Results using Static Cameras and Dynamic Cameras 95 6.2.2 Results using the IR Sensor 102 6.3 Experimental Results of Tracking 104 6.3.1 Results using Static and Dynamic Cameras 104 6.3.2 Results using the IR Sensor 108 6.4 Experimental Results using Heterogeneous Sensors 111 6.4.1 Results in Environment with Occlusion 111 6.4.2 Results in Low-illumination Environment 115 6.5 Discussion 118 Chapter 7 Conclusions 120 Bibliography 125Docto

Infrared ranging in multipath environments for indoor localization of mobile targets

Esta tesis aborda el problema de la medida de diferencias de distancia mediante señales ópticas afectadas por multicamino, aplicada a la localización de agentes móviles en espacios interiores. Los avances en robótica, entornos inteligentes y vehículos autónomos han creado un campo de aplicación específico para la localización en interiores, cuyos requerimientos de precisión (en el rango de los cm) son muy superiores a los demandados por las aplicaciones de localización orientadas a personas, en cuyo contexto se han desarrollado la mayor parte de las alternativas tecnológicas. La investigación con métodos de geometría proyectiva basados en cámaras y de multilateración basados en medida de distancia con señales de radiofrecuencia de banda ancha, de ultrasonido y ópticas han demostrado un rendimiento potencial adecuado para cubrir estos requerimientos. Sin embargo, todas estas alternativas, aún en fase de investigación, presentan dificultades que limitan su aplicación práctica. En el caso de los sistemas ópticos, escasamente estudiados en este contexto, los trabajos previos se han basado en medidas de diferencia de fase de llegada de señales infrarrojas moduladas sinusoidalmente en intensidad. Una infraestructura centralizada computa medidas diferenciales, entre receptores fijos, de la señal emitida desde el móvil a posicionar, y calcula la posición del móvil mediante trilateración hiperbólica a partir de éstas. Estas investigaciones demostraron que se pueden alcanzar precisiones de pocos centímetros; sin embargo, las interferencias por multicamino debidas a la reflexión de la señal óptica en superficies del entorno pueden degradar esta precisión hasta las decenas de centímetros dependiendo de las características del espacio. Así pues, el efecto del multicamino es actualmente la principal fuente de error en esta tecnología, y por tanto, la principal barrera a superar para su implementación en situaciones reales. En esta tesis se propone y analiza un sistema de medida con señales ópticas que permite obtener estimaciones de diferencias de distancia precisas reduciendo el efecto crítico del multicamino. El sistema propuesto introduce una modulación con secuencias de ruido pseudoaleatorio sobre la modulación sinusoidal típicamente usada para medida de fase por onda continua, y aprovecha las propiedades de ensanchamiento en frecuencia de estas secuencias para reducir el efecto del multicamino. El sistema, que realiza una doble estimación de tiempo y fase de llegada, está compuesto por una etapa de sincronización que posibilita la demodulación parcialmente coherente de la señal recibida, seguida de un medidor diferencial de fase sobre las componentes desensanchadas tras la demodulación. Las condiciones de multicamino óptico típicas en espacios interiores, con una componente de camino directo claramente dominante, permiten que el proceso de demodulación recupere más potencia del camino directo que del resto de contribuciones, reduciendo el efecto del multicamino en la estimación final. Los resultados obtenidos demuestran que la aplicación del método propuesto permitiría realizar posicionamiento a partir de señales ópticas con el rendimiento adecuando para aplicaciones de robótica y guiado de vehículos en espacios interiores; además, el progresivo aumento de la potencia y el ancho de banda de los dispositivos optoelectrónicos disponibles permite esperar un incremento considerable de las prestaciones de la propuesta en los próximos años

Segmentación y posicionamiento 3D de robots móviles en espacios inteligentes mediante redes de cámaras fijas

La presente tesis doctoral surge con el objetivo de realizar contribuciones para la segmentación, identificación y posicionamiento 3D de múltiples robots móviles. Para ello se utiliza un conjunto de cámaras calibradas y sincronizadas entre sí, que se encuentran ubicadas en posiciones fijas del espacio en que se mueven los robots (espacio inteligente). No se contará con ningún conocimiento a priori de la estructura de los robots móviles ni marcas artificiales a bordo de los mismos. Tanto para la segmentación de movimiento como para la estimación de la posición 3D de los robots móviles se propone una solución basada en la minimización de una función objetivo, que incorpora información de todas las cámaras disponibles en el espacio inteligente. Esta función objetivo depende de tres grupos de variables: los contornos que definen la segmentación sobre el plano imagen, los parámetros de movimiento 3D (componentes de la velocidad lineal y angular en el sistema de referencia global) y profundidad de cada punto de la escena al plano imagen. Debido a que la función objetivo depende de tres grupos de variables, para su minimización se emplea un algoritmo greedy, iterativo, entre etapas. En cada una de estas etapas dos de los grupos de variables se suponen conocidos, y se resuelve la ecuación para obtener el restante. De forma previa a la minimización se realiza la inicialización tanto de las curvas que definen los contornos de la segmentación como de la profundidad de cada punto perteneciente a los robots. Además se requiere la estimación del número de robots presentes en la escena. Partiendo de que las cámaras se encuentran en posiciones fijas del espacio inteligente, la inicialización de las curvas se lleva a cabo comparando cada imagen de entrada con un modelo de fondo obtenido previamente. Tanto para el modelado de fondo, como para la comparación de las imágenes de entrada con el mismo se emplea el Análisis de Componentes Principales Generalizado (GPCA). Respecto a la profundidad se emplea Visual Hull 3D (VH3D) para relacionar la información de todas las cámaras disponibles, obteniendo un contorno aproximado de los robots móviles en 3D. Esta reconstrucción de los robots proporciona una buena aproximación de la profundidad inicial de todos los puntos pertenecientes a los robots. Por otro lado, el uso de una versión extendida de la técnica de clasificación k-medias permite obtener una estimación del número de robots presentes en la escena. Tras la segmentación de movimiento y la estimación de la posición 3D de todos los objetos móviles presentes en la escena, se procede a la identificación de los robots móviles. Esta identificación es posible debido a que los robots móviles son agentes controlados por el espacio inteligente, de forma que se cuenta con información acerca de las medidas de los sensores odométricos a bordo de los mismos. Para el seguimiento se propone el uso de un filtro de partículas extendido con proceso de clasificación (XPFCP). La elección de este estimador se debe a que, dado su carácter multimodal, permite el seguimiento de un número variable de elementos (robots móviles) empleando para ello un único estimador, sin necesidad de incrementar el vector de estado. Los resultados obtenidos a la salido del XPFCP son una buena estimación de la posición de los robots móviles en un instante posterior, por lo que esta información se realimenta a la etapa de inicialización de variables, permitiendo reducir el tiempo de procesamiento consumido por la misma. Las diferentes soluciones propuestas a lo largo de la tesis han sido validadas de forma experimental utilizando para ello diferentes secuencias de imágenes (con presencia de diferentes robots, personas, diversos objetos, cambios de iluminación, etc.) adquiridas en el espacio inteligente del Departamento de Electrónica de la Universidad de Alcalá (ISPACE-UAH)