Optimal Initialization Strategies for Range-Only Trajectory Estimation

Range-only (RO) pose estimation involves determining a robot's pose over time by measuring the distance between multiple devices on the robot, known as tags, and devices installed in the environment, known as anchors. The nonconvex nature of the range measurement model results in a cost function with possible local minima. In the absence of a good initialization, commonly used iterative solvers can get stuck in these local minima resulting in poor trajectory estimation accuracy. In this work, we propose convex relaxations to the original nonconvex problem based on semidefinite programs (SDPs). Specifically, we formulate computationally tractable SDP relaxations to obtain accurate initial pose and trajectory estimates for RO trajectory estimation under static and dynamic (i.e., constant-velocity motion) conditions. Through simulation and real experiments, we demonstrate that our proposed initialization strategies estimate the initial state accurately compared to iterative local solvers. Additionally, the proposed relaxations recover global minima under moderate range measurement noise levels

LOAM: Lidar Odometry and Mapping in Real-time

Abstract — We propose a real-time method for odometry and mapping using range measurements from a 2-axis lidar moving in 6-DOF. The problem is hard because the range measurements are received at different times, and errors in motion estimation can cause mis-registration of the resulting point cloud. To date, coherent 3D maps can be built by off-line batch methods, often using loop closure to correct for drift over time. Our method achieves both low-drift and low-computational complexity with-out the need for high accuracy ranging or inertial measurements. The key idea in obtaining this level of performance is the division of the complex problem of simultaneous localization and mapping, which seeks to optimize a large number of variables simultaneously, by two algorithms. One algorithm performs odometry at a high frequency but low fidelity to estimate velocity of the lidar. Another algorithm runs at a frequency of an order of magnitude lower for fine matching and registration of the point cloud. Combination of the two algorithms allows the method to map in real-time. The method has been evaluated by a large set of experiments as well as on the KITTI odometry benchmark. The results indicate that the method can achieve accuracy at the level of state of the art offline batch methods. I

Lidar-based scene understanding for autonomous driving using deep learning

With over 1.35 million fatalities related to traffic accidents worldwide, autonomous driving was foreseen at the beginning of this century as a feasible solution to improve security in our roads. Nevertheless, it is meant to disrupt our transportation paradigm, allowing to reduce congestion, pollution, and costs, while increasing the accessibility, efficiency, and reliability of the transportation for both people and goods. Although some advances have gradually been transferred into commercial vehicles in the way of Advanced Driving Assistance Systems (ADAS) such as adaptive cruise control, blind spot detection or automatic parking, however, the technology is far from mature. A full understanding of the scene is actually needed so that allowing the vehicles to be aware of the surroundings, knowing the existing elements of the scene, as well as their motion, intentions and interactions. In this PhD dissertation, we explore new approaches for understanding driving scenes from 3D LiDAR point clouds by using Deep Learning methods. To this end, in Part I we analyze the scene from a static perspective using independent frames to detect the neighboring vehicles. Next, in Part II we develop new ways for understanding the dynamics of the scene. Finally, in Part III we apply all the developed methods to accomplish higher level challenges such as segmenting moving obstacles while obtaining their rigid motion vector over the ground. More specifically, in Chapter 2 we develop a 3D vehicle detection pipeline based on a multi-branch deep-learning architecture and propose a Front (FR-V) and a Bird’s Eye view (BE-V) as 2D representations of the 3D point cloud to serve as input for training our models. Later on, in Chapter 3 we apply and further test this method on two real uses-cases, for pre-filtering moving obstacles while creating maps to better localize ourselves on subsequent days, as well as for vehicle tracking. From the dynamic perspective, in Chapter 4 we learn from the 3D point cloud a novel dynamic feature that resembles optical flow from RGB images. For that, we develop a new approach to leverage RGB optical flow as pseudo ground truth for training purposes but allowing the use of only 3D LiDAR data at inference time. Additionally, in Chapter 5 we explore the benefits of combining classification and regression learning problems to face the optical flow estimation task in a joint coarse-and-fine manner. Lastly, in Chapter 6 we gather the previous methods and demonstrate that with these independent tasks we can guide the learning of higher challenging problems such as segmentation and motion estimation of moving vehicles from our own moving perspective.Con más de 1,35 millones de muertes por accidentes de tráfico en el mundo, a principios de siglo se predijo que la conducción autónoma sería una solución viable para mejorar la seguridad en nuestras carreteras. Además la conducción autónoma está destinada a cambiar nuestros paradigmas de transporte, permitiendo reducir la congestión del tráfico, la contaminación y el coste, a la vez que aumentando la accesibilidad, la eficiencia y confiabilidad del transporte tanto de personas como de mercancías. Aunque algunos avances, como el control de crucero adaptativo, la detección de puntos ciegos o el estacionamiento automático, se han transferido gradualmente a vehículos comerciales en la forma de los Sistemas Avanzados de Asistencia a la Conducción (ADAS), la tecnología aún no ha alcanzado el suficiente grado de madurez. Se necesita una comprensión completa de la escena para que los vehículos puedan entender el entorno, detectando los elementos presentes, así como su movimiento, intenciones e interacciones. En la presente tesis doctoral, exploramos nuevos enfoques para comprender escenarios de conducción utilizando nubes de puntos en 3D capturadas con sensores LiDAR, para lo cual empleamos métodos de aprendizaje profundo. Con este fin, en la Parte I analizamos la escena desde una perspectiva estática para detectar vehículos. A continuación, en la Parte II, desarrollamos nuevas formas de entender las dinámicas del entorno. Finalmente, en la Parte III aplicamos los métodos previamente desarrollados para lograr desafíos de nivel superior, como segmentar obstáculos dinámicos a la vez que estimamos su vector de movimiento sobre el suelo. Específicamente, en el Capítulo 2 detectamos vehículos en 3D creando una arquitectura de aprendizaje profundo de dos ramas y proponemos una vista frontal (FR-V) y una vista de pájaro (BE-V) como representaciones 2D de la nube de puntos 3D que sirven como entrada para entrenar nuestros modelos. Más adelante, en el Capítulo 3 aplicamos y probamos aún más este método en dos casos de uso reales, tanto para filtrar obstáculos en movimiento previamente a la creación de mapas sobre los que poder localizarnos mejor en los días posteriores, como para el seguimiento de vehículos. Desde la perspectiva dinámica, en el Capítulo 4 aprendemos de la nube de puntos en 3D una característica dinámica novedosa que se asemeja al flujo óptico sobre imágenes RGB. Para ello, desarrollamos un nuevo enfoque que aprovecha el flujo óptico RGB como pseudo muestras reales para entrenamiento, usando solo information 3D durante la inferencia. Además, en el Capítulo 5 exploramos los beneficios de combinar los aprendizajes de problemas de clasificación y regresión para la tarea de estimación de flujo óptico de manera conjunta. Por último, en el Capítulo 6 reunimos los métodos anteriores y demostramos que con estas tareas independientes podemos guiar el aprendizaje de problemas de más alto nivel, como la segmentación y estimación del movimiento de vehículos desde nuestra propia perspectivaAmb més d’1,35 milions de morts per accidents de trànsit al món, a principis de segle es va predir que la conducció autònoma es convertiria en una solució viable per millorar la seguretat a les nostres carreteres. D’altra banda, la conducció autònoma està destinada a canviar els paradigmes del transport, fent possible així reduir la densitat del trànsit, la contaminació i el cost, alhora que augmentant l’accessibilitat, l’eficiència i la confiança del transport tant de persones com de mercaderies. Encara que alguns avenços, com el control de creuer adaptatiu, la detecció de punts cecs o l’estacionament automàtic, s’han transferit gradualment a vehicles comercials en forma de Sistemes Avançats d’Assistència a la Conducció (ADAS), la tecnologia encara no ha arribat a aconseguir el grau suficient de maduresa. És necessària, doncs, una total comprensió de l’escena de manera que els vehicles puguin entendre l’entorn, detectant els elements presents, així com el seu moviment, intencions i interaccions. A la present tesi doctoral, explorem nous enfocaments per tal de comprendre les diferents escenes de conducció utilitzant núvols de punts en 3D capturats amb sensors LiDAR, mitjançant l’ús de mètodes d’aprenentatge profund. Amb aquest objectiu, a la Part I analitzem l’escena des d’una perspectiva estàtica per a detectar vehicles. A continuació, a la Part II, desenvolupem noves formes d’entendre les dinàmiques de l’entorn. Finalment, a la Part III apliquem els mètodes prèviament desenvolupats per a aconseguir desafiaments d’un nivell superior, com, per exemple, segmentar obstacles dinàmics al mateix temps que estimem el seu vector de moviment respecte al terra. Concretament, al Capítol 2 detectem vehicles en 3D creant una arquitectura d’aprenentatge profund amb dues branques, i proposem una vista frontal (FR-V) i una vista d’ocell (BE-V) com a representacions 2D del núvol de punts 3D que serveixen com a punt de partida per entrenar els nostres models. Més endavant, al Capítol 3 apliquem i provem de nou aquest mètode en dos casos d’ús reals, tant per filtrar obstacles en moviment prèviament a la creació de mapes en els quals poder localitzar-nos millor en dies posteriors, com per dur a terme el seguiment de vehicles. Des de la perspectiva dinàmica, al Capítol 4 aprenem una nova característica dinàmica del núvol de punts en 3D que s’assembla al flux òptic sobre imatges RGB. Per a fer-ho, desenvolupem un nou enfocament que aprofita el flux òptic RGB com pseudo mostres reals per a entrenament, utilitzant només informació 3D durant la inferència. Després, al Capítol 5 explorem els beneficis que s’obtenen de combinar els aprenentatges de problemes de classificació i regressió per la tasca d’estimació de flux òptic de manera conjunta. Finalment, al Capítol 6 posem en comú els mètodes anteriors i demostrem que mitjançant aquests processos independents podem abordar l’aprenentatge de problemes més complexos, com la segmentació i estimació del moviment de vehicles des de la nostra pròpia perspectiva

Coordinació d’un eixam de drons per tasques de mapeig

Executar un sistema SLAM en interiors on no es pugui accedir al GPS i concretament coves i tubs de lava és un problema encara no resolt i aquest és el propòsit d’aquest treball. Els sistemes SLAM impliquen mapejar i establir l’odometria al mateix temps, tot sent fàcil avui dia fer el primer però ara per ara sense solució per al segon en aquests entorns. Al present TFG es dissenya un sistema en eixam d’UAV, reduït al mínim d’un Líder-Seguidor per simplificar i resoldre aquest problema. El primer aparell mitjançant un LIDAR i una Xarxa Neuronal establirà la ruta, tot mantenint una posició equidistant de les parets de la cova, i cap- turarà els punts que representen aquestes per fer el mapeig. Aquest primer aparell durà a popa una Creueta amb LEDs de quatre colors diferents als extrems que actuaran com a balisa per al segon. El Seguidor té com a missió establir l’odometria i farà els mateixos moviments que el Líder fa al moment t decalats en un temps ∆t tot capturant les imatges de les balises de la Creueta d’aquest amb la idea d’establir la posició que tenia al moment t. La integració de les posicions que es van recollint anirà establint l’odometria del sistema SLAM. Posteriorment s’integren les dades de Líder i Seguidor i això donarà un mapejat complert i acurat d’un entorn no explorat amb condicions de foscor extrema, on no funcionen els sistemes de posicionament normal ni els altímetres serveixen per res. Per afegir funcionalitats al sistema només caldrà incrementar l’eixam amb més unitats que segueixin als dos primers. S’han desenvolupat els algorismes que impliquen aquest sistema de Líder-Seguidor amb els mateixos moviments decalats en el temps, ara bé, donat que les funcions per enrutar de l’UAV Líder són abastament tractades a la literatura sobre el tema no s’ha dedicat temps a desenvolupar en detall la navegació del primer, per centrar l’atenció en el problema no resolt que representa establir l’odometria en base al segon UAV. La resolució del problema ha implicat crear una Base de Dades molt àmplia de les imatges que es prendrien de la Creueta amb LEDs des del segon dron amb els seus posicionaments relatius, dissenyar una Enginyeria de Característiques que permeti abordar computacionalment el següent pas, que és desenvolupar una Xarxa Neuronal de la que en resulti un model de previsions prou bo com per establir la posició exacte en XYZ i en els angles Pitch, Roll, Yaw del UAV 1 envers l’UAV 2. Establerta la posició relativa dels dos aparells en cada moment t, s’ha implementat un sistema de canvis de sistema de referència que referenciïn a la posició absoluta prenent l’origen en el punt de partida de l’eixam. Una vegada obtingut aquest posicionament en X,Y,Z és molt fàcil situar-ho ho en coordenades d’un mapa i afegir la tercera dimensió de la profunditat que s’ha assoli

公共空間における移動サービスの実現に向けた知能化移動プラットフォームの開発

本研究は，自律移動パーソナルヴィークルによる多様な移動サービス研究を行うための移動プラットフォーム開発に関するものである．現在，多くの研究機関で自律移動システムの研究が行われているが，それが送迎サービス等の実用的な移動サービスアプリケーションの研究開発まで至った例は多くない．これは，それらの研究で利用されている市販の移動プラットフォームや研究用プラットフォームでは，移動サービスアプリケーションの研究開発が容易でないことが要因の一つとなっている．また個々のパーソナルヴィークルのロボット化技術やナビゲーション機能の研究成果が共有できていない面が有り，移動サービス研究に耐えうる移動プラットフォームが構築できていないことも一つの要因であると考えられる．本研究では，上記の問題を解決するため，様々な移動サービスアプリケーション開発が行え，様々な移動サービスに関する研究成果を利用することが可能な仕組みを持ち，さらに基本的なナビゲーション機能を備える「知能化移動プラットフォーム」のシステム構成を文献調査や事例研究により明らかにした．またそれに基づき実際に知能化移動プラットフォームを構築し，その有用性を実証するとともにその構築方法についても明示した．第二章では，知能化移動プラットフォームに求められるシステム要件を設定し，関連研究・文献調査(829件)・「つくばチャレンジ」などの実証実験の事例観察からシステム要件を満たす知能化移動プラットフォームのシステム構成を明らかにした．第三章では，提案したシステム構成について，背景で述べた問題点を解決する評価指標を設定し，関連する研究事例や市販の移動プラットフォームと比較することで優位性を示した．第四章では，提案したシステム構成に基づき，使用場面に応じた二つの知能化移動プラットフォームを開発した．一つ目として屋外での移動サービスを想定し，所属研究室でこれまで開発されてきた走行性能が高い電動カートをベースとしたプラットフォーム開発を行った．基本ナビゲーション機能には当研究室での共同研究成果を搭載した．動作検証を学内及びつくばロボット特区で行い約1㎞以上の自律走行能力を有していることを確認し，提案したシステム構成が有効であることを確認した．二つ目として屋内外でシームレスな移動サービスを想定して，屋内における移動性能を重視した車椅子ベースの知能化移動プラットフォームを開発した．上記と同様のコンセプトで開発し学内において同様の動作検証を行いその自律走行能力を確認した．第五章では，開発した知能化移動プラットフォームを用いた移動サービスに関する研究成果（文献11件）に関して，設定したシステム要件を満たす実装がどのようにそれらの研究実績に繋がった考察を行い，設定したシステム要件と提案したシステム構成が有効であることを確認した．本研究の成果は，様々な移動サービス研究に用いることのできる移動プラットフォームのシステム要件を明らかにし，その構築に有効なシステム構成を示したこと，および実際に移動プラットフォームを開発し，その有用性を実際に示したことである．またその開発過程で述べたハードウェア及びソフトウェアのそれぞれに関する実装そのものも有効な知見として述べた．上記の成果は，多くの研究機関が移動サービス研究に従事するにあたり移動プラットフォーム開発の指針とすることができ，今後，移動サービス実現に向けて該当分野の研究がより推進されることが期待できる．電気通信大学201