On the Development of a Generic Multi-Sensor Fusion Framework for Robust Odometry Estimation

In this work we review the design choices, the mathematical and software engineering techniques employed in the development of the ROAMFREE sensor fusion library, a general, open-source framework for pose tracking and sensor parameter self-calibration in mobile robotics. In ROAMFREE, a comprehensive logical sensor library allows to abstract from the actual sensor hardware and processing while preserving model accuracy thanks to a rich set of calibration parameters, such as biases, gains, distortion matrices and geometric placement dimensions. The modular formulation of the sensor fusion problem, which is based on state-of-the-art factor graph inference techniques, allows to handle arbitrary number of multi-rate sensors and to adapt to virtually any kind of mobile robot platform, such as Ackerman steering vehicles, quadrotor unmanned aerial vehicles, omni-directional mobile robots. Different solvers are available to target high-rate online pose tracking tasks and offline accurate trajectory smoothing and parameter calibration. The modularity, versatility and out-of-the-box functioning of the resulting framework came at the cost of an increased complexity of the software architecture, with respect to an ad-hoc implementation of a platform dependent sensor fusion algorithm, and required careful design of abstraction layers and decoupling interfaces between solvers, state variables representations and sensor error models. However, we review how a high level, clean, C++/Python API, as long as ROS interface nodes, hide the complexity of sensor fusion tasks to the end user, making ROAMFREE an ideal choice for new, and existing, mobile robot projects

A Comprehensive Introduction of Visual-Inertial Navigation

In this article, a tutorial introduction to visual-inertial navigation(VIN) is presented. Visual and inertial perception are two complementary sensing modalities. Cameras and inertial measurement units (IMU) are the corresponding sensors for these two modalities. The low cost and light weight of camera-IMU sensor combinations make them ubiquitous in robotic navigation. Visual-inertial Navigation is a state estimation problem, that estimates the ego-motion and local environment of the sensor platform. This paper presents visual-inertial navigation in the classical state estimation framework, first illustrating the estimation problem in terms of state variables and system models, including related quantities representations (Parameterizations), IMU dynamic and camera measurement models, and corresponding general probabilistic graphical models (Factor Graph). Secondly, we investigate the existing model-based estimation methodologies, these involve filter-based and optimization-based frameworks and related on-manifold operations. We also discuss the calibration of some relevant parameters, also initialization of state of interest in optimization-based frameworks. Then the evaluation and improvement of VIN in terms of accuracy, efficiency, and robustness are discussed. Finally, we briefly mention the recent development of learning-based methods that may become alternatives to traditional model-based methods.Comment: 35 pages, 10 figure

Robust 3D IMU-LIDAR Calibration and Multi Sensor Probabilistic State Estimation

Autonomous robots are highly complex systems. In order to operate in dynamic environments, adaptability in their decision-making algorithms is a must. Thus, the internal and external information that robots obtain from sensors is critical to re-evaluate their decisions in real time. Accuracy is key in this endeavor, both from the hardware side and the modeling point of view. In order to guarantee the highest performance, sensors need to be correctly calibrated. To this end, some parameters are tuned so that the particular realization of a sensor best matches a generalized mathematical model. This step grows in complexity with the integration of multiple sensors, which is generally a requirement in order to cope with the dynamic nature of real world applications. This project aims to deal with the calibration of an inertial measurement unit, or IMU, and a Light Detection and Ranging device, or LiDAR. An offline batch optimization procedure is proposed to optimally estimate the intrinsic and extrinsic parameters of the model. Then, an online state estimation module that makes use of the aforementioned parameters and the fusion of LiDAR-inertial data for local navigation is proposed. Additionally, it incorporates real time corrections to account for the time-varying nature of the model, essential to deal with exposure to continued operation and wear and tear. Keywords: sensor fusion, multi-sensor calibration, factor graphs, batch optimization, Gaussian Processes, state estimation, LiDAR-inertial odometry, Error State Kalman Filter, Normal Distributions Transform

Towards Visual Localization, Mapping and Moving Objects Tracking by a Mobile Robot: a Geometric and Probabilistic Approach

Dans cette thèse, nous résolvons le problème de reconstruire simultanément une représentation de la géométrie du monde, de la trajectoire de l'observateur, et de la trajectoire des objets mobiles, à l'aide de la vision. Nous divisons le problème en trois étapes : D'abord, nous donnons une solution au problème de la cartographie et localisation simultanées pour la vision monoculaire qui fonctionne dans les situations les moins bien conditionnées géométriquement. Ensuite, nous incorporons l'observabilité 3D instantanée en dupliquant le matériel de vision avec traitement monoculaire. Ceci élimine les inconvénients inhérents aux systèmes stéréo classiques. Nous ajoutons enfin la détection et suivi des objets mobiles proches en nous servant de cette observabilité 3D. Nous choisissons une représentation éparse et ponctuelle du monde et ses objets. La charge calculatoire des algorithmes de perception est allégée en focalisant activement l'attention aux régions de l'image avec plus d'intérêt. ABSTRACT : In this thesis we give new means for a machine to understand complex and dynamic visual scenes in real time. In particular, we solve the problem of simultaneously reconstructing a certain representation of the world's geometry, the observer's trajectory, and the moving objects' structures and trajectories, with the aid of vision exteroceptive sensors. We proceeded by dividing the problem into three main steps: First, we give a solution to the Simultaneous Localization And Mapping problem (SLAM) for monocular vision that is able to adequately perform in the most ill-conditioned situations: those where the observer approaches the scene in straight line. Second, we incorporate full 3D instantaneous observability by duplicating vision hardware with monocular algorithms. This permits us to avoid some of the inherent drawbacks of classic stereo systems, notably their limited range of 3D observability and the necessity of frequent mechanical calibration. Third, we add detection and tracking of moving objects by making use of this full 3D observability, whose necessity we judge almost inevitable. We choose a sparse, punctual representation of both the world and the moving objects in order to alleviate the computational payload of the image processing algorithms, which are required to extract the necessary geometrical information out of the images. This alleviation is additionally supported by active feature detection and search mechanisms which focus the attention to those image regions with the highest interest. This focusing is achieved by an extensive exploitation of the current knowledge available on the system (all the mapped information), something that we finally highlight to be the ultimate key to success

Liikepohjainen robotin moniaistijärjestelmän ekstrinsisten parametrien kalibrointi

This work presents an extrinsic parameter calibration of two Light Detection And Ranging (LiDAR) sensors fitted in a mobile robot platform. The LiDARs do not see each other, and are connected to separate computers. The calibration method is motion-based, targetless, data driven and requires no a priori information about the system. The motivation of the work comes from the need of a robust and accurate method for extrinsic parameter calibration, that is not dependent on specific calibration location, calibration target, or any a priori information about the system itself. This makes the calibration method usable in situations, where the system to be calibrated cannot easily be moved to a specific calibration location, or the calibration targets are infeasible to move in the sight of the sensors. The initial guesses for the parameters can be hard to obtain if the system is large, or the sensors hard to reach. The method described in this work supports multimodal sensors, and is not restricted to using LiDAR sensors. The extrinsic parameters of the LiDARs sensors are estimated in relation to the robot’s base link. First, the base link trajectory is estimated using an extended Kalman filter based algorithm that uses an Real-Time Kinematic (RTK) GNSS, an Inertial Measurement Unit (IMU) and wheel encoders. Second, the LiDAR trajectories are estimated using a normal distributions transform (NDT)-based registration approach. The time offset between the two computers is estimated from the estimated rotational magnitudes, and outliers are filtered from the data. Finally, the data are sampled to provide pose pairs, from which the extrinsic parameters are estimated using a cascading optimization, where a genetic algorithm optimizes the initial values of a gradient descent algorithm, and uses the output of the gradient descent algorithm as its cost function. The gradient descent algorithm optimizes the extrinsic parameters using the difference of the changes of the pose estimates as its cost function. The estimation accuracy is comparable with other motion-based calibration methods. The rotation parameter estimates are accurate, whereas the translation parameter estimates are coarse. This problem is solved by using the measured values for the translation parameters. The results are found to be roughly in line with the state-of-the-art motion-based calibration methods.Työssä kalibroidaan kahden mobiilirobottiin asennetun Light Detection And Ranging (LiDAR)-sensorin ulkoiset parametrit. Sensorit eivät näe toisiaan, ja ne ovat kytketty erillisiin tietokoneisiin. Kuvailtu kalibraatiometodi on liikepohjainen, kalibraatiokohteeton, datapohjainen, eikä vaadi a priori -tietoa järjestelmästä. Työ tehtiin, sillä tarkkaa ja robustia kalibraatiometodia, joka ei ole riippuvainen kalibraatioympäristöstä, kalibraatiokohteesta, taikka a priori -tiedosta, ei ole helposti saatavilla. Tällainen kalibraatiomenetelmä on erityisen käyttökelpoinen tilanteissa, joissa kalibroitavaa järjestelmää on vaikea liikuttaa kalibraatiota varten luotuun ympäristöön, tai jos kalibraatiokohteen liikuttaminen sensoreiden näkökentässä on vaikeaa tai mahdotonta. Myös a priori -tiedon, kuten alkuarvausten, saaminen voi olla vaikeaa tilanteissa, joissa kalibroitava järjestelmä on suuri, tai jos sensorit ovat vaikeasti saavutettavissa. Työssä kuvailtu metodi toimii multimodaalisilla sensoreilla, eikä ole ainoastaan käyttökelpoinen LiDAReilla. LiDARien ulkoiset parametrit estimoidaan suhteessa robotin keskipisteeseen. Robotin keskipisteen liikerata estimoidaan käyttäen algoritmia, joka perustuu laajennettuun Kalmansuotimeen. Kalmansuodin yhdistää dataa Real-Time Kinematic (RTK) GNSS -vastaanottimesta, kiihtyvyysanturista sekä robotin pyörien enkoodereista. LiDARien liikeradat estimoidaan normal distributions transform (NDT) -pohjaista rekisteröintimenetelmää käyttäen. Aikaviive kahden tietokoneen välillä estimoidaan vertailemalla estimoitujen liikeratojen rotaatioiden suuruuksia. Dataa suodatetaan poistaen siitä mittausvirheitä ja kohinaa. Lopuksi datasta valikoidaan asentopareja, joista ulkoiset parametrit estimoidaan käyttäen sisäkkäistä optimointia, jossa geneettinen algoritmi optimoi gradienttimenetelmän alkuarvoja, käyttäen gradienttimenetelmän lopputulosta kustannusfunktionaan. Gradienttimenetelmä minimoi ulkoisten parametrien estimaattien virhettä käyttäen liikeratojen muutosten eroa kustannusfunktionaan. Parametrien estimaattien tarkkuus on vertailukelpoista muiden liikepohjaisten kalibraatiomenetelmien kanssa. Rotaatioparametrien estimaatit ovat tarkkoja, kun taas translaatioparametrien estimaatit ovat suuntaa-antavia. Tarkkuusongelma ratkaistaan käyttämällä translaatioparametreinä niiden mitattuja arvoja. Työn tuloksien tarkkuuden todetaan olevan karkeasti muiden modernien liikepohjaisten kalibraatiomenetelmien tasolla

LiDAR based multi-sensor fusion for localization, mapping, and tracking

Viimeisen vuosikymmenen aikana täysin itseohjautuvien ajoneuvojen kehitys on herättänyt laajaa kiinnostusta niin teollisuudessa kuin tiedemaailmassakin, mikä on merkittävästi edistänyt tilannetietoisuuden ja anturiteknologian kehitystä. Erityisesti LiDAR-anturit ovat nousseet keskeiseen rooliin monissa havainnointijärjestelmissä niiden tarjoaman pitkän kantaman havaintokyvyn, tarkan 3D-etäisyystiedon ja luotettavan suorituskyvyn ansiosta. LiDAR-teknologian kehittyminen on mahdollistanut entistä luotettavampien ja kustannustehokkaampien antureiden käytön, mikä puolestaan on osoittanut suurta potentiaalia parantaa laajasti käytettyjen kuluttajatuotteiden tilannetietoisuutta. Uusien LiDAR-antureiden hyödyntäminen tarjoaa tutkijoille monipuolisen valikoiman tehokkaita työkaluja, joiden avulla voidaan ratkaista paikannuksen, kartoituksen ja seurannan haasteita nykyisissä havaintojärjestelmissä. Tässä väitöskirjassa tutkitaan LiDAR-pohjaisia sensorifuusioalgoritmeja. Tutkimuksen pääpaino on tiheässä kartoituksessa ja globaalissa paikan-nuksessa erilaisten LiDAR-anturien avulla. Tutkimuksessa luodaan kattava tietokanta uusien LiDAR-, IMU- ja kamera-antureiden tuottamasta datasta. Tietokanta on välttämätön kehittyneiden anturifuusioalgoritmien ja yleiskäyttöisten paikannus- ja kartoitusalgoritmien kehittämiseksi. Tämän lisäksi väitöskirjassa esitellään innovatiivisia menetelmiä globaaliin paikannukseen erilaisissa ympäristöissä. Esitellyt menetelmät kartoituksen tarkkuuden ja tilannetietoisuuden parantamiseksi ovat muun muassa modulaarinen monen LiDAR-anturin odometria ja kartoitus, toimintavarma multimodaalinen LiDAR-inertiamittau-sjärjestelmä ja tiheä kartoituskehys. Tutkimus integroi myös kiinteät LiDAR -anturit kamerapohjaisiin syväoppimismenetelmiin kohteiden seurantaa varten parantaen kartoituksen tarkkuutta dynaamisissa ympäristöissä. Näiden edistysaskeleiden avulla autonomisten järjestelmien luotettavuutta ja tehokkuutta voidaan merkittävästi parantaa todellisissa käyttöympäristöissä. Väitöskirja alkaa esittelemällä innovatiiviset anturit ja tiedonkeruualustan. Tämän jälkeen esitellään avoin tietokanta, jonka avulla voidaan arvioida kehittyneitä paikannus- ja kartoitusalgoritmeja hyödyntäen ainutlaatuista perustotuuden kehittämismenetelmää. Työssä käsitellään myös kahta haastavaa paikannusympäristöä: metsä- ja kaupunkiympäristöä. Lisäksi tarkastellaan kohteen seurantatehtäviä sekä kameraettä LiDAR-tekniikoilla ihmisten ja pienten droonien seurannassa. ---------------------- The development of fully autonomous driving vehicles has become a key focus for both industry and academia over the past decade, fostering significant progress in situational awareness abilities and sensor technology. Among various types of sensors, the LiDAR sensor has emerged as a pivotal component in many perception systems due to its long-range detection capabilities, precise 3D range information, and reliable performance in diverse environments. With advancements in LiDAR technology, more reliable and cost-effective sensors have shown great potential for improving situational awareness abilities in widely used consumer products. By leveraging these novel LiDAR sensors, researchers now have a diverse set of powerful tools to effectively tackle the persistent challenges in localization, mapping, and tracking within existing perception systems. This thesis explores LiDAR-based sensor fusion algorithms to address perception challenges in autonomous systems, with a primary focus on dense mapping and global localization using diverse LiDAR sensors. The research involves the integration of novel LiDARs, IMU, and camera sensors to create a comprehensive dataset essential for developing advanced sensor fusion and general-purpose localization and mapping algorithms. Innovative methodologies for global localization across varied environments are introduced. These methodologies include a robust multi-modal LiDAR inertial odometry and a dense mapping framework, which enhance mapping precision and situational awareness. The study also integrates solid-state LiDARs with camera-based deep-learning techniques for object tracking, refining mapping accuracy in dynamic environments. These advancements significantly enhance the reliability and efficiency of autonomous systems in real-world scenarios. The thesis commences with an introduction to innovative sensors and a data collection platform. It proceeds by presenting an open-source dataset designed for the evaluation of advanced SLAM algorithms, utilizing a unique ground-truth generation method. Subsequently, the study tackles two localization challenges in forest and urban environments. Furthermore, it highlights the MM-LOAM dense mapping framework. Additionally, the research explores object-tracking tasks, employing both camera and LiDAR technologies for human and micro UAV tracking