147 research outputs found
Observability-aware Self-Calibration of Visual and Inertial Sensors for Ego-Motion Estimation
External effects such as shocks and temperature variations affect the
calibration of visual-inertial sensor systems and thus they cannot fully rely
on factory calibrations. Re-calibrations performed on short user-collected
datasets might yield poor performance since the observability of certain
parameters is highly dependent on the motion. Additionally, on
resource-constrained systems (e.g mobile phones), full-batch approaches over
longer sessions quickly become prohibitively expensive.
In this paper, we approach the self-calibration problem by introducing
information theoretic metrics to assess the information content of trajectory
segments, thus allowing to select the most informative parts from a dataset for
calibration purposes. With this approach, we are able to build compact
calibration datasets either: (a) by selecting segments from a long session with
limited exciting motion or (b) from multiple short sessions where a single
sessions does not necessarily excite all modes sufficiently. Real-world
experiments in four different environments show that the proposed method
achieves comparable performance to a batch calibration approach, yet, at a
constant computational complexity which is independent of the duration of the
session
Visual-inertial self-calibration on informative motion segments
Environmental conditions and external effects, such as shocks, have a
significant impact on the calibration parameters of visual-inertial sensor
systems. Thus long-term operation of these systems cannot fully rely on factory
calibration. Since the observability of certain parameters is highly dependent
on the motion of the device, using short data segments at device initialization
may yield poor results. When such systems are additionally subject to energy
constraints, it is also infeasible to use full-batch approaches on a big
dataset and careful selection of the data is of high importance. In this paper,
we present a novel approach for resource efficient self-calibration of
visual-inertial sensor systems. This is achieved by casting the calibration as
a segment-based optimization problem that can be run on a small subset of
informative segments. Consequently, the computational burden is limited as only
a predefined number of segments is used. We also propose an efficient
information-theoretic selection to identify such informative motion segments.
In evaluations on a challenging dataset, we show our approach to significantly
outperform state-of-the-art in terms of computational burden while maintaining
a comparable accuracy
Observability-aware online multi-lidar extrinsic calibration
Accurate and robust extrinsic calibration is necessary for deploying
autonomous systems which need multiple sensors for perception. In this paper,
we present a robust system for real-time extrinsic calibration of multiple
lidars in vehicle base frame without the need for any fiducial markers or
features. We base our approach on matching absolute GNSS and estimated lidar
poses in real-time. Comparing rotation components allows us to improve the
robustness of the solution than traditional least-square approach comparing
translation components only. Additionally, instead of comparing all
corresponding poses, we select poses comprising maximum mutual information
based on our novel observability criteria. This allows us to identify a subset
of the poses helpful for real-time calibration. We also provide stopping
criteria for ensuring calibration completion. To validate our approach
extensive tests were carried out on data collected using Scania test vehicles
(7 sequences for a total of ~ 6.5 Km). The results presented in this paper show
that our approach is able to accurately determine the extrinsic calibration for
various combinations of sensor setups.Comment: For associated video file, see https://youtu.be/aMWvWozBdr
Precise and Robust Visual SLAM with Inertial Sensors and Deep Learning.
Dotar a los robots con el sentido de la percepción destaca como el componente más importante para conseguir máquinas completamente autónomas. Una vez que las máquinas sean capaces de percibir el mundo, podrán interactuar con él. A este respecto, la localización y la reconstrucción de mapas de manera simultánea, SLAM (por sus siglas en inglés) comprende todas las técnicas que permiten a los robots estimar su posición y reconstruir el mapa de su entorno al mismo tiempo, usando únicamente el conjunto de sensores a bordo. El SLAM constituye el elemento clave para la percepción de las máquinas, estando ya presente en diferentes tecnologÃas y aplicaciones como la conducción autónoma, la realidad virtual y aumentada o los robots de servicio. Incrementar la robustez del SLAM expandirÃa su uso y aplicación, haciendo las máquinas más seguras y requiriendo una menor intervención humana.En esta tesis hemos combinado sensores inerciales (IMU) y visuales para incrementar la robustez del SLAM ante movimientos rápidos, oclusiones breves o entornos con poca textura. Primero hemos propuesto dos técnicas rápidas para la inicialización del sensor inercial, con un bajo error de escala. Estas han permitido empezar a usar la IMU tan pronto como 2 segundos después de lanzar el sistema. Una de estas inicializaciones ha sido integrada en un nuevo sistema de SLAM visual inercial, acuñado como ORB-SLAM3, el cual representa la mayor contribución de esta tesis. Este es el sistema de SLAM visual-inercial de código abierto más completo hasta la fecha, que funciona con cámaras monoculares o estéreo, estenopeicas o de ojo de pez, y con capacidades multimapa. ORB-SLAM3 se basa en una formulación de Máximo a Posteriori, tanto en la inicialización como en el refinamiento y el ajuste de haces visual-inercial. También explota la asociación de datos en el corto, medio y largo plazo. Todo esto hace que ORB-SLAM3 sea el sistema SLAM visual-inercial más preciso, como asà demuestran nuestros resultados en experimentos públicos.Además, hemos explorado la aplicación de técnicas de aprendizaje profundo para mejorar la robustez del SLAM. En este aspecto, primero hemos propuesto DynaSLAM II, un sistema SLAM estéreo para entornos dinámicos. Los objetos dinámicos son segmentados mediante una red neuronal, y sus puntos y medidas son incluidas eficientemente en la optimización de ajuste de haces. Esto permite estimar y hacer seguimiento de los objetos en movimiento, al mismo tiempo que se mejora la estimación de la trayectoria de la cámara. En segundo lugar, hemos desarrollado un SLAM monocular y directo basado en predicciones de profundidad a través de redes neuronales. Optimizamos de manera conjunta tanto los residuos de predicción de profundidad como los fotométricos de distintas vistas, lo que da lugar a un sistema monocular capaz de estimar la escala. No sufre el problema de deriva de escala, siendo más robusto y varias veces más preciso que los sistemas monoculares clásicos.<br /
IMU-based Online Multi-lidar Calibration
Modern autonomous systems typically use several sensors for perception. For
best performance, accurate and reliable extrinsic calibration is necessary. In
this research, we propose a reliable technique for the extrinsic calibration of
several lidars on a vehicle without the need for odometry estimation or
fiducial markers. First, our method generates an initial guess of the
extrinsics by matching the raw signals of IMUs co-located with each lidar. This
initial guess is then used in ICP and point cloud feature matching which
refines and verifies this estimate. Furthermore, we can use observability
criteria to choose a subset of the IMU measurements that have the highest
mutual information -- rather than comparing all the readings. We have
successfully validated our methodology using data gathered from Scania test
vehicles.Comment: For associated video, see https://youtu.be/HJ0CBWTFOh
- …