On the Calibration of Active Binocular and RGBD Vision Systems for Dual-Arm Robots

This paper describes a camera and hand-eye calibration methodology for integrating an active binocular robot head within a dual-arm robot. For this purpose, we derive the forward kinematic model of our active robot head and describe our methodology for calibrating and integrating our robot head. This rigid calibration provides a closedform hand-to-eye solution. We then present an approach for updating dynamically camera external parameters for optimal 3D reconstruction that are the foundation for robotic tasks such as grasping and manipulating rigid and deformable objects. We show from experimental results that our robot head achieves an overall sub millimetre accuracy of less than 0.3 millimetres while recovering the 3D structure of a scene. In addition, we report a comparative study between current RGBD cameras and our active stereo head within two dual-arm robotic testbeds that demonstrates the accuracy and portability of our proposed methodology

CALIBRATION OF 3D KINEMATIC SYSTEMS USING 2D CALIBRATION PLATE

3D kinematic systems based on the images acquired by cameras are one of the most popular tools for a human motion analyses. Prior to the actual reconstruction a camera calibration procedure is needed. Originally 3D calibration cages were utilized for that purpose, but nowadays a vast majority of commercial systems rely on the wand calibration. When the highest degree of accuracy is requested, than using 3D calibration cage is often recommended over the wand calibration. On the other hand, from a user point of view a wand calibration is generally regarded as the most user friendly. A substantial ‘intermediate’ solution would be using 2D calibration plate. Interestingly, there could be hardly found any trace that commercial 3D kinematic systems ever relied on 2D calibration plate. The purpose of this study was to investigate quantitative and qualitative aspects of calibrating the 3D kinematic system using 2D calibration plate

Нейрокалибровка бинокулярной системы с существенной дисторсией

Показана применимость нейронных сетей в задаче калибровки стереопары с существенной дисторсией. Подтверждена устойчивость нейрокалибровки к зашумлению калибровочных данных. Проведено сравнение аналитических методов калибровки и различных методов нейрокалибровки, отличающихся количеством скрытых слоев, функцией активации, использованием препроцессора и количеством нейросетевых модулей. Получены оптимальные архитектуры нейронных сетей для задачи нейрокалибровки. Сформулированы практические рекомендации по процедуре нейрокалибровки бинокулярных систем. Разработан оригинальный программный комплекс на языке Matlab для генерирования синтетических данных и обработки результатов калибровки.Показано застосовність нейронних мереж до задачі калібрування стереопари з істотною дисторсією. Підтверджено стійкість нейрокалібрування до зашумлення калібрувальних даних. Проведено порівняння аналітичних методів калібрування та різних методів нейрокалібрування, що відрізняються кількістю прихованих шарів, функцією активації, використанням препроцесора та кількістю нейромережевих модулей. Отримано оптимальні архітектури нейронних мереж для задачі нейрокалібрування. Сформульовано практичні рекомендації щодо процедури нейрокалібрування бінокулярних систем. Розроблено оригінальний програмний комплекс на мові Matlab для генерації синтетичних даних та обробки результатів калібрування.Neural networks applicability to the task of essentially distorted stereopair calibration is demonstrated. Neurocalibration robustness to the noise in calibration data is justified. Analytical calibration methods are compared with different neurocalibration ones, which differ in number of hidden layers, activation function, preprocessor usage and number of neural modules. Optimal neural networks architectures for the task of neurocalibration are obtained. Practical recommendations for binocular systems calibration procedure are formulated. Original software complex in Matlab language is developed for synthetic data generation and calibration results processing

Нейрокалибровка стереопары

Рассмотрена задача калибровки стереопары при помощи нейронных сетей. Исследованы различные методы нейрокалибровки, отличающиеся количеством скрытых слоев, количеством нейросетевых модулей, препроцессингом входных данных, функцией активации и алгоритмом обучения. Разработана унифицированная методика нахождения оптимального количества нейронов в скрытых слоях и определено оптимальное количество нейронов в скрытых слоях для каждого из методов. Проведено сравнение методов нейрокалибровки между собой и с аналитическими методами калибровки на синтетических и реальных данных. Сформулированы практические рекомендации по процедуре нейрокалибровки стереопар со слабыми нелинейными искажениями.Розглянуто задачу калібровки стереопари за допомогою нейронних мереж. Досліджено різні методи нейрокалібрування, які відрізняються кількістю прихованих шарів, кількістю нейромережевих модулей, препроцесінгом вхідних даних, функцією активації та алгоритмом навчання. Розроблено уніфіковану методику знаходження оптимальної кількості нейронів у прихованих шарах та визначено оптимальну кількість нейронів у прихованих шарах для кожного з методів. Проведено порівняння методів нейрокалібровки між собою та з аналітичними методами калібровки на синтетичних та реальних даних. Сформульовано практичні рекомендації щодо процедури нейрокалібровки стереопар зі слабкими нелінійними спотвореннями.The task of stereopair calibration using neural networks is considered. Different methods of neurocalibration are investigated which differ in number of hidden layers, number of neural modules, input data preprocessing, activation function and learning algorithm. Unified procedure for finding optimal number of hidden neurons is developed. Optimal number of neurons in hidden layers is determined for each of the neurocalibration methods according to this procedure. Neurocalibraion methods are compared with analytical ones on synthetic and real data. Practical recommendations for neurocalibration of stereopairs with low distorsion are formulated

3D Reconstruction for Simultaneous Localisation and Mapping System (SLAM) in Robotics using Webcam Images

The purpose of this research is to study on 3D reconstruction using webcam images in indoor environment. The research is focused on computer vision and image processing for robotics. It aims to design a simple but efficient 3D reconstruction technique which could be used as part of the Simultaneous Localization and Mapping (SLAM) system in robotics and autonomous vehicles