Indirect Positioning of a 3D Point on a Soft Object Using RGB-D Visual Servoing and a Mass-Spring Model

This work was supported by the GentleMAN (299757) and the BIFROST (313870) projects funded by The Research Council of Norway.International audienceIn this paper, we present a complete pipeline for positioning a feature point of a soft object to a desired 3D position, by acting on a different manipulation point using a robotic manipulator. For that purpose, the analytic relation between the feature point displacement and the robot motion is derived using a coarse mass-spring model (MSM), while taking into consideration the propagation delay introduced by a MSM. From this modeling step, a novel closed-loop controller is designed for performing the positioning task. To get rid of the model approximations, the object is tracked in realtime using a RGB-D sensor, thus allowing to correct on-line any drift between the object and its model. Our model-based and vision-based controller is validated in real experiments for two different soft objects and the results show promising performance in terms of accuracy, efficiency and robustness

Asservissement visuel d’objets déformables à partir du modèle masse-ressort

Rigid object manipulation has long driven automation, while adapting to soft materials remains an open problem. This study focuses on deformable object shape control, utilizing the mass-spring model for developing analytical relations between object points displacements and manipulator motions. We derive a control law based on this relation for accurate real-time positioning of multiple object points in different experiments employing various soft objects, two robotic manipulators, and a RGB-D camera. We further provide two methods for soft object shape deformation, using low-dimensional feature vectors, leveraging Fourier descriptors or 3D moments, to parametrize the object surface. Various experiments affirm the efficacy of these parameterizations in shape control. We also elaborate on model creation, its parameter estimation, and deformable object tracking, bridging the gap between the model and real-world deformations.La manipulation d'objets rigides a depuis longtemps alimenté l'automatisation, tandis que l'adaptation aux matériaux souples reste un problème ouvert. Cette étude se concentre sur la commande de la forme d'objets déformables en utilisant le modèle masse-ressort (MSM) pour développer des relations analytiques entre les déplacements des points de l'objet et le mouvement des points manipulés. Nous dérivons une loi de commande basée sur cette relation pour positionner avec précision en temps réel plusieurs points de l'objet dans différentes expériences mettant en œuvre divers objets souples, deux manipulateurs robotiques et une caméra RGB-D. Nous proposons en outre deux méthodes de déformation de la forme des objets souples, en utilisant des vecteurs de caractéristiques de faible dimension, en exploitant les descripteurs de Fourier ou les moments 3D, pour paramétrer la surface de l'objet. Diverses expériences confirment l'efficacité de ces paramétrisations dans la commande de la forme. Nous détaillons également la création du modèle, l'estimation de ses paramètres et le suivi des objets déformables, comblant ainsi l'écart entre les déformations du modèle et celles du monde réel

Asservissement visuel d’objets déformables à partir du modèle masse-ressort

Rigid object manipulation has long driven automation, while adapting to soft materials remains an open problem. This study focuses on deformable object shape control, utilizing the mass-spring model for developing analytical relations between object points displacements and manipulator motions. We derive a control law based on this relation for accurate real-time positioning of multiple object points in different experiments employing various soft objects, two robotic manipulators, and a RGB-D camera. We further provide two methods for soft object shape deformation, using low-dimensional feature vectors, leveraging Fourier descriptors or 3D moments, to parametrize the object surface. Various experiments affirm the efficacy of these parameterizations in shape control. We also elaborate on model creation, its parameter estimation, and deformable object tracking, bridging the gap between the model and real-world deformations.La manipulation d'objets rigides a depuis longtemps alimenté l'automatisation, tandis que l'adaptation aux matériaux souples reste un problème ouvert. Cette étude se concentre sur la commande de la forme d'objets déformables en utilisant le modèle masse-ressort (MSM) pour développer des relations analytiques entre les déplacements des points de l'objet et le mouvement des points manipulés. Nous dérivons une loi de commande basée sur cette relation pour positionner avec précision en temps réel plusieurs points de l'objet dans différentes expériences mettant en œuvre divers objets souples, deux manipulateurs robotiques et une caméra RGB-D. Nous proposons en outre deux méthodes de déformation de la forme des objets souples, en utilisant des vecteurs de caractéristiques de faible dimension, en exploitant les descripteurs de Fourier ou les moments 3D, pour paramétrer la surface de l'objet. Diverses expériences confirment l'efficacité de ces paramétrisations dans la commande de la forme. Nous détaillons également la création du modèle, l'estimation de ses paramètres et le suivi des objets déformables, comblant ainsi l'écart entre les déformations du modèle et celles du monde réel

Asservissement visuel d’objets déformables à partir du modèle masse-ressort

Rigid object manipulation has long driven automation, while adapting to soft materials remains an open problem. This study focuses on deformable object shape control, utilizing the mass-spring model for developing analytical relations between object points displacements and manipulator motions. We derive a control law based on this relation for accurate real-time positioning of multiple object points in different experiments employing various soft objects, two robotic manipulators,control, compliant manipulation, physics-basedand a RGB-D camera. We further provide two methods for soft object shape deformation, using low-dimensional feature vectors, leveraging Fourier descriptors or 3D moments, to parametrize the object surface. Various experiments affirm the efficacy of these parameterizations in shape control. We also elaborate on model creation, its parameter estimation, and deformable object tracking, bridging the gap between the model and real-world deformations.La manipulation d’objets rigides a depuis longtemps alimenté l’automatisation, tandis que l’adaptation aux matériaux souples reste un problème ouvert. Cette étude se concentre sur la commande de la forme d’objets déformables en utilisant le modèle masse- ressort (MSM) pour développer des relations analytiques entre les déplacements des points de l’objet et le mouvement des points manipulés. Nous dérivons une loi de commande basée sur cette relation pour positionner avec précision en temps réel plusieurs points de l’objet dans différentes expériences mettant en œuvre divers objets souples, deux manipulateurs robotiques et une caméra RGB-D. Nous proposons en outre deux méthodes de déformation de la forme des objets souples, en utilisant des vecteurs de caractéristiques de faible dimension, en exploitant les descrip- teurs de Fourier ou les moments 3D, pour paramétrer la surface de l’objet. Diverses ex- périences confirment l’efficacité de ces para- métrisations dans la commande de la forme. Nous détaillons également la création du mo- dèle, l’estimation de ses paramètres et le suivi des objets déformables, comblant ainsi l’écart entre les déformations du modèle et celles du monde réel

Asservissement visuel d’objets déformables à partir du modèle masse-ressort

Rigid object manipulation has long driven automation, while adapting to soft materials remains an open problem. This study focuses on deformable object shape control, utilizing the mass-spring model for developing analytical relations between object points displacements and manipulator motions. We derive a control law based on this relation for accurate real-time positioning of multiple object points in different experiments employing various soft objects, two robotic manipulators,control, compliant manipulation, physics-basedand a RGB-D camera. We further provide two methods for soft object shape deformation, using low-dimensional feature vectors, leveraging Fourier descriptors or 3D moments, to parametrize the object surface. Various experiments affirm the efficacy of these parameterizations in shape control. We also elaborate on model creation, its parameter estimation, and deformable object tracking, bridging the gap between the model and real-world deformations.La manipulation d’objets rigides a depuis longtemps alimenté l’automatisation, tandis que l’adaptation aux matériaux souples reste un problème ouvert. Cette étude se concentre sur la commande de la forme d’objets déformables en utilisant le modèle masse- ressort (MSM) pour développer des relations analytiques entre les déplacements des points de l’objet et le mouvement des points manipulés. Nous dérivons une loi de commande basée sur cette relation pour positionner avec précision en temps réel plusieurs points de l’objet dans différentes expériences mettant en œuvre divers objets souples, deux manipulateurs robotiques et une caméra RGB-D. Nous proposons en outre deux méthodes de déformation de la forme des objets souples, en utilisant des vecteurs de caractéristiques de faible dimension, en exploitant les descrip- teurs de Fourier ou les moments 3D, pour paramétrer la surface de l’objet. Diverses ex- périences confirment l’efficacité de ces para- métrisations dans la commande de la forme. Nous détaillons également la création du mo- dèle, l’estimation de ses paramètres et le suivi des objets déformables, comblant ainsi l’écart entre les déformations du modèle et celles du monde réel

Asservissement visuel d’objets déformables à partir du modèle masse-ressort

Rigid object manipulation has long driven automation, while adapting to soft materials remains an open problem. This study focuses on deformable object shape control, utilizing the mass-spring model for developing analytical relations between object points displacements and manipulator motions. We derive a control law based on this relation for accurate real-time positioning of multiple object points in different experiments employing various soft objects, two robotic manipulators,control, compliant manipulation, physics-basedand a RGB-D camera. We further provide two methods for soft object shape deformation, using low-dimensional feature vectors, leveraging Fourier descriptors or 3D moments, to parametrize the object surface. Various experiments affirm the efficacy of these parameterizations in shape control. We also elaborate on model creation, its parameter estimation, and deformable object tracking, bridging the gap between the model and real-world deformations.La manipulation d’objets rigides a depuis longtemps alimenté l’automatisation, tandis que l’adaptation aux matériaux souples reste un problème ouvert. Cette étude se concentre sur la commande de la forme d’objets déformables en utilisant le modèle masse- ressort (MSM) pour développer des relations analytiques entre les déplacements des points de l’objet et le mouvement des points manipulés. Nous dérivons une loi de commande basée sur cette relation pour positionner avec précision en temps réel plusieurs points de l’objet dans différentes expériences mettant en œuvre divers objets souples, deux manipulateurs robotiques et une caméra RGB-D. Nous proposons en outre deux méthodes de déformation de la forme des objets souples, en utilisant des vecteurs de caractéristiques de faible dimension, en exploitant les descrip- teurs de Fourier ou les moments 3D, pour paramétrer la surface de l’objet. Diverses ex- périences confirment l’efficacité de ces para- métrisations dans la commande de la forme. Nous détaillons également la création du mo- dèle, l’estimation de ses paramètres et le suivi des objets déformables, comblant ainsi l’écart entre les déformations du modèle et celles du monde réel

Asservissement visuel d’objets déformables à partir du modèle masse-ressort

Rigid object manipulation has long driven automation, while adapting to soft materials remains an open problem. This study focuses on deformable object shape control, utilizing the mass-spring model for developing analytical relations between object points displacements and manipulator motions. We derive a control law based on this relation for accurate real-time positioning of multiple object points in different experiments employing various soft objects, two robotic manipulators,control, compliant manipulation, physics-basedand a RGB-D camera. We further provide two methods for soft object shape deformation, using low-dimensional feature vectors, leveraging Fourier descriptors or 3D moments, to parametrize the object surface. Various experiments affirm the efficacy of these parameterizations in shape control. We also elaborate on model creation, its parameter estimation, and deformable object tracking, bridging the gap between the model and real-world deformations.La manipulation d’objets rigides a depuis longtemps alimenté l’automatisation, tandis que l’adaptation aux matériaux souples reste un problème ouvert. Cette étude se concentre sur la commande de la forme d’objets déformables en utilisant le modèle masse- ressort (MSM) pour développer des relations analytiques entre les déplacements des points de l’objet et le mouvement des points manipulés. Nous dérivons une loi de commande basée sur cette relation pour positionner avec précision en temps réel plusieurs points de l’objet dans différentes expériences mettant en œuvre divers objets souples, deux manipulateurs robotiques et une caméra RGB-D. Nous proposons en outre deux méthodes de déformation de la forme des objets souples, en utilisant des vecteurs de caractéristiques de faible dimension, en exploitant les descrip- teurs de Fourier ou les moments 3D, pour paramétrer la surface de l’objet. Diverses ex- périences confirment l’efficacité de ces para- métrisations dans la commande de la forme. Nous détaillons également la création du mo- dèle, l’estimation de ses paramètres et le suivi des objets déformables, comblant ainsi l’écart entre les déformations du modèle et celles du monde réel

Shape Servoing of a Soft Object Using Fourier Series and a Physics-based Model

International audienceIn this paper, we propose a physics-based robot controller to deform a soft object toward a desired 3D shape using a limited number of handling points. For this purpose, the shape of the deformable object is represented using Fourier descriptors. We derive the analytical relation that provides the variation of the Fourier coefficients as a function of the movements of the handling points by considering a massspring model (MSM). A control law is then designed from this relation. Since the MSM provides an approximation of the object behavior, which in practice can lead to a drift between the object and its model, an online realignment of the model with the real object is performed by tracking its surface from data provided by a remote RGB-D camera. Simulation results validate the approach for the case where many points interact on a 2D soft object while experimental results obtained with two robotic arms demonstrate the autonomous shaping of a 3D soft object

Shape Servoing of a Soft Object Using Fourier Series and a Physics-based Model

International audienceIn this paper, we propose a physics-based robot controller to deform a soft object toward a desired 3D shape using a limited number of handling points. For this purpose, the shape of the deformable object is represented using Fourier descriptors. We derive the analytical relation that provides the variation of the Fourier coefficients as a function of the movements of the handling points by considering a massspring model (MSM). A control law is then designed from this relation. Since the MSM provides an approximation of the object behavior, which in practice can lead to a drift between the object and its model, an online realignment of the model with the real object is performed by tracking its surface from data provided by a remote RGB-D camera. Simulation results validate the approach for the case where many points interact on a 2D soft object while experimental results obtained with two robotic arms demonstrate the autonomous shaping of a 3D soft object

Indirect Positioning of a 3D Point on a Soft Object Using RGB-D Visual Servoing and a Mass-Spring Model

This work was supported by the GentleMAN (299757) and the BIFROST (313870) projects funded by The Research Council of Norway.International audienceIn this paper, we present a complete pipeline for positioning a feature point of a soft object to a desired 3D position, by acting on a different manipulation point using a robotic manipulator. For that purpose, the analytic relation between the feature point displacement and the robot motion is derived using a coarse mass-spring model (MSM), while taking into consideration the propagation delay introduced by a MSM. From this modeling step, a novel closed-loop controller is designed for performing the positioning task. To get rid of the model approximations, the object is tracked in realtime using a RGB-D sensor, thus allowing to correct on-line any drift between the object and its model. Our model-based and vision-based controller is validated in real experiments for two different soft objects and the results show promising performance in terms of accuracy, efficiency and robustness