Assistive Robotic arm control using point of gaze Estimation

RÉSUMÉ: Les avancées récentes de la robotique permettent aux personnes atteintes de troubles musculosquelettiques de s'équiper d'un bras robotique d'assistance pouvant être placé sur leur fauteuil motorisé. Il a été démontré que ces bras robotiques améliorent l'autonomie et l'habileté de ces personnes, notamment pour accomplir les tâches importantes du quotidien, telles que se nourrir seul. Cependant, certains problèmes perdurent, en particulier le fait que le temps pour accomplir les manoeuvres à l'aide d'un bras robotique reste encore élevé, en particulier pour les personnes atteintes de troubles musculo-squelettiques. Une des manoeuvres les plus longues est l'approche et la saisie d'un objet, car elle demande de contrôler 6 degrés de liberté à l'aide d'une manette commandant seulement 3 axes à la fois. Aussi, le contrôle à l'aide de manettes demande un haut niveau de dextérité, souvent difficile à atteindre par les utilisateurs ciblés. Pour résoudre ces problématiques, l'objectif de ce projet est de développer une solution de contrôle du bras robotique d'assistance à l'aide d'un système de suivi du regard de l'utilisateur. Pour ce faire, il est nécessaire de suivre les yeux de l'utilisateur et d'en déduire la direction du regard, de reconstruire la scène en face de l'utilisateur par stéréovision, d'y faire la correspondance entre la direction du regard et les objets présents dans la scène pour finalement planifier la trajectoire du bras robotique pour atteindre l'objet et le prendre. La solution finale détaillée dans cette thèse permet donc de faire l'approche et la prise d'objet automatique en estimant la direction du regard de l'utilisateur et en détectant les objets en face de ce dernier. Ce système n'est aucunement intrusif car il ne nécessite pas que le bénéficiaire porte un objet comme des lunettes. Il fonctionne en présence d'illumination du soleil, ce qui n'est pas le cas d'autres types de système. Il permet aussi de prendre des objets sans contrainte sur leur type et ne nécessite aucune calibration par utilisateur. Utilisant un modèle original d'estimation de la direction du regard et mettant en place un système de détection et sélection d'objets basé sur la détection de surface plane telle une table et de l'allure de l'objet par apprentissage profond en parallèle, le système permet de planifier une trajectoire automatiquement en évitant les collisions avec la scène. À la suite d'essais exécutés dans le contexte de cette thèse, il est possible de constater une réduction du temps pour accomplir une tâche de préhension d'un objet d'environ 72.0% pour un taux de succès de 90% , tout en obtenant un score de satisfaction élevé d'en moyenne 4.6 sur 5 selon un questionnaire complété par les participants. ABSTRACT: In recent years, advances in robotics allow people suffering from upper limb disabilities to equip their motorized wheelchair with an assistive robotic arm. These are generally controlled through a specialized joystick device using filters and calibrated specifically to the user's force and disability. These robotic arms have been proven to improve the autonomy of their users, especially to accomplish tasks of daily living such as eating. However, some issues still persist, such as that manipulating the robotic arm is still time intensive for the users, especially in the case of approaching and grasping an object, since it requires moving the robotic arm in 6 degrees of freedom using a joystick that typically provides only 3 axes of motion. Also, joystick controls are complicated and require a high degree of dexterity, which is often lacking in potential users. Furthermore, the learning curve for using this technology is steep and the adaptation time is often too long, which leads to low adoption rates for potential users. To mitigate these issues, this PhD project aims to develop a control system for assistive robotic arms using user point of gaze estimation and gazed-at object detection using computer vision. This implies that the developed system must estimate the gaze direction and origin of the user, reconstruct the scene in 3D in front of the user, detect objects in the scene and match the user's gaze to the best fitting object. The developed system must also be able to generate a valid and collision-free path to the object, leading to a grasping motion, thus being able to automatically approach and grasp an object that is gazed-at by the user. The system described in this thesis is non-intrusive since it does not require the user to wear any devices, instead relying on mounting points on the user's motorized wheelchair. It is also less sensitive to lighting conditions, working with direct sunlight which is not the case for most of the available gaze control systems in the literature. Furthermore, it allows the grasping of objects independent of their type, as long as it is found to fit inside the robot's gripper. The developed system uses a novel gaze estimation deep learning model and an object detection subsystem that uses both the detection of a flat surface such as a table and a deep learning segmentation model based on object classes in parallel, allowing for robust object detection. From the data collected through device trials performed in the context of this PhD thesis, the system has demonstrated a 72.0% reduction in the time to grasp varied objects over to the same tasks performed with a joystick, while keeping a high success rate of 90% and a high satisfaction score of 4.6 out of 5