Analyse de scène rapide utilisant la vision et l'intelligence artificielle pour la préhension d'objets par un robot d'assistance

RÉSUMÉ L’assistance robotisée à l’aide de la vision est en pleine effervescence, notamment pour les personnes âgées en perte de mobilité et les personnes atteintes de troubles musculo-squelettiques. Ce mémoire met en lumière les solutions développées dans le cadre d’une maîtrise recherche du département de génie mécanique de l’École Polytechnique de Montréal. Dans ce contexte, la Kinect V2 a permis l’acquisition surfacique de scènes amenant alors le projet à la détection d’objets. Les méthodes de détection actuelles les plus robustes prennent encore beaucoup de temps de calcul, empêchant l’automatisation de la préhension d’objets par des robots dans un temps acceptable pour l’assistance des utilisateurs au quotidien. L’objectif est alors de développer un système d’analyse de scène rapide utilisant la vision et l’intelligence artificielle pour la préhension d’objets par un robot d’assistance. Ce système doit permettre de répondre à l’ensemble des questions suivantes plus rapidement que les méthodes existantes : 1. Combien y a-t-il d’objets et où se situent-ils? 2. Comment les saisir, c.-à-d. quels sont les endroits de préhension efficaces et quelle est la phase d’approche à donner au robot? 3. Quels sont ces objets de la scène, reconnus à partir d’un apprentissage neuronal sur un ensemble de données acquis avec une caméra active? Avec l’acquisition d’un ensemble de données de 180 scènes comprenant un objet chacun, la solution a été développée en 3 étapes : 1. La détection d’objets comprenant la transformation des scènes brutes acquises en données matricielles et la segmentation 3D des scènes pour trouver les objets à l’aide d’un algorithme innovant de « palpage par le haut » suivi de l’élimination des points indésirables par calcul de leur gradient. 2. Apprentissage supervisé de l’ensemble des données suite aux algorithmes de détection d’objets des scènes. 3. Analyse de scène des objets comprenant l’identification des endroits de préhension des objets et la phase d’approche du bras robotique à l’aide d’un arbre de décision simple, puis l’utilisation d’un réseau neuronal combinant deux caractéristiques dont la surface et la couleur RGB nous permettant d’obtenir 83 % de performance dans un espace connu pour la reconnaissance d’objets. Cette étude démontre que l’analyse de scène rapide utilisant la vision et l’intelligence artificielle pour la préhension d’objets par un robot d’assistance en coopération avec un utilisateur peut être réalisée en un temps efficace. En effet, le système prend en moyenne 0,6 seconde pour l’analyse d’un objet dans une scène.----------ABSTRACT Vision-assisted robotic aid is a rapidly expanding field, particularly solutions developed for people affected by age-related loss of mobility and for people subject to musculoskeletal disorders. This thesis presents the series of the solutions developed in the context of a research master at the Mechanical Engineering Department of École Polytechnique de Montréal. In this context, the Kinect V2 allows for rapid surface acquisition of scenes bringing the project to focus on objects detect. The current detection methods available need a lot of computing time, preventing the full automation of prehending objects by robots, in an acceptable time, for the assistance of target users in their everyday activities. The objective of this study is therefore to develop algorithm for fast automated scene analysis and object prehension. The developed algorithm must provide answers to all the following questions faster than existing methods do: 1. How many of the objects are there, and where are they located? 2. Which coordinates on the objects are effective prehension targets and what is the favored path of approach for the robot? 3. What are the objects in the scene, as identified by a neural network on data from an active camera? With the acquisition of a dataset composed of 180 scenes with an object in each scene, the solution was developed following three stages: 1. Object detection involving transformation of raw scenes into data matrices and 3D scene segmentation to find the objects, by means of a novel algorithm for “top-down probing”. This is followed by elimination of undesirable points based on their gradients. 2. After object detection, supervised learning is performed on the objects in the dataset. 3. Scenes containing the objects are analyzed, which includes identification of grasping targets on the objects using a simple decision tree, and selection of the approach path of the robotic arm for full prehension. Subsequently, a neural network performs object recognition utilizing surface geometry and RGB color, yielding 83% performance in a controlled environment. This study has shown that fast scene analysis for robotic prehension of objects in cooperation with a user can be performed with effective promptness. Indeed, the system requires on average 0.6 seconds to analyze an object in a scene

Asservissement d'un bras robotique d'assistance à l'aide d'un système de stéréo vision artificielle et d'un suiveur de regard

RÉSUMÉ L’utilisation récente de bras robotiques sériels dans le but d’assister des personnes ayant des problèmes de motricités sévères des membres supérieurs soulève une nouvelle problématique au niveau de l’interaction humain-machine (IHM). En effet, jusqu’à maintenant le « joystick » est utilisé pour contrôler un bras robotiques d’assistance (BRA). Pour les utilisateurs ayant des problèmes de motricité sévères des membres supérieurs, ce type de contrôle n’est pas une option adéquate. Ce mémoire présente une autre option afin de pallier cette problématique. La solution présentée est composée de deux composantes principales. La première est une caméra de stéréo vision utilisée afin d’informer le BRA des objets présents dans son espace de travail. Il est important qu’un BRA soit conscient de ce qui est présent dans son espace de travail puisqu’il doit être en mesure d’éviter les objets non voulus lorsqu’il parcourt un trajet afin d’atteindre l’objet d’intérêt pour l'utilisateur. La deuxième composante est l’IHM qui est dans ce travail représentée par un suiveur de regard à bas coût. Effectivement, le suiveur de regard a été choisi puisque, généralement, les yeux d’un patient ayant des problèmes sévères de motricités au niveau des membres supérieurs restent toujours fonctionnels. Le suiveur de regard est généralement utilisé avec un écran pour des applications en 2D ce qui n’est pas intuitif pour l’utilisateur puisque celui-ci doit constamment regarder une reproduction 2D de la scène sur un écran. En d’autres mots, il faut rendre le suiveur de regard viable dans un environnement 3D sans l’utilisation d’un écran, ce qui a été fait dans ce mémoire. Un système de stéréo vision, un suiveur de regard ainsi qu’un BRA sont les composantes principales du système présenté qui se nomme PoGARA qui est une abréviation pour Point of Gaze Assistive Robotic Arm. En utilisant PoGARA, l’utilisateur a été capable d’atteindre et de prendre un objet pour 80% des essais avec un temps moyen de 13.7 secondes sans obstacles, 15.3 secondes avec un obstacle et 16.3 secondes avec deux obstacles.----------ABSTRACT The recent increased interest in the use of serial robots to assist individuals with severe upper limb disability brought-up an important issue which is the design of the right human computer interaction (HCI). Indeed, so far, the control of assistive robotic arms (ARA) is often done using a joystick. For the users who have a severe upper limb disability, this type of control is not a suitable option. In this master’s thesis, a novel solution is presented to overcome this issue. The developed solution is composed of two main components. The first one is a stereo vision system which is used to inform the ARA of the content of its workspace. It is important for the ARA to be aware of what is present in its workspace since it needs to avoid the unwanted objects while it is on its way to grasp the object of interest. The second component is the actual HCI, where an eye tracker is used. Indeed, the eye tracker was chosen since the eyes, often, remain functional even for patients with severe upper limb disability. However, usually, low-cost, commercially available eye trackers are mainly designed for 2D applications with a screen which is not intuitive for the user since he needs to constantly watch a reproduction of the scene on a 2D screen instead of the 3D scene itself. In other words, the eye tracker needs to be made viable for usage in a 3D environment without the use of a screen. This was achieved in this master thesis work. A stereo vision system, an eye tracker as well as an ARA are the main components of the developed system named PoGARA which is short for Point of Gaze Assistive Robotic Arm. Using PoGARA, during the tests, the user was able to reach and grasp an object for 80% of the trials with an average time of 13.7 seconds without obstacles, 15.3 seconds with one obstacles and 16.3 seconds with two obstacles

Assistant robot through deep learning

This article presents a work oriented to assistive robotics, where a scenario is established for a robot to reach a tool in the hand of a user, when they have verbally requested it by his name. For this, three convolutional neural networks are trained, one for recognition of a group of tools, which obtained an accuracy of 98% identifying the tools established for the application, that are scalpel, screwdriver and scissors; one for speech recognition, trained with the names of the tools in Spanish language, where its validation accuracy reach a 97.5% in the recognition of the words; and another for recognition of the user's hand, taking in consideration the classification of 2 gestures: Open and Closed hand, where a 96.25% accuracy was achieved. With those networks, tests in real time are performed, presenting results in the delivery of each tool with a 100% of accuracy, i.e. the robot was able to identify correctly what the user requested, recognize correctly each tool and deliver the one need when the user opened their hand, taking an average time of 45 seconds in the execution of the application

Artificial Vision Algorithms for Socially Assistive Robot Applications: A Review of the Literature

Today, computer vision algorithms are very important for different fields and applications, such as closed-circuit television security, health status monitoring, and recognizing a specific person or object and robotics. Regarding this topic, the present paper deals with a recent review of the literature on computer vision algorithms (recognition and tracking of faces, bodies, and objects) oriented towards socially assistive robot applications. The performance, frames per second (FPS) processing speed, and hardware implemented to run the algorithms are highlighted by comparing the available solutions. Moreover, this paper provides general information for researchers interested in knowing which vision algorithms are available, enabling them to select the one that is most suitable to include in their robotic system applicationsBeca Conacyt Doctorado No de CVU: 64683

Peripersonal Space in the Humanoid Robot iCub

Developing behaviours for interaction with objects close to the body is a primary goal for any organism to survive in the world. Being able to develop such behaviours will be an essential feature in autonomous humanoid robots in order to improve their integration into human environments. Adaptable spatial abilities will make robots safer and improve their social skills, human-robot and robot-robot collaboration abilities. This work investigated how a humanoid robot can explore and create action-based representations of its peripersonal space, the region immediately surrounding the body where reaching is possible without location displacement. It presents three empirical studies based on peripersonal space findings from psychology, neuroscience and robotics. The experiments used a visual perception system based on active-vision and biologically inspired neural networks. The first study investigated the contribution of binocular vision in a reaching task. Results indicated the signal from vergence is a useful embodied depth estimation cue in the peripersonal space in humanoid robots. The second study explored the influence of morphology and postural experience on confidence levels in reaching assessment. Results showed that a decrease of confidence when assessing targets located farther from the body, possibly in accordance to errors in depth estimation from vergence for longer distances. Additionally, it was found that a proprioceptive arm-length signal extends the robot’s peripersonal space. The last experiment modelled development of the reaching skill by implementing motor synergies that progressively unlock degrees of freedom in the arm. The model was advantageous when compared to one that included no developmental stages. The contribution to knowledge of this work is extending the research on biologically-inspired methods for building robots, presenting new ways to further investigate the robotic properties involved in the dynamical adaptation to body and sensing characteristics, vision-based action, morphology and confidence levels in reaching assessment.CONACyT, Mexico (National Council of Science and Technology

Proceedings of the first workshop on Peripheral Machine Interfaces: going beyond traditional surface electromyography

abstract: One of the hottest topics in rehabilitation robotics is that of proper control of prosthetic devices. Despite decades of research, the state of the art is dramatically behind the expectations. To shed light on this issue, in June, 2013 the first international workshop on Present and future of non-invasive peripheral nervous system (PNS)–Machine Interfaces (MI; PMI) was convened, hosted by the International Conference on Rehabilitation Robotics. The keyword PMI has been selected to denote human–machine interfaces targeted at the limb-deficient, mainly upper-limb amputees, dealing with signals gathered from the PNS in a non-invasive way, that is, from the surface of the residuum. The workshop was intended to provide an overview of the state of the art and future perspectives of such interfaces; this paper represents is a collection of opinions expressed by each and every researcher/group involved in it

Système autonome d’assistance au repas pour les personnes avec un handicap du haut du corps

RÉSUMÉ Pour les personnes souffrant de troubles de mobilité du haut du corps, des tâches quotidiennes qui semblent anodines peuvent devenir extrêmement complexes. La tâche d’alimentation en est un excellent exemple. Dans les 20 dernières années, une multitude de solutions à cette tâche ont été proposées par des laboratoires de recherche ou des entreprises afin d’assister ces personnes. Toutefois, la plupart de ces solutions ont d’importantes limitations : complexité d’installation et de transport, difficulté à contrôler, peu intuitif, etc. L’objectif de ce mémoire est de présenter une preuve de concept de solution abordable permettant à des personnes à mobilité réduite au niveau du haut du corps de s’alimenter plus aisément. La solution proposée inclut d’abord une caméra de stéréovision combinée à un système de reconnaissance d’objets basé sur l’apprentissage profond afin de repérer et localiser la nourriture dans une assiette située devant l’utilisateur. Cette partie permet à l’utilisateur d’éviter de se soucier de spécifier la position de la nourriture qu’il veut manger; le système le fait pour lui, ce qui rend le tout beaucoup plus intuitif et simple à contrôler. La caméra permet également d’établir un modèle de la scène et des obstacles présents, ce qui permet au système d’éviter ces obstacles. Les coordonnées de la nourriture à aller chercher sont ensuite envoyées au bras robotique MICO de Kinova, simulé avec ROS et Gazebo. Il s’agit d’un bras de réadaptation conçu pour être monté sur une chaise roulante, ce qui réduit la complexité d’installation et de transport. Un calcul de trajectoire est alors effectué et la cinématique inverse du bras robotique est calculée afin que le bras puisse approcher la nourriture avec l’effecteur choisi, une fourchette, selon un angle d’approche prédéfini. La nourriture est ensuite ramenée à une position fixe près de la bouche de l’utilisateur, le tout de manière entièrement autonome. En utilisant le système développé, l’utilisateur peut donc se nourrir de manière intuitive et autonome. Selon les tests effectués, le système constitue une preuve de concept valide, n’ayant échoué aucun des cinq essais effectués, et permet à l’utilisateur de manger deux morceaux de nourriture en un temps moyen de 90,22 secondes (dont 18,3% sont dédiés aux calculs). Le reste est donc entièrement utilisé pour le déplacement du bras, qui est une limitation physique du système robotique.----------ABSTRACT For people who suffer from upper-body disabilities, some casual tasks that seem innocuous can actually become extremely complex. Eating is an excellent example of such a task. In the last 20 years, multiple solutions have been suggested by academia and industries in order to help those people. However, most of these solutions have important limitations: complexity of installation or transport, control difficulty, lack of intuitiveness, etc. The goal of this thesis is to present a proof of concept of a low-cost solution that addresses this difficulty in carrying out the feeding task for people with disabilities. The suggested solution includes a stereovision camera combined with an object recognition system based on deep learning in order to detect and locate food on a plate in front of the user. This part of the system removes the need for the user to specify the exact position of the food he wants to eat; the robotic system does it for him or her, reducing significatively the complexity of the task and making it a lot more intuitive. The camera also allows the system to build a model of the scene, including obstacles, allowing the system to build a collision-free trajectory. The coordinates for the food to reach is then sent to the robot arm MICO by Kinova, which is simulated using ROS and Gazebo. This arm is specifically made to fit on wheelchairs, thus reducing the complexity of required installation and transport. The path planning is then completed and the inverse kinematics of the robot arm is computed in order to reach the food with the tool selected for the project, a fork, at a predefined angle of approach. The food is then brought back to a constant position near the user’s mouth. Everything is done autonomously. By using the developed system, the user can feed himself in an autonomous and intuitive manner. According to the tests, the system is a good proof of concept, having failed none of the 5 attempts, and allows the user to eat two pieces of food in an average time of 90.22 seconds (of which only 18.3% is dedicated to computations). The remaining 81.7% is thus used entirely for the movement of the robot arm, which is due to a physical limitation of the system

The dGLI Cloth Coordinates: A Topological Representation for Semantic Classification of Cloth States

Robotic manipulation of cloth is a highly complex task because of its infinite-dimensional shape-state space that makes cloth state estimation very difficult. In this paper we introduce the dGLI Cloth Coordinates, a low-dimensional representation of the state of a rectangular piece of cloth that allows to efficiently distinguish key topological changes in a folding sequence, opening the door to efficient learning methods for cloth manipulation planning and control. Our representation is based on a directional derivative of the Gauss Linking Integral and allows us to represent both planar and spatial configurations in a consistent unified way. The proposed dGLI Cloth Coordinates are shown to be more accurate in the classification of cloth states and significantly more sensitive to changes in grasping affordances than other classic shape distance methods. Finally, we apply our representation to real images of a cloth, showing we can identify the different states using a simple distance-based classifier.Comment: 24 pages, 34 references, 6 figures, 1 tabl