Real-Time Hand Gesture Recognition Using Temporal Muscle Activation Maps of Multi-Channel sEMG Signals

Accurate and real-time hand gesture recognition is essential for controlling advanced hand prostheses. Surface Electromyography (sEMG) signals obtained from the forearm are widely used for this purpose. Here, we introduce a novel hand gesture representation called Temporal Muscle Activation (TMA) maps which captures information about the activation patterns of muscles in the forearm. Based on these maps, we propose an algorithm that can recognize hand gestures in real-time using a Convolution Neural Network. The algorithm was tested on 8 healthy subjects with sEMG signals acquired from 8 electrodes placed along the circumference of the forearm. The average classification accuracy of the proposed method was 94%, which is comparable to state-of-the-art methods. The average computation time of a prediction was 5.5ms, making the algorithm ideal for the real-time gesture recognition applications.Comment: Paper accepted to IEEE International Conference on Acoustics, Speech, and Signal Processing (ICASSP) 202

Real-time hand motion recognition using sEMG Patterns Classification

Increasing performance while decreasing the cost of sEMG prostheses is an important milestone in rehabilitation engineering. The different types of prosthetic hands that are currently available to patients worldwide can benefit from more effective and intuitive control. This paper presents a real -time approach to classify finger motions based on surface electromyography (sEMG) signals. A multichannel signal acquisition platform implemented using components of f the shelf is use d to record forearm sEMG signals from 7 channels. sEMG pattern classification is performed in real time, using a Linear Discriminant Analysis approach. Thirteen hand motions can be successfully identified with an accuracy of up to 95. 8% and of 92. 7% on average for 8 participants, with an updated prediction every 192 ms

Développement d'un algorithme de cinématique d'interaction appliqué sur un bras robotique dans un contexte de coopération humain-robot

Ce mémoire présente le développement d’un algorithme de cinématique d’interaction dans un contexte de coopération humain-robot. Cet algorithme vise à faciliter le contrôle de bras robotiques en évitant les collisions, singularités et limites articulaires du robot lorsqu’il est contrôlé par un humain. La démarche adoptée pour l’ateinte de l’objectif est le prototypage d’un algorithme sur une structure robotique simple, la validation expérimentale de ce prototype, la généralisation de l’algorithme sur une base robotique à 6 degrés de liberté et la validation de l’algorithme final en le comparant expérimentalement avec un algorithme similaire. Premièrement, le prototype d’algorithme est développé sur un bras robotisé Jaco, de l’entreprise Kinova, duquel le poignet a été retiré. Cette architecture permet le déplacement de l’effecteur selon 3 degrés de liberté en translation. L’algorithme développé sur cette base robotique permet : — l’évitement des collisions avec les objets présents dans l’environnement de travail, — l’évitement des limitations articulaires — et l’évitement des singularités propres à l’architecture du robot. Les performances de l’algorithme sont ensuite validées lors d’expérimentations dans lesquelles il a été démontré que l’algorithme a permis une réduction d’approximativement 50% du temps de complétion d’une tâche donnée tout en réduisant l’attention que l’utilisateur doit porter sur le contrôle du robot comparativement à l’attention portée à l’accomplissement de la tâche demandée. Ensuite, des améliorations sont apportées à l’infrastructure : — une méthode de numérisation de l’environnement de travail est ajoutée, — un meilleur algorithme de détection de collisions et de mesure des distances minimales entre les membrures du robot et les obstacles présents dans l’environnement de travail est implémenté. De plus, une méthode de balayage de l’environnement de travail à l’aide d’une caméra Kinect ainsi qu’un algorithme de segmentation de nuage de points en polygones convexes sont présentés. Des tests effectués avec l’algorithme prototype ont été effectués et ont révélé que bien que des imperfections au niveau de la méthode de balayage existent, ces modifications de l’infrastructure peuvent améliorer la facilité avec laquelle l’algorithme de cinématique d’interaction peut être implémenté. Finalement, l’algorithme implémenté sur une architecture robotique à six degrés de liberté est présenté. Les modifications et les adaptations requises pour effectuer la transition avec la version initiale de l’algorithme sont précisées. Les expérimentations ont validé la performance de l’algorithme vis à vis un autre algorithme de contrôle pour l’évitement de collisions. Elles ont démontré une amélioration de 25% en terme de temps requis pour effectuer une tâche donnée comparé aux temps obtenus avec un algorithme de ressorts-amortisseurs virtuels

Étude et conception de systèmes de validation de tâches d'assemblage : participation à la conception d'un robot collaboratif destiné à une chaîne de montage automobile

La robotique collaborative connaît ces dernières années une forte croissance, grâce à la pertinence de la collaboration entre les humains et les robots dans un même espace de travail. Des applications industrielles se développent, aussi bien dans les grandes multinationales que dans les PME. Dans le contexte d’une chaîne d’assemblage automobile, de nombreuses problématiques se posent pour permettre la collaboration efficace entre robot et opérateur. Un robot collaboratif conçu dans ce cadre est destiné à effectuer des tâches d’assemblages dans des zones à l’accessibilité complexe. Étant à distance, l’opérateur n’aura pas nécessairement de visuel direct sur l’accomplissement de la tâche, et pour éviter des pertes de temps, il est souhaitable que le robot soit capable de vérifier et de valider automatiquement son bon accomplissement. En découle la problématique à l’étude dans ce mémoire, qui est la vérification automatique du bon accomplissement des tâches d’assemblage effectuées par le robot. Afin d’y répondre, une pré-étude est effectuée, visant à déterminer les possibilités en termes de capteurs et d’algorithmes de détection, et permettant de répondre aux besoins et contraintes de General Motors, commanditaire de cette étude. Chaque chapitre du mémoire présente donc un système de détection, composé d’un capteur et d’un ou plusieurs algorithmes de décision. Les différences en termes de traitement du signal et d’algorithme sont présentées et comparées, en s’appuyant sur des expérimentations. Parmi les types d’assemblages sélectionnés par General Motors, ceux utilisés pour la conception et l’expérimentation des solutions sont les assemblages clipsés (« snap fit ») et les assemblages de connecteurs électriques. Le premier chapitre présente une solution fondée sur l’utilisation de photodétecteurs, secondée par un algorithme vérifiant en temps réel les valeurs renvoyées par le photodétecteur. Lorsque cette valeur descend sous une valeur seuil préétablie, l’algorithme déduit que l’assemblage a été correctement effectué. Cette méthode est simple et robuste, ayant obtenu un taux de détection correcte de la situation d’assemblage de 100% lors des phases de tests. Cependant cette robustesse est contrebalancée par le caractère relativement spécifique de la solution et son peu de flexibilité pour l’adaptation à d’autres assemblages. Le second chapitre porte sur un système employant un accéléromètre destiné à enregistrer les différents mouvements survenant lors de l’assemblage. Suit une méthode de traitement du signal obtenu, permettant de caractériser et de différencier les signaux émanant d’assemblages réussis de ceux provenant d’assemblages ratés grâce à des paramètres statistiques. Ces derniers sont finalement récupérés par deux algorithmes de reconnaissance différents, qui sont ensuite comparés. Le premier algorithme consiste à vérifier la correspondance des paramètres statistiques d’un signal avec des valeurs seuil fixées à l’avance. L’autre méthode, issue de l’apprentissage automatique, utilise les Séparateurs à Vaste Marge pour distinguer deux classes : les assemblages réussis et les assemblages ratés. Après expérimentation, il ressort que ces deux méthodes ont des performances assez similaires , de l’ordre de 90%. Ainsi ce sera le contexte et la complexité du signal à étudier qui présideront au choix d’une méthode. Enfin, le dernier chapitre se penche sur l’emploi d’un microphone et de techniques de reconnaissance sonore pour permettre la bonne identification d’un assemblage de connecteurs électriques. Deux méthodes de traitement, la transformée en ondelettes et les Mel Frequency Cepstrum Coefficients (MFCC), sont comparées. La reconnaissance est assurée par un algorithme basé sur les modèles de mélange gaussiens. A l’issue d’essais où les deux prétraitements ont été mis à l’épreuve, en tenant compte de la résistance face au bruit ambiant, il est possible de constater que la transformée en ondelettes présente des performances supérieures aux MFCC, dans le cadre précis de l’étude. La reconnaissance sonore ne nécessitant qu’un son distinct à identifier pour pouvoir fonctionner, cette solution présente un fort potentiel d’adaptation à d’autres types d’assemblages, mais aussi d’autres problématiques. Ces trois systèmes permettent de balayer un certain éventail de possibilités, et les solutions présentées sont amenées à être croisées et bonifiées afin d’aboutir à des systèmes robustes et fiables, aux standards de l’industrie

Développement d’algorithmes et d’outils logiciels pour l’assistance technique et le suivi en réadaptation

Ce mémoire présente deux projets de développement portant sur des algorithmes et des outils logiciels offrant des solutions pratiques à des problématiques courantes rencontrées en réadaptation. Le premier développement présenté est un algorithme de correspondance de séquence qui s’intègre à des interfaces de contrôle couramment utilisées en pratique. L’implémentation de cet algorithme offre une solution flexible pouvant s’adapter à n’importe quel utilisateur de technologies d’assistances. Le contrôle de tels appareils représente un défi de taille puisqu’ils ont, la plupart du temps, une dimensionnalité élevée (c-à-d. plusieurs degrés de liberté, modes ou commandes) et sont maniés à l’aide d’interfaces basées sur de capteurs de faible dimensionnalité offrant donc très peu de commandes physiques distinctes pour l’utilisateur. L’algorithme proposé se base donc sur de la reconnaissance de courts signaux temporels ayant la possibilité d’être agencés en séquences. L’éventail de combinaisons possibles augmente ainsi la dimensionnalité de l’interface. Deux applications de l’algorithme sont développées et testées. La première avec une interface de contrôle par le souffle pour un bras robotisé et la seconde pour une interface de gestes de la main pour le contrôle du clavier-souris d’un ordinateur. Le second développement présenté dans ce mémoire porte plutôt sur la collecte et l’analyse de données en réadaptation. Que ce soit en milieux cliniques, au laboratoires ou au domicile, nombreuses sont les situations où l’on souhaite récolter des données. La solution pour cette problématique se présente sous la forme d’un écosystème d’applications connectées incluant serveur et applications web, mobiles et embarquée. Ces outils logiciels sont développés sur mesure et offrent un procédé unique, peu coûteux, léger et rapide pour la collecte, la visualisation et la récupération de données. Ce manuscrit détaille une première version en décrivant l’architecture employée, les technologies utilisées et les raisons qui ont mené à ces choix tout en guidant les futures itérations.This Master’s thesis presents two development projects about algorithms and software tools providing practical solutions to commonly faced situations in rehabilitation context. The first project is the development of a sequence matching algorithm that can be integrated to the most commonly used control interfaces. The implementation of this algorithm provides a flexible solution that can be adapted to any assistive technology user. The control of such devices represents a challenge since their dimensionality is high (i.e., many degrees of freedom, modes, commands) and they are controlled with interfaces based on low-dimensionality sensors. Thus, the number of actual physical commands that the user can perform is low. The proposed algorithm is based on short time signals that can be organized into sequences. The multiple possible combinations then contribute to increasing the dimensionality of the interface. Two applications of the algorithm have been developed and tested. The first is a sip-and-puff control interface for a robotic assistive arm and the second is a hand gesture interface for the control of a computer’s mouse and keyboard. The second project presented in this document addresses the issue of collecting and analyzing data. In a rehabilitation’s clinical or laboratory environment, or at home, there are many situations that require gathering data. The proposed solution to this issue is a connected applications ecosystem that includes a web server and mobile, web and embedded applications. This custom-made software offers a unique, inexpensive, lightweight and fast workflow to visualize and retrieve data. The following document describes a first version by elaborating on the architecture, the technologies used, the reasons for those choices, and guide the next iterations

Système de détection de mouvements complexes de la main à partir des signaux EMG, pour le contrôle d'une prothèse myoélectrique

Les avancées technologiques en ingénierie biomédicale à travers le monde permettent le développement de systèmes automatisés et adaptés, visant à fournir aux personnes vivant avec un handicap un meilleur confort de vie. Les prothèses intelligentes basées sur l'activité myoélectrique permettent aux personnes amputées d'interagir intuitivement avec leur environnement et d'effectuer des activités de la vie quotidienne. Des électrodes placées sur la surface de la peau et une électronique embarquée dédiée recueillent les signaux musculaires et les traduisent en commandes pour piloter les actionneurs de la prothèse. Atteindre une performance accrue tout en diminuant le coût des prothèses myoélectriques est une étape importante dans l'ingénierie de réadaptation. Les mains prothétiques, actuellement disponibles à travers le monde, bénéficieraient d'un contrôle plus efficace et plus intuitif. Ce mémoire présente une approche en temps réel pour classifier les mouvements des doigts à l’aide des signaux d'électromyographie (EMG) de surface. Une plateforme multicanale d'acquisition de signaux, de notre conception, est utilisée pour enregistrer 7 canaux EMG provenant de l'avant-bras. La classification des signaux EMG est effectuée en temps réel, en utilisant une approche d'analyse discriminante linéaire. Treize mouvements de la main peuvent être identifiés avec une précision allant jusqu'à 95,8% et de 92,7% en moyenne pour 8 participants, avec une prédiction mise à jour toutes les 192 ms. L'approche a voulu être adaptée pour créer un système embarqué ouvrant de grandes opportunités pour le développement des prothèses myoélectriques légères, peu coûteuses et plus intuitives.Technological advances in biomedical engineering worldwide enable the development of automated and patient-friendly systems, aiming at providing the severely disabled a better comfort of life. Intelligent prostheses based on myoelectric activity allow amputees to intuitively interact with their environment and perform daily life activities. Electrodes placed on the surface of the skin, and dedicated embedded electronics allow to collect muscle signals and translate them into commands to drive a prosthesis actuators. Increasing performance while decreasing the cost of surface electromyography (sEMG) prostheses is an important milestone in rehabilitation engineering. The prosthetic hands that are currently available to patients worldwide would benefit from more effective and intuitive control. This memoir presents a real-time approach to classify finger motions based on sEMG signals. A multichannel signal acquisition platform of our design is used to record forearm sEMG signals from 7 channels. sEMG pattern classification is performed in real time, using a Linear Discriminant Analysis (LDA) approach. Thirteen hand motions can be successfully identified with an accuracy of up to 95.8% and of 92.7% on average for 8 participants, with an updated prediction every 192 ms. The approach wanted to be adapted to create an embedded system opening great opportunities for the development of lightweight, inexpensive and more intuitive electromyographic hand prostheses