Hand Gesture to Control Virtual Keyboard using Neural Network

Disability is one of a person's physical and mental conditions that can inhibit normal daily activities. One of the disabilities that can be found in disability is speech without fingers. Persons with disabilities have obstacles in communicating with people around both verbally and in writing. Communication tools to help people with disabilities without finger fingers continue to be developed, one of them is by creating a virtual keyboard using a Leap Motion sensor. The hand gestures are captured using the Leap Motion sensor so that the direction of the hand gesture in the form of pitch, yaw, and roll is obtained. The direction values are grouped into normal, right, left, up, down, and rotating gestures to control the virtual keyboard. The amount of data used for gesture recognition in this study was 5400 data consisting of 3780 training data and 1620 test data. The results of data testing conducted using the Artificial Neural Network method obtained an accuracy value of 98.82%. This study also performed a virtual keyboard performance test directly by typing 20 types of characters conducted by 15 respondents three times. The average time needed by respondents in typing is 5.45 seconds per character

Système de détection de mouvements complexes de la main à partir des signaux EMG, pour le contrôle d'une prothèse myoélectrique

Les avancées technologiques en ingénierie biomédicale à travers le monde permettent le développement de systèmes automatisés et adaptés, visant à fournir aux personnes vivant avec un handicap un meilleur confort de vie. Les prothèses intelligentes basées sur l'activité myoélectrique permettent aux personnes amputées d'interagir intuitivement avec leur environnement et d'effectuer des activités de la vie quotidienne. Des électrodes placées sur la surface de la peau et une électronique embarquée dédiée recueillent les signaux musculaires et les traduisent en commandes pour piloter les actionneurs de la prothèse. Atteindre une performance accrue tout en diminuant le coût des prothèses myoélectriques est une étape importante dans l'ingénierie de réadaptation. Les mains prothétiques, actuellement disponibles à travers le monde, bénéficieraient d'un contrôle plus efficace et plus intuitif. Ce mémoire présente une approche en temps réel pour classifier les mouvements des doigts à l’aide des signaux d'électromyographie (EMG) de surface. Une plateforme multicanale d'acquisition de signaux, de notre conception, est utilisée pour enregistrer 7 canaux EMG provenant de l'avant-bras. La classification des signaux EMG est effectuée en temps réel, en utilisant une approche d'analyse discriminante linéaire. Treize mouvements de la main peuvent être identifiés avec une précision allant jusqu'à 95,8% et de 92,7% en moyenne pour 8 participants, avec une prédiction mise à jour toutes les 192 ms. L'approche a voulu être adaptée pour créer un système embarqué ouvrant de grandes opportunités pour le développement des prothèses myoélectriques légères, peu coûteuses et plus intuitives.Technological advances in biomedical engineering worldwide enable the development of automated and patient-friendly systems, aiming at providing the severely disabled a better comfort of life. Intelligent prostheses based on myoelectric activity allow amputees to intuitively interact with their environment and perform daily life activities. Electrodes placed on the surface of the skin, and dedicated embedded electronics allow to collect muscle signals and translate them into commands to drive a prosthesis actuators. Increasing performance while decreasing the cost of surface electromyography (sEMG) prostheses is an important milestone in rehabilitation engineering. The prosthetic hands that are currently available to patients worldwide would benefit from more effective and intuitive control. This memoir presents a real-time approach to classify finger motions based on sEMG signals. A multichannel signal acquisition platform of our design is used to record forearm sEMG signals from 7 channels. sEMG pattern classification is performed in real time, using a Linear Discriminant Analysis (LDA) approach. Thirteen hand motions can be successfully identified with an accuracy of up to 95.8% and of 92.7% on average for 8 participants, with an updated prediction every 192 ms. The approach wanted to be adapted to create an embedded system opening great opportunities for the development of lightweight, inexpensive and more intuitive electromyographic hand prostheses