Subtle hand gesture identification for HCI using temporal decorrelation source separation BSS of surface EMG

Hand gesture identification has various human computer interaction (HCI) applications. This paper presents a method for subtle hand gesture identification from sEMG of the forearm by decomposing the signal into components originating from different muscles. The processing requires the decomposition of the surface EMG by temporal decorrelation source separation (TDSEP) based blind source separation technique. Pattern classification of the separated signal is performed in the second step with a back propagation neural network. The focus of this work is to establish a simple, yet robust system that can be used to identify subtle complex hand actions and gestures for control of prosthesis and other HCI based devices. The proposed model based approach is able to overcome the ambiguity problems (order and magnitude problem) of BSS methods by selecting an a priori mixing matrix based on known hand muscle anatomy. The paper reports experimental results, where the system was able to reliably recognize different subtle hand gesture with an overall accuracy of 97%. The advantage of such a system is that it is easy to train by a lay user, and can easily be implemented in real time after the initial training. The paper also highlights the importance of mixing matrix analysis in BSS technique

Development and optimization of a low-cost myoelectric upper limb prosthesis

Tese de Mestrado Integrado, Engenharia Biomédica e Biofísica (Engenharia Clínica e Instrumentação Médica), 2022, Universidade de Lisboa, Faculdade de CiênciasIn recent years, the increase in the number of accidents, chronic diseases, such as diabetes, and the impoverishment of certain developing countries have contributed to a significant increase in prostheses users. The loss of a particular limb entails numerous changes in the daily life of each user, which are amplified when the user loses their hand. Therefore, replacing the hand is an urgent necessity. Developing upper limb prostheses will allow the re-establishment of the physical and motor functions of the upper limb as well as reduction of the rates of depression. Therefore, the prosthetic industry has been reinventing itself and evolving. It is already possible to control a prosthesis through the user's myoelectric signals, control known as pattern recognition control. In addition, additive manufacturing technologies such as 3D printing have gained strength in prosthetics. The use of this type of technology allows the product to reach the user much faster and reduces the weight of the devices, making them lighter. Despite these advances, the rejection rate of this type of device is still high since most prostheses available on the market are slow, expensive and heavy. Because of that, academia and institutions have been investigating ways to overcome these limitations. Nevertheless, the dependence on the number of acquisition channels is still limiting since most users do not have a large available forearm surface area to acquire the user’s myoelectric signals. This work intends to solve some of these problems and answer the questions imposed by the industry and researchers. The main objective is to test if developing a subject independent, fast and simple microcontroller is possible. Subsequently, we recorded data from forty volunteers through the BIOPAC acquisition system. After that, the signals were filtered through two different processes. The first was digital filtering and the application of wavelet threshold noise reduction. Later, the signal was divided into smaller windows (100 and 250 milliseconds) and thirteen features were extracted in the temporal domain. During all these steps, the MatLab® software was used. After extraction, three feature selection methods were used to optimize the classification process, where machine learning algorithms are implemented. The classification was divided into different parts. First, the classifier had to distinguish whether the volunteer was making some movement or was at rest. In the case of detected movement, the classifier would have to, on a second level, try to understand if they were moving only one finger or performing a movement that involved the flexion of more than one finger (grip). If the volunteer was performing a grip on the third level, the classifier would have to identify whether the volunteer was performing a spherical or triad grip. Finally, to understand the influence of the database on the classification, two methods were used: cross-validation and split validation. After analysing the results, the e-NABLE Unlimbited arm was printed on The Original Prusa i3 MK3, where polylactic acid (PLA) was used. This dissertation showed that the results obtained in the 250-millisecond window were better than the obtained ones in a 100-millisecond window. In general, the best classifier was the K-Nearest Neighbours (KNN) with k=2, except for the first level that was LDA. The best results were obtained for the first classification level, with an accuracy greater than 90%. Although the results obtained for the second and third levels were close to 80%, it was concluded that it was impossible to develop a microcontroller dependent only on one acquisition channel. These results agree with the anatomical characteristics since they are originated from the same muscle group. The cross-validation results were lower than those obtained in the training-test methodology, which allowed us to conclude that the inter variability that exists between the subjects significantly affects the classification performance. Furthermore, both the dominant and non-dominant arms were used in this work, which also increased the discrepancy between signals. Indeed, the results showed that it is impossible to develop a microcontroller adaptable to all users. Therefore, in the future, the best path will be to opt for the customization of the prototype. In order to test the implementation of a microcontroller in the printed model, it was necessary to design a support structure in Solidworks that would support the motors used to flex the fingers and Arduino to control the motors. Consequently, the e-NABLE model was re adapted, making it possible to develop a clinical training prototype. Even though it is a training prototype, it is lighter than those on the market and cheaper. The objectives of this work have been fulfilled and many answers have been given. However, there is always space for improvement. Although, this dissertation has some limitations, it certainly contributed to clarify many of the doubts that still exist in the scientific community. Hopefully, it will help to further develop the prosthetic industry.Nos últimos anos, o aumento do número de acidentes por doenças crónicas, como, por exemplo, a diabetes, e o empobrecimento de determinados países em desenvolvimento têm contribuído para um aumento significativo no número de utilizadores de próteses. A perda de um determinado membro acarreta inúmeras mudanças no dia-a-dia de cada utilizador. Estas são amplificadas quando a perda é referente à mão ou parte do antebraço. A mão é uma ferramenta essencial no dia-a-dia de cada ser humano, uma vez que é através dela que são realizadas as atividades básicas, como, por exemplo, tomar banho, lavar os dentes, comer, preparar refeições, etc. A substituição desta ferramenta é, portanto, uma necessidade, não só porque permitirá restabelecer as funções físicas e motoras do membro superior, como, também, reduzirá o nível de dependência destes utilizadores de outrem e, consequentemente, das taxas de depressão. Para colmatar as necessidades dos utilizadores, a indústria prostética tem-se reinventado e evoluído, desenvolvendo próteses para o membro superior cada vez mais sofisticadas. Com efeito, já é possível controlar uma prótese através da leitura e análise dos sinais mioelétricos do próprio utilizador, o que é denominado por muitos investigadores de controlo por reconhecimento de padrões. Este tipo de controlo é personalizável e permite adaptar a prótese a cada utilizador. Para além do uso de sinais elétricos provenientes do musculo do utilizador, a impressão 3D, uma técnica de manufatura aditiva, têm ganho força no campo da prostética. Por conseguinte, nos últimos anos os investigadores têm impresso inúmeros modelos com diferentes materiais que vão desde o uso de termoplásticos, ao uso de materiais flexíveis. A utilização deste tipo de tecnologia permite, para além de uma rápida entrega do produto ao utilizador, uma diminuição no tempo de construção de uma prótese tornando-a mais leve e barata. Além do mais, a impressão 3D permite criar protótipos mais sustentáveis, uma vez que existe uma redução na quantidade de material desperdiçado. Embora já existam inúmeras soluções, a taxa de rejeição deste tipo de dispositivos é ainda bastante elevada, uma vez que a maioria das próteses disponíveis no mercado, nomeadamente as mioelétricas, são lentas, caras e pesadas. Ainda que existam alguns estudos que se debrucem neste tipo de tecnologias, bem como na sua evolução científica, o número de elétrodos utilizados é ainda significativo. Desta forma, e, tendo em conta que a maioria dos utilizadores não possuí uma área de superfície do antebraço suficiente para ser feita a aquisição dos sinais mioelétricos, o trabalho feito pela academia não se revelou tão contributivo para a indústria prostética como este prometia inicialmente. Este trabalho pretende resolver alguns desses problemas e responder às questões mais impostas pela indústria e investigadores, para que, no futuro, o número de utilizadores possa aumentar, assim como o seu índice de satisfação relativamente ao produto. Para tal, recolheram-se os sinais mioelétricos de quarenta voluntários, através do sistema de aquisição BIOPAC. Após a recolha, filtraram-se os sinais de seis voluntários através de dois processos diferentes. No primeiro, utilizaram-se filtros digitais e no segundo aplicou-se a transformada de onda para a redução do ruído. De seguida, o sinal foi segmentado em janelas mais pequenas de 100 e 250 milissegundos e extraíram-se treze features no domínio temporal. Para que o processo de classificação fosse otimizado, foram aplicados três métodos de seleção de features. A classificação foi dividida em três níveis diferentes nos quais dois algoritmos de aprendizagem automática foram implementados, individualmente. No primeiro nível, o objetivo foi a distinção entre os momentos em que o voluntário fazia movimento ou que estava em repouso. Caso o output do classificador fosse a classe movimento, este teria de, num segundo nível, tentar perceber se o voluntário estaria a mexer apenas um dedo ou a realizar um movimento que envolvesse a flexão de mais de que um dedo (preensão). No caso de uma preensão, passava-se ao terceiro nível onde o classificador teria de identificar se o voluntário estaria a realizar a preensão esférica ou em tríade. Para todos os níveis de classificação, obtiveram-se resultados para o método de validação cruzada e o método de teste e treino, sendo que neste, 70% dos dados foram utilizados como conjunto de treino e 30% como teste. Efetuada a análise dos resultados, escolheu-se um dos modelos da comunidade e-NABLE. O modelo foi impresso na impressora The Original Prusa i3 MK3S e o material escolhido foi o ácido poliláctico (PLA). Para que fosse possível testar a implementação de um microcontrolador num modelo que originalmente depende da flexão do cotovelo realizada pelo utilizador, foi necessário desenhar uma estrutura de suporte que suportasse, não só os motores utilizados para flexionar os dedos, como, também, o Arduíno. O suporte desenhado foi impresso com o mesmo material e com a mesma impressora. Os resultados obtidos mostraram que a janela de 250 milissegundo foi a melhor e que, regra geral, o melhor classificador é o K-Nearest Neighbors (KNN) com k=2, com exceção do primeiro nível, em que o melhor classificador foi o Linear Discriminant Analysis (LDA). Os melhores resultados obtiveram-se no primeiro nível de classificação onde a accuracy foi superior a 90%. Embora os resultados obtidos para o segundo e terceiro nível tenham sido próximos de 80%, concluiu-se que não era possível desenvolver um microcontrolador dependente apenas de um canal de aquisição. Tal era expectável, uma vez que os movimentos estudados são originados pelo mesmo grupo muscular e a intervariabilidade dos sujeitos um fator significativo. Os resultados da validação cruzada foram menos precisos do que os obtidos para a metodologia de treino-teste, o que permitiu concluir que a intervariabilidade existente entre os voluntários afeta significativamente o processo de classificação. Para além disso, os voluntários utilizaram o braço dominante e o braço não dominante, o que acabou por aumentar a discrepância entre os sinais recolhidos. Com efeito, os resultados mostraram que não é possível desenvolver um microcontrolador que seja adaptável a todos os utilizadores e, portanto, no futuro, o melhor caminho será optar pela personalização do protótipo. Tendo o conhecimento prévio desta evidência, o protótipo desenvolvido neste trabalho apenas servirá como protótipo de treino para o utilizador. Ainda assim, este é bem mais leve que os existentes no mercado e muito mais barato. Nele é ainda possível testar e controlar alguns dos componentes que no futuro irão fazer parte da prótese completa, prevenindo acidentes. Não obstante o cumprimento dos objetivos deste trabalho e das muitas respostas que por ele foram dadas, existe sempre espaço para melhorias. Dado à limitação de tempo, não foi possível testar o microcontrolador em tempo-real nem efetuar testes mecânicos de flexibilidade e resistência dos materiais da prótese. Deste modo, seria interessante no futuro fazer testes de performance em tempo real e submeter a prótese a condições extremas, para que a tensão elástica e a tensão dos pins sejam testadas. Para além disso, testar os mecanismos de segurança da prótese quando o utilizador tem de fazer muita força é fundamental. O teste destes parâmetros evitará a ocorrência de falhas que poderão magoar o utilizador, bem como estragar os objetos com os quais a prótese poderá interagir. Por fim, é necessário melhorar o aspeto cosmético das próteses. Para que isso aconteça, poderão ser utilizados polímeros com uma coloração próxima do tom da pele do utilizador. Uma outra forma de melhorar este aspeto, seria fazer o scanning do braço saudável do utilizador e usar materiais flexíveis para as articulações e dedos que, juntamente com uma palma de termoplásticos resistentes e um microcontrolador, permitissem um movimento bastante natural próximo do biológico. Em suma, apesar de algumas limitações, este trabalho contribuiu para o esclarecimento de muitas das dúvidas que ainda existiam na comunidade científica e ajudará a desenvolver a indústria prostética

A survey on bio-signal analysis for human-robot interaction

The use of bio-signals analysis in human-robot interaction is rapidly increasing. There is an urgent demand for it in various applications, including health care, rehabilitation, research, technology, and manufacturing. Despite several state-of-the-art bio-signals analyses in human-robot interaction (HRI) research, it is unclear which one is the best. In this paper, the following topics will be discussed: robotic systems should be given priority in the rehabilitation and aid of amputees and disabled people; second, domains of feature extraction approaches now in use, which are divided into three main sections (time, frequency, and time-frequency). The various domains will be discussed, then a discussion of each domain's benefits and drawbacks, and finally, a recommendation for a new strategy for robotic systems

Topology of Surface Electromyogram Signals: Hand Gesture Decoding on Riemannian Manifolds

Decoding gestures from the upper limb using noninvasive surface electromyogram (sEMG) signals is of keen interest for the rehabilitation of amputees, artificial supernumerary limb augmentation, gestural control of computers, and virtual/augmented realities. We show that sEMG signals recorded across an array of sensor electrodes in multiple spatial locations around the forearm evince a rich geometric pattern of global motor unit (MU) activity that can be leveraged to distinguish different hand gestures. We demonstrate a simple technique to analyze spatial patterns of muscle MU activity within a temporal window and show that distinct gestures can be classified in both supervised and unsupervised manners. Specifically, we construct symmetric positive definite (SPD) covariance matrices to represent the spatial distribution of MU activity in a time window of interest, calculated as pairwise covariance of electrical signals measured across different electrodes. This allows us to understand and manipulate multivariate sEMG timeseries on a more natural subspace -the Riemannian manifold. Furthermore, it directly addresses signal variability across individuals and sessions, which remains a major challenge in the field. sEMG signals measured at a single electrode lack contextual information such as how various anatomical and physiological factors influence the signals and how their combined effect alters the evident interaction among neighboring muscles. As we show here, analyzing spatial patterns using covariance matrices on Riemannian manifolds allows us to robustly model complex interactions across spatially distributed MUs and provides a flexible and transparent framework to quantify differences in sEMG signals across individuals. The proposed method is novel in the study of sEMG signals and its performance exceeds the current benchmarks while maintaining exceptional computational efficiency.Comment: 15 pages, 8 figures, 5 table

Surface EMG-Based Inter-Session/Inter-Subject Gesture Recognition by Leveraging Lightweight All-ConvNet and Transfer Learning

Gesture recognition using low-resolution instantaneous HD-sEMG images opens up new avenues for the development of more fluid and natural muscle-computer interfaces. However, the data variability between inter-session and inter-subject scenarios presents a great challenge. The existing approaches employed very large and complex deep ConvNet or 2SRNN-based domain adaptation methods to approximate the distribution shift caused by these inter-session and inter-subject data variability. Hence, these methods also require learning over millions of training parameters and a large pre-trained and target domain dataset in both the pre-training and adaptation stages. As a result, it makes high-end resource-bounded and computationally very expensive for deployment in real-time applications. To overcome this problem, we propose a lightweight All-ConvNet+TL model that leverages lightweight All-ConvNet and transfer learning (TL) for the enhancement of inter-session and inter-subject gesture recognition performance. The All-ConvNet+TL model consists solely of convolutional layers, a simple yet efficient framework for learning invariant and discriminative representations to address the distribution shifts caused by inter-session and inter-subject data variability. Experiments on four datasets demonstrate that our proposed methods outperform the most complex existing approaches by a large margin and achieve state-of-the-art results on inter-session and inter-subject scenarios and perform on par or competitively on intra-session gesture recognition. These performance gaps increase even more when a tiny amount (e.g., a single trial) of data is available on the target domain for adaptation. These outstanding experimental results provide evidence that the current state-of-the-art models may be overparameterized for sEMG-based inter-session and inter-subject gesture recognition tasks

Analyzing Behavioral Biometrics of Handwriting Using Myo Gesture Control Armband

Through the last few decades, computer technology has gradually merged into our everyday lives. Computers and sensors are embedded in an increasing amount of household items, enabling us to monitor and remotely control our connected devices from apps on our smartphones. The technology interfaces are also evolving along with new technologies. Among the up and coming digital interfaces are wearable technology. The Myo gesture control armband (GCA) is an example of tools which aims to make the communication from computer to human more seamless and intuitive. The Myo GCA is a multi sensor armband containing 8 surface electromyography sensors which measure electrical activity originating from skeletal muscles in the upper forearm. It is also equipped with a 9-axis inertial measurement unit which can provide information on spatial arm movements of the users. Together these sensors enable its user to pass 6 configurable commands to a smart phone or Blue-tooth connected computer. In this thesis we explore the Myo armbands potential as a multi sensor for handwriting recognition. Data are sampled and manually extracted through a cumbersome time consuming process, using recorded video as a reference to the sampled Myo data. The subjects are given the task of writing 10 repetitions each, of the four capital letters: E, L, O, and R. A strong positive correlation between same class letters within subjects has been proven in all of the four sensor types, where the orientation data yields the highest correlation coefficient values, while the sEMG data yields the lowest. Statistical similarity between same class letters has been found through singular value decomposition, where again orientation data yields the highest values, while sEMG scores the lowest of all sensor types. In an attempt to cross subject classification though k-NN, with k = 1, k = 3, and k = 5, the 1-NN classifier yields a minimum success rate of 58\% across the four letters. This is considerably better that what we would expect from a random assignment of letter classes. In the last part of the results, a similarity search by DTW is attempted. This yield poor results, with a classification success rate of around 10$\%$ on average across letters