Novel Time Domain Based Upper-Limb Prosthesis Control using Incremental Learning Approach

The upper limb of the body is a vital for various kind of activities for human. The complete or partial loss of the upper limb would lead to a significant impact on daily activities of the amputees. EMG carries important information of human physique which helps to decode the various functionalities of human arm. EMG signal based bionics and prosthesis have gained huge research attention over the past decade. Conventional EMG-PR based prosthesis struggles to give accurate performance due to off-line training used and incapability to compensate for electrode position shift and change in arm position. This work proposes online training and incremental learning based system for upper limb prosthetic application. This system consists of ADS1298 as AFE (analog front end) and a 32 bit arm cortex-m4 processor for DSP (digital signal processing). The system has been tested for both intact and amputated subjects. Time derivative moment based features have been implemented and utilized for effective pattern classification. Initially, system have been trained for four classes using the on-line training process later on the number of classes have been incremented on user demand till eleven, and system performance has been evaluated. The system yielded a completion rate of 100% for healthy and amputated subjects when four motions have been considered. Further 94.33% and 92% completion rate have been showcased by the system when the number of classes increased to eleven for healthy and amputees respectively. The motion efficacy test is also evaluated for all the subjects. The highest efficacy rate of 91.23% and 88.64% are observed for intact and amputated subjects respectively.Comment: 15 Pages, 8 Figures, This work has been submitted to the IEEE for possible publication. Copyright may be transferred without notice, after which this version may no longer be accessibl

Deep Learning for Electromyographic Hand Gesture Signal Classification Using Transfer Learning

In recent years, deep learning algorithms have become increasingly more prominent for their unparalleled ability to automatically learn discriminant features from large amounts of data. However, within the field of electromyography-based gesture recognition, deep learning algorithms are seldom employed as they require an unreasonable amount of effort from a single person, to generate tens of thousands of examples. This work's hypothesis is that general, informative features can be learned from the large amounts of data generated by aggregating the signals of multiple users, thus reducing the recording burden while enhancing gesture recognition. Consequently, this paper proposes applying transfer learning on aggregated data from multiple users, while leveraging the capacity of deep learning algorithms to learn discriminant features from large datasets. Two datasets comprised of 19 and 17 able-bodied participants respectively (the first one is employed for pre-training) were recorded for this work, using the Myo Armband. A third Myo Armband dataset was taken from the NinaPro database and is comprised of 10 able-bodied participants. Three different deep learning networks employing three different modalities as input (raw EMG, Spectrograms and Continuous Wavelet Transform (CWT)) are tested on the second and third dataset. The proposed transfer learning scheme is shown to systematically and significantly enhance the performance for all three networks on the two datasets, achieving an offline accuracy of 98.31% for 7 gestures over 17 participants for the CWT-based ConvNet and 68.98% for 18 gestures over 10 participants for the raw EMG-based ConvNet. Finally, a use-case study employing eight able-bodied participants suggests that real-time feedback allows users to adapt their muscle activation strategy which reduces the degradation in accuracy normally experienced over time.Comment: Source code and datasets available: https://github.com/Giguelingueling/MyoArmbandDatase

Towards Indonesian Speech-Emotion Automatic Recognition (I-SpEAR)

Even though speech-emotion recognition (SER) has been receiving much attention as research topic, there are still some disputes about which vocal features can identify certain emotion. Emotion expression is also known to be differed according to the cultural backgrounds that make it important to study SER specific to the culture where the language belongs to. Furthermore, only a few studies addresses the SER in Indonesian which what this study attempts to explore. In this study, we extract simple features from 3420 voice data gathered from 38 participants. The features are compared by means of linear mixed effect model which shows that people who are in emotional and non-emotional state can be differentiated by their speech duration. Using SVM and speech duration as input feature, we achieve 76.84% average accuracy in classifying emotional and non-emotional speech.Comment: 4 pages, 3 tables, published in 4th International Conference on New Media (Conmedia) on 8-10 Nov. 2017 (http://conmedia.umn.ac.id/) [in print as in Sept. 17, 2017

Longitudinal tracking of physiological state with electromyographic signals.

Electrophysiological measurements have been used in recent history to classify instantaneous physiological configurations, e.g., hand gestures. This work investigates the feasibility of working with changes in physiological configurations over time (i.e., longitudinally) using a variety of algorithms from the machine learning domain. We demonstrate a high degree of classification accuracy for a binary classification problem derived from electromyography measurements before and after a 35-day bedrest. The problem difficulty is increased with a more dynamic experiment testing for changes in astronaut sensorimotor performance by taking electromyography and force plate measurements before, during, and after a jump from a small platform. A LASSO regularization is performed to observe changes in relationship between electromyography features and force plate outcomes. SVM classifiers are employed to correctly identify the times at which these experiments are performed, which is important as these indicate a trajectory of adaptation

Infrared face recognition: a comprehensive review of methodologies and databases

Automatic face recognition is an area with immense practical potential which includes a wide range of commercial and law enforcement applications. Hence it is unsurprising that it continues to be one of the most active research areas of computer vision. Even after over three decades of intense research, the state-of-the-art in face recognition continues to improve, benefitting from advances in a range of different research fields such as image processing, pattern recognition, computer graphics, and physiology. Systems based on visible spectrum images, the most researched face recognition modality, have reached a significant level of maturity with some practical success. However, they continue to face challenges in the presence of illumination, pose and expression changes, as well as facial disguises, all of which can significantly decrease recognition accuracy. Amongst various approaches which have been proposed in an attempt to overcome these limitations, the use of infrared (IR) imaging has emerged as a particularly promising research direction. This paper presents a comprehensive and timely review of the literature on this subject. Our key contributions are: (i) a summary of the inherent properties of infrared imaging which makes this modality promising in the context of face recognition, (ii) a systematic review of the most influential approaches, with a focus on emerging common trends as well as key differences between alternative methodologies, (iii) a description of the main databases of infrared facial images available to the researcher, and lastly (iv) a discussion of the most promising avenues for future research.Comment: Pattern Recognition, 2014. arXiv admin note: substantial text overlap with arXiv:1306.160

Development and optimization of a low-cost myoelectric upper limb prosthesis

Tese de Mestrado Integrado, Engenharia Biomédica e Biofísica (Engenharia Clínica e Instrumentação Médica), 2022, Universidade de Lisboa, Faculdade de CiênciasIn recent years, the increase in the number of accidents, chronic diseases, such as diabetes, and the impoverishment of certain developing countries have contributed to a significant increase in prostheses users. The loss of a particular limb entails numerous changes in the daily life of each user, which are amplified when the user loses their hand. Therefore, replacing the hand is an urgent necessity. Developing upper limb prostheses will allow the re-establishment of the physical and motor functions of the upper limb as well as reduction of the rates of depression. Therefore, the prosthetic industry has been reinventing itself and evolving. It is already possible to control a prosthesis through the user's myoelectric signals, control known as pattern recognition control. In addition, additive manufacturing technologies such as 3D printing have gained strength in prosthetics. The use of this type of technology allows the product to reach the user much faster and reduces the weight of the devices, making them lighter. Despite these advances, the rejection rate of this type of device is still high since most prostheses available on the market are slow, expensive and heavy. Because of that, academia and institutions have been investigating ways to overcome these limitations. Nevertheless, the dependence on the number of acquisition channels is still limiting since most users do not have a large available forearm surface area to acquire the user’s myoelectric signals. This work intends to solve some of these problems and answer the questions imposed by the industry and researchers. The main objective is to test if developing a subject independent, fast and simple microcontroller is possible. Subsequently, we recorded data from forty volunteers through the BIOPAC acquisition system. After that, the signals were filtered through two different processes. The first was digital filtering and the application of wavelet threshold noise reduction. Later, the signal was divided into smaller windows (100 and 250 milliseconds) and thirteen features were extracted in the temporal domain. During all these steps, the MatLab® software was used. After extraction, three feature selection methods were used to optimize the classification process, where machine learning algorithms are implemented. The classification was divided into different parts. First, the classifier had to distinguish whether the volunteer was making some movement or was at rest. In the case of detected movement, the classifier would have to, on a second level, try to understand if they were moving only one finger or performing a movement that involved the flexion of more than one finger (grip). If the volunteer was performing a grip on the third level, the classifier would have to identify whether the volunteer was performing a spherical or triad grip. Finally, to understand the influence of the database on the classification, two methods were used: cross-validation and split validation. After analysing the results, the e-NABLE Unlimbited arm was printed on The Original Prusa i3 MK3, where polylactic acid (PLA) was used. This dissertation showed that the results obtained in the 250-millisecond window were better than the obtained ones in a 100-millisecond window. In general, the best classifier was the K-Nearest Neighbours (KNN) with k=2, except for the first level that was LDA. The best results were obtained for the first classification level, with an accuracy greater than 90%. Although the results obtained for the second and third levels were close to 80%, it was concluded that it was impossible to develop a microcontroller dependent only on one acquisition channel. These results agree with the anatomical characteristics since they are originated from the same muscle group. The cross-validation results were lower than those obtained in the training-test methodology, which allowed us to conclude that the inter variability that exists between the subjects significantly affects the classification performance. Furthermore, both the dominant and non-dominant arms were used in this work, which also increased the discrepancy between signals. Indeed, the results showed that it is impossible to develop a microcontroller adaptable to all users. Therefore, in the future, the best path will be to opt for the customization of the prototype. In order to test the implementation of a microcontroller in the printed model, it was necessary to design a support structure in Solidworks that would support the motors used to flex the fingers and Arduino to control the motors. Consequently, the e-NABLE model was re adapted, making it possible to develop a clinical training prototype. Even though it is a training prototype, it is lighter than those on the market and cheaper. The objectives of this work have been fulfilled and many answers have been given. However, there is always space for improvement. Although, this dissertation has some limitations, it certainly contributed to clarify many of the doubts that still exist in the scientific community. Hopefully, it will help to further develop the prosthetic industry.Nos últimos anos, o aumento do número de acidentes por doenças crónicas, como, por exemplo, a diabetes, e o empobrecimento de determinados países em desenvolvimento têm contribuído para um aumento significativo no número de utilizadores de próteses. A perda de um determinado membro acarreta inúmeras mudanças no dia-a-dia de cada utilizador. Estas são amplificadas quando a perda é referente à mão ou parte do antebraço. A mão é uma ferramenta essencial no dia-a-dia de cada ser humano, uma vez que é através dela que são realizadas as atividades básicas, como, por exemplo, tomar banho, lavar os dentes, comer, preparar refeições, etc. A substituição desta ferramenta é, portanto, uma necessidade, não só porque permitirá restabelecer as funções físicas e motoras do membro superior, como, também, reduzirá o nível de dependência destes utilizadores de outrem e, consequentemente, das taxas de depressão. Para colmatar as necessidades dos utilizadores, a indústria prostética tem-se reinventado e evoluído, desenvolvendo próteses para o membro superior cada vez mais sofisticadas. Com efeito, já é possível controlar uma prótese através da leitura e análise dos sinais mioelétricos do próprio utilizador, o que é denominado por muitos investigadores de controlo por reconhecimento de padrões. Este tipo de controlo é personalizável e permite adaptar a prótese a cada utilizador. Para além do uso de sinais elétricos provenientes do musculo do utilizador, a impressão 3D, uma técnica de manufatura aditiva, têm ganho força no campo da prostética. Por conseguinte, nos últimos anos os investigadores têm impresso inúmeros modelos com diferentes materiais que vão desde o uso de termoplásticos, ao uso de materiais flexíveis. A utilização deste tipo de tecnologia permite, para além de uma rápida entrega do produto ao utilizador, uma diminuição no tempo de construção de uma prótese tornando-a mais leve e barata. Além do mais, a impressão 3D permite criar protótipos mais sustentáveis, uma vez que existe uma redução na quantidade de material desperdiçado. Embora já existam inúmeras soluções, a taxa de rejeição deste tipo de dispositivos é ainda bastante elevada, uma vez que a maioria das próteses disponíveis no mercado, nomeadamente as mioelétricas, são lentas, caras e pesadas. Ainda que existam alguns estudos que se debrucem neste tipo de tecnologias, bem como na sua evolução científica, o número de elétrodos utilizados é ainda significativo. Desta forma, e, tendo em conta que a maioria dos utilizadores não possuí uma área de superfície do antebraço suficiente para ser feita a aquisição dos sinais mioelétricos, o trabalho feito pela academia não se revelou tão contributivo para a indústria prostética como este prometia inicialmente. Este trabalho pretende resolver alguns desses problemas e responder às questões mais impostas pela indústria e investigadores, para que, no futuro, o número de utilizadores possa aumentar, assim como o seu índice de satisfação relativamente ao produto. Para tal, recolheram-se os sinais mioelétricos de quarenta voluntários, através do sistema de aquisição BIOPAC. Após a recolha, filtraram-se os sinais de seis voluntários através de dois processos diferentes. No primeiro, utilizaram-se filtros digitais e no segundo aplicou-se a transformada de onda para a redução do ruído. De seguida, o sinal foi segmentado em janelas mais pequenas de 100 e 250 milissegundos e extraíram-se treze features no domínio temporal. Para que o processo de classificação fosse otimizado, foram aplicados três métodos de seleção de features. A classificação foi dividida em três níveis diferentes nos quais dois algoritmos de aprendizagem automática foram implementados, individualmente. No primeiro nível, o objetivo foi a distinção entre os momentos em que o voluntário fazia movimento ou que estava em repouso. Caso o output do classificador fosse a classe movimento, este teria de, num segundo nível, tentar perceber se o voluntário estaria a mexer apenas um dedo ou a realizar um movimento que envolvesse a flexão de mais de que um dedo (preensão). No caso de uma preensão, passava-se ao terceiro nível onde o classificador teria de identificar se o voluntário estaria a realizar a preensão esférica ou em tríade. Para todos os níveis de classificação, obtiveram-se resultados para o método de validação cruzada e o método de teste e treino, sendo que neste, 70% dos dados foram utilizados como conjunto de treino e 30% como teste. Efetuada a análise dos resultados, escolheu-se um dos modelos da comunidade e-NABLE. O modelo foi impresso na impressora The Original Prusa i3 MK3S e o material escolhido foi o ácido poliláctico (PLA). Para que fosse possível testar a implementação de um microcontrolador num modelo que originalmente depende da flexão do cotovelo realizada pelo utilizador, foi necessário desenhar uma estrutura de suporte que suportasse, não só os motores utilizados para flexionar os dedos, como, também, o Arduíno. O suporte desenhado foi impresso com o mesmo material e com a mesma impressora. Os resultados obtidos mostraram que a janela de 250 milissegundo foi a melhor e que, regra geral, o melhor classificador é o K-Nearest Neighbors (KNN) com k=2, com exceção do primeiro nível, em que o melhor classificador foi o Linear Discriminant Analysis (LDA). Os melhores resultados obtiveram-se no primeiro nível de classificação onde a accuracy foi superior a 90%. Embora os resultados obtidos para o segundo e terceiro nível tenham sido próximos de 80%, concluiu-se que não era possível desenvolver um microcontrolador dependente apenas de um canal de aquisição. Tal era expectável, uma vez que os movimentos estudados são originados pelo mesmo grupo muscular e a intervariabilidade dos sujeitos um fator significativo. Os resultados da validação cruzada foram menos precisos do que os obtidos para a metodologia de treino-teste, o que permitiu concluir que a intervariabilidade existente entre os voluntários afeta significativamente o processo de classificação. Para além disso, os voluntários utilizaram o braço dominante e o braço não dominante, o que acabou por aumentar a discrepância entre os sinais recolhidos. Com efeito, os resultados mostraram que não é possível desenvolver um microcontrolador que seja adaptável a todos os utilizadores e, portanto, no futuro, o melhor caminho será optar pela personalização do protótipo. Tendo o conhecimento prévio desta evidência, o protótipo desenvolvido neste trabalho apenas servirá como protótipo de treino para o utilizador. Ainda assim, este é bem mais leve que os existentes no mercado e muito mais barato. Nele é ainda possível testar e controlar alguns dos componentes que no futuro irão fazer parte da prótese completa, prevenindo acidentes. Não obstante o cumprimento dos objetivos deste trabalho e das muitas respostas que por ele foram dadas, existe sempre espaço para melhorias. Dado à limitação de tempo, não foi possível testar o microcontrolador em tempo-real nem efetuar testes mecânicos de flexibilidade e resistência dos materiais da prótese. Deste modo, seria interessante no futuro fazer testes de performance em tempo real e submeter a prótese a condições extremas, para que a tensão elástica e a tensão dos pins sejam testadas. Para além disso, testar os mecanismos de segurança da prótese quando o utilizador tem de fazer muita força é fundamental. O teste destes parâmetros evitará a ocorrência de falhas que poderão magoar o utilizador, bem como estragar os objetos com os quais a prótese poderá interagir. Por fim, é necessário melhorar o aspeto cosmético das próteses. Para que isso aconteça, poderão ser utilizados polímeros com uma coloração próxima do tom da pele do utilizador. Uma outra forma de melhorar este aspeto, seria fazer o scanning do braço saudável do utilizador e usar materiais flexíveis para as articulações e dedos que, juntamente com uma palma de termoplásticos resistentes e um microcontrolador, permitissem um movimento bastante natural próximo do biológico. Em suma, apesar de algumas limitações, este trabalho contribuiu para o esclarecimento de muitas das dúvidas que ainda existiam na comunidade científica e ajudará a desenvolver a indústria prostética