Shoulder muscle activation pattern recognition based on sEMG and machine learning algorithms

BACKGROUND AND OBJECTIVE: Surface electromyography (sEMG) has been used for robotic rehabilitation engineering for volitional control of hand prostheses or elbow exoskeleton, however, using sEMG for volitional control of an upper limb exoskeleton has not been perfectly developed. The long-term goal of our study is to process shoulder muscle bio-electrical signals for rehabilitative robotic assistive device motion control. The purposes of this study included: 1) to test the feasibility of machine learning algorithms in shoulder motion pattern recognition using sEMG signals from shoulder and upper limb muscles, 2) to investigate the influence of motion speed, individual variability, EMG recording device, and the amount of EMG datasets on the shoulder motion pattern recognition accuracy. METHODS: A novel convolutional neural network (CNN) structure was constructed to process EMG signals from 12 muscles for the pattern recognition of upper arm motions including resting, drinking, backward-forward motion, and abduction motion. The accuracy of the CNN models for pattern recognition under different motion speeds, among individuals, and by EMG recording devices was statistically analyzed using ANOVA, GLM Univariate analysis, and Chi-square tests. The influence of EMG dataset number used for CNN model training on recognition accuracy was studied by gradually increasing dataset number until the highest accuracy was obtained. RESULTS: Results showed that the accuracy of the normal speed CNN model in motion pattern recognition was 97.57% for normal speed motions and 97.07% for fast speed motions. The accuracy of the cross-subjects CNN model in motion pattern recognition was 79.64%. The accuracy of the cross-device CNN model in motion pattern recognition was 88.93% for normal speed motion and 80.87% for mixed speed. There was a statistical difference in pattern recognition accuracy between different CNN models. CONCLUSION: The EMG signals of shoulder and upper arm muscles from the upper limb motions can be processed using CNN algorithms to recognize the identical motions of the upper limb including drinking, forward/backward, abduction, and resting. A simple CNN model trained by EMG datasets of a designated motion speed accurately detected the motion patterns of the same motion speed, yielding the highest accuracy compared with other mixed CNN models for various speeds of motion pattern recognition. Increase of the number of EMG datasets for CNN model training improved the pattern recognition accuracy

Virtual sensor of surface electromyography in a new extensive fault-tolerant classification system

A few prosthetic control systems in the scientific literature obtain pattern recognition algorithms adapted to changes that occur in the myoelectric signal over time and, frequently, such systems are not natural and intuitive. These are some of the several challenges for myoelectric prostheses for everyday use. The concept of the virtual sensor, which has as its fundamental objective to estimate unavailable measures based on other available measures, is being used in other fields of research. The virtual sensor technique applied to surface electromyography can help to minimize these problems, typically related to the degradation of the myoelectric signal that usually leads to a decrease in the classification accuracy of the movements characterized by computational intelligent systems. This paper presents a virtual sensor in a new extensive fault-tolerant classification system to maintain the classification accuracy after the occurrence of the following contaminants: ECG interference, electrode displacement, movement artifacts, power line interference, and saturation. The Time-Varying Autoregressive Moving Average (TVARMA) and Time-Varying Kalman filter (TVK) models are compared to define the most robust model for the virtual sensor. Results of movement classification were presented comparing the usual classification techniques with the method of the degraded signal replacement and classifier retraining The experimental results were evaluated for these five noise types in 16 surface electromyography (sEMG) channel degradation case studies. The proposed system without using classifier retraining techniques recovered of mean classification accuracy was of 4% to 38% for electrode displacement, movement artifacts, and saturation noise. The best mean classification considering all signal contaminants and channel combinations evaluated was the classification using the retraining method, replacing the degraded channel by the virtual sensor TVARMA model. This method recovered the classification accuracy after the degradations, reaching an average of 5.7% below the classification of the clean signal, that is the signal without the contaminants or the original signal. Moreover, the proposed intelligent technique minimizes the impact of the motion classification caused by signal contamination related to degrading events over time. There are improvements in the virtual sensor model and in the algorithm optimization that need further development to provide an increase the clinical application of myoelectric prostheses but already presents robust results to enable research with virtual sensors on biological signs with stochastic behavior

Metodología basada en entrenamiento automático para el reconocimiento del movimiento individual de los dedos de la mano usando análisis de señales electromiográficos de superficie

El reconocimiento delmovimiento de los dedos de la mano es un área de investigación activa en la aplicación de interfacesmúsculo Computador (muCI) en la que la persona realiza un gesto (combinación de movimientos de los dedos) y una máquina reconoce el movimiento real. Al reconocer los movimientos individuales de los dedos de la mano se puede simular la motricidad fina que proporcionen un control individual de los dedos. En esta tesis se presenta una metodología para el reconocimiento del movimiento individual de los dedos de la mano, basado en la estimación de características de las señales electromiográficas superficiales adquiridas en el antebrazo. Se adquirió un conjunto de datos con 54 sujetos y ocho señales (canales) por sujeto mediante un sensor inalámbrico, luego, se hizo una etiquetación automática de este conjunto para el posterior reconocimiento y se analizaron las características extraídas en tres tipos de dominios, tales como, el tiempo, la frecuencia y tiempofrecuencia, formando un conjunto de 720 características. Además, para la estimación de características en el dominio de tiempo-frecuencia se realizó un experimento con el fin de encontrar los parámetros más representativos en la descomposición con la transformada Wavelet discreta y así, generar un espacio de representación apropiado. Se seleccionó un subconjunto de características y se entrenó con los clasificadores Máquinas de Vectores de Soporte (SVM), análisis discriminante lineal (LDA) y vecinos más cercanos (k-NN) con una validación cruzada de 10 iteraciones para evitar el sobreajuste. Se logra una exactitud superior al 95% con el clasificador SVM y 98% con LDA, no obstante, el k-NN no obtuvo un buen rendimiento en términos de la media geométrica debido a que requiere de una sintonización de los k-vecinos, lo que implica que la metodología propuesta facilita el reconocimiento del movimiento individual de los dedos uilizando el clasificador LDA.Magister en Automatización y Contro

Máquina de vetores de suporte embarcada em hardware para classificação de sinais mioelétricos

Sinais mioelétricos são foco de muitos estudos que visam melhorar a capacidade motora de pessoas amputadas ao proporem próteses eletromecânicas cada vez mais inteligentes. Técnicas de aprendizado de máquina são aplicadas a estes sinais e sistemas que preveem movimentos com taxa de acerto acima de 90% para alguns sujeitos são encontrados na literatura. Para atingir estas altas taxas de acerto, porém, o algoritmo de aprendizado deve treinar por minutos ou horas, tempo que acompanha toda e qualquer calibração e que prejudica a popularização de sistemas realimentados nesta área. Com o objetivo de acelerar o processo de treinamento, este trabalho propõe embarcar o sistema em uma FPGA pois estudos mostram que tem capacidade de reduzir o tempo necessário para aprendizado, e sistemas em hardware são pouco explorados pela literatura especializada. O sistema proposto consiste no desenvolvimento de módulos em VHDL para o filtro digital, extração de características, treinamento de Máquinas de Vetores de Suporte, validação e classificação embarcados na FPGA. Ensaios com a base de dados Ninapro indicam taxas de acerto acima de 70% no aprendizado de 10 movimentos executados por alguns sujeitos não amputados após o curto período de tempo de 10 s de treinamento, e acima de 50% quando os movimentos são executados por alguns sujeitos amputados. Estas taxas são inferiores às obtidas em estudos feitos em computadores, onde os recursos de processamento e memória são abundantes, porém, possui as vantagens de portabilidade, possibilitar calibração rápida com treinamento em menos de 10 s, e estar preparado para sistemas realimentados. A velocidade de aprendizado do sistema é aproximadamente 1,76 épocas/ms.Myoelectric signals are the focus of many studies that aim to improve the motor capacity of amputees by proposing increasingly intelligent electromechanical prostheses. Machine learning techniques are applied to these signals and systems that predict movements with accuracy above 90% for some subjects are proposed. In order to achieve these high classification rates, however, the learning algorithm must train for minutes or hours, time that follows any and all calibration and makes feedback systems unfeasible. In order to accelerate the training process, this work proposes to embed the system in a FPGA since studies show that it has the capacity to reduce the time required for learning, and hardware systems are little explored in the literature. The proposed system consists of digital filtering, feature extraction, support vector machine training, validation and classification embedded in the FPGA. Experiments with the Ninapro database indicate accuracy rates above 70% in the classification of 10 movements performed by some non-amputated subjects after 10 s of training, and over 50% when performed by some amputees. These rates are lower than those obtained in computer studies, where processing and memory resources abound, but have the advantages of portability, enabling quick calibration with training in less than 10 s, and being prepared to feedback systems. The system learning speed is approximately 1.76 epochs/ms

Uso de redes recorrentes para identificação automática de contaminantes e para a estimação de um sensor virtual de eletromiografia no contexto de um sistema tolerante a falhas

O desenvolvimento de sistemas inteligentes controlados por eletromiografia que possam se adaptar a possíveis contaminações extrínsecas e intrínsecas, que afetem a taxa de acerto do classificador de movimentos, leva a dispositivos mais robustos e seguros, vistos que evitariam acionamentos indevidos e inesperados. Esse trabalho apresenta uma solução para contaminações por Artefato de Movimento, Ruído de Linha Elétrica, Ruído Branco Aditivo e ECG em 9 diferentes níveis de SNR, de -40dB a 40dB, utilizando Redes Neurais Recorrentes (RNR) com unidades LSTM nas duas etapas deste trabalho. A primeira etapa é o sistema de identificação da contaminação, que traz como inovação a identificação do contaminante diretamente do sinal bruto de sEMG, deixando para a rede a extração das características temporais, onde os resultados apontaram uma taxa de mais de 90% de acerto do tipo de contaminante para SNR = -30dB. A segunda etapa é a geração de um Sensor Virtual a partir de 7 estudos de caso em falhas de eletrodos, que traz como inovação a regressão do sinal retificado e suavizado por um filtro AVT. A geração do sensor virtual é realizada a partir dos canais não contaminados também utilizando uma RNR - LSTM com o objetivo de recuperar a taxa de acerto em 18 classes de um classificador Extreme Learning Machine (ELM), aplicado nas bases NinaPro e IEE. Os resultados indicaram que foi possível recuperar a taxa média de acerto para 2 canais contaminados com ruído branco aditivo em -30dB, de um total de 12 canais, de 7,28% para 68,34% em 4 indivíduos não amputados e de 15,07% para 43,67% em 9 indivíduos amputados.The development of electromyographic controlled systems adaptable to possibles extrinsic and intrisec contaminations, affecting the movement classification hit rate, lead to more robust and secure devices avoiding unexpected situations. This work presents a solution for Movement Artifact, Electrical Noise, White Gaussian Noise and ECG in nine SNR levels, ranging from -40dB to 40dB in 10dB steps, using Recurrent Neural Networks with LSTM units in the two stages of this work. The first stage is an automatic contamination detector, that has the contaminant identification made direct from the raw sEMG signal as a novelty, where the the tests point to 90% correct identification for SNR = -30dB. The second stage is the development of a virtual sensor, that generates the corrupted channel using the non-corrupted ones using a RNR-LSTM with the objective to recover the 18 movement class classification hit rate for an Extreme Learning Machine (ELM). The results shows that was possible to recovery the classification hit rate for 2 contaminated channels from 7.28% to 63.34% in 4 non-amputee subjects and from 15,07% to 43.67% in 9 amputee subjects

Modelo adaptativo baseado em sensor virtual para eletromiografia de superfície com sistema de classificação tolerante a falhas

Apenas alguns sistemas de controle protético na literatura científica são baseados em algoritmos de reconhecimento de padrões, os quais são adaptados às mudanças que ocorrem no sinal mioelétrico ao longo do tempo, e, frequentemente, tais sistemas não são naturais e intuitivos. As mudanças no sinal mioelétrico são alguns dos vários desafios para as próteses mioelétricas serem amplamente utilizadas. O conceito do sensor virtual, que tem como objetivo fundamental estimar medidas indisponíveis por trás de outras medidas disponíveis, vem sendo utilizado em outras áreas de pesquisa. O sensor virtual aplicado à eletromiografia de superfície (sEMG) pode ajudar a minimizar esses problemas, tipicamente relacionados à degradação do sinal mioelétrico, os quais geralmente provocam uma diminuição na taxa de acerto da classificação dos movimentos por sistemas de inteligência computacional. A principal contribuição deste trabalho é o desenvolvimento de um sistema de classificação de movimentos tolerante a falhas, o qual utiliza o conceito de sensores virtuais para reduzir o impacto de degradação de sinais de sEMG. A segunda contribuição é um modelo do sinal de sEMG dinâmico e adaptativo para o sensor virtual, o qual produz um modelo de saída de sinal independente da aquisição física do sinal de interesse. A modelagem do sinal de sEMG é projetada de forma a combinar os conceitos de multicanais e sua correlação cruzada, além de utilizar um sistema de ajuste dos coeficientes de correlação, a fim de substituir os canais de sinais degradados Dois modelos são avaliados e detalhados: Time-Varying Autoregressive Moving Average (TVARMA) e o Time- Varying Kalman Filter (TVK). A terceira contribuição é a combinação de uma análise e detecção da contaminação do sinal realizada por um sensor de detecção tolerante a falhas (Sensor Fault-Tolerant Detector – SFTD). Os resultados da classificação dos movimentos foram apresentados comparando as técnicas usuais de classificação com o método da substituição do sinal degradado e um processo de retreinamento do classificador simplificado. Os resultados foram avaliados para cinco tipos de ruído em 16 estudos de caso da degradação dos canais de sEMG. O sistema adaptativo proposto sem o uso de técnicas de retreinamento do classificador recuperou a taxa de acerto média de classificação em até 46% para os ruídos de deslocamento de eletrodos e de saturação. Devido às limitações do sistema proposto quanto aos ruídos de artefato de movimento, de interferência de linha de energia e ECG, o sistema apresentado pode ser utilizado como uma técnica complementar com outras técnicas de classificação para aumentar o impacto clínico da prótese mioelétrica. Entretanto, o sistema ainda requer uma análise quanto a diferentes níveis de SNR antes de uma otimização do algoritmo. Além disso, o modelo TVARMA do sensor virtual obteve uma taxa de acerto média superior em comparação ao modelo TVK na maioria das situações avaliadas neste trabalho.Nowadays, only a few prosthetic control systems in the scientific literature are founded on pattern recognition algorithms adapted to changes that occur in the myoelectric signal over time and, frequently, such systems are not natural and intuitive. These are some of the several challenges for myoelectric prostheses for everyday use. The concept of the virtual sensor, which has as its fundamental objective to estimate unavailable measures based on other available measures, is already being used in other fields of research. The virtual sensor technique applied to surface electromyography (sEMG) can help to mitigate these problems, typically related to the degradation of the myoelectric signal that usually leads to a decrease in the classification accuracy of the movements characterized by intelligent computational systems. Therefore, the main contribution of this work is the Fault-Tolerant Classification System, that was developed using the concept of virtual sensors to reduce the degradation impact of sEMG signals. The second contribution is a dynamic and adaptive virtual sensor model, which produces a signal output model independent of the physical acquisition of the interest signal. The sEMG signal modeling was designed to combine multichannel concepts and their cross-correlation, in addition to the use of the correlation coefficient adjustment system to replace degraded signal channels. Two models were evaluated and detailed: Time-Varying Autoregressive Moving Average (TVARMA) and Time-Varying Kalman Filter (TVK) The third contribution is the analysis and detection of signal contamination by a Sensor Fault-Tolerant Detector (SFTD). The classification results of the movements were compared to the traditional classification techniques, the classification with the degraded signal replacement method and a simplified retraining process of the classifier. The results were evaluated for five noise types in 16 case studies of the sEMG channels degradation. The adaptive system proposed, without the classifier re-training techniques, was able to recover 46% of the mean classification accuracy for the electrodes displacement and saturation noise. Moreover, the proposed system can be used as a complementary technique with other classification techniques to increase the clinical impact of the myoelectric prosthesis since there are still limitations in the proposed method regarding the movement artifact noise, power line, and ECG interference. However, the system still requires an analysis of different SNR levels before the algorithm optimization. Also, the TVARMA model of the virtual sensor obtained a higher classification accuracy compared to the TVK model in most of the evaluated situations