Deep learning-based artificial vision for grasp classification in myoelectric hands

Objective. Computer vision-based assistive technology solutions can revolutionise the quality of care for people with sensorimotor disorders. The goal of this work was to enable trans-radial amputees to use a simple, yet efficient, computer vision system to grasp and move common household objects with a two-channel myoelectric prosthetic hand. Approach. We developed a deep learning-based artificial vision system to augment the grasp functionality of a commercial prosthesis. Our main conceptual novelty is that we classify objects with regards to the grasp pattern without explicitly identifying them or measuring their dimensions. A convolutional neural network (CNN) structure was trained with images of over 500 graspable objects. For each object, 72 images, at ${{5}^{\circ}}$ intervals, were available. Objects were categorised into four grasp classes, namely: pinch, tripod, palmar wrist neutral and palmar wrist pronated. The CNN setting was first tuned and tested offline and then in realtime with objects or object views that were not included in the training set. Main results. The classification accuracy in the offline tests reached $85 \%$ for the seen and $75 \%$ for the novel objects; reflecting the generalisability of grasp classification. We then implemented the proposed framework in realtime on a standard laptop computer and achieved an overall score of $84 \%$ in classifying a set of novel as well as seen but randomly-rotated objects. Finally, the system was tested with two trans-radial amputee volunteers controlling an i-limb UltraTM prosthetic hand and a motion controlTM prosthetic wrist; augmented with a webcam. After training, subjects successfully picked up and moved the target objects with an overall success of up to $88 \%$ . In addition, we show that with training, subjects' performance improved in terms of time required to accomplish a block of 24 trials despite a decreasing level of visual feedback. Significance. The proposed design constitutes a substantial conceptual improvement for the control of multi-functional prosthetic hands. We show for the first time that deep-learning based computer vision systems can enhance the grip functionality of myoelectric hands considerably

Co-adaptive myoelectric control for upper limb prostheses

[ES] Mucha gente en el mundo se ve afectada por la pérdida de una extremidad (las predicciones estiman que en 2050 habrá más de 3 millones de personas afectadas únicamente en los Estados Unidos de América). A pesar de la continua mejora en las técnicas de amputación y la prostética, vivir sin una extremidad sigue limitando las actividades de los afectados en su vida diaria, provocando una disminución en su calidad de vida. En este trabajo nos centramos en los casos de amputaciones de extremidades superiores, entendiendo por ello la pérdida de cualquier parte del brazo o antebrazo. Esta tesis trata sobre el control mioeléctrico (potenciales eléctricos superficiales generados por la contracción de los músculos) de prótesis de extremidades superiores. Los estudios en este campo han crecido exponencialmente en las últimas décadas intentando reducir el hueco entre la parte investigadora más dinámica y propensa a los cambios e innovación (por ejemplo, usando técnicas como la inteligencia artificial) y la industria prostética, con una gran inercia y poco propensa a introducir cambios en sus controladores y dispositivos. El principal objetivo de esta tesis es desarrollar un nuevo controlador implementable basado en filtros adaptativos que supere los principales problemas del estado del arte. Desde el punto de vista teórico, podríamos considerar dos contribuciones principales. Primero, proponemos un nuevo sistema para modelar la relación entre los patrones de la señales mioélectricas y los movimientos deseados; este nuevo modelo tiene en cuenta a la hora de estimar la posición actual el valor de los estados pasados generando una nueva sinergia entre máquina y ser humano. En segundo lugar, introducimos un nuevo paradigma de entrenamiento más eficiente y personalizado autónomamente, el cual puede aplicarse no sólo a nuestro nuevo controlador, sino a otros regresores disponibles en la literatura. Como consecuencia de este nuevo protocolo, la estructura humano-máquina difiere con respecto del actual estado del arte en dos características: el proceso de aprendizaje del controlador y la estrategia para la generación de las señales de entrada. Como consecuencia directa de todo esto, el diseño de la fase experimental resulta mucho más complejo que con los controladores tradicionales. La dependencia de la posición actual de la prótesis con respecto a estados pasados fuerza a la realización de todos los experimentos de validación del nuevo controlador en tiempo real, algo costoso en recursos tanto humanos como de tiempo. Por lo tanto, una gran parte de esta tesis está dedicada al trabajo de campo necesario para validar el nuevo modelo y estrategia de entrenamiento. Como el objetivo final es proveer un nuevo controlador implementable, la última parte de la tesis está destinada a testear los métodos propuestos en casos reales, tanto en entornos simulados para validar su robustez ante rutinas diarias, como su uso en dispositivos prostéticos comerciales. Como conclusión, este trabajo propone un nuevo paradigma de control mioélectrico para prótesis que puede ser implementado en una prótesis real. Una vez se ha demostrado la viabilidad del sistema, la tesis propone futuras líneas de investigación, mostrando algunos resultados iniciales.[CA] Molta gent en el món es veu afectada per la pèrdua d'una extremitat (les prediccions estimen que en 2050 hi haurà més de 3 milions de persones afectades únicament als Estats Units d'Amèrica). Malgrat la contínua millora en les tècniques d'amputació i la prostètica, viure sense una extremitat continua limitant les activitats dels afectats en la seua vida diària, provocant una disminució en la seua qualitat de vida. En aquest treball ens centrem en els casos d'amputacions d'extremitats superiors, entenent per això la pèrdua de qualsevol part del braç o avantbraç. Aquesta tesi tracta sobre el control mioelèctric (potencials elèctrics superficials generats per la contracció dels músculs) de pròtesis d'extremitats superiors. Els estudis en aquest camp han crescut exponencialment en les últimes dècades intentant reduir el buit entre la part investigadora més dinàmica i propensa als canvis i innovació (per exemple, usant tècniques com la intel·ligència artificial) i la indústria prostètica, amb una gran inèrcia i poc propensa a introduir canvis en els seus controladors i dispositius. Aquesta tesi contribueix a la investigació des de diversos punts de vista. El principal objectiu és desenvolupar un nou controlador basat en filtres adaptatius que supere els principals problemes de l'estat de l'art. Des del punt de vista teòric, podríem considerar dues contribucions principals. Primer, proposem un nou sistema per a modelar la relació entre els patrons de la senyals mioelèctrics i els moviments desitjats; aquest nou model té en compte a l'hora d'estimar la posició actual el valor dels estats passats generant una nova sinergia entre màquina i ésser humà. En segon lloc, introduïm un nou paradigma d'entrenament més eficient i personalitzat autònomament, el qual pot aplicar-se no sols al nostre nou controlador, sinó a uns altres regresors disponibles en la literatura. Com a conseqüència d'aquest nou protocol, l'estructura humà-màquina difereix respecte a l'actual estat de l'art en dues característiques: el procés d'aprenentatge del controlador i l'estratègia per a la generació dels senyals d'entrada. Com a conseqüència directa de tot això, el disseny de la fase experimental resulta molt més complex que amb els controladors tradicionals. La dependència de la posició actual de la pròtesi respecte a estats passats força a la realització de tots els experiments de validació del nou controlador en temps real, una cosa costosa en recursos tant humans com de temps. Per tant, una gran part d'aquesta tesi està dedicada al treball de camp necessari per a validar el nou model i estratègia d'entrenament. Com l'objectiu final és proveir un nou controlador implementable, l'última part de la tesi està destinada a testar els mètodes proposats en casos reals, tant en entorns simulats per a validar la seua robustesa davant rutines diàries, com el seu ús en dispositius prostètics comercials. Com a conclusió, aquest treball proposa un nou paradigma de control mioelèctric per a pròtesi que pot ser implementat en una pròtesi real. Una vegada s'ha demostrat la viabilitat del sistema, la tesi proposa futures línies d'investigació, mostrant alguns resultats inicials.[EN] Many people in the world suffer from the loss of a limb (predictions estimate more than 3 million people by 2050 only in the USA). In spite of the continuous improvement in the amputation rehabilitation and prosthetic restoration, living without a limb keeps limiting the daily life activities leading to a lower quality of life. In this work, we focus in the upper limb amputation case, i.e., the removal of any part of the arm or forearm. This thesis is about upper limb prosthesis control using electromyographic signals (the superficial electric potentials generated during muscle contractions). Studies in this field have grown exponentially in the past decades trying to reduce the gap between a fast growing prosthetic research field, with the introduction of machine learning, and a slower prosthetic industry and limited manufacturing innovation. This thesis contributes to the field from different perspectives. The main goal is to provide and implementable new controller based on adaptive filtering that overcomes the most common state of the art concerns. From the theoretical point of view, there are two main contributions. First, we propose a new system to model the relationship between electromyographic signals and the desired prosthesis movements; this new model takes into account previous states for the estimation of the current position generating a new human-machine synergy. Second, we introduce a new and more efficient autonomously personalized training paradigm, which can benefit not only to our new proposed controller but also other state of the art regressors. As a consequence of this new protocol, the human-machine structure differs with respect to current state of the art in two features: the controller learning process and the input signal generation strategy. As a direct aftereffect of all of this, the experimental phase design results more complex than with traditional controllers. The current state dependency on past states forces the experimentation to be in real time, a very high demanding task in human and time resources. Therefore, a major part of this thesis is the associated fieldwork needed to validate the new model and training strategy. Since the final goal is to provide an implementable new controller, the last part of the thesis is devoted to test the proposed methods in real cases, not only analyzing the robustness and reliability of the controller in real life situations but in real prosthetic devices. As a conclusion, this work provides a new paradigm for the myoelectric prosthetic control that can be implemented in a real device. Once the thesis has proven the system's viability, future work should continue with the development of a physical device where all these ideas are deployed and used by final patients in a daily basis.The work of Carles Igual Bañó to carry out this research and elaborate this dissertation has been supported by the Ministerio de Educación, Cultura y Deporte under the FPU Grant FPU15/02870. One visiting research fellowships (EST18/00544) was also funded by the Ministerio de Educación, Cultura y Deporte of Spain.Igual Bañó, C. (2021). Co-adaptive myoelectric control for upper limb prostheses [Tesis doctoral]. Universitat Politècnica de València. https://doi.org/10.4995/Thesis/10251/168192TESI

On the Utility of Representation Learning Algorithms for Myoelectric Interfacing

Electrical activity produced by muscles during voluntary movement is a reflection of the firing patterns of relevant motor neurons and, by extension, the latent motor intent driving the movement. Once transduced via electromyography (EMG) and converted into digital form, this activity can be processed to provide an estimate of the original motor intent and is as such a feasible basis for non-invasive efferent neural interfacing. EMG-based motor intent decoding has so far received the most attention in the field of upper-limb prosthetics, where alternative means of interfacing are scarce and the utility of better control apparent. Whereas myoelectric prostheses have been available since the 1960s, available EMG control interfaces still lag behind the mechanical capabilities of the artificial limbs they are intended to steer—a gap at least partially due to limitations in current methods for translating EMG into appropriate motion commands. As the relationship between EMG signals and concurrent effector kinematics is highly non-linear and apparently stochastic, finding ways to accurately extract and combine relevant information from across electrode sites is still an active area of inquiry.This dissertation comprises an introduction and eight papers that explore issues afflicting the status quo of myoelectric decoding and possible solutions, all related through their use of learning algorithms and deep Artificial Neural Network (ANN) models. Paper I presents a Convolutional Neural Network (CNN) for multi-label movement decoding of high-density surface EMG (HD-sEMG) signals. Inspired by the successful use of CNNs in Paper I and the work of others, Paper II presents a method for automatic design of CNN architectures for use in myocontrol. Paper III introduces an ANN architecture with an appertaining training framework from which simultaneous and proportional control emerges. Paper Iv introduce a dataset of HD-sEMG signals for use with learning algorithms. Paper v applies a Recurrent Neural Network (RNN) model to decode finger forces from intramuscular EMG. Paper vI introduces a Transformer model for myoelectric interfacing that do not need additional training data to function with previously unseen users. Paper vII compares the performance of a Long Short-Term Memory (LSTM) network to that of classical pattern recognition algorithms. Lastly, paper vIII describes a framework for synthesizing EMG from multi-articulate gestures intended to reduce training burden