A non-invasive human-machine interfacing framework for investigating dexterous control of hand muscles

The recent fast development of virtual reality and robotic assistive devices enables to augment the capabilities of able-body individuals as well as to overcome the motor missing functions of neurologically impaired or amputee individuals. To control these devices, movement intentions can be captured from biological structures involved in the process of motor planning and execution, such as the central nervous system (CNS), the peripheral nervous system (in particular the spinal motor neurons) and the musculoskeletal system. Thus, human-machine interfaces (HMI) enable to transfer neural information from the neuro-muscular system to machines. To prevent any risks due to surgical operations or tissue damage in implementing these HMIs, a non-invasive approach is proposed in this thesis. In the last five decades, surface electromyography (sEMG) has been extensively explored as a non-invasive source of neural information. EMG signals are constituted by the mixed electrical activity of several recruited motor units, the fundamental components of muscle contraction. High-density sEMG (HD-sEMG) with the use of blind source separation methods enabled to identify the discharge patterns of many of these active motor units. From these decomposed discharge patterns, the net common synaptic input (CSI) to the corresponding spinal motor neurons was quantified with cross-correlation in the time and frequency domain or with principal component analysis (PCA) on one or few muscles. It has been hypothesised that this CSI would result from the contribution of spinal descending commands sent by supra-spinal structures and afferences integrated by spinal interneurons. Another motor strategy implying the integration of descending commands at the spinal level is the one regarding the coordination of many muscles to control a large number of articular joints. This neurophysiological mechanism was investigated by measuring a single EMG amplitude per muscle, thus without the use of HD-sEMG and decomposition. In this case, the aim was to understand how the central nervous system (CNS) could control a large set of muscles actuating a vast set of combinations of degrees of freedom in a modular way. Thus, time-invariant patterns of muscle coordination, i.e. muscle synergies , were found in animals and humans from EMG amplitude of many muscles, modulated by time-varying commands to be combined to fulfil complex movements. In this thesis, for the first time, we present a non-invasive framework for human-machine interfaces based on both spinal motor neuron recruitment strategy and muscle synergistic control for unifying the understanding of these two motor control strategies and producing control signals correlated to biomechanical quantities. This implies recording both from many muscles and using HD-sEMG for each muscle. We investigated 14 muscles of the hand, 6 extrinsic and 8 intrinsic. The first two studies, (in Chapters 2 and 3, respectively) present the framework for CSI quantification by PCA and the extraction of the synergistic organisation of spinal motor neurons innervating the 14 investigated muscles. For the latter analysis, in Chapter 3, we proposed the existence of what we named as motor neuron synergies extracted with non-negative matrix factorisation (NMF) from the identified motor neurons. In these first two studies, we considered 7 subjects and 7 grip types involving differently all the four fingers in opposition with the thumb. In the first study, we found that the variance explained by the CSI among all motor neuron spike trains was (53.0 ± 10.9) % and its cross-correlation with force was 0.67 ± 0.10, remarkably high with respect to previous findings. In the second study, 4 motor neuron synergies were identified and associated with the actuation of one finger in opposition with the thumb, finding even higher correlation values with force (over 0.8) for each synergy associated with a finger during the actuation of the relative finger. In Chapter 4, we then extended the set of analysed movements in a vast repertoire of gestures and repeated the analysis of Chapter 3 by finding a different synergistic organisation during the execution of tens of tasks. We divided the contribution among extrinsic and intrinsic muscles and we found that intrinsic better enable single-finger spatial discrimination, while no difference was found in regression of joint angles by dividing the two groups of muscles. Finally, in Chapter 5 we proposed the techniques of the previous chapters for cases of impairment due both to amputation and stroke. We analysed one case of pre and post rehabilitation sessions of a trans-humeral amputee, the case of a post-stroke trans-radial amputee and three cases of acute stroke, i.e. less than one month from the stroke event. We present future perspectives (Chapter 6) aimed to design and implement a platform for both rehabilitation monitoring and myoelectric control. Thus, this thesis provides a bridge between two extensively studied motor control mechanisms, i.e. motor neuron recruitment and muscle synergies, and proposes this framework as suitable for rehabilitation monitoring and control of assistive devices.Open Acces

Multi-categories tool wear classification in micro-milling

Ph.DDOCTOR OF PHILOSOPH

Machine Learning

Machine Learning can be defined in various ways related to a scientific domain concerned with the design and development of theoretical and implementation tools that allow building systems with some Human Like intelligent behavior. Machine learning addresses more specifically the ability to improve automatically through experience

Apprentissage profond multimodal appliqué à l'usinage

Les techniques axées sur les données ont offert à la technologie de fabrication intelligente des opportunités sans précédent pour assurer la transition vers une productivité basée sur l'industrie 4.0. L'apprentissage automatique et l'apprentissage profond occupent une place cruciale dans le développement de systèmes intelligents pour l'analyse descriptive, diagnostique et prédictive des machines-outils et la surveillance d’état des systèmes de fabrication industrielle. De nombreuses techniques d'apprentissage profond ont été testées sur les problèmes de surveillance d’état des machines-outils, de la détection du broutement, du diagnostic de défauts, de la sélection optimale des paramètres de coupe, etc. Une étude bibliométrique est proposée pour à retracer les techniques de détection du broutement, depuis les méthodes de traitement du signal temps-fréquence, la décomposition jusqu'à la combinaison avec des modèles d'apprentissage automatique ou d'apprentissage profond. Une analyse cartographique a été réalisée afin d’identifier les limites de ces différentes techniques et de proposer des axes de recherche pour détecter le broutement dans les processus d'usinage. Les données ont été collectées à partir du web of science (WoS 2022) en exploitant des requêtes particulières sur la détection du broutement. La plupart des documents recueillis présentent la détection du broutement à l'aide de techniques de transformation ou de décomposition. Ce travail a permis de détecter les articles les plus significatifs, les auteurs les plus cités, la collaboration entre auteurs, les pays, continents et revues les plus productifs, le partenariat entre pays, les mots-clés des auteurs et les tendances de la recherche sur la détection du broutement. Cette thèse à pour objective de proposer dans un premier temps, une méthode de prédiction du choix des paramètres de coupe en exploitant l’apprentissage profond multimodal. L'apprentissage profond multimodal a été utilisé pour associer un choix de conditions de coupe (outil, vitesse de coupe, profondeur de coupe et vitesse d'avance par dents) avec un état de surface, en considérant la rugosité arithmétique moyenne (Ra) et une photo de la pièce. Nous avons construit un modèle de fusion multimodale tardive avec deux réseaux de neurones profonds, un réseau de neurones convolutif (CNN) pour traiter les données images et un réseau de neurones récurrent avec des couches de mémoire à long terme (LSTM) pour les données numériques. Cette méthode permet d’intégrer les informations provenant de deux modalités (fusion multimodale) afin à terme d'assurer la qualité de surface dans les processus d'usinage. Les difficultés rencontrées lors de l’élaboration de cette méthode nous ont orientés vers une approche unimodale pour détecter le broutement d’usinage. Par la suite nous présentons une approche basée sur des compétences mécaniques pour d’abord identifier les traitements optimaux des signaux puis l'apprentissage profond (apprentissage par transfert) pour détecter automatiquement le phénomène de broutement en usinage. Ce travail a mis l’accent sur l’utilisation de données collectées dans les conditions industrielles contrairement à la majorité des travaux basés sur les données qui utilisent les données laboratoire. Cette méthode arrive à avoir de bonnes performances malgré le fait qu’elle ne donne aucune indication au réseau de neurones sur l'amplitude du signal, la vitesse de rotation

Life Sciences Program Tasks and Bibliography

This document includes information on all peer reviewed projects funded by the Office of Life and Microgravity Sciences and Applications, Life Sciences Division during fiscal year 1995. Additionally, this inaugural edition of the Task Book includes information for FY 1994 programs. This document will be published annually and made available to scientists in the space life sciences field both as a hard copy and as an interactive Internet web pag