Steering a Tractor by Means of an EMG-Based Human-Machine Interface

An electromiographic (EMG)-based human-machine interface (HMI) is a communication pathway between a human and a machine that operates by means of the acquisition and processing of EMG signals. This article explores the use of EMG-based HMIs in the steering of farm tractors. An EPOC, a low-cost human-computer interface (HCI) from the Emotiv Company, was employed. This device, by means of 14 saline sensors, measures and processes EMG and electroencephalographic (EEG) signals from the scalp of the driver. In our tests, the HMI took into account only the detection of four trained muscular events on the driver’s scalp: eyes looking to the right and jaw opened, eyes looking to the right and jaw closed, eyes looking to the left and jaw opened, and eyes looking to the left and jaw closed. The EMG-based HMI guidance was compared with manual guidance and with autonomous GPS guidance. A driver tested these three guidance systems along three different trajectories: a straight line, a step, and a circumference. The accuracy of the EMG-based HMI guidance was lower than the accuracy obtained by manual guidance, which was lower in turn than the accuracy obtained by the autonomous GPS guidance; the computed standard deviations of error to the desired trajectory in the straight line were 16 cm, 9 cm, and 4 cm, respectively. Since the standard deviation between the manual guidance and the EMG-based HMI guidance differed only 7 cm, and this difference is not relevant in agricultural steering, it can be concluded that it is possible to steer a tractor by an EMG-based HMI with almost the same accuracy as with manual steering

Studies on the impact of assistive communication devices on the quality of life of patients with amyotrophic lateral sclerosis

Tese de doutoramento, Ciências Biomédicas (Neurociências), Universidade de Lisboa, Faculdade de Medicina, 2016Amyotrophic Lateral Sclerosis (ALS) is a progressive neuromuscular disease with rapid and generalized degeneration of motor neurons. Patients with ALS experiment a relentless decline in functions that affect performance of most activities of daily living (ADL), such as speaking, eating, walking or writing. For this reason, dependence on caregivers grows as the disease progresses. Management of the respiratory system is one of the main concerns of medical support, since respiratory failure is the most common cause of death in ALS. Due to increasing muscle weakness, most patients experience dramatic decrease of speech intelligibility and difficulties in using upper limbs (UL) for writing. There is growing evidence that mild cognitive impairment is common in ALS, but most patients are self-conscious of their difficulties in communicating and, in very severe stages, locked-in syndrome can occur. When no other resources than speech and writing are used to assist communication, patients are deprived of expressing needs or feelings, making decisions and keeping social relationships. Further, caregivers feel increased dependence due to difficulties in communication with others and get frustrated about difficulties in understanding partners’ needs. Support for communication is then very important to improve quality of life of both patients and caregivers; however, this has been poorly investigated in ALS. Assistive communication devices (ACD) can support patients by providing a diversity of tools for communication, as they progressively lose speech. ALS, in common with other degenerative conditions, introduces an additional challenge for the field of ACD: as the disease progresses, technologies must adapt to different conditions of the user. In early stages, patients may need speech synthesis in a mobile device, if dysarthria is one of the initial symptoms, or keyboard modifications, as weakness in UL increases. When upper limbs’ dysfunction is high, different input technologies may be adapted to capture voluntary control (for example, eye-tracking devices). Despite the enormous advances in the field of Assistive Technologies, in the last decade, difficulties in clinical support for the use of assistive communication devices (ACD) persist. Among the main reasons for these difficulties are lack of assessment tools to evaluate communication needs and determine proper input devices and to indicate changes over disease progression, and absence of clinical evidence that ACD has relevant impact on the quality of life of affected patients. For this set of reasons, support with communication tools is delayed to stages where patients are severely disabled. Often in these stages, patients face additional clinical complications and increased dependence on their caregivers’ decisions, which increase the difficulty in adaptation to new communication tools. This thesis addresses the role of assistive technologies in the quality of life of early-affected patients with ALS. Also, it includes the study of assessment tools that can improve longitudinal evaluation of communication needs of patients with ALS. We longitudinally evaluated a group of 30 patients with bulbar-onset ALS and 17 caregivers, during 2 to 29 months. Patients were assessed during their regular clinical appointments, in the Hospital de Santa Maria-Centro Hospitalar Lisboa_Norte. Evaluation of patients was based on validated instruments for assessing the Quality of Life (QoL) of patients and caregivers, and on methodologies for recording communication and measuring its performance (including speech, handwriting and typing). We tested the impact of early support with ACD on the QoL of patients with ALS, using a randomized, prospective, longitudinal design. Patients were able to learn and improve their skills to use communication tools based on electronic assistive devices. We found a positive impact of ACD in psychological and wellbeing domains of quality of life in patients, as well as in the support and psychological domains in caregivers. We also studied performance of communication (words per minute) using UL. Performance in handwriting may decline faster than performance in typing, supporting the idea that the use of touchscreen-based ACD supports communication for longer than handwriting. From longitudinal recordings of speech and typing activity we could observe that ACD can support tools to detect early markers of bulbar and UL dysfunction in ALS. Methodologies that were used in this research for recording and assessing function in communication can be replicated in the home environment and form part of the original contributions of this research. Implementation of remote monitoring tools in daily use of ACD, based on these methodologies, is discussed. Considering those patients who receive late support for the use of ACD, lack of time or daily support to learn how to control complex input devices may hinder its use. We developed a novel device to explore the detection and control of various residual movements, based on sensors of accelerometry, electromyography and force, as input signals for communication. The aim of this input device was to develop a tool to explore new communication channels in patients with generalized muscle weakness. This research contributed with novel tools from the Engineering field to the study of assistive communication in patients with ALS. Methodologies that were developed in this work can be further applied to the study of the impact of ACD in other neurodegenerative diseases that affect speech and motor control of UL

Activité cérébrale volontaire chez les patients récupérant du coma: Une approche multi-modale

Après un coma, certains patients restent de manière prolongée dans un état végétatif/ syndrome d'éveil non répondant (VS/UWS, éveil sans conscience), un état de conscience minimale (MCS, éveil et fluctuation de la conscience) [1] récemment, sous-catégorisé en état de conscience minimale moins (MCS-, présentant un comportement orienté non-reflexe) et état de conscience minimale plus (MCS+, montrant une réponse à la commande)] ou une émergence de l’étatde conscience minimale (EMCS, utilisation fonctionnelle d’objet et/oucommunication fonctionnelle) avant de récupérer ou non leur état de conscienceinitiale. Certains patients peuvent également rester en VS/UWS ou en MCSpendant des années. Par ailleurs, une minorité de ces patients se réveillentconscients, mais paralysés et sans voix (i.e. locked-in syndrome, LIS), et sont catégorisés à tort en VS/UWS.L’évaluation comportementale est l’outil principal pour établir un diagnostic mais la pratique clinique démontre qu’il reste encore difficile de détecter des signes de conscience au chevet des patients, avec un taux d’erreur diagnostique d’environ 40%. Il est dès lors nécessaire d’utiliser d’autres méthodes plus objectives afin de réduire ce taux d’erreur, comme les techniques de neuroimagerie,d’électrophysiologie ou d’électromyographie (EMG) qui permettent de détecter une réponse mentale à la commande ou des micromouvements volontaires qui ne peuvent être détectés visuellement, ainsi que les interfacescerveau-ordinateur (BCIs) qui permettent de détecter et d’établir une communication potentielle chez les patients avec lésions cérébrales sévères. L’objectif principal de cette thèse est de développer et de valider des outils objectifs et sensibles qui permettront d’évaluer une cognition, même basique, etde détecter des signes de conscience, même subtils, chez des patientssévèrement cérébro-lésés. Dans ce contexte, nous avons effectué quatre études, deux études EMG et deux études BCI. Noter que les méthodesélectrophysiologiques sont plus faciles à utiliser et moins chères que les méthodes de neuro-imagerie. Pour cette raison, nous avons focalisé notre travail sur les méthodes électrophysiologiques. L'objectif de la première étude est donc de valider l'utilisation de l’EMG pourdétecter des réponses à la commande chez les patients en VS / UWS ou MCS.Trente-huit patients ont été inclus dans cette étude (23 traumatiques, 25 patients > 1 an après lésions cérébrales, 10 VS / UWS, 8 MCS- et 20 MCS+). Dix-huit contrôles appariés selon l'âge ont aussi participé à l'expérience. Le paradigme estcomposé de plusieurs commandes présentées dans un ordre aléatoire: « serrer les mains », « bouger les jambes » et « serrer les dents » ainsi qu’une phrase contrôle « Il fait beau ». Chaque stimulation auditive a été répétée quatre fois dans un seul bloc de 30 secondes. Les analyses post-hoc avec correction de Bonferroni ont révélé que les activités EMG étaient plus élevées pour la commande cible, suggérant une réponse volontaire à la commande, chez un patient diagnostiqué VS / UWS permanent (ainsi que chez trois patients MCS+). Afin de confirmer l'intérêt de l'EMG lors de la détection de réponses volontaireschez les patients ayant des lésions cérébrales graves, nous avons effectué une deuxième étude EMG en développant une nouvelle méthode. Quarante patients ont été inclus dans cette étude (20 traumatiques, 24 patients > 1 an après lésions cérébrales, 15 VS / UWS, 7 MCS-, 13 MCS+, 3 EMCS et 2 LIS). Nous avons inclus 20 volontaires sains sans antécédents de troubles neurologiques et appariés à l'âge des patients. Nous avons prolongé le temps de l’expérience où chaque stimulation auditive a été répétée cinq fois dans un seul bloc de 10 minutes; nous avions trois blocs dans cette expérience (donc, 15 présentations dela commande). Nous avons développé une méthode de « décodage simple » del'activité musculaire résiduelle, permettant d’utiliser l’EMG pour communiquer en direct. Les résultats ont montré une réponse à la commande chez 15 VS / UWS, 2/8 MCS- 14/14 MCS+, 3/3 EMCS et 2/2 LIS.Nous avons également effectué deux études sur l’utilisation des BCIs afin de détecter un contrôle volontaire qui permette d’évaluer objectivement la réponse à la commande chez des patients LIS et des patients avec troubles de la conscience. Dans la première étude BCI, nous avons utilisé une plateforme afin d’évaluer la communication en direct. Douze volontaires sains et six LIS ont étéinclus dans cette étude. Il y avait deux parties dans cette expérience : une partie d’entraînement hors-ligne pour détecter la réponse à la commande et l’autre partie pour la communication fonctionnelle en direct. Huit des douze volontairessains et un des quatre patients LIS ont présenté une communicationfonctionnelle. L’évaluation des performances durant la première partied’entraînement hors-ligne a permis de détecter une réponse à la commande chez deux des six patients LIS, tandis que la deuxième partie a permis de détecter une communication fonctionnelle chez un patient LIS. Cet outil permettrait donc nonseulement de détecter une réponse à la commande hors-ligne mais aussi d’établir une communication en direct avec les patients conscients mais paralysés.Dans la deuxième étude BCI, nous avons utilisé l’électroencephalographie et,plus exactement, les potentiels évoqués visuels en régime permanent (steadystate visual evoked potential; SSVEP) avec modulation de l’attention durant une tâche active. Cette modulation volontaire de l’attention a été évaluée à l’aide de l’entropie spectrale chez les patients ayant des troubles de la conscience. Pour détecter une réponse à la commande, nous avons inclus dans cette étude vingt volontaires sains, six LIS et trente patients avec troubles de la conscience: seize VS/UWS, neuf MCS-, trois MCS+, et deux EMCS. Une réponse a été observée chez l’ensemble des patients LIS (94%) et EMCS (71%), chez deux patients MCS+ (59%), tandis que l’ensemble des patients VS/UWS et MCS- ont présenté des performances au niveau de la chance. Le faible taux de faux négatifs (9%) et l’absence de faux positifs (0%) suggèrent la pertinence de ce nouvel outil diagnostique qui offre de meilleures performances que les BCIs proposées précédemment dans la littérature (taux de faux négatifs compris entre25 et 100%)