Les Interfaces Cerveau-Ordinateur: Conception et Utilisation en Réalité Virtuelle

International audienceBrain-Computer Interfaces (BCI) are emerging interfaces that enable their users to send commands to a computer by means of brain activity only. In this paper, we first propose a brief overview of BCI, focused on BCI principles and applications. In a second part, we present our recent contributions to BCI research. More precisely, we present 1) our contributions in brain signal processing and classification to design an efficient BCI, able to accurately identify the user's mental state and 2) our work related to the design of concrete BCI-based virtual reality applications. Finally, this paper proposes some promising perspectives for BCI, notably in the fields of assistive technologies, video games and mental state monitoring.Les interfaces cerveau-ordinateur ou BCI ("Brain-Computer Interfaces") sont une forme émergente d'interfaces permettant à un utilisateur d'envoyer des commandes à un ordinateur uniquement grâce à son activité cérébrale. Dans cet article, nous proposons tout d'abord un bref tour d'horizon des BCI s'intéressant à leur fonctionnement et à leurs applications. Dans une deuxième partie, nous présentons nos récents travaux et plus particulièrement 1) nos contributions en traitement et classification de signaux cérébraux afin de concevoir des BCI efficaces, capables de reconnaitre précisément l'état mental de l'utilisateur et 2) nos recherches visant à concevoir des applications concrètes de réalité virtuelle contrôlée à l'aide d'une BCI. Enfin, cet article propose quelques perspectives prometteuses pour les BCI notamment dans les domaines du handicap, des jeux vidéos ou encore du suivi temps réel d'état mental

SSVEP-based BCIs: study of classifier stability over time and effects of human learning on classification accuracy

International audienceBrain-computer interfaces (BCI) based on steady-state visual evoked potentials (SSVEP) enable a user to control an application by focusing his/her attention on visual stimuli blinking at specific frequencies. This technique of interaction can enable people suffering from severe motor disabilities to improve their quality of life through regaining a partial autonomy. According to literature, each usage session of a SSVEP-based BCI integrates a calibration phase aimed in particular at computing classifier's parameters. Our objective is to evaluate if the same parameters could be used during several sessions, in order to avoid performing systematically a calibration phase, which is very restrictive for the user. To do so, we analyze stability of classification results over time. On the other hand, the data acquired during our experiments were used to study the possible effects of human learning on interface performance and to confirm or not the state of the art knowledge on this subject. According to literature, SSVEP-based BCIs work well from the first use and their performances do not improve with subject's experience

Interfaces cerveau-ordinateur pour la reeducation post-AVC : apport d'un environnement de stimulation affordant.

Ce rapport fait état de mon travail réalisé au cours de mon projet recherche au sein de l’équipe Neurosys au Laboratoire Lorrain de Recherche en Informatique et ses Applications (LORIA), à Nancy. Les accidents vasculaires cérébraux (AVC) constituent un problème social grandissant. Dans ce contexte, aux vues des méthodes de rééducation actuelles ainsi que des avancées technologiques, de nouvelles méthodes pour aider les personnes qui ont subi un AVC sont possibles. Grasp'it est un protocole de rééducation des personnes qui ont été victimes d'AVC par EEG (électroencéphalogrammes) et se sert notamment d'une interface virtuelle 3D sous Unreal Engine pour le feedback. Dans ce document est détaillée l'évolution de l'interface utilisée par Grasp'it, les fonctionnalités rajoutées, le changement de l'indice visuel et les réflexions pour les évolutions futurs avec l'aide des Serious Games, afin de concevoir le protocole le plus performant et le plus agréable possible

Etude multifactorielle pour améliorer la génération et la reconnaissance d’une imagination motrice

International audienceMon stage de recherche s’est concentré autour des neurosciences cognitives, la branche desneurosciences qui établit les liens entre le système nerveux et la cognition. La technique del’électroencéphalographie nous permet d’observer les champs électriques produits par l’activitéde certains neurones dans le cortex cérébral. Cette activité neurale est sensiblement le refletde la cognition, il est même possible de reconnaître certaines tâches cognitives à travers cessignaux électriques. Le traitement automatisé de ces signaux électroencéphalographiques ouvrealors l’accès à une interface homme-machine innovante : une interface reliant le cerveau humainà un ordinateur.Dans ce domaine de recherche, il est fréquent d’utiliser les imaginations motrices de l’utilisateuren tant que commande pour l’ordinateur. Par exemple, le sujet peut imaginer qu’ilcontrôle sa main droite afin qu’un bras robotisé bouge dans la direction choisie. Cependant, latâche d’imagination motrice est une tâche mentale difficile à maîtriser pour certaines personnes,les rendant peu efficace dans leur interaction avec le système. La qualité de la communicationcerveau-ordinateur ainsi déployée dépend donc de la qualité des imaginations motrices produiteset de la faculté de l’ordinateur à les reconnaître. C’est dans ce cadre que se place la problématiquede mon stage : comment améliorer la génération et la reconnaissance de l’imagination motrice ?Mon travail a consisté à trouver et mettre en place des solutions pour renforcer la génération decette tâche mentale particulière.En première partie de ce rapport, je présenterai le résultat de ma recherche bibliographique,posant les bases théoriques nécessaires à la suite du stage. J’expliquerai ensuite le cheminementde notre travail de réflexion en équipe, aboutissant à un protocole d’expérimentation qui a pourambition de former les sujets à la tâche d’imagination motrice. Les composantes techniques dela réalisation du protocole seront évoquées dans le rapport, puis détaillées en annexe. La suitedu rapport sera consacrée à l’analyse des résultats préliminaires et la validation du protocoleexpérimental. Les résultats préliminaires du protocole sont encourageants puisqu’ils ont montrésune significative efficacité à améliorer les performances de production d’imaginations motricesdes sujets. J’explique notamment comment ce gain est visible à travers des indices neurophysiologiques.Enfin, je discuterai des possibles innovations du protocole mis en place et de son apportdans le domaine

Création d'un prototype d'objet connecté à retour haptique dans le cadre d'un dispositif de rééducation post-accident vasculaire cérébral

National audienceThe research team Neurosys wants to develop a protocol of motor rehabilitation of stroke patients usingthe grasping movement. An novel approach was considered by amplifying neurophysiological events interveningwithin the sensorimotor loop. Thus, Neurosys developed its own kinesthetic motor imagerybrain-computer interface. The use of these imageries and such interfaces are complex. That’s why the teamdeveloped a gamied virtual environment within the BCI and a new way of learning kinesthetic motorimagery, whose association was nicknamed GRASP’IT. The problem was therefore to discover new waysof enhancing GRASP’IT, in order to approach the desired rehabilitation protocol. My role was to carry outa bibliographic study to discuss the design of such a rehabilitation therapy and to support the GRASP’ITsystem already in place. Thereafter, two areas of improvement emerged. First, I had to recast the system tobe able to validate it technically and experimentally. I successfully recast it, as it was technically validatedduring a demonstration for IHM 2017. Moreover, the rst trends emerging from my experiments was veryencouraging. Second, I had to design a bottle integrating a haptic feedback : it beneted GRASP’IT andallowed the team to draw near this rehab. The prototyping of this bottle was also very promising becauseits theoretical realization was validated by my peers, including its integration within the BCI. If the resultsfrom GRASP’IT and this bottle are in line with the team’s expectations, Neurosys would position itself asa pioneering team in the learning of kinesthetic motor imageries. Dierent opportunities could occur andlead the team to the motor rehabilitation protocol that it wishes to put in place.L’équipe de recherche Neurosys souhaite développer un protocole de rééducation motrice, autour du mouvementde préhension de la main, pour des personnes ayant subi une attaque cérébrale. Elle adopte uneapproche novatrice en cherchant à amplier des phénomènes neurophysiologiques intervenant au seinde la boucle sensorimotrice. Elle développe alors sa propre interface cerveau-ordinateur qui se fonde surles imaginations motrices kinesthésiques. L’utilisation de ces imaginations et ces interfaces est cependantcomplexe. Elle a alors développé un environnement virtuel ludié au sein de son interface et un protocoled’apprentissage individualisé de ces imaginations, dont l’association est baptisée GRASP’IT. La problé-matique consistait donc à découvrir de nouvelles voies de développement de GRASP’IT, an d’approcherce protocole de rééducation souhaité. Mon rôle consistait alors à réaliser une étude bibliographique pouraborder la conception d’une telle thérapie rééducative et étayer le système GRASP’IT déjà mis en place.Par la suite, deux axes d’amélioration se sont alors dessinés. Je devais alors eectuer une refonte de cesystème pour pouvoir le valider techniquement et expérimentalement. J’ai ainsi eectué une refonte dece système avec succès, puisqu’elle a été validée techniquement lors d’une démonstration pour IHM 2017.Par ailleurs, les premières tendances issues de mes expérimentations sont très encourageantes. Je devaisensuite concevoir une gourde à retour haptique : elle devait alors s’intégrer dans GRASP’IT an de le renforceret de s’approcher de cette rééducation. Le prototypage de cette gourde est également en très bonnevoie puisque sa réalisation théorique a été validée par mes pairs, ainsi que son intégration dont la solutiondoit maintenant être mise en place. Si les résultats issus de GRASP’IT et de cette gourde sont conformesaux espérances de l’équipe, elle se positionnerait comme une équipe pionnière dans l’apprentissage desimaginations motrices kinesthésiques. Diérentes opportunités pourraient alors se présenter à elle et lamener vers ce protocole de rééducation qu’elle désire mettre en place