Conception et Etude de Systèmes Interactifs basées sur les Interfaces Cerveau-Ordinateur et la Réalité Augmentée

Abstract

Brain-Computer Interfaces (BCI) enable interaction directly from brain activity. Augmented Reality (AR) on the other hand, enables the integration of virtual elements in the real world. In this thesis, we aimed at designing interactive systems associating BCIs and AR, to offer new means of hands-free interaction with real and virtual elements. In the first part, we have studied the possibility to extract different BCI paradigms in AR. We have shown that it was possible to use Steady-State Visual Evoked Potentials (SSVEP) in AR. Then, we have studied the possibility to extract Error-Related Potentials (ErrPs) in AR, showing that ErrPs were elicited in users facing errors, often occurring in AR. In the second part, we have deepened our research in the use of SSVEP for direct interaction in AR. We have proposed HCCA, a new algorithm for self-paced detection of SSVEP responses. Then, we have studied the design of AR interfaces, for the development of intuitive and efficient interactive systems. Lastly, we have illustrated our results, through the development of a smart-home system combining SSVEP and AR, which integrates in a commercially available smart-home system.Les Interfaces Cerveau Ordinateur (ICO) permettent l’interaction à partir de l’activité cérébrale. La Réalité Augmentée (RA) elle, permet d’intégrer des éléments virtuels dans un environnement réel. Dans cette thèse, nous avons cherché à concevoir des systèmes interactifs exploitant des ICO dans des environnements RA, afin de proposer de nouveaux moyens d’interagir avec des éléments réels et virtuels. Dans la première partie de cette thèse, nous avons étudié la possibilité d’extraire différents signaux cérébraux dans un contexte de RA. Nous avons ainsi montré qu’il était possible d’exploiter les Potentiels Evoqués Visuels Stationnaires (SSVEP) en RA. Puis, nous avons montré la possibilité d’extraire des Potentiels d’Erreur des signaux cérébraux, lorsqu’un utilisateur est soumis à des types d’erreurs fréquents en RA. Dans la seconde partie, nous avons approfondi nos recherches sur l’utilisation des SSVEP pour l’interaction en RA. Nous avons notamment proposé HCCA, un nouvel algorithme permettant la reconnaissance asynchrone de réponses SSVEP. Nous avons ensuite étudié la conception d’interfaces de RA, pour des systèmes interactifs, intuitifs performants. Enfin nous avons illustré nos résultats à travers le développement d’un système de domotique utilisant les SSVEP et la RA, qui s’intègre à une plateforme de maison intelligente industrielle