Determine Task Demand from Brain Activity

Our society demands ubiquitous mobile devices that offer seamless interaction with everybody, everything, everywhere, at any given time. However, the effectiveness of these devices is limited due to their lack of situational awareness and sense for the users ’ needs. To overcome this problem we develop intelligent transparent human-centered systems that sense, analyze, and interpret the user’s needs. We implemented learning approaches that derive the current task demand from the user’s brain activity by measuring the electroencephalogram. Using Support Vector Machines we can discriminate high versus low task demand with an accuracy of 92.2 % in session dependent experiments, 87.1 % in session independent experiments, and 80.0 % in subject independent experiments. To make brain activity measurements less cumbersome, we built a comfortable headband with which we achieve 69 % classification accuracy on the same task.

Kontinuierliche Bewertung psychischer Beanspruchung an informationsintensiven Arbeitsplätzen auf Basis des Elektroenzephalogramms

Die Informations- und Kommunikationstechnologien haben die Arbeitswelt grundlegend verändert. Durch den Einsatz komplexer, hochautomatisierter Systeme werden an die kognitive Leistungsfähigkeit und Belastbarkeit von Arbeitnehmern hohe Anforderungen gestellt. Über die Ermittlung der psychischen Beanspruchung des Menschen an Arbeitsplätzen mit hohen kognitiven Anforderungen wird es möglich, eine Über- oder Unterbeanspruchung zu vermeiden. Gegenstand der Dissertation ist deshalb die Entwicklung, Implementierung und der Test eines neuen Systems zur kontinuierlichen Bewertung psychischer Beanspruchung an informationsintensiven Arbeitsplätzen auf Basis des Elektroenzephalogramms. Im theoretischen Teil der Arbeit werden die Konzepte zur Definition der psychischen Beanspruchung und Modelle zur Beschreibung der menschlichen Informationsverarbeitung zusammengestellt. Die Auswertung einer Reihe von Experimenten ist die Basis für die Konzeption und den Test des neuen Systems zur Indexierung der psychischen Beanspruchung. Die Aufgabenbatterie, die Stichprobenbeschreibung, der Versuchsaufbau und -ablauf sind Bestandteil des experimentellen Teils der Arbeit. Während der Aufgabenlösung wird von den Probanden das Elektroenzephalogramm mit 25 Kanälen abgeleitet. Es folgt eine Artefakteliminierung, für die ein neues automatisch und in Echtzeit arbeitendes Verfahren entwickelt wurde. Die Klassifikation und damit die Indexierung von Segmenten des Elektroenzephalogramms in die Klassen niedriger, mittlerer oder hoher Beanspruchung erfolgt auf Basis einer ebenfalls neu entwickelten Methode, deren Grundlage Dual Frequency Head Maps sind. Damit ist ein vollständiges System entstanden, das die einzelnen Verfahrensschritte integriert und die Aufgabenstellung der Arbeit erfüllt: Es kann an informationsintensiven Arbeitsplätzen eingesetzt werden, um kontinuierlich die Bewertung der psychischen Beanspruchung auf Basis des Elektroenzephalogramms vorzunehmen.Advanced information and communication technology has fundamentally changed the working environment. Complex and highly automated systems impose high demands on employees with respect to cognitive capacity and the ability to cope with workload. The registration of mental workload of employees on-site at workplaces with high cognitive demands enables preventing over- or underload. The subject of this dissertation is therefore the development, implementation and testing of a novel system for continuous assessment of mental workload at information intensive workplaces on the basis of the electroencephalogram. In the theoretical section of the thesis concepts for defining mental workload are given; furthermore, models for describing human information processing are introduced and the relevant terminology such as strain, workload, and performance is clarified. Evaluation of an array of experiments with cognitive tasks forms the basis for the conceptual design and testing of the novel system for indexing mental workload. Descriptions of these tasks, the sample, the experimental set-up and procedure are included in the experimental section. The electroencephalogram with 25 channels was recorded from the subjects while performing the tasks. Subsequently, an artifact elimination was carried out, for which a new, automated, and real-time capable procedure has been developed. Segments from the electroencephalogram are classified and thusly indexed into classes of low, medium, and high workload on the basis of a likewise newly developed method, whose central element are Dual Frequency Head Maps. Hence, a complete system emerges that integrates the single processing steps and satisfies the scope of this thesis: It can be applied on-site at information intensive workplaces for continuous assessment of mental workload on the basis of the electroencephalogram

Étude de corrélats électrophysiologiques pour la discrimination d'états de fatigue et de charge mentale : apports pour les interfaces cerveau-machine passives

Mental state estimation on the basis of cerebral activity and its resulting physiological activities has become a challenge for passive Brain-Computer Interfaces (BCI), in particular to address a need in neuroergonomics. This thesis work focuses on mental fatigue and workload estimation. Its purpose is to provide efficient and realistic processing chains. Thus, one issue was the modulation of workload markers as well as classification performance robustness depending on time-on-task (TOT). The impact of workload and TOT on attentional state markers was also assessed. For those purposes, an experimental protocol was implemented to collect the electroencephalographic (EEG), cardiac (ECG) and ocular (EOG) signals from healthy volunteers as they performed for a prolonged period of time a task that mixes working memory load and selective attention. Efficient signal processing chains that include spatial filtering and classification steps were designed in order to better estimate these mental states. The relevance of several electrophysiological markers was compared, among which spontaneous EEG activity and event-related potentials (ERPs), as well as various preprocessing steps such as spatial filtering methods for ERPs. Interaction effects between mental states were brought to light. In particular, TOT negatively impacted mental workload estimation when using power features. However, the chain based on ERPs was robust to this effect. A comparison of the type of stimuli that can be used to elicit the ERPs revealed that task-independent probes still allow very high performance, which shows their relevance for real-life implementation. Lastly, ongoing work that aims at assessing task-robust workload markers, as well as the usefulness of auditory ERPs in a single-stimulus paradigm will be presented as prospects.L'estimation de l'état mental d'un individu sur la base de son activité cérébrale et de ses activités physiologiques résultantes est devenue l'un des challenges des interfaces cerveau-machine (ICM) dites passives, dans le but notamment de répondre à un besoin en neuroergonomie. Ce travail de thèse se focalise sur l'estimation des états de fatigue et de charge mentale. Son objectif est de proposer des chaines de traitement efficaces et réalistes dans leur mise en œuvre. Ainsi, un des points à l'étude a été la modulation des indicateurs de charge ainsi que la robustesse des performances de classification en fonction du temps passé sur une tâche (TPT). L'impact de la charge et du TPT sur les marqueurs d'état attentionnel a aussi été évalué. Pour ce faire, un protocole expérimental a été mis en œuvre afin de recueillir les signaux électro-encéphalographiques (EEG), cardiaques (ECG) et oculaires (EOG) de participants volontaires sains lors de la réalisation prolongée d'une tâche combinant charge en mémoire de travail et attention sélective. Des chaînes de traitement performantes incluant une étape de filtrage spatial et une classification supervisée ont été mises en place afin de classer au mieux ces états. La pertinence de plusieurs marqueurs électrophysiologiques a été comparée, notamment l'activité EEG spontanée et les potentiels évoqués (PEs), ainsi que différentes étapes de prétraitement dont les méthodes de filtrage spatial pour PEs. Des effets d'interactions ont été mis au jour entre les différents états mentaux, dont un effet négatif du TPT sur les performances en classification de la charge mentale lorsque l'on utilise des marqueurs mesurant la puissance moyenne de l'EEG dans des bandes de fréquence d'intérêt. La chaîne basée sur les PEs est en revanche robuste à cet effet. Une comparaison du type de stimuli utilisables pour éliciter les PEs a révélé que des stimuli tâche-indépendants permettent tout de même d'obtenir des performances très élevées, ce qui montre leur pertinence pour une implémentation en situation réelle. En perspective seront présentés des travaux en cours visant à mettre en évidence des marqueurs de charge mentale robustes à la tâche, ainsi que l'utilité des potentiels évoqués auditifs en paradigme de simple stimulus