5 research outputs found

    Workload-aware systems and interfaces for cognitive augmentation

    Get PDF
    In today's society, our cognition is constantly influenced by information intake, attention switching, and task interruptions. This increases the difficulty of a given task, adding to the existing workload and leading to compromised cognitive performances. The human body expresses the use of cognitive resources through physiological responses when confronted with a plethora of cognitive workload. This temporarily mobilizes additional resources to deal with the workload at the cost of accelerated mental exhaustion. We predict that recent developments in physiological sensing will increasingly create user interfaces that are aware of the user’s cognitive capacities, hence able to intervene when high or low states of cognitive workload are detected. In this thesis, we initially focus on determining opportune moments for cognitive assistance. Subsequently, we investigate suitable feedback modalities in a user-centric design process which are desirable for cognitive assistance. We present design requirements for how cognitive augmentation can be achieved using interfaces that sense cognitive workload. We then investigate different physiological sensing modalities to enable suitable real-time assessments of cognitive workload. We provide empirical evidence that the human brain is sensitive to fluctuations in cognitive resting states, hence making cognitive effort measurable. Firstly, we show that electroencephalography is a reliable modality to assess the mental workload generated during the user interface operation. Secondly, we use eye tracking to evaluate changes in eye movements and pupil dilation to quantify different workload states. The combination of machine learning and physiological sensing resulted in suitable real-time assessments of cognitive workload. The use of physiological sensing enables us to derive when cognitive augmentation is suitable. Based on our inquiries, we present applications that regulate cognitive workload in home and work settings. We deployed an assistive system in a field study to investigate the validity of our derived design requirements. Finding that workload is mitigated, we investigated how cognitive workload can be visualized to the user. We present an implementation of a biofeedback visualization that helps to improve the understanding of brain activity. A final study shows how cognitive workload measurements can be used to predict the efficiency of information intake through reading interfaces. Here, we conclude with use cases and applications which benefit from cognitive augmentation. This thesis investigates how assistive systems can be designed to implicitly sense and utilize cognitive workload for input and output. To do so, we measure cognitive workload in real-time by collecting behavioral and physiological data from users and analyze this data to support users through assistive systems that adapt their interface according to the currently measured workload. Our overall goal is to extend new and existing context-aware applications by the factor cognitive workload. We envision Workload-Aware Systems and Workload-Aware Interfaces as an extension in the context-aware paradigm. To this end, we conducted eight research inquiries during this thesis to investigate how to design and create workload-aware systems. Finally, we present our vision of future workload-aware systems and workload-aware interfaces. Due to the scarce availability of open physiological data sets, reference implementations, and methods, previous context-aware systems were limited in their ability to utilize cognitive workload for user interaction. Together with the collected data sets, we expect this thesis to pave the way for methodical and technical tools that integrate workload-awareness as a factor for context-aware systems.TagtĂ€glich werden unsere kognitiven FĂ€higkeiten durch die Verarbeitung von unzĂ€hligen Informationen in Anspruch genommen. Dies kann die Schwierigkeit einer Aufgabe durch mehr oder weniger Arbeitslast beeinflussen. Der menschliche Körper drĂŒckt die Nutzung kognitiver Ressourcen durch physiologische Reaktionen aus, wenn dieser mit kognitiver Arbeitsbelastung konfrontiert oder ĂŒberfordert wird. Dadurch werden weitere Ressourcen mobilisiert, um die Arbeitsbelastung vorĂŒbergehend zu bewĂ€ltigen. Wir prognostizieren, dass die derzeitige Entwicklung physiologischer Messverfahren kognitive Leistungsmessungen stets möglich machen wird, um die kognitive Arbeitslast des Nutzers jederzeit zu messen. Diese sind in der Lage, einzugreifen wenn eine zu hohe oder zu niedrige kognitive Belastung erkannt wird. Wir konzentrieren uns zunĂ€chst auf die Erkennung passender Momente fĂŒr kognitive UnterstĂŒtzung welche sich der gegenwĂ€rtigen kognitiven Arbeitslast bewusst sind. Anschließend untersuchen wir in einem nutzerzentrierten Designprozess geeignete Feedbackmechanismen, die zur kognitiven Assistenz beitragen. Wir prĂ€sentieren Designanforderungen, welche zeigen wie Schnittstellen eine kognitive Augmentierung durch die Messung kognitiver Arbeitslast erreichen können. Anschließend untersuchen wir verschiedene physiologische MessmodalitĂ€ten, welche Bewertungen der kognitiven Arbeitsbelastung in Realzeit ermöglichen. ZunĂ€chst validieren wir empirisch, dass das menschliche Gehirn auf kognitive Arbeitslast reagiert. Es zeigt sich, dass die Ableitung der kognitiven Arbeitsbelastung ĂŒber Elektroenzephalographie eine geeignete Methode ist, um den kognitiven Anspruch neuartiger Assistenzsysteme zu evaluieren. Anschließend verwenden wir Eye-Tracking, um VerĂ€nderungen in den Augenbewegungen und dem Durchmesser der Pupille unter verschiedenen IntensitĂ€ten kognitiver Arbeitslast zu bewerten. Das Anwenden von maschinellem Lernen fĂŒhrt zu zuverlĂ€ssigen Echtzeit-Bewertungen kognitiver Arbeitsbelastung. Auf der Grundlage der bisherigen Forschungsarbeiten stellen wir Anwendungen vor, welche die Kognition im hĂ€uslichen und beruflichen Umfeld unterstĂŒtzen. Die physiologischen Messungen stellen fest, wann eine kognitive Augmentierung sich als gĂŒnstig erweist. In einer Feldstudie setzen wir ein Assistenzsystem ein, um die erhobenen Designanforderungen zur Reduktion kognitiver Arbeitslast zu validieren. Unsere Ergebnisse zeigen, dass die Arbeitsbelastung durch den Einsatz von Assistenzsystemen reduziert wird. Im Anschluss untersuchen wir, wie kognitive Arbeitsbelastung visualisiert werden kann. Wir stellen eine Implementierung einer Biofeedback-Visualisierung vor, die das NutzerverstĂ€ndnis zum Verlauf und zur Entstehung von kognitiver Arbeitslast unterstĂŒtzt. Eine abschließende Studie zeigt, wie Messungen kognitiver Arbeitslast zur Vorhersage der aktuellen Leseeffizienz benutzt werden können. Wir schließen hierbei mit einer Reihe von Applikationen ab, welche sich kognitive Arbeitslast als Eingabe zunutze machen. Die vorliegende wissenschaftliche Arbeit befasst sich mit dem Design von Assistenzsystemen, welche die kognitive Arbeitslast der Nutzer implizit erfasst und diese bei der DurchfĂŒhrung alltĂ€glicher Aufgaben unterstĂŒtzt. Dabei werden physiologische Daten erfasst, um RĂŒckschlĂŒsse in Realzeit auf die derzeitige kognitive Arbeitsbelastung zu erlauben. Anschließend werden diese Daten analysiert, um dem Nutzer strategisch zu assistieren. Das Ziel dieser Arbeit ist die Erweiterung neuartiger und bestehender kontextbewusster Benutzerschnittstellen um den Faktor kognitive Arbeitslast. Daher werden in dieser Arbeit arbeitslastbewusste Systeme und arbeitslastbewusste Benutzerschnittstellen als eine zusĂ€tzliche Dimension innerhalb des Paradigmas kontextbewusster Systeme prĂ€sentiert. Wir stellen acht Forschungsstudien vor, um die Designanforderungen und die Implementierung von kognitiv arbeitslastbewussten Systemen zu untersuchen. Schließlich stellen wir unsere Vision von zukĂŒnftigen kognitiven arbeitslastbewussten Systemen und Benutzerschnittstellen vor. Durch die knappe VerfĂŒgbarkeit öffentlich zugĂ€nglicher DatensĂ€tze, Referenzimplementierungen, und Methoden, waren Kontextbewusste Systeme in der Auswertung kognitiver Arbeitslast bezĂŒglich der Nutzerinteraktion limitiert. ErgĂ€nzt durch die in dieser Arbeit gesammelten DatensĂ€tze erwarten wir, dass diese Arbeit den Weg fĂŒr methodische und technische Werkzeuge ebnet, welche kognitive Arbeitslast als Faktor in das Kontextbewusstsein von Computersystemen integriert

    Clinical applications of real-time FMRI neurofeedback training – premises, promises, and pitfalls

    Get PDF
    Neurofeedback training represents a form of biofeedback training with a history of over 50 years. During neurofeedback training participants aim to gain control over a feedback signal that represents the activity of a brain region or network of interest. As such, it holds promise for clinical translation as an add-on treatment for psychiatric and neurological conditions. Yet, currently available evidence for its therapeutic efficacy remains limited. Originally provided based on cortical signals measured with electroencephalography (EEG), methodological developments have allowed providing neurofeedback based on (cortical and subcortical) brain signals acquired from functional magnetic resonance imaging (fMRI). The aim of this thesis was to test the feasibility and clinical efficacy of fMRI neurofeedback (fMRI-NF) training in a psychiatric population and to develop protocols that allow translating the technique to motor rehabilitation. Specifically, this thesis summarises the clinical and neuroimaging results from a randomised controlled trial conducted in patients suffering from depression. Depression represents a leading cause of disability in adults and epidemiological data indicates that up to one third of patients remain depressed after treatment. Another focus was the development of a motor imagery-based fMRI-NF protocol in healthy participants. This work has informed a proof-of-concept study for motor rehabilitation in stroke survivors, for which the methodology was preregistered on a public platform before data collection started to increase transparency. The thesis aims to address problematic research practices that have been attributed to the replication crisis in many areas of science, including a clear separation of planned and exploratory hypotheses and the use and adaptation of alternative statistical methods. A review chapter discusses potential electrophysiological target signatures for EEG-NF to improve motor symptoms in Parkinson’s disease patients. The thesis concludes with a discussion of current premises, promises, and pitfalls in clinical applications of neurofeedback training and considerations for clinical trials development

    Annual Report

    Get PDF
    corecore