Neuroadaptive Technologie: Konzepte, Methoden, und Validierungen

Abstract

This dissertation presents conceptual, methodological, and experimental advances in the field of neuroadaptive technology. Neuroadaptive technology refers to the category of technology that uses implicit input obtained from brain activity in order to adapt itself, e.g. to enable implicit interaction. Implicit input refers to any input obtained by a receiver that was not intended as such by the sender. Neuroadaptive technology thus detects naturally-occurring brain activity that was not intended for communication or control, and uses it to enable novel human-computer interaction paradigms. Part I of this dissertation presents different categories of neuroadaptive systems, and introduces cognitive probing, a method in which the technology deliberately elicits a brain response from the user in order to learn from it. Part II introduces two tools to help validate some core methods related to neuroadaptive technology: SEREEGA, with which electroencephalographic data can be simulated, and a classifier visualisation technique revealing which (cortical) areas a brain-computer interface classifier focused on. Finally, Part III presents two experimental studies illustrating and validating the technology described in Part I using the methods from Part II. In particular, it is demonstrated how neuroadaptive technology can be used to enable implicit cursor control using cognitive probing. Additional experimentation revealed that brain activity elicited by cursor movements can reflect internal, subjective interpretations. These experiments thus highlight both the potential benefits and the potential ethical, legal, and societal concerns of neuroadaptive technology.In dieser Dissertation werden konzeptuelle, methodologische, und experimentelle Fortschritte auf dem Gebiet der neuroadaptiven Technologie vorgestellt. Neuroadaptive Technologie bezieht sich auf die Kategorie der Technologien, die impliziten Input aus der Hirnaktivität unter Verwendung einer passiven Hirn-Computer-Schnittstelle verwenden, um sich selbst anzupassen, z.B. um implizite Interaktion zu ermöglichen. Impliziter Input bezeichnet jede Eingabe, die von einem Empfänger erhalten wird, jedoch von dem Sender nicht als solche beabsichtigt war. Die neuroadaptive Technologie erkennt also natürlich auftretende Hirnaktivität, die nicht für Kommunikation oder Kontrolle gedacht war, und nutzt sie, um neuartige Mensch-Computer-Interaktionsparadigmen zu ermöglichen. Teil I dieser Dissertation stellt verschiedene Kategorien von neuroadaptiven Systemen vor und führt cognitive probing ('kognitive Sondierung') ein: eine Methode, bei der die Technologie dem Benutzer absichtlich eine Gehirnreaktion entlockt, um von ihr zu lernen. Teil II stellt zwei Werkzeuge vor, die bei der Validierung einiger Kernmethoden der neuroadaptiven Technologie helfen sollen: SEREEGA, mit dem elektroenzephalographische Daten simuliert werden können, und eine Klassifikator-Visualisierungsmethode um zu erkennen, auf welche (kortikalen) Bereiche sich ein Klassifikator konzentriert. Schließlich werden in Teil III zwei experimentelle Studien vorgestellt, die die in Teil I beschriebene Technologien mit den Methoden aus Teil II veranschaulichen und validieren. Insbesondere wird gezeigt, wie neuroadaptive Technologie eingesetzt werden kann, um implizite Cursorsteuerung mittels cognitive probing zu ermöglichen. Zusätzliche Experimente zeigten, dass die durch die Cursorbewegungen hervorgerufene Hirnaktivität interne, subjektive Interpretationen widerspiegeln kann. Diese Experimente verdeutlichen somit sowohl den potenziellen Nutzen als auch die möglichen ethischen, rechtlichen, und gesellschaftlichen Bedenken, die in Teil I ebenfalls angesprochen wurden