Multimodale Instrumente und Methoden für Neurotechnologie außerhalb des Labors

Abstract

In neuroscience and related fields, progress in instrumentation, computational power, and signal processing methods continuously provide novel and increasingly powerful tools toward the investigation of brain activity in real-time and everyday environments. Research into real-life and application-oriented, non-invasive neurotechnology bears a number of multidisciplinary challenges which need to be addressed. Neurophysiological signals have to be measured subtly and safely while reliability and robustness have to be ensured. To this end, new approaches are explored in this thesis that deal with the simultaneous acquisition and utilization of multiple brain and body signals in mobile scenarios. They aim to reduce acquisition restraints for mobile neuroimaging, and at the same time increase the amount of information that is provided by hybrid acquisition equipment. This enables the exploitation of complementary and shared information in the measured modalities toward the development of methods that enhance robustness in the analysis and classification of brain signals. The first contribution of this work comprises the development of novel architectures and devices for the mobile measurement of brain and body signals. Here, the focus lies on functional Near-Infrared Spectroscopy (fNIRS) and Electroencephalography (EEG) instruments. The primary result is M3BA, an architecture for Mobile, Modular, Multimodal Biosignal Acquisition. While miniaturized beyond previous approaches, M3BA offers hybrid and high-precision measurement of fNIRS, EEG, acceleration and other signals while allowing scalability and easy customization. The second contribution targets the generation of evoked multimodal neuroimaging data under realistic environmental but yet well-controlled movement conditions. Making use of M3BA modules in a lightweight wireless headset, a novel, bespoke n-back-based cognitive workload paradigm was designed and administered in a study with 17 freely moving subjects. Using this unique dataset, the third contribution consists of the development of a multimodal Blind-Source-Separation framework for the analysis of fNIRS signals and its application in BLISSA2RD, for the accelerometer-based rejection of movement induced artifacts. Employing it along with other state-of-the-art methods, we ultimately provide a proof of feasibility toward workload classification under challenging, realistic conditions. In this unique approach, and with strict rejection of artifacts, accuracies greater than 80% based on neurophysiological EEG-fNIRS markers is achieved.In den Neurowissenschaften und ihren angrenzenden Feldern ermöglichen Fortschritte in der Messtechnik, Miniaturisierung, Rechenleistung und Signalverarbeitung leistungsstarke Ansätze zur Untersuchung der Gehirnaktivität in Echtzeit und unter zunehmend alltagsähnlichen Bedingungen. Die Erforschung nicht-invasiver Neurotechnologie für anwendungsorientierte Szenarien außerhalb des Labors birgt jedoch eine Vielzahl multidisziplinärer Herausforderungen. Neuartige Ansätze müssen eine unaufdringliche und schadlose Erfassung neurophysiologischer Signale ermöglichen und gleichzeitig Zuverlässigkeit und Robustheit sicher stellen. Zu diesem Zweck werden in dieser Dissertation neue Ansätze untersucht, die sich mit der simultanen Erfassung und Nutzung von multiplen Gehirn- und Körpersignalen in mobilen Szenarien beschäftigen. Durch die Verbindung von Biomedizintechnik, Neurowissenschaften und Maschinellem Lernen sollen die Möglichkeiten bei der Signalerfassung erweitert und die Menge der erfassten Informationen erhöht werden. Diese ermöglicht die Entwicklung multimodaler Methoden zur Verbesserung von Signalqualität und Robustheit. Der erste Teil dieser Arbeit besteht aus der Entwicklung von Grundlagen und Architekturen für den Entwurf neuer Instrumente zur mobilen, miniaturisierten und hybriden Messung von Gehirn- und peripheren Körpersignalen. Dabei liegen die Schwerpunkte auf der funktionellen Nahinfrarot-Spektroskopie (fNIRS) und Elektroenzephalographie (EEG). Das primäre Resultat ist M3BA, eine Mobile, Modulare, Multimodale Biosignalerfassungs-Architektur. Während M3BA gegenüber früherer Ansätze weiter miniaturisiert ist, bietet es hochpräzise hybride fNIRS-EEG- und Accelerometer-Messungen, Skalierbarkeit und einfache Anpassung. Diese Architektur ermöglicht im zweiten Teil die Entwicklung und experimentelle Umsetzung eines neuartigen räumlichen n-back-Paradigmas für die Erfassung der mentalen Arbeitslast in sich frei bewegenden Teilnehmern. Der resultierende Datensatz, mit einem speziell darauf ausgelegten M3BA-Headgear erfasst, bietet eine Vielfalt physiologischer Signale von 17 Probanden unter kontrollierten Bewegungsbedingungen. Unter Verwendung dieses neuen Datensatzes besteht der dritte Teil aus der Entwicklung einer Methode zur Analyse von fNIRS-Signalen und der Accelerometer-basierten Entfernung von fNIRS Bewegungsartefakten mit dem Namen BLISSA2RD. In Kombination dieser Methode mit anderen state-of-the art Ansätzen und unter strikter Artefaktbereinigung wird abschließend die Klassifizierung mentaler Arbeitslast unter herausfordernden, realitätsnahen Bedingungen untersucht. Ein erster Machbarkeitsnachweis wird mit erreichten Klassifikationsgenauigkeiten von > 80% unter Ausnutzung der Multimodalität der Daten erbracht