Assessment of high-frequency steady-state visual evoked potentials from below-the-hairline areas for a brain-computer interface based on Depth-of-Field

Background and Objective: Recently, a promising Brain-Computer Interface based on Steady-State Visual Evoked Potential (SSVEP-BCI) was proposed, which composed of two stimuli presented together in the center of the subject's field of view, but at different depth planes (Depth-of-Field setup). Thus, users were easily able to select one of them by shifting their eye focus. However, in that work, EEG signals were collected through electrodes placed on occipital and parietal regions (hair-covered areas), which demanded a long preparation time. Also, that work used low-frequency stimuli, which can produce visual fatigue and increase the risk of photosensitive epileptic seizures. In order to improve the practicality and visual comfort, this work proposes a BCI based on Depth-of-Field using the high-frequency SSVEP response measured from below-the-hairline areas (behind-the-ears). Methods: Two high-frequency stimuli (31 Hz and 32 Hz) were used in a Depth-of-Field setup to study the SSVEP response from behind-the-ears (TP9 and TP10). Multivariate Spectral F-test (MSFT) method was used to verify the elicited response. Afterwards, a BCI was proposed to command a mobile robot in a virtual reality environment. The commands were recognized through Temporally Local Multivariate Synchronization Index (TMSI) method. Results: The data analysis reveal that the focused stimuli elicit distinguishable SSVEP response when measured from hairless areas, in spite of the fact that the non-focused stimulus is also present in the field of view. Also, our BCI shows a satisfactory result, reaching average accuracy of 91.6% and Information Transfer Rate (ITR) of 5.3 bits/min. Conclusion: These findings contribute to the development of more safe and practical BCI.Fil: Floriano, Alan. Universidade Federal do Espírito Santo; BrasilFil: Delisle Rodriguez, Denis. Universidade Federal do Espírito Santo; BrasilFil: Diez, Pablo Federico. Universidad Nacional de San Juan. Facultad de Ingeniería. Departamento de Electrónica y Automática. Gabinete de Tecnología Médica; Argentina. Consejo Nacional de Investigaciones Científicas y Técnicas. Centro Científico Tecnológico Conicet - San Juan; ArgentinaFil: Bastos Filho, Teodiano Freire. Universidade Federal do Espírito Santo; Brasi

Fully portable and wireless universal brain-machine interfaces enabled by flexible scalp electronics and deep-learning algorithm

Variation in human brains creates difficulty in implementing electroencephalography (EEG) into universal brain-machine interfaces (BMI). Conventional EEG systems typically suffer from motion artifacts, extensive preparation time, and bulky equipment, while existing EEG classification methods require training on a per-subject or per-session basis. Here, we introduce a fully portable, wireless, flexible scalp electronic system, incorporating a set of dry electrodes and flexible membrane circuit. Time domain analysis using convolutional neural networks allows for an accurate, real-time classification of steady-state visually evoked potentials on the occipital lobe. Simultaneous comparison of EEG signals with two commercial systems captures the improved performance of the flexible electronics with significant reduction of noise and electromagnetic interference. The two-channel scalp electronic system achieves a high information transfer rate (122.1 ± 3.53 bits per minute) with six human subjects, allowing for a wireless, real-time, universal EEG classification for an electronic wheelchair, motorized vehicle, and keyboard-less presentation

Near-Infrared Spectroscopy for Brain Computer Interfacing

A brain-computer interface (BCI) gives those suffering from neuromuscular impairments a means to interact and communicate with their surrounding environment. A BCI translates physiological signals, typically electrical, detected from the brain to control an output device. A significant problem with current BCIs is the lengthy training periods involved for proficient usage, which can often lead to frustration and anxiety on the part of the user and may even lead to abandonment of the device. A more suitable and usable interface is needed to measure cognitive function more directly. In order to do this, new measurement modalities, signal acquisition and processing, and translation algorithms need to be addressed. This work implements a novel approach to BCI design, using noninvasive near-infrared spectroscopic (NIRS) techniques to develop a userfriendly optical BCI. NIRS is a practical non-invasive optical technique that can detect characteristic haemodynamic responses relating to neural activity. This thesis describes the use of NIRS to develop an accessible BCI system requiring very little user training. In harnessing the optical signal for BCI control an assessment of NIRS signal characteristics is carried out and detectable physiological effects are identified for BCI development. The investigations into various mental tasks for controlling the BCI show that motor imagery functions can be detected using NIRS. The optical BCI (OBCI) system operates in realtime characterising the occurrence of motor imagery functions, allowing users to control a switch - a “Mindswitch”. This work demonstrates the great potential of optical imaging methods for BCI development and brings to light an innovative approach to this field of research

Development and Characterization of Ear-EEG for Real-Life Brain-Monitoring

Functional brain monitoring methods for neuroscience and medical diagnostics have until recently been limited to laboratory settings. However, there is a great potential for studying the human brain in the everyday life, with measurements performed in more realistic real-life settings. Electroencephalography (EEG) can be measured in real-life using wearable EEG equipment. Current wearable EEG devices are typically based on scalp electrodes, causing the devices to be visible and often uncomfortable to wear for long-term recordings. Ear-EEG is a method where EEG is recorded from electrodes placed in the ear. The Ear-EEG supports non-invasive long-term recordings of EEG in real-life in a discreet way. This Ph.D. project concerns the characterization and development of ear-EEG for real-life brain-monitoring. This was addressed through characterization of physiological artifacts in real-life settings, development and characterization of dry-contact electrodes for real-life ear-EEG acquisition, measurements of ear-EEG in real-life, and development of a method for mapping cortical sources to the ear. Characterization of physiological artifacts showed a similar artifact level for recordings from ear electrodes and temporal lobe scalp electrodes. Dry-contact electrodes and flexible earpieces were developed to increase the comfort and user-friendliness of the ear-EEG. In addition, electronic instrumentation was developed to allow implementation in a hearing-aid-sized ear-EEG device. Ear-EEG measurements performed in real-life settings with the dry-contact electrodes, were comparable to temporal lobe scalp EEG, when referenced to a Cz scalp electrode. However, the recordings showed that further development of the earpieces and electrodes are needed to obtain a satisfying recording quality, when the reference is located close to or in the ear. Mapping of the electric fields from well-defined cortical sources to the ear, showed good agreement with previous ear-EEG studies and has the potential to provide valuable information for future development of the ear-EEG method. The Ph.D. project showed that ear-EEG measurements can be performed in real-life, with dry-contact electrodes. The brain processes studied, were established with comparable clarity on recordings from temporal lobe scalp and ear electrodes. With further development of the earpieces, electrodes, and electronic instrumentation, it appears to be realistic to implement ear-EEG into unobtrusive and user-friendly devices for monitoring of human brain processes in real-life

An Objectivation of Visual Perception using Virtual Reality, Brain-Computer Interfaces and Deep Learning

Der Sehsinn ermöglicht eine detailgenaue Wahrnehmung der Welt. Virtual Reality (VR), Brain-Computer Interfaces (BCI) und Deep Learning sind neue Technologien, die uns hierbei neue Möglichkeiten für die Erforschung der visuellen Wahrnehmung geben. In dieser Dissertation wird ein System für die Augenheilkunde vorgestellt, das Augenkrankheiten in VR simulieren kann und durch Hinzufügen von BCI und KI eine objektive Diagnostik von Gesichtsfeldausfällen ermöglicht. Für ein besseres Verständnis der Arbeit wird das menschliche Sehen mit Modellen der Computer Vision verglichen und basierend hierauf ein allgemeines vierstufiges Seh-Modell eingeführt. Innerhalb des Modells werden Schnittstellen zwischen der biologisch-realen und der technologisch-virtuellen Welt evaluiert. Besteht heutzutage bei einem Patienten der Verdacht auf einen Gesichtsfeldausfall (Skotom), so werden ophthalmologische Geräte wie das Perimeter zur Ausmessung des Gesichtsfeldes eingesetzt. Das dem Stand der Technik entsprechende Verfahren liegt dem subjektiven Feedback des Patienten zugrunde. Entsprechend können Lerneffekte beim Patienten das Ergebnis nicht unwesentlich beeinflussen. Um diese Problematiken zu umgehen, wurde in dieser Dissertation ein objektives Perimetriesystem auf Basis von VR, BCI und Deep Learning erfolgreich implementiert und evaluiert. Ein weiterer Vorteil des neuen Systems ist die Möglichkeit zur Einsetzung bei Menschen mit Schwerbehinderung, Kindern und Tieren. Der Lösungsansatz dieser Dissertation ist die Simulation (pathologischer/eingeschränkter) Sehzustände. Hierfür wurde der Zustand von Glaukompatienten mit Hilfe von VR-Technologien virtuell abgebildet. Die resultierende VR-Anwendung bildet individuelle Glaukomverläufe immersiv in VR ab. Evaluiert wurde die Simulationsumgebung mit medizinischem Fachpersonal und Glaukompatienten an der Augenklinik des Universitätsklinikums Heidelberg (\textit{N}=22). Hierbei wurde gezeigt, dass VR eine geeignete Maßnahme zur Simulation von Sehbedingungen ist und zum Verständnis des Patientenzustandes einen Beitrag leisten kann. Ausgehend von dieser Simulationsumgebung wurden weitere Software- und Hardwaremodule hinzugefügt. Erzeugte stationäre visuelle Stimuli wurden hierbei eingesetzt, um (simulierte) Sehfehler durch ein Elektroenzephalographie (EEG)-basiertes BCI zu erkennen. Das System wurde in einer internationalen Laborstudie (\textit{N}=15) in Zusammenarbeit mit dem Massachusetts Institute of Technology getestet und validiert. Die gesammelten Daten deuten darauf hin, dass das System für die Klassifizierung des zentralen (88\% Genauigkeit pro 2,5 Sekunden EEG-Daten) und peripheren Gesichtsfeldes (63-81\% Genauigkeit) geeignet ist, während es für periphere Positionen aufgrund der Technologiesensitivität zu Einschränkungen (50-57\% Genauigkeit) kommt. Entsprechend sollte das System für Skotome eingesetzt werden, sofern der Sehausfall das zentrale Sehen oder ganze Quadranten des Gesichtsfelds betrifft. Aufgrund der Notwendigkeit für einen besseren ambulanten EEG-Messaufbau werden modulare, plattformübergreifende Softwareimplementierungen und neuartige, zum Patent angemeldete, EEG-Elektroden vorgestellt. Die neuartigen Elektroden bieten ein besseres Signal-zu-Rausch-Verhältnis als herkömmliche Trockenelektroden (\SI{1,35}{dB} Verbesserung), sind schnell anzulegen, wiederverwendbar und hinterlassen kaum bis keine unerwünschten Rückstände im Haar des Patienten. Diese Dissertation legt den Grundstein für ein VR, BCI und KI-basiertes Perimetrie-Messsystem, welches insbesondere im ambulanten Setting oder bei Patienten mit Einschränkungen zum Einsatz kommen könnte

Objectivation of Visual Perception

Der Sehsinn ermöglicht eine detailgenaue Wahrnehmung der Welt. Virtual Reality (VR), Brain-Computer Interfaces (BCI) und Deep Learning sind neue Technologien, die uns hierbei neue Möglichkeiten für die Erforschung der visuellen Wahrnehmung geben. In dieser Dissertation wird ein System für die Augenheilkunde vorgestellt, das Augenkrankheiten in VR simulieren kann und durch Hinzufügen von BCI und KI eine objektive Diagnostik von Gesichtsfeldausfällen ermöglicht. Für ein besseres Verständnis der Arbeit wird das menschliche Sehen mit Modellen der Computer Vision verglichen und basierend hierauf ein allgemeines vierstufiges Seh-Modell eingeführt. Innerhalb des Modells werden Schnittstellen zwischen der biologisch-realen und der technologisch-virtuellen Welt evaluiert. Besteht heutzutage bei einem Patienten der Verdacht auf einen Gesichtsfeldausfall (Skotom), so werden ophthalmologische Geräte wie das Perimeter zur Ausmessung des Gesichtsfeldes eingesetzt. Das dem Stand der Technik entsprechende Verfahren liegt dem subjektiven Feedback des Patienten zugrunde. Entsprechend können Lerneffekte beim Patienten das Ergebnis nicht unwesentlich beeinflussen. Um diese Problematiken zu umgehen, wurde in dieser Dissertation ein objektives Perimetriesystem auf Basis von VR, BCI und Deep Learning erfolgreich implementiert und evaluiert. Ein weiterer Vorteil des neuen Systems ist die Möglichkeit zur Einsetzung bei Menschen mit Schwerbehinderung, Kindern und Tieren. Der Lösungsansatz dieser Dissertation ist die Simulation (pathologischer/eingeschränkter) Sehzustände. Hierfür wurde der Zustand von Glaukompatienten mit Hilfe von VR-Technologien virtuell abgebildet. Die resultierende VR-Anwendung bildet individuelle Glaukomverläufe immersiv in VR ab. Evaluiert wurde die Simulationsumgebung mit medizinischem Fachpersonal und Glaukompatienten an der Augenklinik des Universitätsklinikums Heidelberg (\textit{N}=22). Hierbei wurde gezeigt, dass VR eine geeignete Maßnahme zur Simulation von Sehbedingungen ist und zum Verständnis des Patientenzustandes einen Beitrag leisten kann. Ausgehend von dieser Simulationsumgebung wurden weitere Software- und Hardwaremodule hinzugefügt. Erzeugte stationäre visuelle Stimuli wurden hierbei eingesetzt, um (simulierte) Sehfehler durch ein Elektroenzephalographie (EEG)-basiertes BCI zu erkennen. Das System wurde in einer internationalen Laborstudie (\textit{N}=15) in Zusammenarbeit mit dem Massachusetts Institute of Technology getestet und validiert. Die gesammelten Daten deuten darauf hin, dass das System für die Klassifizierung des zentralen (88\% Genauigkeit pro 2,5 Sekunden EEG-Daten) und peripheren Gesichtsfeldes (63-81\% Genauigkeit) geeignet ist, während es für periphere Positionen aufgrund der Technologiesensitivität zu Einschränkungen (50-57\% Genauigkeit) kommt. Entsprechend sollte das System für Skotome eingesetzt werden, sofern der Sehausfall das zentrale Sehen oder ganze Quadranten des Gesichtsfelds betrifft. Aufgrund der Notwendigkeit für einen besseren ambulanten EEG-Messaufbau werden modulare, plattformübergreifende Softwareimplementierungen und neuartige, zum Patent angemeldete, EEG-Elektroden vorgestellt. Die neuartigen Elektroden bieten ein besseres Signal-zu-Rausch-Verhältnis als herkömmliche Trockenelektroden (\SI{1,35}{dB} Verbesserung), sind schnell anzulegen, wiederverwendbar und hinterlassen kaum bis keine unerwünschten Rückstände im Haar des Patienten. Diese Dissertation legt den Grundstein für ein VR, BCI und KI-basiertes Perimetrie-Messsystem, welches insbesondere im ambulanten Setting oder bei Patienten mit Einschränkungen zum Einsatz kommen könnte

Individual differences in supra-threshold auditory perception - mechanisms and objective correlates

Thesis (Ph.D.)--Boston UniversityTo extract content and meaning from a single source of sound in a quiet background, the auditory system can use a small subset of a very redundant set of spectral and temporal features. In stark contrast, communication in a complex, crowded scene places enormous demands on the auditory system. Spectrotemporal overlap between sounds reduces modulations in the signals at the ears and causes masking, with problems exacerbated by reverberation. Consistent with this idea, many patients seeking audiological treatment seek help precisely because they notice difficulties in environments requiring auditory selective attention. In the laboratory, even listeners with normal hearing thresholds exhibit vast differences in the ability to selectively attend to a target. Understanding the mechanisms causing these supra-threshold differences, the focus of this thesis, may enable research that leads to advances in treating communication disorders that affect an estimated one in five Americans. Converging evidence from human and animal studies points to one potential source of these individual differences: differences in the fidelity with which supra-threshold sound is encoded in the early portions of the auditory pathway. Electrophysiological measures of sound encoding by the auditory brainstem in humans and animals support the idea that the temporal precision of the early auditory neural representation can be poor even when hearing thresholds are normal. Concomitantly, animal studies show that noise exposure and early aging can cause a loss (cochlear neuropathy) of a large percentage of the afferent population of auditory nerve fibers innervating the cochlear hair cells without any significant change in measured audiograms. Using behavioral, otoacoustic and electrophysiological measures in conjunction with computational models of sound processing by the auditory periphery and brainstem, a detailed examination of temporal coding of supra-threshold sound is carried out, focusing on characterizing and understanding individual differences in listeners with normal hearing thresholds and normal cochlear mechanical function. Results support the hypothesis that cochlear neuropathy may reduce encoding precision of supra-threshold sound, and that this manifests as deficits both behaviorally and in subcortical electrophysiological measures in humans. Based on these results, electrophysiological measures are developed that may yield sensitive, fast, objective measures of supra-threshold coding deficits that arise as a result of cochlear neuropathy

An Objectivation of Visual Perception using Virtual Reality, Brain-Computer Interfaces and Deep Learning

Der Sehsinn ermöglicht eine detailgenaue Wahrnehmung der Welt. Virtual Reality (VR), Brain-Computer Interfaces (BCI) und Deep Learning sind neue Technologien, die uns hierbei neue Möglichkeiten für die Erforschung der visuellen Wahrnehmung geben. In dieser Dissertation wird ein System für die Augenheilkunde vorgestellt, das Augenkrankheiten in VR simulieren kann und durch Hinzufügen von BCI und KI eine objektive Diagnostik von Gesichtsfeldausfällen ermöglicht. Für ein besseres Verständnis der Arbeit wird das menschliche Sehen mit Modellen der Computer Vision verglichen und basierend hierauf ein allgemeines vierstufiges Seh-Modell eingeführt. Innerhalb des Modells werden Schnittstellen zwischen der biologisch-realen und der technologisch-virtuellen Welt evaluiert. Besteht heutzutage bei einem Patienten der Verdacht auf einen Gesichtsfeldausfall (Skotom), so werden ophthalmologische Geräte wie das Perimeter zur Ausmessung des Gesichtsfeldes eingesetzt. Das dem Stand der Technik entsprechende Verfahren liegt dem subjektiven Feedback des Patienten zugrunde. Entsprechend können Lerneffekte beim Patienten das Ergebnis nicht unwesentlich beeinflussen. Um diese Problematiken zu umgehen, wurde in dieser Dissertation ein objektives Perimetriesystem auf Basis von VR, BCI und Deep Learning erfolgreich implementiert und evaluiert. Ein weiterer Vorteil des neuen Systems ist die Möglichkeit zur Einsetzung bei Menschen mit Schwerbehinderung, Kindern und Tieren. Der Lösungsansatz dieser Dissertation ist die Simulation (pathologischer/eingeschränkter) Sehzustände. Hierfür wurde der Zustand von Glaukompatienten mit Hilfe von VR-Technologien virtuell abgebildet. Die resultierende VR-Anwendung bildet individuelle Glaukomverläufe immersiv in VR ab. Evaluiert wurde die Simulationsumgebung mit medizinischem Fachpersonal und Glaukompatienten an der Augenklinik des Universitätsklinikums Heidelberg (\textit{N}=22). Hierbei wurde gezeigt, dass VR eine geeignete Maßnahme zur Simulation von Sehbedingungen ist und zum Verständnis des Patientenzustandes einen Beitrag leisten kann. Ausgehend von dieser Simulationsumgebung wurden weitere Software- und Hardwaremodule hinzugefügt. Erzeugte stationäre visuelle Stimuli wurden hierbei eingesetzt, um (simulierte) Sehfehler durch ein Elektroenzephalographie (EEG)-basiertes BCI zu erkennen. Das System wurde in einer internationalen Laborstudie (\textit{N}=15) in Zusammenarbeit mit dem Massachusetts Institute of Technology getestet und validiert. Die gesammelten Daten deuten darauf hin, dass das System für die Klassifizierung des zentralen (88\% Genauigkeit pro 2,5 Sekunden EEG-Daten) und peripheren Gesichtsfeldes (63-81\% Genauigkeit) geeignet ist, während es für periphere Positionen aufgrund der Technologiesensitivität zu Einschränkungen (50-57\% Genauigkeit) kommt. Entsprechend sollte das System für Skotome eingesetzt werden, sofern der Sehausfall das zentrale Sehen oder ganze Quadranten des Gesichtsfelds betrifft. Aufgrund der Notwendigkeit für einen besseren ambulanten EEG-Messaufbau werden modulare, plattformübergreifende Softwareimplementierungen und neuartige, zum Patent angemeldete, EEG-Elektroden vorgestellt. Die neuartigen Elektroden bieten ein besseres Signal-zu-Rausch-Verhältnis als herkömmliche Trockenelektroden (\SI{1,35}{dB} Verbesserung), sind schnell anzulegen, wiederverwendbar und hinterlassen kaum bis keine unerwünschten Rückstände im Haar des Patienten. Diese Dissertation legt den Grundstein für ein VR, BCI und KI-basiertes Perimetrie-Messsystem, welches insbesondere im ambulanten Setting oder bei Patienten mit Einschränkungen zum Einsatz kommen könnte

Retinoic acid degradation shapes zonal development of vestibular organs and sensitivity to transient linear accelerations

Each vestibular sensory epithelium in the inner ear is divided morphologically and physio- logically into two zones, called the striola and extrastriola in otolith organ maculae, and the central and peripheral zones in semicircular canal cristae. We found that formation of striolar/central zones during embryogenesis requires Cytochrome P450 26b1 (Cyp26b1)- mediated degradation of retinoic acid (RA). In Cyp26b1 conditional knockout mice, formation of striolar/central zones is compromised, such that they resemble extrastriolar/peripheral zones in multiple features. Mutants have deficient vestibular evoked potential (VsEP) responses to jerk stimuli, head tremor and deficits in balance beam tests that are consistent with abnormal vestibular input, but normal vestibulo-ocular reflexes and apparently normal motor performance during swimming. Thus, degradation of RA during embryogenesis is required for formation of highly specialized regions of the vestibular sensory epithelia with specific functions in detecting head motions