EOG-Based Human–Computer Interface: 2000–2020 Review

Electro-oculography (EOG)-based brain-computer interface (BCI) is a relevant technology influencing physical medicine, daily life, gaming and even the aeronautics field. EOG-based BCI systems record activity related to users' intention, perception and motor decisions. It converts the bio-physiological signals into commands for external hardware, and it executes the operation expected by the user through the output device. EOG signal is used for identifying and classifying eye movements through active or passive interaction. Both types of interaction have the potential for controlling the output device by performing the user's communication with the environment. In the aeronautical field, investigations of EOG-BCI systems are being explored as a relevant tool to replace the manual command and as a communicative tool dedicated to accelerating the user's intention. This paper reviews the last two decades of EOG-based BCI studies and provides a structured design space with a large set of representative papers. Our purpose is to introduce the existing BCI systems based on EOG signals and to inspire the design of new ones. First, we highlight the basic components of EOG-based BCI studies, including EOG signal acquisition, EOG device particularity, extracted features, translation algorithms, and interaction commands. Second, we provide an overview of EOG-based BCI applications in the real and virtual environment along with the aeronautical application. We conclude with a discussion of the actual limits of EOG devices regarding existing systems. Finally, we provide suggestions to gain insight for future design inquiries

Embedding mobile learning into everyday life settings

The increasing ubiquity of smartphones has changed the way we interact with information and acquire new knowledge. The prevalence of personal mobile devices in our everyday lives creates new opportunities for learning that exceed the narrow boundaries of a school’s classroom and provide the foundations for lifelong learning. Learning can now happen whenever and wherever we are; whether on the sofa at home, on the bus during our commute, or on a break at work. However, the flexibility offered by mobile learning also creates its challenges. Being able to learn anytime and anywhere does not necessarily result in learning uptake. Without the school environment’s controlled schedule and teacher guidance, the learners must actively initiate learning activities, keep up repetition schedules, and cope with learning in interruption-prone everyday environments. Both interruptions and infrequent repetition can harm the learning process and long-term memory retention. We argue that current mobile learning applications insufficiently support users in coping with these challenges. In this thesis, we explore how we can utilize the ubiquity of mobile devices to ensure frequent engagement with the content, focusing primarily on language learning and supporting users in dealing with learning breaks and interruptions. Following a user-centered design approach, we first analyzed mobile learning behavior in everyday settings. Based on our findings, we proposed concepts and designs, developed research prototypes, and evaluated them in laboratory and field evaluations with a specific focus on user experience. To better understand users’ learning behavior with mobile devices, we first characterized their interaction with mobile learning apps through a detailed survey and a diary study. Both methods confirmed the enormous diversity in usage situations and preferences. We observed that learning often happens unplanned, infrequently, among the company of friends or family, or while simultaneously performing secondary tasks such as watching TV or eating. The studies further uncovered a significant prevalence of interruptions in everyday settings that affected users’ learning behavior, often leading to suspension and termination of the learning activities. We derived design implications to support learning in diverse situations, particularly aimed at mitigating the adverse effects of multitasking and interruptions. The proposed strategies should help designers and developers create mobile learning applications that adapt to the opportunities and challenges of learning in everyday mobile settings. We explored four main challenges, emphasizing that (1) we need to consider that Learning in Everyday Settings is Diverse and Interruption-prone, (2) learning performance is affected by Irregular and Infrequent Practice Behavior, (3) we need to move From Static to Personalized Learning, and (4) that Interruptions and Long Learning Breaks can Negatively Affect Performance. To tackle these challenges, we propose to embed learning into everyday smartphone interactions, which could foster frequent engagement with – and implicitly personalize – learning content (according to users’ interests and skills). Further, we investigate how memory cues could be applied to support task resumption after interruptions in mobile learning. To confirm that our idea of embedding learning into everyday interactions can increase exposure, we developed an application integrating learning tasks into the smartphone authentication process. Since unlocking the smartphone is a frequently performed action without any other purpose, our subjects appreciated the idea of utilizing this process to perform quick and simple learning interactions. Evidence from a comparative user study showed that embedding learning tasks into the unlocking mechanism led to significantly more interactions with the learning content without impairing the learning quality. We further explored a method for embedding language comprehension assessment into users’ digital reading and listening activities. By applying physiological measurements as implicit input, we reliably detected unknown words during laboratory evaluations. Identifying such knowledge gaps could be used for the provision of in-situ support and to inform the generation of personalized language learning content tailored to users’ interests and proficiency levels. To investigate memory cueing as a concept to support task resumption after interruptions, we complemented a theoretical literature analysis of existing applications with two research probes implementing and evaluating promising design concepts. We showed that displaying memory cues when the user resumes the learning activity after an interruption improves their subjective user experience. A subsequent study presented an outlook on the generalizability of memory cues beyond the narrow use case of language learning. We observed that the helpfulness of memory cues for reflecting on prior learning is highly dependent on the design of the cues, particularly the granularity of the presented information. We consider interactive cues for specific memory reactivation (e.g., through multiple-choice questions) a promising scaffolding concept for connecting individual micro-learning sessions when learning in everyday settings. The tools and applications described in this thesis are a starting point for designing applications that support learning in everyday settings. We broaden the understanding of learning behavior and highlight the impact of interruptions in our busy everyday lives. While this thesis focuses mainly on language learning, the concepts and methods have the potential to be generalized to other domains, such as STEM learning. We reflect on the limitations of the presented concepts and outline future research perspectives that utilize the ubiquity of mobile devices to design mobile learning interactions for everyday settings.Die Allgegenwärtigkeit von Smartphones verändert die Art und Weise wie wir mit Informationen umgehen und Wissen erwerben. Die weite Verbreitung von mobilen Endgeräten in unserem täglichen Leben führt zu neuen Möglichkeiten des Lernens, welche über die engen Grenzen eines Klassenraumes hinausreichen und das Fundament für lebenslanges Lernen schaffen. Lernen kann nun zu jeder Zeit und an jedem Ort stattfinden: auf dem Sofa Zuhause, im Bus während des Pendelns oder in der Pause auf der Arbeit. Die Flexibilität des mobilen Lernens geht jedoch zeitgleich mit Herausforderungen einher. Ohne den kontrollierten Ablaufplan und die Unterstützung der Lehrpersonen im schulischen Umfeld sind die Lernenden selbst dafür verantwortlich, aktiv Lernsitzungen zu initiieren, Wiederholungszyklen einzuhalten und Lektionen in unterbrechungsanfälligen Alltagssituationen zu meistern. Sowohl Unterbrechungen als auch unregelmäßige Wiederholung von Inhalten können den Lernprozess behindern und der Langzeitspeicherung der Informationen schaden. Wir behaupten, dass aktuelle mobile Lernanwendungen die Nutzer*innen nur unzureichend in diesen Herausforderungen unterstützen. In dieser Arbeit erforschen wir, wie wir uns die Allgegenwärtigkeit mobiler Endgeräte zunutze machen können, um zu erreichen, dass Nutzer*innen regelmäßig mit den Lerninhalten interagieren. Wir fokussieren uns darauf, sie im Umgang mit Unterbrechungen und Lernpausen zu unterstützen. In einem nutzerzentrierten Designprozess analysieren wir zunächst das Lernverhalten auf mobilen Endgeräten in alltäglichen Situationen. Basierend auf den Erkenntnissen schlagen wir Konzepte und Designs vor, entwickeln Forschungsprototypen und werten diese in Labor- und Feldstudien mit Fokus auf User Experience (wörtl. “Nutzererfahrung”) aus. Um das Lernverhalten von Nutzer*innen mit mobilen Endgeräten besser zu verstehen, versuchen wir zuerst die Interaktionen mit mobilen Lernanwendungen durch eine detaillierte Umfrage und eine Tagebuchstudie zu charakterisieren. Beide Methoden bestätigen eine enorme Vielfalt von Nutzungssituationen und -präferenzen. Wir beobachten, dass Lernen oft ungeplant, unregelmäßig, im Beisein von Freunden oder Familie, oder während der Ausübung anderer Tätigkeiten, beispielsweise Fernsehen oder Essen, stattfindet. Die Studien decken zudem Unterbrechungen in Alltagssituationen auf, welche das Lernverhalten der Nutzer*innen beeinflussen und oft zum Aussetzen oder Beenden der Lernaktivität führen. Wir leiten Implikationen ab, um Lernen in vielfältigen Situationen zu unterstützen und besonders die negativen Einflüsse von Multitasking und Unterbrechungen abzuschwächen. Die vorgeschlagenen Strategien sollen Designer*innen und Entwickler*innen helfen, mobile Lernanwendungen zu erstellen, welche sich den Möglichkeiten und Herausforderungen von Lernen in Alltagssituationen anpassen. Wir haben vier zentrale Herausforderungen identifiziert: (1) Lernen in Alltagssituationen ist divers und anfällig für Unterbrechungen; (2) Die Lerneffizienz wird durch unregelmäßiges Wiederholungsverhalten beeinflusst; (3) Wir müssen von statischem zu personalisiertem Lernen übergehen; (4) Unterbrechungen und lange Lernpausen können dem Lernen schaden. Um diese Herausforderungen anzugehen, schlagen wir vor, Lernen in alltägliche Smartphoneinteraktionen einzubetten. Dies führt zu einer vermehrten Beschäftigung mit Lerninhalten und könnte zu einer impliziten Personalisierung von diesen anhand der Interessen und Fähigkeiten der Nutzer*innen beitragen. Zudem untersuchen wir, wie Memory Cues (wörtl. “Gedächtnishinweise”) genutzt werden können, um das Fortsetzen von Aufgaben nach Unterbrechungen im mobilen Lernen zu erleichtern. Um zu zeigen, dass unsere Idee des Einbettens von Lernaufgaben in alltägliche Interaktionen wirklich die Beschäftigung mit diesen erhöht, haben wir eine Anwendung entwickelt, welche Lernaufgaben in den Entsperrprozess von Smartphones integriert. Da die Authentifizierung auf dem Mobilgerät eine häufig durchgeführte Aktion ist, welche keinen weiteren Mehrwert bietet, begrüßten unsere Studienteilnehmenden die Idee, den Prozess für die Durchführung kurzer und einfacher Lerninteraktionen zu nutzen. Ergebnisse aus einer vergleichenden Nutzerstudie haben gezeigt, dass die Einbettung von Aufgaben in den Entsperrprozess zu signifikant mehr Interaktionen mit den Lerninhalten führt, ohne dass die Lernqualität beeinträchtigt wird. Wir haben außerdem eine Methode untersucht, welche die Messung von Sprachverständnis in die digitalen Lese- und Höraktivitäten der Nutzer*innen einbettet. Mittels physiologischer Messungen als implizite Eingabe können wir in Laborstudien zuverlässig unbekannte Wörter erkennen. Die Aufdeckung solcher Wissenslücken kann genutzt werden, um in-situ Untestützung bereitzustellen und um personalisierte Lerninhalte zu generieren, welche auf die Interessen und das Wissensniveau der Nutzer*innen zugeschnitten sind. Um Memory Cues als Konzept für die Unterstützung der Aufgabenfortsetzung nach Unterbrechungen zu untersuchen, haben wir eine theoretische Literaturanalyse von bestehenden Anwendungen um zwei Forschungsarbeiten erweitert, welche vielversprechende Designkonzepte umsetzen und evaluieren. Wir haben gezeigt, dass die Präsentation von Memory Cues die subjektive User Experience verbessert, wenn der Nutzer die Lernaktivität nach einer Unterbrechung fortsetzt. Eine Folgestudie stellt einen Ausblick auf die Generalisierbarkeit von Memory Cues dar, welcher über den Tellerrand des Anwendungsfalls Sprachenlernen hinausschaut. Wir haben beobachtet, dass der Nutzen von Memory Cues für das Reflektieren über gelernte Inhalte stark von dem Design der Cues abhängt, insbesondere von der Granularität der präsentierten Informationen. Wir schätzen interaktive Cues zur spezifischen Gedächtnisaktivierung (z.B. durch Mehrfachauswahlfragen) als einen vielversprechenden Unterstützungsansatz ein, welcher individuelle Mikrolerneinheiten im Alltag verknüpfen könnte. Die Werkzeuge und Anwendungen, die in dieser Arbeit beschrieben werden, sind ein Startpunkt für das Design von Anwendungen, welche das Lernen in Alltagssituationen unterstützen. Wir erweitern das Verständnis, welches wir von Lernverhalten im geschäftigen Alltagsleben haben und heben den Einfluss von Unterbrechungen in diesem hervor. Während sich diese Arbeit hauptsächlich auf das Lernen von Sprachen fokussiert, haben die vorgestellten Konzepte und Methoden das Potential auf andere Bereiche übertragen zu werden, beispielsweise das Lernen von MINT Themen. Wir reflektieren über die Grenzen der präsentierten Konzepte und skizzieren Perspektiven für zukünftige Forschungsarbeiten, welche sich die Allgegenwärtigkeit von mobilen Endgeräten zur Gestaltung von Lernanwendungen für den Alltag zunutze machen

Aeronautical engineering: A continuing bibliography with indexes (supplement 193)

This bibliography lists 682 reports, articles and other documents introduced into the NASA scientific and technical information system in October 1985

Biomedical and Human Factors Requirements for a Manned Earth Orbiting Station

This report is the result of a study conducted by Republic Aviation Corporation in conjunction with Spacelabs, Inc.,in a team effort in which Republic Aviation Corporation was prime contractor. In order to determine the realistic engineering design requirements associated with the medical and human factors problems of a manned space station, an interdisciplinary team of personnel from the Research and Space Divisions was organized. This team included engineers, physicians, physiologists, psychologists, and physicists. Recognizing that the value of the study is dependent upon medical judgments as well as more quantifiable factors (such as design parameters) a group of highly qualified medical consultants participated in working sessions to determine which medical measurements are required to meet the objectives of the study. In addition, various Life Sciences personnel from NASA (Headquarters, Langley, MSC) participated in monthly review sessions. The organization, team members, consultants, and some of the part-time contributors are shown in Figure 1. This final report embodies contributions from all of these participants

Index to NASA Tech Briefs, 1972

Abstracts of 1972 NASA Tech Briefs are presented. Four indexes are included: subject, personal author, originating center, and Tech Brief number

Multiple System Modelling and Analysis of Physiological and Brain Activity and Performance at Rest and During Exercise

One of the current interests of exercise physiologists is to understand the nature and control of fatigue related to physical activity to optimise athletic performance. Therefore, this research focuses on the mathematical modelling and analysis of the energy system pathways and the system control mechanisms to investigate the various human metabolic processes involved both at rest and during exercise. The first case study showed that the PCr utilisation was the highest energy contributor during sprint running, and the rate of ATP production for each anaerobic subsystem was similar for each athlete. The second study showed that the energy expenditure derived from the aerobic and anaerobic processes for different types of pacing were significantly different. The third study demonstrated the presence of the control mechanisms, and their characteristics as well as complexity differed significantly for any physiological organ system. The fourth study showed that the control mechanisms manifest themselves in specific ranges of frequency bands, and these influence athletic performance. The final study demonstrated a significant difference in both reaction time and accuracy of the responses to visual cues between the control and exercise-involved cognitive trials. Moreover, the difference in the EEG power ratio at specific regions of the brain; the difference in the ERP components’ amplitudes and latencies; and the difference in entropy of the EEG signals represented the physiological factors in explaining the poor cognitive performance of the participants following an exhaustive exercise bout. Therefore, by using mathematical modelling and analysis of the energy system pathways and the system control mechanisms responsible for homeostasis, this research has expanded the knowledge how performance is regulated during physical activity and together with the support of the existing biological control theories to explain the development of fatigue during physical activity

Videos in Context for Telecommunication and Spatial Browsing

The research presented in this thesis explores the use of videos embedded in panoramic imagery to transmit spatial and temporal information describing remote environments and their dynamics. Virtual environments (VEs) through which users can explore remote locations are rapidly emerging as a popular medium of presence and remote collaboration. However, capturing visual representation of locations to be used in VEs is usually a tedious process that requires either manual modelling of environments or the employment of specific hardware. Capturing environment dynamics is not straightforward either, and it is usually performed through specific tracking hardware. Similarly, browsing large unstructured video-collections with available tools is difficult, as the abundance of spatial and temporal information makes them hard to comprehend. At the same time, on a spectrum between 3D VEs and 2D images, panoramas lie in between, as they offer the same 2D images accessibility while preserving 3D virtual environments surrounding representation. For this reason, panoramas are an attractive basis for videoconferencing and browsing tools as they can relate several videos temporally and spatially. This research explores methods to acquire, fuse, render and stream data coming from heterogeneous cameras, with the help of panoramic imagery. Three distinct but interrelated questions are addressed. First, the thesis considers how spatially localised video can be used to increase the spatial information transmitted during video mediated communication, and if this improves quality of communication. Second, the research asks whether videos in panoramic context can be used to convey spatial and temporal information of a remote place and the dynamics within, and if this improves users' performance in tasks that require spatio-temporal thinking. Finally, the thesis considers whether there is an impact of display type on reasoning about events within videos in panoramic context. These research questions were investigated over three experiments, covering scenarios common to computer-supported cooperative work and video browsing. To support the investigation, two distinct video+context systems were developed. The first telecommunication experiment compared our videos in context interface with fully-panoramic video and conventional webcam video conferencing in an object placement scenario. The second experiment investigated the impact of videos in panoramic context on quality of spatio-temporal thinking during localization tasks. To support the experiment, a novel interface to video-collection in panoramic context was developed and compared with common video-browsing tools. The final experimental study investigated the impact of display type on reasoning about events. The study explored three adaptations of our video-collection interface to three display types. The overall conclusion is that videos in panoramic context offer a valid solution to spatio-temporal exploration of remote locations. Our approach presents a richer visual representation in terms of space and time than standard tools, showing that providing panoramic contexts to video collections makes spatio-temporal tasks easier. To this end, videos in context are suitable alternative to more difficult, and often expensive solutions. These findings are beneficial to many applications, including teleconferencing, virtual tourism and remote assistance

Die Relevanz sozialer Hinweisreize für die Verarbeitung der Umgebung im frühen Säuglingsalter

Menschen sind von frühster Kindheit an besonders sensibel gegenüber kommunikativen Reizen anderer Menschen, um etwas über ihre Umwelt zu lernen (Csibra & Gergely, 2006). Zahlreiche Befunde deuten darauf hin, dass die visuelle Informationsverarbeitung von Geburt an durch sozial relevante Reize, wie dem Blick einer Person, in besonderer Weise beeinflusst wird (Farroni, Johnson, Menon, Zulian, Faraguna & Csibra, 2005). Bis ins Erwachsenenalter hinein ist eine dominante Rolle solcher sozialer Hinweisreize für die Informationsverarbeitung beobachtbar (Friesen, Ristic, & Kingstone, 2004). Bereits in einem Alter von vier Monaten nutzen Säuglinge Blicksignale einer Person, um etwas über Objekte in ihrer Umgebung zu lernen (Reid & Striano, 2005; Reid, Striano, Kaufman & Johnson, 2004). Dies führt zu der Annahme, dass sozial relevante Hinweisreize bereits früh im Säuglingsalter die Verarbeitung der Umgebung begünstigen (Reid & Striano, 2007). Dies wirft jedoch die Frage auf, was genau sich hinter dem Begriff der sozialen Relevanz verbirgt. Bezieht er sich auf die biologischen Aspekte eines Stimulus, wie dessen Belebtheit? Die vorliegende Arbeit stellt eine Studie vor, die den Einfluss von belebten und unbelebten Hinweisreizen auf die Verarbeitung der Umgebung von Säuglingen untersucht. Vorangegangene Forschungsarbeiten verwenden Blicksignale einer Person als sozialen Hinweisreiz (Reid & Striano, 2005; Reid et al., 2004), definieren soziale Relevanz somit über einen Indikator für visuelle Aufmerksamkeit einer Person. Es wäre denkbar, dass andere Hinweisreize einer Person in ihrer sozialen Relevanz variieren, was sich auf die Informationsverarbeitungsprozesse niederschlagen könnte. Die vorliegende Arbeit berichtet zwei Experimente, die den Einfluss der isolierten Kopforientierung sowie der isolierten Blicksignale auf die Verarbeitung der Umgebung im frühen Säuglingsalter untersuchen. Weiterhin gilt es, die Rolle von persönlicher Familiarität mit einem Hinweisreiz genauer zu klären. Denkt man an die immens wichtige Rolle der primären Bezugsperson für die emotionale und kognitive Entwicklung im Säuglingsalter, so liegt die Vermutung nahe, dass Vertrautheit einen wichtigen Faktor bei der Bewertung sozialer Hinweisreize darstellt. Daraus ergibt sich die Frage, ob die Bezugsperson gegenüber einer fremden Person für die Verarbeitung der Umgebung von Säuglingen eine herausragende Rolle spielt. Dieser Frage widmet sich die vorliegende Arbeit. Um sozial-kognitive Prozesse im frühen Säuglingsalter umfassend zu erforschen, bedarf es Verfahren, die kognitive Prozesse bei jungen Säuglingen möglichst tiefgehend und vielfältig abbilden. Vor allem die Verhaltensbeobachtung und die Erfassung neuronaler Aktivitäten bilden hierbei wichtige Datenquellen. Die Blickbewegungsmessung und die Elektroenzephalographie (EEG) stellen für die Säuglingsforschung besonders gut geeignete Verfahren zur Gewinnung dieser Daten dar. Jedoch ist die Anwendung dieser Verfahren an Säuglingen mit besonderen Herausforderungen verbunden. Aus diesem Grund soll zunächst eine Einführung in die Anwendung dieser Verfahren gegeben werden. Nach der kurzen Einführung in die Methoden zur Erforschung sozial-kognitiver Prozesse im Säuglingsalter (Kapitel 2), folgt eine Analyse des Einflusses sozialer Hinweisreize auf die Verarbeitung der Umgebung von Säuglingen. Dabei wird soziale Relevanz unter dem Aspekt der Belebtheit (Kapitel 3), der visuellen Aufmerksamkeit einer Person (Kapitel 4) und der persönlichen Familiarität (Kapitel 5) beleuchtet. Abschließend wird die aktuelle Befundlage in einem breiten Rahmen diskutiert (Kapitel 6)

Advanced Sensing and Control for Connected and Automated Vehicles

Connected and automated vehicles (CAVs) are a transformative technology that is expected to change and improve the safety and efficiency of mobility. As the main functional components of CAVs, advanced sensing technologies and control algorithms, which gather environmental information, process data, and control vehicle motion, are of great importance. The development of novel sensing technologies for CAVs has become a hotspot in recent years. Thanks to improved sensing technologies, CAVs are able to interpret sensory information to further detect obstacles, localize their positions, navigate themselves, and interact with other surrounding vehicles in the dynamic environment. Furthermore, leveraging computer vision and other sensing methods, in-cabin humans’ body activities, facial emotions, and even mental states can also be recognized. Therefore, the aim of this Special Issue has been to gather contributions that illustrate the interest in the sensing and control of CAVs

Aerospace Medicine and Biology: A continuing bibliography with indexes, supplement 117, July 1973

This special bibliography lists 353 reports, articles, and other documents introduced into the NASA scientific and technical information system in July 1973