Anger-based BCI Using fNIRS Neurofeedback

Functional near-infrared spectroscopy (fNIRS) holds increasing potential for Brain-Computer Interfaces (BCI) due to its portability, ease of application, robustness to movement artifacts, and relatively low cost. The use of fNIRS to support the development of affective BCI has received comparatively less attention, despite the role played by the prefrontal cortex in affective control, and the appropriateness of fNIRS to measure prefrontal activity. We present an active, fNIRS-based neurofeedback (NF) interface, which uses differential changes in oxygenation between the left and right sides of the dorsolateral prefrontal cortex to operationalize BCI input. The system is activated by users generating a state of anger, which has been previously linked to increased left prefrontal asymmetry. We have incorporated this NF interface into an experimental platform adapted from a virtual 3D narrative, in which users can express anger at a virtual character perceived as evil, causing the character to disappear progressively. Eleven subjects used the system and were able to successfully perform NF despite minimal training. Extensive analysis confirms that success was associated with the intent to express anger. This has positive implications for the design of affective BCI based on prefrontal asymmetry

Diseño e implementación de juguetes interactivos para actividades educativas basadas en interacción tangible

Las teorías de aprendizaje y la innovación en los procesos de enseñanza y aprendizaje se presentan como un fundamento para la integrar la interacción tangible (IT) en procesos educativos. Uno de los aspectos en los que se ha centrado la atención en la IT es en cómo el uso de objetos tangibles (objetos físicos de uso cotidiano o conocidos por los usuarios) en vinculación con entornos digitales pueden apoyar o mejorar el aprendizaje de determinados temas y/o habilidades. En los últimos años se han desarrollado diferentes proyectos de investigación en donde se diseñan objetos tangibles e interfaces de usuario tangibles para apoyar el aprendizaje. Sin embargo, las nuevas tecnologías permiten generar propuestas novedosas en las que los objetos tangibles a través de alguna automatización permiten extender las capacidades de interacción de las personas con su entorno, así como generar nuevas formas interacción para controlar y representar información digital. Por tanto, en este trabajo de tesis se realizó una investigación con el objetivo de indagar las posibilidades de los objetos llamados activos (con capacidades feedback al interactuar con información digital). En particular, se aborda el trabajo con juguetes interactivos en actividades educativas basadas en IT. Los juguetes interactivos son desarrollados con objetos tangibles que permiten generar interacciones por medio de actuadores y sistemas de control. Para alcanzar el objetivo, se llevó adelante un proceso de búsqueda y revisión de material bibliográfico relacionado con la temática de estudio. Se aplicaron criterios de inclusión y exclusión para definir el cuerpo de trabajos a considerar para el análisis de experiencias de IT en el escenario educativo, en donde se emplearan objetos activos. Se seleccionaron 10 casos para analizar a partir de una serie de criterios definidos por el tesista. Así se establecieron 9 criterios para analizar las experiencias. Estos criterios se orientaron a caracterizar los antecedentes en 4 categorías: (i) descripciones generales, (ii) interacción tangible, (iii) interfaces de usuario tangible y (iv) metodológico educativo. Como resultado del análisis se evidenció el escaso desarrollo de experiencias de IT con objetos activos en Latinoamérica. Además, se constató que los proyectos se enfocan para niveles educativos de educación superior, que proponen actividades de aprendizaje, tanto exploratorias como expresivas, las modalidades de interacción se dan mayormente entre objetos activos y tabletops, y se emplea principalmente feedback relacionado con las tareas y la autorregulación. Finalmente, en general las experiencias analizadas remiten a actividades grupales y colaborativas. Se pudo identificar que los objetos tangibles activos tienen las características para integrar más y mayores capacidades que permiten crear enlaces entre lo virtual y real, lograr una mayor flexibilidad, abordar la generación de metáforas y enfocar la atención de los estudiantes. También, posibilitan la creación de interacciones con diversos canales de comunicación, de esta forma se pueden crear actividades educativas multimodales que fomenten el aprendizaje. A través del análisis, se identificaron situaciones de la IT con objetos activos que permitieron diseñar y planificar el estudio de caso. Este estudio permitió estudiar algunas variables en relación con el impacto que tienen los juguetes interactivos en una actividad específica con estudiantes y/o docentes. El estudio de caso consistió en una actividad educativa basada en un juego de IT utilizando juguetes interactivos. Para ello, se desarrolló un juego de IT en el marco de un proyecto con alumnos del Instituto de Investigación en Informática LIDI de la Universidad Nacional de La Plata (UNLP), como parte de esta tesis se diseñaron y desarrollaron dos juguetes interactivos para la dinámica del juego, y se organizaron sesiones de trabajo con estudiantes y docentes. Estas sesiones mostraron que los juguetes interactivos son considerados como un aspecto atractivo para los estudiantes y docentes; posibilitan crear propuestas innovadoras para integrar contenidos educativos con tecnología, y para brindar nuevas experiencias de juego y aprendizaje. Asimismo, se observó el disfrute de los estudiantes durante la experiencia, y buenos resultados respecto con la motivación intrínseca de los estudiantes durante la participación en las actividades educativas planificadas.Facultad de Informátic

Addressing Situational and Physical Impairments and Disabilities with a Gaze-Assisted, Multi-Modal, Accessible Interaction Paradigm

Every day we encounter a variety of scenarios that lead to situationally induced impairments and disabilities, i.e., our hands are assumed to be engaged in a task, and hence unavailable for interacting with a computing device. For example, a surgeon performing an operation, a worker in a factory with greasy hands or wearing thick gloves, a person driving a car, and so on all represent scenarios of situational impairments and disabilities. In such cases, performing point-and-click interactions, text entry, or authentication on a computer using conventional input methods like the mouse, keyboard, and touch is either inefficient or not possible. Unfortunately, individuals with physical impairments and disabilities, by birth or due to an injury, are forced to deal with these limitations every single day. Generally, these individuals experience difficulty or are completely unable to perform basic operations on a computer. Therefore, to address situational and physical impairments and disabilities it is crucial to develop hands-free, accessible interactions. In this research, we try to address the limitations, inabilities, and challenges arising from situational and physical impairments and disabilities by developing a gaze-assisted, multi-modal, hands-free, accessible interaction paradigm. Specifically, we focus on the three primary interactions: 1) point-and-click, 2) text entry, and 3) authentication. We present multiple ways in which the gaze input can be modeled and combined with other input modalities to enable efficient and accessible interactions. In this regard, we have developed a gaze and foot-based interaction framework to achieve accurate “point-and-click" interactions and to perform dwell-free text entry on computers. In addition, we have developed a gaze gesture-based framework for user authentication and to interact with a wide range of computer applications using a common repository of gaze gestures. The interaction methods and devices we have developed are a) evaluated using the standard HCI procedures like the Fitts’ Law, text entry metrics, authentication accuracy and video analysis attacks, b) compared against the speed, accuracy, and usability of other gaze-assisted interaction methods, and c) qualitatively analyzed by conducting user interviews. From the evaluations, we found that our solutions achieve higher efficiency than the existing systems and also address the usability issues. To discuss each of these solutions, first, the gaze and foot-based system we developed supports point-and-click interactions to address the “Midas Touch" issue. The system performs at least as good (time and precision) as the mouse, while enabling hands-free interactions. We have also investigated the feasibility, advantages, and challenges of using gaze and foot-based point-and-click interactions on standard (up to 24") and large displays (up to 84") through Fitts’ Law evaluations. Additionally, we have compared the performance of the gaze input to the other standard inputs like the mouse and touch. Second, to support text entry, we developed a gaze and foot-based dwell-free typing system, and investigated foot-based activation methods like foot-press and foot gestures. We have demonstrated that our dwell-free typing methods are efficient and highly preferred over conventional dwell-based gaze typing methods. Using our gaze typing system the users type up to 14.98 Words Per Minute (WPM) as opposed to 11.65 WPM with dwell-based typing. Importantly, our system addresses the critical usability issues associated with gaze typing in general. Third, we addressed the lack of an accessible and shoulder-surfing resistant authentication method by developing a gaze gesture recognition framework, and presenting two authentication strategies that use gaze gestures. Our authentication methods use static and dynamic transitions of the objects on the screen, and they authenticate users with an accuracy of 99% (static) and 97.5% (dynamic). Furthermore, unlike other systems, our dynamic authentication method is not susceptible to single video iterative attacks, and has a lower success rate with dual video iterative attacks. Lastly, we demonstrated how our gaze gesture recognition framework can be extended to allow users to design gaze gestures of their choice and associate them to appropriate commands like minimize, maximize, scroll, etc., on the computer. We presented a template matching algorithm which achieved an accuracy of 93%, and a geometric feature-based decision tree algorithm which achieved an accuracy of 90.2% in recognizing the gaze gestures. In summary, our research demonstrates how situational and physical impairments and disabilities can be addressed with a gaze-assisted, multi-modal, accessible interaction paradigm