Exploring Peripheral Physiology as a Predictor of Perceived Relevance in Information Retrieval

Peripheral physiological signals, as obtained using electrodermal activity and facial electromyography over the corrugator supercilii muscle, are explored as indicators of perceived relevance in information retrieval tasks. An experiment with 40 participants is reported, in which these physiological signals are recorded while participants perform information retrieval tasks. Appropriate feature engineering is defined, and the feature space is explored. The results indicate that features in the window of 4 to 6 seconds after the relevance judgment for electrodermal activity, and from 1 second before to 2 seconds after the relevance judgment for corrugator supercilii activity, are associated with the users’ perceived relevance of information items. A classifier verified the predictive power of the features and showed up to 14% improvement predicting relevance. Our research can help the design of intelligent user interfaces for information retrieval that can detect the user’s perceived relevance from physiological signals and complement or replace conventional relevance feedback

Extracting Relevance and Affect Information from Physiological Text Annotation

We present physiological text annotation, which refers to the practice of associating physiological responses to text content in order to infer characteristics of the user information needs and affective responses. Text annotation is a laborious task, and implicit feedback has been studied as a way to collect annotations without requiring any explicit action from the user. Previous work has explored behavioral signals, such as clicks or dwell time to automatically infer annotations, and physiological signals have mostly been explored for image or video content. We report on two experiments in which physiological text annotation is studied first to 1) indicate perceived relevance and then to 2) indicate affective responses of the users. The first experiment tackles the user’s perception of relevance of an information item, which is fundamental towards revealing the user’s information needs. The second experiment is then aimed at revealing the user’s affective responses towards a -relevant- text document. Results show that physiological user signals are associated with relevance and affect. In particular, electrodermal activity (EDA) was found to be different when users read relevant content than when they read irrelevant content and was found to be lower when reading texts with negative emotional content than when reading texts with neutral content. Together, the experiments show that physiological text annotation can provide valuable implicit inputs for personalized systems. We discuss how our findings help design personalized systems that can annotate digital content using human physiology without the need for any explicit user interaction

Implicit Interaction with Textual Information using Physiological Signals

Implicit interaction refers to human-computer interaction techniques that do not require active engagement from the users. Instead, the user is passively monitored while performing a computer task, and the data gathered is used to infer implicit measures as inputs to the system. Among the multiple applications for implicit interaction, collecting user feedback on information content is one that has increasingly been investigated. As the amount of available information increases, traditional methods that rely on the users' explicit input become less feasible. As measurement devices become less intrusive, physiological signals arise as a valid approach for generating implicit measures when users interact with information. These signals have mostly been investigated in response to audio-visual content, while it is still unclear how to use physiological signals for implicit interaction with textual information. This dissertation contributes to the body of knowledge by studying physiological signals for implicit interaction with textual information. The research targets three main research areas: a) physiology for implicit relevance measures, b) physiology for implicit affect measures, and c) physiology for real-time implicit interaction. Together, these provide understanding not only on what type of implicit measures can be extracted from physiological signals from users interacting with textual information, but also on how these can be used in real time as part of fully integrated interactive information systems. The first research area targets perceived relevance, as the most noteworthy underlying property regarding the user interaction with information items. Two experimental studies are presented that evaluate the potential for brain activity, electrodermal activity, and facial muscle activity as candidate measures to infer relevance from textual information. The second research area targets affective reactions of the users. The thesis presents two experimental studies that target brain activity, electrodermal activity, and cardiovascular activity to indicate users' affective responses to textual information. The third research area focuses on demonstrating how these measures can be used in a closed interactive loop. The dissertation reports on two systems that use physiological signals to generate implicit measures that capture the user's responses to textual information. The systems demonstrate real-time generation of implicit physiological measures, as well as information recommendation on the basis of implicit physiological measures. This thesis advances the understanding of how physiological signals can be implemented for implicit interaction in information systems. The work calls for researchers and practitioners to consider the use of physiological signals as implicit inputs for improved information delivery and personalization.Implisiittinen vuorovaikutus viittaa ihmisen ja tietokoneen välisen vuorovaikutuksen tekniikoihin, jotka eivät vaadi käyttäjän tarkkaavaisuutta. Tämän sijaan järjestelmä kerää käyttäjästä tietoja passiivisesti ja käyttää näitä tietoja operatiivisina syötteinä. Esimerkiksi viestiä kirjoitettaessa (eksplisiittinen vuorovaikutus) järjestelmä tunnistaa tekemämme kirjoitusvirheen ja automaattisesti korjaa väärin kirjoitetun sanan (implisiittinen vuorovaikutus). Implisiittinen vuorovaikutus mahdollistaa näin uusia vuorovaikutuskanavia vaivaamatta lainkaan käyttäjää. Mittauslaitteiden kehityksen myötä implisiittisessä vuorovaikutuksessa voidaan hyödyntää myös fysiologisia signaaleja, kuten aivovasteita ja kardiovaskulaarisia reaktioita. Näiden signaalien analyysi paljastaa tietoja käyttäjän kiinnostuksen kohteista ja tunteista suhteessa tietokoneen esittämään sisältöön, ja tarjoaa näin järjestelmälle paremmat mahdollisuudet vastata käyttäjän tarpeisiin. Väitöskirjani tarkoituksena on tutkia käyttäjien fysiologisia signaaleja sekä kerätä tietoa heidän reaktioistaan ja mielipiteistään suhteessa tekstipohjaiseen informaatioon ja käyttää näitä signaaleja ja tietoja implisiittisen vuorovaikutuksen mahdollistamiseksi. Tarkkaan ottaen tarkoituksenani on tutkia a) fysiologisten signaalien kykyä kertoa siitä, miten kiinnostavana käyttäjä kokee lukemansa tekstin, b) fysiologisten signaalinen käyttökelpoisuutta ennustamaan, minkälaisia tunnereaktiota (esim. huvittuneisuutta) tekstit herättävät lukijassa sekä, c) fysiologisen signaalien käyttökelpoisuutta reaaliaikaisessa implisiittisessä vuorovaikutuksessa. Tutkimuksen tulokset osoittavat, että fysiologiset signaalit tarjoavat toimivan ratkaisun reaaliaikaiseen implisiittiseen vuorovaikutukseen tekstipohjaisten sisältöjen parissa. Tutkimuksen löydösten pääviesti tutkimusyhteisölle ja alan ammattilaisille on se, että implisiittisinä syötteinä fysiologiset signaalit helpottavat informaation kulkua ja parantavat personalisoimista ihmisen ja tietokoneen välisessä vuorovaikutuksessa

The Berlin Brain-Computer Interface: Progress Beyond Communication and Control

The combined effect of fundamental results about neurocognitive processes and advancements in decoding mental states from ongoing brain signals has brought forth a whole range of potential neurotechnological applications. In this article, we review our developments in this area and put them into perspective. These examples cover a wide range of maturity levels with respect to their applicability. While we assume we are still a long way away from integrating Brain-Computer Interface (BCI) technology in general interaction with computers, or from implementing neurotechnological measures in safety-critical workplaces, results have already now been obtained involving a BCI as research tool. In this article, we discuss the reasons why, in some of the prospective application domains, considerable effort is still required to make the systems ready to deal with the full complexity of the real world.EC/FP7/611570/EU/Symbiotic Mind Computer Interaction for Information Seeking/MindSeeEC/FP7/625991/EU/Hyperscanning 2.0 Analyses of Multimodal Neuroimaging Data: Concept, Methods and Applications/HYPERSCANNING 2.0DFG, 103586207, GRK 1589: Verarbeitung sensorischer Informationen in neuronalen Systeme

Aerospace Medicine and Biology: A continuing bibliography with indexes (supplement 314)

This bibliography lists 139 reports, articles, and other documents introduced into the NASA scientific and technical information system in August, 1988

Exploring the dynamics of the biocybernetic loop in physiological computing

Physiological computing is a highly multidisciplinary emerging field in which the spread of results across several application areas and disciplines creates a challenge of combining the lessons learned from various studies. The thesis comprises diverse publications that together create a privileged position for contributing to a common understanding of the roles and uses of physiological computing systems, generalizability of results across application areas, the theoretical grounding of the field (as with the various ways the psychophysiological states of the user can be modeled), and the emerging data analysis approaches from the domain of machine learning. The core of physiological computing systems has been built around the concept of biocybernetic loop, aimed at providing real-time adaptation to the cognitions, motivations, and emotions of the user. However, the traditional concept of the biocybernetic loop has been both self-regulatory and immediate; that is, the system adapts to the user immediately. The thesis presents an argument that this is too narrow a view of physiological computing, and it explores scenarios wherein the physiological signals are used not only to adapt to the user but to aid system developers in designing better systems, as well as to aid other users of the system. The thesis includes eight case studies designed to answer three research questions: 1) what are the various dynamics the biocybernetic loop can display, 2) how do the changes in loop dynamics affect the way the user is represented and modeled, and 3) how do the choices of loop dynamics and user representations affect the selection of machine learning methods and approaches? To answer these questions, an analytical model for physiological computing is presented that divides each of the physiological computing systems into five separate layers. The thesis presents three main findings corresponding to the three research questions: Firstly, the case studies show that physiological computing extends beyond the simple real-time self-regulatory loop. Secondly, the selected user representations seem to correlate with the type of loop dynamics. Finally, the case studies show that the machine learning approaches are implemented at the level of feature generation and are used when the loop diverges from the traditional real-time and self-regulatory dynamics into systems where the adaptation happens in the future.Perinteinen ihmisen ja tietokoneen vuorovaikutus on hyvin epäsymmetristä: tietokone voi esittää ihmiselle monimutkaista audiovisuaalista informaatiota kun taas ihmisen kommunikaatio koneen suuntaan on rajattu näppäimistöön ja hiireen. Samoin, vaikka ihmisellä on mahdollisuus saada informaatiota tietokoneen sisäisestä tilasta, kuten muistin ja prosessorin käyttöasteesta, ei tietokoneella ole vastaavaa mahdollisuutta tutkia ihmisen sisäisiä tiloja kuten tunteita. Mittaamalla reaaliajassa ihmisen fysiologisia signaaleja nämä molemmat ongelmat voidaan ratkaista: näppäimistön ja hiiren lisäksi tietokone saa suuren määrän informaatiota ihmisen kognitiivisista ja affektiivisista tiloista. Esimerkiksi mittaamalla ihmisen sykettä tai ihon sähkönjohtavuutta voi tietokone päätellä onko käyttäjä juuri nyt kiihtynyt tai rentoutunut. Tällaista fysiologisten signaalien reaaliaikaista hyödyntämistä ihmisen ja koneen vuorovaikutuksessa on tutkittu onnistuneesti monessa eri yhteyksissä: autonkuljettajien väsymystä voidaan mitata ja tarvittaessa varoittaa ajajaa, tietokonepelaajia mittaamalla on mahdollista säätää pelin vaikeustasoa sopivaksi ja älykello voi reagoida käyttäjän stressiin ehdottamalla rentoutumisharjoitusta. Näitä tapauksia yhdistää se, että käyttäjän fysiologisia signaaleja käytetään reaaliajassa sopeuttamaan järjestelmä käyttäjän itsensä tarpeisiin. Tällaista järjestelmän sopeuttamista reaaliajassa käyttäjän fysiologisten signaalien perusteella kutsutaan “biokyberneettiseksi silmukaksi” (biocybernetic loop). Biokyberneettisen silmukka on perinteisesti määritelty systeemin sopeuttamiseen yksittäisen käyttäjän sen hetkisen fysiologisen vasteen mukaan. Väitöskirjan tarkoitus on tutkia kuinka biokyberneettisen silmukan dynamiikkaa voidaan laajentaa sekä tilassa (voiko silmukka käsittää useita käyttäjiä) ja ajassa (voiko silmukan idea toimia myös ei-reaaliajassa). Erityisesti keskitytään tutkimaan kuinka muutokset silmukan dynamiikassa vaikuttavat silmukan toteutuksen yksityiskohtiin: kannattaako käyttäjää mallintaa eri tavoin ja ovatko tietyn tyyppiset silmukat soveltuvampia koneoppimiseen verrattuna ns. käsintehtyyn ratkaisuun. Väitöskirja sisältää kahdeksan käyttäjätutkimusta, jotka peilaavat biokyberneettisen silmukan käyttäytymistä erilaisissa konteksteissa. Tutkimukset osoittavat, että biokyberneettistä silmukkaa voidaan käyttää myös osana järjestelmän suunnittelua kun fysiologisten mittausten tulokset ohjataan järjestelmän kehittelijöille, ja järjestelmän muiden käyttäjien auttamiseen suosittelujärjestelmissä, joissa käyttäjän antamaa implisiittistä palautetta käytetään hyväksi suositeltaessa tuotteita toisille käyttäjille

Brain-computer interface for generating personally attractive images

While we instantaneously recognize a face as attractive, it is much harder to explain what exactly defines personal attraction. This suggests that attraction depends on implicit processing of complex, culturally and individually defined features. Generative adversarial neural networks (GANs), which learn to mimic complex data distributions, can potentially model subjective preferences unconstrained by pre-defined model parameterization. Here, we present generative brain-computer interfaces (GBCI), coupling GANs with brain-computer interfaces. GBCI first presents a selection of images and captures personalized attractiveness reactions toward the images via electroencephalography. These reactions are then used to control a GAN model, finding a representation that matches the features constituting an attractive image for an individual. We conducted an experiment (N=30) to validate GBCI using a face-generating GAN and producing images that are hypothesized to be individually attractive. In double-blind evaluation of the GBCI-produced images against matched controls, we found GBCI yielded highly accurate results. Thus, the use of EEG responses to control a GAN presents a valid tool for interactive information-generation. Furthermore, the GBCI-derived images visually replicated known effects from social neuroscience, suggesting that the individually responsive, generative nature of GBCI provides a powerful, new tool in mapping individual differences and visualizing cognitive-affective processing.Peer reviewe