Change blindness: eradication of gestalt strategies

Arrays of eight, texture-defined rectangles were used as stimuli in a one-shot change blindness (CB) task where there was a 50% chance that one rectangle would change orientation between two successive presentations separated by an interval. CB was eliminated by cueing the target rectangle in the first stimulus, reduced by cueing in the interval and unaffected by cueing in the second presentation. This supports the idea that a representation was formed that persisted through the interval before being 'overwritten' by the second presentation (Landman et al, 2003 Vision Research 43149–164]. Another possibility is that participants used some kind of grouping or Gestalt strategy. To test this we changed the spatial position of the rectangles in the second presentation by shifting them along imaginary spokes (by ±1 degree) emanating from the central fixation point. There was no significant difference seen in performance between this and the standard task [F(1,4)=2.565, p=0.185]. This may suggest two things: (i) Gestalt grouping is not used as a strategy in these tasks, and (ii) it gives further weight to the argument that objects may be stored and retrieved from a pre-attentional store during this task

Sensing, interpreting, and anticipating human social behaviour in the real world

Low-level nonverbal social signals like glances, utterances, facial expressions and body language are central to human communicative situations and have been shown to be connected to important high-level constructs, such as emotions, turn-taking, rapport, or leadership. A prerequisite for the creation of social machines that are able to support humans in e.g. education, psychotherapy, or human resources is the ability to automatically sense, interpret, and anticipate human nonverbal behaviour. While promising results have been shown in controlled settings, automatically analysing unconstrained situations, e.g. in daily-life settings, remains challenging. Furthermore, anticipation of nonverbal behaviour in social situations is still largely unexplored. The goal of this thesis is to move closer to the vision of social machines in the real world. It makes fundamental contributions along the three dimensions of sensing, interpreting and anticipating nonverbal behaviour in social interactions. First, robust recognition of low-level nonverbal behaviour lays the groundwork for all further analysis steps. Advancing human visual behaviour sensing is especially relevant as the current state of the art is still not satisfactory in many daily-life situations. While many social interactions take place in groups, current methods for unsupervised eye contact detection can only handle dyadic interactions. We propose a novel unsupervised method for multi-person eye contact detection by exploiting the connection between gaze and speaking turns. Furthermore, we make use of mobile device engagement to address the problem of calibration drift that occurs in daily-life usage of mobile eye trackers. Second, we improve the interpretation of social signals in terms of higher level social behaviours. In particular, we propose the first dataset and method for emotion recognition from bodily expressions of freely moving, unaugmented dyads. Furthermore, we are the first to study low rapport detection in group interactions, as well as investigating a cross-dataset evaluation setting for the emergent leadership detection task. Third, human visual behaviour is special because it functions as a social signal and also determines what a person is seeing at a given moment in time. Being able to anticipate human gaze opens up the possibility for machines to more seamlessly share attention with humans, or to intervene in a timely manner if humans are about to overlook important aspects of the environment. We are the first to propose methods for the anticipation of eye contact in dyadic conversations, as well as in the context of mobile device interactions during daily life, thereby paving the way for interfaces that are able to proactively intervene and support interacting humans.Blick, Gesichtsausdrücke, Körpersprache, oder Prosodie spielen als nonverbale Signale eine zentrale Rolle in menschlicher Kommunikation. Sie wurden durch vielzählige Studien mit wichtigen Konzepten wie Emotionen, Sprecherwechsel, Führung, oder der Qualität des Verhältnisses zwischen zwei Personen in Verbindung gebracht. Damit Menschen effektiv während ihres täglichen sozialen Lebens von Maschinen unterstützt werden können, sind automatische Methoden zur Erkennung, Interpretation, und Antizipation von nonverbalem Verhalten notwendig. Obwohl die bisherige Forschung in kontrollierten Studien zu ermutigenden Ergebnissen gekommen ist, bleibt die automatische Analyse nonverbalen Verhaltens in weniger kontrollierten Situationen eine Herausforderung. Darüber hinaus existieren kaum Untersuchungen zur Antizipation von nonverbalem Verhalten in sozialen Situationen. Das Ziel dieser Arbeit ist, die Vision vom automatischen Verstehen sozialer Situationen ein Stück weit mehr Realität werden zu lassen. Diese Arbeit liefert wichtige Beiträge zur autmatischen Erkennung menschlichen Blickverhaltens in alltäglichen Situationen. Obwohl viele soziale Interaktionen in Gruppen stattfinden, existieren unüberwachte Methoden zur Augenkontakterkennung bisher lediglich für dyadische Interaktionen. Wir stellen einen neuen Ansatz zur Augenkontakterkennung in Gruppen vor, welcher ohne manuelle Annotationen auskommt, indem er sich den statistischen Zusammenhang zwischen Blick- und Sprechverhalten zu Nutze macht. Tägliche Aktivitäten sind eine Herausforderung für Geräte zur mobile Augenbewegungsmessung, da Verschiebungen dieser Geräte zur Verschlechterung ihrer Kalibrierung führen können. In dieser Arbeit verwenden wir Nutzerverhalten an mobilen Endgeräten, um den Effekt solcher Verschiebungen zu korrigieren. Neben der Erkennung verbessert diese Arbeit auch die Interpretation sozialer Signale. Wir veröffentlichen den ersten Datensatz sowie die erste Methode zur Emotionserkennung in dyadischen Interaktionen ohne den Einsatz spezialisierter Ausrüstung. Außerdem stellen wir die erste Studie zur automatischen Erkennung mangelnder Verbundenheit in Gruppeninteraktionen vor, und führen die erste datensatzübergreifende Evaluierung zur Detektion von sich entwickelndem Führungsverhalten durch. Zum Abschluss der Arbeit präsentieren wir die ersten Ansätze zur Antizipation von Blickverhalten in sozialen Interaktionen. Blickverhalten hat die besondere Eigenschaft, dass es sowohl als soziales Signal als auch der Ausrichtung der visuellen Wahrnehmung dient. Somit eröffnet die Fähigkeit zur Antizipation von Blickverhalten Maschinen die Möglichkeit, sich sowohl nahtloser in soziale Interaktionen einzufügen, als auch Menschen zu warnen, wenn diese Gefahr laufen wichtige Aspekte der Umgebung zu übersehen. Wir präsentieren Methoden zur Antizipation von Blickverhalten im Kontext der Interaktion mit mobilen Endgeräten während täglicher Aktivitäten, als auch während dyadischer Interaktionen mittels Videotelefonie

Model-based analyses of choice and eye movement data

How do humans make simple preferential decisions, like decide what to have for breakfast at a hotel buffet? In contrast to the assumption of normative accounts of decision making, humans' preferences are often not stable but constructed at the time of choice and contingent on the decision makers' interaction with the environment. Recent evidence suggests that the allocation of visual attention during deliberation is closely linked to subsequent choices so that alternatives that are looked at longer are generally more likely to be chosen. Prior work has characterized the processes underlying simple decisions in terms of evidence accumulation over time, where momentary rates of accumulation depend on the decision maker's allocation of gaze, and a decision is made when accumulated evidence reaches a certain threshold. However, the generalisability of gaze-dependent accumulation remains unclear in multiple regards: It is not established how well gaze-dependent evidence accumulation describes individual decision makers' behaviour or to what extent the association between visual attention and choice varies between individuals. In addition, it is unclear to what extent the theory applies to behaviour in contexts where choices deviate from normative predictions more substantially. Finally, it remains debated whether visual attention causally influences or rather reflects the construction of preferences. In this thesis, I address these questions across three empirical studies using computational models of the decision process. In Study 1 (Thomas et al., 2019; Molter et al., 2019), we first developed a novel gaze-dependent evidence accumulation model that allowed investigation of choice processes on the individual level. In addition, we published a corresponding Python toolbox to facilitate its use by others. In Study 2 (Molter et al., 2021), we tested the gaze-dependent evidence accumulation framework in a multi-alternative, multi-attribute task involving choices between three risky gambles. The task was designed to elicit context effects in choice behaviour that challenge normative choice theories. These context effects describe preference changes depending on the set of available alternatives. We found not only choices but also decision makers' gaze allocation to be modulated by context, allowing a gaze-dependent evidence accumulation model derived from prior work to generalise to this more complex scenario. Using this new tool, we demonstrated that gaze-dependent evidence accumulation accurately captures individuals' choice and response time data and associations with gaze allocation across four simple choice data sets. Our analysis revealed, however, that individuals strongly differed in the degree to which choices and gaze allocation were linked and that this variability was associated with individual differences in choice consistency. In our preregistered Study 3 (Molter & Mohr, 2021), we finally addressed the causal direction of the association between visual attention and choice. Participants made repeated choices between two risky gambles whose attributes were presented sequentially. This allowed the experimental control of the stimuli's presentation duration and order. Our results confirmed a causal influence of information search on preference construction. However, we identified presentation order, not duration, as the influencing factor, as alternatives presented last were chosen more frequently. Notably, causal order effects are only predicted by some gaze-dependent evidence accumulation models, highlighting potential for future theory development. The studies generally confirmed positive associations between visual attention and choice and provided support for gaze-dependent evidence accumulation theories on the individual level and in more complex choice scenarios. However, our studies also revealed large individual differences and possible limitations of current computational models of decision making. We showed that accounting for those differences and implementing additional mechanisms like accumulation leak to predict acquisition order effects substantially improve prediction of individual choice behaviour. Finally, I discuss these results on the active role of visual attention in the decision process and the theoretical model of gaze-dependent evidence accumulation in the broader context of constructed preferences and outline potential implications for the model-based analysis of choice and eye movement data.Wie treffen Menschen einfache Entscheidungen, zum Beispiel die Auswahl eines Frühstücks am Hotelbuffet? Anders, als es normative Theorien zur Entscheidungsfindung voraussetzen, sind unsere Präferenzen oft nicht starr, sondern werden erst zum Zeitpunkt der Entscheidung durch die Interaktion des Entscheiders mit seiner Umgebung konstruiert. Empirische Befunde zeigen, dass die Verteilung visueller Aufmerksamkeit während des Entscheidungsprozesses eng mit den getroffenen Entscheidungen zusammenhängt, wobei ein längerer Blick auf eine Alternative mit einer höheren Wahrscheinlichkeit verbunden ist, diese auszuwählen. Frühere Arbeiten haben die Prozesse, die solchen einfachen Entscheidungen zugrunde liegen, als Akkumulation von Evidenz über Zeit charakterisiert, wobei die Akkumulationsrate zu jedem Zeitpunkt von der Blickrichtung des Entscheiders abhängt. Danach wird eine Entscheidung getroffen, sobald die Evidenz für eine Alternative einen bestimmten Grenzwert überschreitet. Es ist jedoch in mehrerlei Hinsicht unklar, inwiefern diese Theorie von blickabhängiger Evidenzakkumulation generalisierbar ist. Zum einen ist nicht sichergestellt, dass blickabhängige Evidenzakkumulation das Verhalten \emph{einzelner} Entscheider erfasst, und in welchem Ausmaß der Zusammenhang visueller Aufmerksamkeit und Entscheidung zwischen Personen variiert. Zum anderen ist unklar, ob dieser Erklärungsansatz in Situationen Bestand hat, in denen Entscheidungen deutlich von normativen Vorhersagen abweichen. Zuletzt bleibt umstritten, ob visuelle Aufmerksamkeit kausalen Einfluss auf Entscheidungsprozesse hat oder vielmehr die Konstruktion von Präferenzen nur abbildet. Die vorliegende Dissertation soll diese Fragen in drei empirischen Studien unter Nutzung computerbasierter Modelle des Entscheidungsprozesses beantworten. In Studie 1 (Thomas et al., 2019; Molter et al., 2019) wurde zunächst ein neuartiges blickabhängiges Evidenzakkumulationsmodell entwickelt, das die Untersuchung des Entscheidungsprozesses einzelner Entscheider erlaubt. Hierzu wurde zusätzlich eine Python-Software-Toolbox veröffentlicht, die auch anderen Forschungsgruppen eine Anwendung des Modells ermöglicht. In vier verschiedenen Datensätzen konnten wir mithilfe dieses Werkzeugs zeigen, dass blickabhängige Evidenzakkumulation präzise Vorhersagen über Entscheidungen, Antwortzeiten und deren Zusammenhänge mit visueller Aufmerksamkeit für einzelne Entscheider macht. Unsere Analysen zeigten jedoch auch, dass Individuen große Unterschiede beim Zusammenhang von visueller Aufmerksamkeit und Entscheidung aufwiesen. Diese individuellen Unterschiede gingen zudem mit individuellen Unterschieden in der Konsistenz, mit der Entscheidungen getroffen wurden, einher. In Studie 2 (Molter et al., 2021) wurde das Konzept blickabhängiger Evidenzakkumulation in einer Entscheidungsaufgabe geprüft, in der drei risikobehaftete Lotterien als Alternativen mit mehreren Attributen zur Auswahl standen. Die Aufgabe wurde so entwickelt, dass Kontexteffekte im Entscheidungsverhalten auftreten sollten. Kontexteffekte beschreiben Präferenzänderungen in Abhängigkeit der verfügbaren Alternativen und stellen starke Abweichungen von normativen Vorhersagen dar. Die Ergebnisse zeigten, dass nicht nur das Entscheidungsverhalten, sondern auch die Verteilung visueller Aufmerksamkeit vom Kontext der verfügbaren Alternativen moduliert wurde. Dies ermöglichte es einem aus Vorarbeiten abgeleiteten blickabhängigen Evidenzakkumulationsmodell, Entscheidungsverhalten in diesem komplexen Szenario zu erfassen. Zuletzt wurde in einer prä-registrierten dritten Studie (Molter & Mohr, 2021) die Richtung des Kausalitätszusammenhangs zwischen visueller Aufmerksamkeit und Entscheidung beleuchtet. In unserem Experiment trafen Teilnehmer wiederholte Entscheidungen zwischen zwei Lotterien, deren Attribute sequenziell präsentiert wurden. Dies ermöglichte die experimentelle Kontrolle von Präsentationsdauer und Reihenfolge der Stimulusinformation. Die Ergebnisse bestätigten einen kausalen Einfluss der Informationssuche auf die Präferenzkonstruktion. Jedoch wurde hier die Präsentationsreihenfolge, nicht die Präsentationsdauer als Einflussfaktor identifiziert. Bemerkenswert ist hierbei, dass nur manche blickabhängigen Evidenzakkumulationsmodelle solche kausalen Einflüsse der Reihenfolge vorhersagen. Unsere Ergebnisse zeigen dementsprechend ein mögliches Potenzial für zukünftige Theorieentwicklung auf. Unsere Studien bestätigten grundsätzlich den positiven Zusammenhang zwischen visueller Aufmerksamkeit und Entscheidungen. Zudem unterstützen sie Theorien blickabhängiger Evidenzakkumulation im Rahmen individueller und komplexer Entscheidungen. Die Analysen haben allerdings auch bedeutende individuelle Unterschiede und mögliche Grenzen aktueller Modelle sichtbar gemacht. Hier konnten wir jedoch zeigen, dass die Berücksichtigung solcher Unterschiede und die Hinzunahme zusätzlicher Mechanismen wie imperfekter Akkumulation die Vorhersage individuellen Verhaltens erheblich verbessert. Zum Abschluss der Arbeit werden diese Ergebnisse einer aktiven Rolle visueller Aufmerksamkeit im Entscheidungsprozess sowie das theoretische Modell blickabhängiger Evidenzakkumulation im weiteren Kontext konstruierter Präferenzen diskutiert und mögliche Implikationen für die computermodellbasierte Analyse von Entscheidungs- und Blickbewegungsdaten aufgezeigt

Multisensory integration in complex rhythmic motor tasks

This publication-based thesis aimed to shed further light on the contributions of visual and auditory information to the execution of complex rhythmic motor tasks. To this end, a series of three empirical studies was designed. The first two studies were conducted in the experimental setting of long jumping – a task that does not only require high precision but also high velocity to leap as far as possible. Within the first study, we aimed to examine visual regulation during the long jump run-up using portable eye-tracking technology. Previous research on the topic of visual regulation in long jumping has identified a universal instance in participants’ gait behavior which introduces a rapid decrease in step variability. Since then, this parameter was considered synonymous with the (gait-based) onset of visual regulation. However, an investigation of actual visual behavior by means of direct measures was still pending to date. Hence, the first study was designed to identify a potential equivalent to the gait-based parameter within participants’ gaze behavior. Results revealed that the moment of the longest gaze on the take-off board coincided with the occurrence of the well-established gait parameter. Given that i) the gait-based visual regulation parameter has been associated with a reduction in footfall variability and ii) current research advocates the idea that fixations of longer duration facilitate motor actions, one might speculate that the longest gaze on the take-off board might as well serve the reduction of movement variability. While the parameter of visual regulation could be characterized in more detail within the first empirical investigation, the impact of other modalities has been neglected so far. However, current research is promoting the idea that, apart from visual information, auditory information might as well be crucial for the execution of motor tasks. ..

Non-acted multi-view audio-visual dyadic interactions. Project master thesis: multitask learning for facial attributes analysis

Treballs finals del Màster de Fonaments de Ciència de Dades, Facultat de matemàtiques, Universitat de Barcelona, Any: 2019, Tutor: Sergio Escalera Guerrero, Cristina Palmero i Julio C. S. Jacques Junior[en] In this thesis we explore the use of Multitask Learning for improving performance in facial attributes tasks such as gender, age and ethnicity prediction. These tasks, along with emotion recognition will be part of a new dyadic interaction dataset which was recorded during the development of this thesis. This work includes the implementation of two state of the art multitask deep learning models and the discussion of the results obtained from these methods in a preliminary dataset, as well as a first evaluation in a sample of the dyadic interaction dataset. This will serve as a baseline for a future implementation of Multitask Learning methods in the fully annotated dyadic interaction dataset

USSR Space Life Sciences Digest, issue 32

This is the thirty-second issue of NASA's USSR Space Life Sciences Digest. It contains abstracts of 34 journal or conference papers published in Russian and of 4 Soviet monographs. Selected abstracts are illustrated with figures and tables from the original. The abstracts in this issue have been identified as relevant to 18 areas of space biology and medicine. These areas include: adaptation, aviation medicine, biological rhythms, biospherics, cardiovascular and respiratory systems, developmental biology, exobiology, habitability and environmental effects, human performance, hematology, mathematical models, metabolism, microbiology, musculoskeletal system, neurophysiology, operational medicine, and reproductive system