Driver's visual attention to different categories of roadside advertising signs

Roadside advertising signs are a salient potential source of driver's distraction. Previous research has mainly investigated driver's visual attention to billboards, which represents only one category of advertising signs. In this study, driver's visual attention was assessed in a naturalistic driving setting for six categories of roadside advertising signs: vendor signs, billboards, movable display boards, single and multiple commercial directional signs, and gas price LED displays. Fixation rate, fixation duration, fixation distance and driving speed were assessed in a sample of 15 drivers along a 30-km route including a total of 154 advertising signs belonging to the six categories described above. The role of clearance from the road, elevation, height, width, surface, number and size of characters, total number of characters, side of the road (driving side, opposite side), context (rural, urban), were also considered. Overall 24% of the roadside advertising signs were fixated. Fixation rate was significantly influenced by sign category, clearance from the road and number of characters. Median value for fixation duration was 297 ms. Fixation duration was significantly influenced by speed, elevation from road level, number of medium size characters, and was higher in the rural context. Median value for fixation distance was 58.10 m, and was significantly influenced by advertising sign category, character count and speed

Read, watch, listen: a commentary on eye tracking and moving images

Eye tracking is a research tool that has great potential for advancing our understanding of how we watch movies. Questions such as how differences in the movie influences where we look and how individual differences between viewers alters what we see can be operationalised and empirically tested using a variety of eye tracking measures. This special issue collects together an inspiring interdisciplinary range of opinions on what eye tracking can (and cannot) bring to film and television studies and practice. In this article I will reflect on each of these contributions with specific focus on three aspects: how subtitling and digital effects can reinvigorate visual attention, how audio can guide and alter our visual experience of film, and how methodological, theoretical and statistical considerations are paramount when trying to derive conclusions from eyetracking data

Looking (for) patterns: Similarities and differences between infant and adult free scene-viewing patterns

Systematic tendencies such as the center and horizontal bias are known to have a large influence on how and where we move our eyes during static onscreen free scene viewing. However, it is unknown whether these tendencies are learned viewing strategies or are more default tendencies in the way we move our eyes. To gain insight into the origin of these tendencies we explore the systematic tendencies of infants (3 - 20-month-olds, N = 157) and adults (N = 88) in three different scene viewing data sets. We replicated common findings, such as longer fixation durations and shorter saccade amplitudes in infants compared to adults. The leftward bias was never studied in infants, and our results indicate that it is not present, while we did replicate the leftward bias in adults. The general pattern of the results highlights the similarity between infant and adult eye movements. Similar to adults, infants’ fixation durations increase with viewing time and the dependencies between successive fixations and saccades show very similar patterns. A straightforward conclusion to draw from this set of studies is that infant and adult eye movements are mainly driven by similar underlying basic processes

Visual Fixation Durations and Saccade Amplitudes: Shifting Relationship in a Variety of Conditions

Is there any relationship between visual fixation durations and saccade amplitudes in free exploration of pictures and scenes? In four experiments with naturalistic stimuli, we compared eye movements during early and late phases of scene perception. Influences of repeated presentation of similar stimuli (Experiment 1), object density (Experiment 2), emotional stimuli (Experiment 3) and mood induction (Experiment 4) were examined. The results demonstrate a systematic increase in the durations of fixations and a decrease for saccadic amplitudes over the time course of scene perception. This relationship was very stable across the variety of studied conditions. It can be interpreted in terms of a shifting balance of the two modes of visual information processing

Towards the Use of Social Interaction Conventions as Prior for Gaze Model Adaptation

Gaze is an important non-verbal cue involved in many facets of social interactions like communication, attentiveness or attitudes. Nevertheless, extracting gaze directions visually and remotely usually suffers large errors because of low resolution images, inaccurate eye cropping, or large eye shape variations across the population, amongst others. This paper hypothesizes that these challenges can be addressed by exploiting multimodal social cues for gaze model adaptation on top of an head-pose independent 3D gaze estimation framework. First, a robust eye cropping refinement is achieved by combining a semantic face model with eye landmark detections. Investigations on whether temporal smoothing can overcome instantaneous refinement limitations is conducted. Secondly, to study whether social interaction convention could be used as priors for adaptation, we exploited the speaking status and head pose constraints to derive soft gaze labels and infer person-specific gaze bias using robust statistics. Experimental results on gaze coding in natural interactions from two different settings demonstrate that the two steps of our gaze adaptation method contribute to reduce gaze errors by a large margin over the baseline and can be generalized to several identities in challenging scenarios

Eye Movement and Pupil Measures: A Review

Our subjective visual experiences involve complex interaction between our eyes, our brain, and the surrounding world. It gives us the sense of sight, color, stereopsis, distance, pattern recognition, motor coordination, and more. The increasing ubiquity of gaze-aware technology brings with it the ability to track gaze and pupil measures with varying degrees of fidelity. With this in mind, a review that considers the various gaze measures becomes increasingly relevant, especially considering our ability to make sense of these signals given different spatio-temporal sampling capacities. In this paper, we selectively review prior work on eye movements and pupil measures. We first describe the main oculomotor events studied in the literature, and their characteristics exploited by different measures. Next, we review various eye movement and pupil measures from prior literature. Finally, we discuss our observations based on applications of these measures, the benefits and practical challenges involving these measures, and our recommendations on future eye-tracking research directions

Doctor of Philosophy

dissertationUsing eye-tracking technology to capture the visual scanpaths of a sample of laypersons (N = 92), the current study employed a 2 (training condition: ABCDE vs. Ugly Duckling Sign) Ã- 2 (visual condition: photorealistic images vs. illustrations) factorial design to assess whether SSE training succeeds or fails in facilitating increases in sensitivity and specificity. Self-efficacy and perceived importance were tested as moderators, and eye-tracking fixation metrics as mediators, within the framework of Visual Skill Acquisition Theory (VSAT). For sensitivity, results indicated a significant main effect for visual condition, F(1,88) = 7.102, p = .009, wherein illustrations (M = .524, SD = .197) resulted in greater sensitivity than photos (M = .425, SD = .159, d = .55). For specificity, the main effect for training was not significant, F(1,88) = 2.120, p = .149; however, results indicated a significant main effect for visual condition, F(1,88) = 4.079, p = .046, wherein photos (M = .821, SD = .108) resulted in greater specificity than illustrations (M = .770, SD = .137, d = .41). The interaction for training Ã- visual condition, F(1,88) = 3.554, p = .063, was significant within a 90% confidence interval, such that those within the UDS Photo condition displayed greater specificity than all other combinations of training and visual condition. No significant moderated mediation manifested for sensitivity, but for specificity, the model was significant, r = .59, R2 = .34, F(9,82) = 4.7783, p =.001, with Percent of Time in Lookzone serving as a significant mediator, and both self-efficacy and visual condition significantly moderating the mediation. For those in the photo condition with very high self-efficacy, UDS increased specificity directly. For those in the photo condition with self-efficacy levels at the mean or lower, there was a conditional indirect effect through Percent of Time in Lookzoneâ€"which is to say that these individuals spent a larger amount of their viewing time on target (observing the atypical nevi)â€"and time on target is positively related to specificity. Findings suggest that existing SSE training techniques may be enhanced by maximizing visual processing efficiency

Factors that influence visual attention and their effects on safety in driving: an eye movement tracking approach

Statistics show that a high percentage of road related accidents are due to factors that cause impaired driving. Since information extraction in driving is predominantly a visual task, visual distraction and its implications are therefore important safety issues. The main objective of this research is to study some of the implications of demands to human’s attention and perception and how it affects performance of tasks such as driving. Specifically, the study aims to determine the changes that occur in the visual behavior of drivers with different levels of driving experience by tracking the movement of the eye; examine the effects of different levels of task complexity on visual fixation strategies and visual stimulus recognition; investigate the effects of secondary task on attentional and visual focus and its impact on driving performance; and evaluate the implications of the use of information technology device (cellular phone) while driving on road safety. Thirty-eight students participated in the study consisting of two experiments. In the first experiment, the participants performed two driving sessions while wearing a head mounted eye tracking device. The second experiment involved driving while engaging in a cellular phone conversation. Fixation location, frequency, duration and saccadic path, were used to analyze eye movements. The study shows that differences in visual behavior of drivers exist; wherein drivers with infrequent driving per week fixated more on the dashboard area than on the front view (F(3,26) = 3.53, p\u3c0.05), in contrast to the driver with more frequent use of vehicle per week where higher fixations were recorded in the front/center view (F(3,26) = 4.26). The degree of visual distraction contributes to the deterioration of driving resulting to 55% more driving errors committed. Higher time where no fixation was detected was observed when driving with distraction (from 96% to 91% for drivers with less frequency of vehicle use and 55% to 44% for drivers with more frequent use of vehicle). The number of pre-identified errors committed increased from 64 to 81, due to the effect of visual tunneling. This research presents objective data that strengthens the argument on the detrimental effects of distraction in driving

Ereignisbezogene Veränderungen der visuellen Fixationsdauer

Der Ansatz der Arbeit lässt sich auf zwei Gebiete aus der Blickbewegungsforschung zurückführen. Einerseits basieren die Studien auf Experimenten zum remote distractor effect, andererseits auf Untersuchungen beim Lesen bzw. der Wahrnehmung komplexer Szenen. Innerhalb beider Ansätze findet eine Analyse der Auswirkungen unterschiedlichen Reizmaterials (z.B. Texte oder Bilder) auf die Fixationsdauer statt. Aktuelle Erklärungsansätze werden im Bezug zu den gefundenen Ergebnissen dargestellt und kritisch bewertet. Anhand der Ergebnisse einer Voruntersuchung wird vorgeschlagen, die gefundenen Effekte im Rahmen der Orientierungsreaktion (OR) zu betrachten. In einer Serie von vier Untersuchungen wird dargelegt, dass die Dauer von Fixationen auch durch externe Ereignisse moduliert wird. In der ersten Untersuchung wurden die zeitlichen Aspekte des Distraktoreffekts untersucht. Dafür erschienen Distraktoren mit verschiedenen Latenzen nach Fixationsbeginn. Zusätzlich wurde untersucht, welche Auswirkungen unterschiedliche Distraktormodalitäten (visuell und akustisch) zeigen. Die Ergebnisse demonstrierten eine deutliche Verlängerung der jeweils vom Distraktor betroffenen Fixation für alle Latenzen. Für Distraktoren beider Modalitäten zeigte sich eine vergleichbare Verlängerung betroffener Fixationen. Bei der zweiten Untersuchung wurde für visuelle Distraktoren geprüft, inwieweit sich die vorgeschlagene Interpretation im Rahmen der OR bestätigen lässt. Dafür wurde der Effekt hinsichtlich einer Habituation untersucht. Für die Studie wurden Distraktoren mit zwei verschiedenen Latenzen auf umweltbezogenen vs. retinal fixierten Koordinaten präsentiert. Die Ergebnisse zeigten, dass eher Störungen auf gleichen retinalen Positionen eine Abnahme des Effektes zur Folge haben (also habituieren). Für Distraktoren auf konstanten Bildpositionen konnte keine systematische Abnahme des Distraktoreffektes gemessen werden. Für die dritte Untersuchung wurden Augenbewegungen und blickkontingente ereigniskorrelierte Potentiale (EKP?s) parallel aufgezeichnet. Bisher liegen keine Erkenntnisse vor, wie anhand von Parametern der Augenbewegungen Habituation nachweisbar ist, die Abnahme der N1-Komponente der EKP?s hingegen gilt als etablierter Nachweis einer Habituation. Die Ergebnisse zeigten, neben der Verlängerung der Fixationsdauer für visuelle und akustische Distraktoren, eine deutliche Auswirkung auf die N1-Komponente. Bei der Prüfung der Habituation über die betrachteten Bilder zeigte sich eine Verringerung des Effektes in der Fixationsdauer und der N1-Komponente. Auf Schwierigkeiten in Bezug auf den Nachweis einer ausgeprägten Habituation wurde an entsprechender Stelle hingewiesen. Die letzte Studie (N=1) testete, ob sich die Neuinterpretation des Effektes mit neurophysiologischen Erkenntnissen vereinbaren lässt. Bei dem Probanden wurde aufgrund eines Unfalls eine Schädigung des frontalen Augenfeldes (FEF) angenommen. Es wurden Distraktoren links, rechts, ober- und unterhalb des Fixationsorts dargeboten. Beim ersten Versuch, 12 Monate nach dem Unfall, zeigte sich für Distraktoren links des Fixationsortes keinerlei Verlängerung der betroffenen Fixationen. Beim zweiten Versuch, acht Monate später, zeigte sich der Distraktoreffekt auf allen Positionen. Dies lässt sich als Unterstützung der Annahme einer Schädigung der FEF interpretieren, da sich in verschiedenen Studien selbst bei operativer Entfernung der FEF eine deutliche Verringerung der entstandenen Defizite nach einigen Wochen zeigte. Mögliche Alternativen der dargestellten Interpretation wurden an entsprechender Stelle diskutiert. Diese Untersuchungen bestätigen, dass sich ereignisbezogene Verlängerungen der visuellen Fixationsdauer mit dem Rahmenkonzept der OR in Verbindung bringen lassen. Es gilt jedoch zu berücksichtigen, dass eine Reihe weiterer Einflussfaktoren an der Modulation des Effektes beteiligt sind, obwohl es sich offenbar um eine Reaktion subkortikalen Ursprungs handelt

Der Zusammenhang von objektivem und subjektivem Blickort als Indikator für die visuelle Aufmerksamkeitsausrichtung

Normalerweise stimmen die Ausrichtung der Augen und die der visuellen Aufmerksamkeit überein. Frühere Arbeiten, vor allem im Kontext so genannter ‚Fixieren-Springen’ Paradigmen, haben gezeigt, dass zum Zeitpunkt der Programmierung einer neuen Sakkade die Aufmerksamkeit bereits zum Sakkadenziel verlagert wird. Bei Untersuchungen in natürlicheren Umgebungen konnte dieser Befund allerdings nicht gezeigt werden. Aus diesen teilweise widersprüchlichen Befunden ergibt sich die Fragestellung der vorliegenden Arbeit: Wie wirken sich visuelle Aufgaben am aktuellen Fixationsort innerhalb einer Sequenz von Blickbewegungen auf die Verlagerung der visuellen Aufmerksamkeit aus? Welche Rolle spielt dabei der Zeitpunkt innerhalb der aktuellen Fixation? Diese Fragen werden auf der Basis des Zusammenhangs zwischen objektivem und subjektivem Blickort untersucht. Als objektiver Blickort wird dabei der durch ein Blickbewegungsmesssystem ermittelte aktuelle Fixationsort begriffen. Während der Ausführung verschiedener visueller Aufgaben – Lokalisation, Identifikation und Katego¬risierung – wird der subjektive Blickort als derjenige bezeichnet und untersucht, den Probanden bei einer plötzlichen Unterbrechung ihrer aktuellen Tätigkeit angeben können. In einer Serie von drei Experimenten wurde getestet, welcher Zusammen¬hang zwischen objektivem und subjektivem Maß vor dem Hinter¬grund der verschiedenen Aufgaben und dem Zeitpunkt innerhalb der aktuellen Fixation besteht. Dabei wurden den Probanden in jedem Durchgang sechs kreisförmig angeordnete Piktogramme präsentiert, die im Uhrzeigersinn nacheinander zu betrachten waren. Zu einem nicht vorhersehbaren Zeitpunkt wurde die Betrachtung unterbrochen, wobei der subjektive Blickort durch einen Mausklick auf das aktuell betrachtete Piktogramm angegeben werden sollte. In einem vierten Experiment wurde eine blickgesteuerte Schreibumgebung untersucht, bei der auf der Basis der Ergebnisse der Experimente 1 bis 3 die Rückmeldung der eigenen Blickposition und die Schwellzeit zum Auslösen einer Taste systematisch variiert wurden. Es wurde davon ausgegangen, dass die Rückmeldung weniger an den aktuellen tatsächlichen, als an den subjektiven Blickort gebunden sein sollte. Schreiben mit den Augen setzt voraus, dass Buchstaben auf der Tastatur lokalisiert, und danach identifiziert werden müssen, um eine Entscheidung treffen zu können, ob die Taste ausgelöst werden soll oder nicht. Die vorhergehenden Experimente zum subjektiven und objektiven Blickort bei der Identifikation haben gezeigt, dass der subjektive hinter dem objektiven Blickort eher zurückbleibt. Aus diesem Grund ist anzunehmen, dass eine Verzögerung der Rückmeldung gegenüber der objektiven Blickposition als angenehm empfunden werden müsste. Es zeigte sich, dass die besten Ergebnisse in Bezug auf Fehlerrate und Schreibgeschwindigkeit bei Schwellzeiten um die 500 ms erreicht werden. Die subjektiven Einschätzungen der Probanden ergab eine signifikante Präferenz der verzögerten Rückmeldung. Insgesamt zeigen die Ergebnisse der Untersuchungen, dass der Zusammenhang zwischen subjektiven und objektiven Blickort nicht nur durch den Zeitpunkt innerhalb der aktuellen Fixation, sondern vor allem auch durch die momentan bearbeitete Aufgabe moduliert wird. Besonders letzteres wird in aktuellen Theorien der visuellen Aufmerksamkeit nur wenig beachtet. Für die vorliegenden Ergebnisse wird ein Erklärungsansatz entwickelt, der die Idee aufeinander aufbauender Ebenen der Informationsverarbeitung kognitiver Aufmerksamkeitsmodelle aufgreift. Besonders das von Velichkovsky (2002) vorgeschlagene Modell erweist sich dabei als fruchtbar, da es feiner differenziert, und darüber hinaus zwischen Hintergrundkoordination und Führungsebene unterscheidet. In diesem Sinne lassen sich die untersuchten Aufgaben mit einer zunehmenden Tiefe der Verarbeitung assoziieren. Damit einhergehend steigt die Komplexität der zu verarbeitenden Information und sinkt die Wahr¬scheinlichkeit, dass Informationen jenseits der aktuellen Fixation abgerufen werden können: Im Gegenteil, früh innerhalb einer Fixation werden bei tiefer Verarbeitung sogar noch Informationen aus der vorhergehenden Fixation berichtet. Diese Konzeptionalisierung der Ergebnisse gestattet es, vordergründig unterschiedliche Befunde aus ‚Fixieren und Springen’ Paradigmen und Studien in natürlicheren Umgebungen zu integrieren. Die Ergebnisse von Experiment 4 zeigen, dass dieser Erklärungsansatz auch praktische Ableitungen für die Gestaltung von blick¬gesteuerter Interaktion mit dem Computer geeignet ist. Die führende Aufgabe bei solchen intentionalen Fixationen bestimmt die Art und Weise, wie der subjektive Blickort dem Nutzer zurückgemeldet werden sollte