Object Referring in Videos with Language and Human Gaze

We investigate the problem of object referring (OR) i.e. to localize a target object in a visual scene coming with a language description. Humans perceive the world more as continued video snippets than as static images, and describe objects not only by their appearance, but also by their spatio-temporal context and motion features. Humans also gaze at the object when they issue a referring expression. Existing works for OR mostly focus on static images only, which fall short in providing many such cues. This paper addresses OR in videos with language and human gaze. To that end, we present a new video dataset for OR, with 30, 000 objects over 5, 000 stereo video sequences annotated for their descriptions and gaze. We further propose a novel network model for OR in videos, by integrating appearance, motion, gaze, and spatio-temporal context into one network. Experimental results show that our method effectively utilizes motion cues, human gaze, and spatio-temporal context. Our method outperforms previousOR methods. For dataset and code, please refer https://people.ee.ethz.ch/~arunv/ORGaze.html.Comment: Accepted to CVPR 2018, 10 pages, 6 figure

PRONOEA - Professional vision of novice and expert teachers

A (prospective) teacher needs certain competencies to meet the multitasking requirements of teaching in a classroom, especially knowledge about proactive, effective classroom management and a good eye for everything that is happening in the classroom. Only by quickly recognizing relevant cues to potentially disruptive events can a teacher deal with them adequately. Yet the teacher must be able to block out events that are irrelevant to the lesson. Competence in professional vision, which links knowledge and action in teaching, involves two sub-processes: noticing, a basal process of perception that involves identifying relevant events, and reasoning, a process that builds on noticing and can be described as the ability to use knowledge about learning and teaching to derive adequate conclusions from what is seen. Most research on (prospective) teachers' professional vision based on subjective tests (e.g., video analysis, questionnaires, or interviews) has focused on the process of reasoning, whereas few studies have addressed the basal process of noticing, i.e., recognizing potential confounding events. Process-based methods such as eye tracking are particularly suitable for the direct and continuous recording of the basal process of perception. Eye tracking enables conclusions to be drawn about the cognitive perception processes of (prospective) teachers and integrates both spatial and temporal information on the allocation of attention. The methodological book chapter forthcoming in Teacher Professional Vision: Theoretical and Methodological Advances provides more detail on how eye tracking can be used and the challenges it presents. Eye-tracking studies in other domains have shown that novices and experts differ in their gaze behavior. Preliminary educational research regarding (novice) teachers also suggests that novice and expert teachers differ in their ability to detect potential classroom disruptions. The knowledge base underlying perception is better organized in experts and thus positively influences perception. Knowledge influencing professional vision is stored in so-called schemata and can be triggered and influenced by factors such as prior knowledge. For example, professional vision may vary depending on the schema activated or depend on a given task instruction focusing on a particular aspect of the material. Therefore, it can be assumed that professional vision can be positively influenced by training and feedback interventions. Although effective programs exist to train and support (prospective) teachers in the use of professional vision, they consume considerable time and resources. The aim of the thesis was to investigate teachers’ professional vision, especially in the area of classroom management, in two ways: implementing an online experiment within the framework of the restrictions on scientific activities due to the COVID-19 pandemic and using eye tracking as a process-based measurement method in a laboratory setting. I performed the work as follows. First, I conducted a systematic literature review to assess the state of the research on (prospective) teachers' professional vision based on process-based eye-tracking studies. For this purpose, I performed a literature search for the period from 1999 to 2019, identifying a total of 12 studies were identified. These studies were aggregated and integrated and showed relatively stable differences between experts and novices for most of the parameters investigated but used very heterogeneous methods and samples. Based on this, two empirical studies were designed to shed more light on the competence of professional vision. Study I, conducted online, examined the extent to which knowledge as an objective measure of expertise affects student teachers' professional vision. I assessed both noticing (the accuracy and velocity of the perception of potential classroom disruptions) and reasoning (the depth of analysis revealed by verbalizations related to detected disruptions). The results of Study I showed that expertise tested by an economical knowledge test as a performance-based criterion affects prospective teachers’ professional vision of (potential) teaching disruptions. The more knowledge the students had, the faster and more accurately they detected potential disturbances in the video vignettes (noticing). However, being more knowledgeable about pedagogical-psychological action did not lead to a deeper analysis (reasoning) of the events. In Study II I used eye tracking as a process-based method to assess whether the differences reported in previous studies in professional vision expertise between student teachers and experienced teachers in monitoring and/or disruption-specific gaze behavior (noticing) could be replicated. Contrary to our hypotheses, I could not replicate expertise differences in eye-tracking parameters in a quasi-randomized experiment. Parameters measuring classroom monitoring gaze behavior regarding the whole classroom scene and event-based gaze behavior (especially that related to potential or actual teaching disruptions) were similar in student teachers and experienced teachers. In both Study I and Study II, I investigated how effectively an economical, independent, task-specific instructional method could replicate the results of efficient but costly and resource-intensive training or feedback interventions. I hypothesized that minimal instructional support could positively influence novices' gaze behavior and thus possibly compensate for differences in expertise in professional vision. Study I found no effect of a minimal intervention on students' professional vision, whereas Study II—which used the process-based recording method of eye tracking—showed that specific instruction led to changes in gaze behavior in both students and experienced teachers. Novice and expert teachers exhibited more fixations, suggesting more effective scanning and monitoring behavior. Overall, the results show that reinforcing the teaching of knowledge about relevant aspects of classroom management at the university is important, as it helps novice teachers take their first steps in the process of teaching and learning, which are often perceived as particularly challenging (Study I). In addition, Study II shows that further studies and research projects are needed to determine the extent to which and, especially, under which conditions differences in expertise-dependent looking behavior in the classroom can be found. Only a plausible, theoretically based research landscape in which studies produce homogeneous results will permit the development of meaningful interventions for teacher education and training in the medium term and their establishment in the university learning setting.Lehrkräfte lehren tagtäglich Unterrichtsinhalte, agieren mit Schüler:innen und bemühen sich deren Lernerfolg zu maximieren. Dies ist jedoch nur bei möglichst störungsarmem Unterricht möglich. Gerade im Hinblick auf die Multitasking-Anforderungen sind vor allem angehende, unerfahrene Lehrkräfte schnell überfordert. Deswegen benötigt eine (angehende) Lehrkraft bestimmte Kompetenzen, insbesondere Wissen über proaktive, effektive Klassenführung und ein gutes Auge für alles, was in ihrem/seinem Klassenraum von statten geht. Denn nur durch ein schnelles Erkennen relevanter Hinweisreize, wie beispielsweise potenzielle Störereignisse, kann mit diesen adäquat umgegangen werden. Gleichzeitig muss eine Lehrkraft aber auch fähig sein, für den Unterrichtsverlauf irrelevante Ereignisse ausblenden zu können. Eben diese Kompetenz der professionellen Wahrnehmung, welche als Bindeglied zwischen dem Wissen und Handeln einer Lehrkraft angesehen wird, kann in zwei Teilprozesse untergliedert werden: Noticing, als basaler Wahrnehmungsprozess, bei dem es um das Identifizieren von relevanten Ereignissen geht, und Reasoning, als darauf aufbauender Prozess, der die Fähigkeit beschreibt, Wissen über Lernen und Unterrichten zu nutzen, um aus dem Gesehenen adäquate Schlussfolgerungen abzuleiten. Bisherige Forschung zur professionellen Wahrnehmung von (angehenden) Lehrkräften, die sich auf subjektive Testverfahren wie z. B. Videoanalyse, Fragebögen oder Interviews stützen, haben sich vor allem auf den Prozess des Reasonings konzentriert, während sich nur wenige Studien mit dem basalen Prozess des Noticings, d. h. dem Erkennen potenzieller Störereignisse, befasst haben. Für die direkte und kontinuierliche Erfassung des basalen Wahrnehmungsprozesses eignen sich besonders prozessbasierte Verfahren wie das Eye-Tracking. Diese Methode ermöglicht Rückschlüsse auf kognitive Wahrnehmungsprozesse der (angehenden) Lehrkräfte und integriert sowohl räumliche als auch zeitliche Informationen der Aufmerksamkeitsallokation. Aus der auf Eye-Tracking Studien basierenden Expertiseforschung in anderen Domänen weiß man, dass sich Noviz:innen und Expert:innen in ihrem Blickverhalten unterscheiden. Erste bildungswissenschaftliche Forschungsbefunde hinsichtlich (angehender) Lehrkräfte legen ebenfalls nahe, dass sich angehende und erfahrene Lehrkräfte in ihrer Fähigkeit unterscheiden, potenzielle Unterrichtsstörungen zu detektieren. Diese Annahme ist darauf zurückzuführen, dass die der Wahrnehmung zugrunde liegende Wissensbasis bei Expert:innen besser organisiert ist und so die Wahrnehmung positiv beeinflusst. Dieses die professionelle Wahrnehmung beeinflussende Wissen ist in sogenannten Schemata gespeichert und kann durch bestimmte Faktoren wie z. B. Vorwissen getriggert und beeinflusst werden. So kann die professionelle Wahrnehmung beispielsweise je nach aktiviertem Schema variieren oder auch von einer vorgegebenen, einen bestimmten Aspekt fokussierenden, Instruktion abhängen. Des Weiteren kann davon ausgegangen werden, dass die professionelle Wahrnehmung durch Interventionen positiv beeinflusst werden kann. So gibt es bereits effektive, aber gleichzeitig zeit– und ressourcenaufwendige Trainingsprogramme zur Schulung und Unterstützung professioneller Wahrnehmung für (angehende) Lehrkräfte. Ziel der Dissertation ist es, die professionelle Wahrnehmung von Lehrkräften, insbesondere im Bereich des Classroom Managements, mit prozessbasierten Messmethoden (Eye-Tracking) zu untersuchen. Dabei wurden mehrere Ziele verfolgt: Zuerst wurde der aktuelle Forschungstand zur professionellen Wahrnehmung von (angehenden) Lehrkräften basierend auf prozessbasierten Eye-Tracking Studien in einem systematischen Literaturreview aggregiert und integriert. Dafür wurde eine Literaturrecherche für den Zeitraum von 1999 bis 2019 durchgeführt. Insgesamt konnten dabei 12 Studien identifiziert werden, die relativ stabile Unterschiede zwischen Expert:innenen und Noviz:innen bei den meisten untersuchten Parametern, bei gleichzeitig sehr heterogener Methoden- und Stichprobenauswahl, aufweisen. Darauf aufbauend wurden zwei empirische Studien entwickelt, die dazu dienen sollten, den erst wenig erforschten Kompetenzbereich der professionellen Wahrnehmung näher zu beleuchten. Daher wurde in Studie I überprüft, inwieweit Aus der auf Eye-Tracking Studien basierenden Expertiseforschung in anderen Domänen weiß man, dass sich Noviz:innen und Expert:innen in ihrem Blickverhalten unterscheiden. Erste bildungswissenschaftliche Forschungsbefunde hinsichtlich (angehender) Lehrkräfte legen ebenfalls nahe, dass sich angehende und erfahrene Lehrkräfte in ihrer Fähigkeit unterscheiden, potenzielle Unterrichtsstörungen zu detektieren. Diese Annahme ist darauf zurückzuführen, dass die der Wahrnehmung zugrunde liegende Wissensbasis bei Expert:innen besser organisiert ist und so die Wahrnehmung positiv beeinflusst. Dieses die professionelle Wahrnehmung beeinflussende Wissen ist in sogenannten Schemata gespeichert und kann durch bestimmte Faktoren wie z. B. Vorwissen getriggert und beeinflusst werden. So kann die professionelle Wahrnehmung beispielsweise je nach aktiviertem Schema variieren oder auch von einer vorgegebenen, einen bestimmten Aspekt fokussierenden, Instruktion abhängen. Des Weiteren kann davon ausgegangen werden, dass die professionelle Wahrnehmung durch Interventionen positiv beeinflusst werden kann. So gibt es bereits effektive, aber gleichzeitig zeit– und ressourcenaufwendige Trainingsprogramme zur Schulung und Unterstützung professioneller Wahrnehmung für (angehende) Lehrkräfte. Ziel der Dissertation ist es, die professionelle Wahrnehmung von Lehrkräften, insbesondere im Bereich des Classroom Managements, mit prozessbasierten Messmethoden (Eye-Tracking) zu untersuchen. Dabei wurden mehrere Ziele verfolgt: Zuerst wurde der aktuelle Forschungstand zur professionellen Wahrnehmung von (angehenden) Lehrkräften basierend auf prozessbasierten Eye-Tracking Studien in einem systematischen Literaturreview aggregiert und integriert. Dafür wurde eine Literaturrecherche für den Zeitraum von 1999 bis 2019 durchgeführt. Insgesamt konnten dabei 12 Studien identifiziert werden, die relativ stabile Unterschiede zwischen Expert:innen und Noviz:innen bei den meisten untersuchten Parametern, bei gleichzeitig sehr heterogener Methoden- und Stichprobenauswahl, aufweisen. Darauf aufbauend wurden zwei empirische Studien entwickelt, die dazu dienen sollten, den erst wenig erforschten Kompetenzbereich der professionellen Wahrnehmung näher zu beleuchten. Daher wurde in Studie I überprüft, inwieweit Aus der auf Eye-Tracking Studien basierenden Expertiseforschung in anderen Domänen weiß man, dass sich Noviz:innen und Expert:innen in ihrem Blickverhalten unterscheiden. Erste bildungswissenschaftliche Forschungsbefunde hinsichtlich (angehender) Lehrkräfte legen ebenfalls nahe, dass sich angehende und erfahrene Lehrkräfte in ihrer Fähigkeit unterscheiden, potenzielle Unterrichtsstörungen zu detektieren. Diese Annahme ist darauf zurückzuführen, dass die der Wahrnehmung zugrunde liegende Wissensbasis bei Expert:innen besser organisiert ist und so die Wahrnehmung positiv beeinflusst. Dieses die professionelle Wahrnehmung beeinflussende Wissen ist in sogenannten Schemata gespeichert und kann durch bestimmte Faktoren wie z. B. Vorwissen getriggert und beeinflusst werden. So kann die professionelle Wahrnehmung beispielsweise je nach aktiviertem Schema variieren oder auch von einer vorgegebenen, einen bestimmten Aspekt fokussierenden, Instruktion abhängen. Des Weiteren kann davon ausgegangen werden, dass die professionelle Wahrnehmung durch Interventionen positiv beeinflusst werden kann. So gibt es bereits effektive, aber gleichzeitig zeit– und ressourcenaufwendige Trainingsprogramme zur Schulung und Unterstützung professioneller Wahrnehmung für (angehende) Lehrkräfte. Ziel der Dissertation ist es, die professionelle Wahrnehmung von Lehrkräften, insbesondere im Bereich des Classroom Managements, mit prozessbasierten Messmethoden (Eye-Tracking) zu untersuchen. Dabei wurden mehrere Ziele verfolgt: Zuerst wurde der aktuelle Forschungstand zur professionellen Wahrnehmung von (angehenden) Lehrkräften basierend auf prozessbasierten Eye-Tracking Studien in einem systematischen Literaturreview aggregiert und integriert. Dafür wurde eine Literaturrecherche für den Zeitraum von 1999 bis 2019 durchgeführt. Insgesamt konnten dabei 12 Studien identifiziert werden, die relativ stabile Unterschiede zwischen Expert:innenen und Noviz:innen bei den meisten untersuchten Parametern, bei gleichzeitig sehr heterogener Methoden- und Stichprobenauswahl, aufweisen. Darauf aufbauend wurden zwei empirische Studien entwickelt, die dazu dienen sollten, den erst wenig erforschten Kompetenzbereich der professionellen Wahrnehmung näher zu beleuchten. Daher wurde in Studie I überprüft, inwieweit sich Wissen als objektives Maß für Expertise auf die professionelle Wahrnehmung von Lehramtsstudierenden auswirkt (Noticing: Genauigkeit und Geschwindigkeit der Wahrnehmung potentieller Unterrichtsstörungen, Reasoning: Analysetiefe der Verbalisierungen hinsichtlich der erkannten Störungen). Ergebnisse dieser Onlinestudie zeigen, dass Expertise, operationalisiert mittels eines ökonomischen Wissenstests, als perfomanzbasiertes Kriterium einen relevanten Faktor der professionellen Wahrnehmung von angehenden Lehrkräften darstellt. Je mehr Wissen die Studierenden aufwiesen, desto schneller und mit höherer Akkuratheit entdeckten diese potentielle Störsituationen in den Videovignetten (Noticing). Gleichzeitig führte mehr Wissen über pädagogisch-psychologisches Handlungswissen jedoch nicht zu einer tieferen Analyse (Reasoning) der relevanten Ereignisse. Darüber hinaus wurde in Studie II untersucht, ob sich die in bisherigen Forschungsbefunden aufgezeigten Expertiseunterschiede hinsichtlich der professionellen Wahrnehmung zwischen erfahrenen Lehrkräften und Lehramtsstudierenden in Bezug auf das Monitoring- und/oder störungsspezifische Blickverhalten (Noticing) in einem standardisierten Studiendesign replizieren lassen. Im Gegensatz zu unseren Hypothesen konnten wir keine Expertiseunterschiede hinsichtlich der Eye-Tracking Parameter in einem quasi-randomisierten Versuchsdesign replizieren. Studierende und erfahrene Lehrkräfte zeigten sowohl im Hinblick auf ihr globales Monitoringverhalten als auch ihr störungsspezifisches Blickverhalten, ähnliche Ausprägungen der Parameter. Zusätzlich wurde sowohl in Studie I als auch Studie II beleuchtet, inwieweit eine ökonomische, eigenständige aufgabenspezifische Instruktion ähnliche Effekte erzielen kann wie effiziente, aber kosten- und ressourcenaufwendige Trainings- oder Feedbackinterventionen. Hierfür wurde untersucht, ob durch eine minimale instruktionale Unterstützung das Blickverhalten von Novizen positiv beeinflussten werden kann und es somit möglicherweise eine Kompensation von Expertiseunterschieden erreicht werden kann. Studie I konnte jedoch keinen Einfluss der minimalen Intervention auf die professionelle Wahrnehmung der Studierenden feststellen, wohingegen Studie II—bei der die prozessbasierte Erfassungsmethode des Eye-Trackings verwendet wurde—zeigen konnte, dass eine spezifische Instruktion sowohl bei Studierenden als auch erfahrenen Lehrkräften zu einem veränderten Blickverhalten führt. Noviz:innen und Expert:innen wiesen mehr Fixationen auf, was für ein effektiveres Scan- und Monitoringverhalten spricht. Insgesamt sprechen die Ergebnisse dafür, dass die Vermittlung von Wissen über relevante Aspekte des Classroom Managements an der Universität gestärkt werden sollte, da dies den angehenden Lehrkräften die ersten Schritte im Prozess des Lehrens und Lernens erleichtert, der oft als besonders herausfordernd empfunden wird (Studie I). Außerdem zeigt Studie II, dass es bezüglich expertiseabhängigem Blickverhalten im Klassenraum weiterer Studien und Forschungsprojekte bedarf, um herauszufinden, inwieweit und vor allem unter welchen Bedingungen, Unterschiede hinsichtlich der Expertise zu finden sind. Nur mit einer plausiblen, theoretisch begründeten homogenen Ergebnislandschaft lassen sich mittelfristig sinnvolle Interventionen für die Aus- und Fortbildung von Lehrkräften ableiten und im universitären Lernsetting etablieren

Filters for Wi-Fi Generated Crowd Movement Data

Cities represent large groups of people that share a common infrastructure, common social groups and/or common interests. With the development of new technologies current cities aim to become what is known as smart cities, in which all the small details of these large constructs are controlled to better improve the quality of life of its inhabitants. One of the important gears that powers a city is given by traffic, be it vehicular or pedestrian. As such traffic is closely related to all other activities that take place inside of a city. Understanding traffic is still a difficult process as we have to be able to not only measure it in the sense of how many people are using a particular path but also in analyzing where people are going and when, while still maintaining individual privacy. And all this has to be done at a scale that would cover most if not all individuals in a city. With the high increase in smartphones adoption we can reliably assume that a large part of the population in cities are carrying with them, at all times, at least one Wi-Fi enabled device. Because Wi-Fi devices are regularly transmitting signals we can rely on these devices to detect individual's movements unobtrusively without identifying or tracking any particular individual. Special sensors that monitor Wi-Fi frequencies can be placed around a city to gather data that can later be used to identify patterns in the traffic flows. We present a set of filters that can be used to minimize the amount of data needed for processing and without negatively impacting the result or the information that can be extracted from this data. Part of the filters we present can be deployed at the sensor level, making the entire system more scalable, while a different part can be executed before data processing thus enabling real time information extraction and a broader temporal and spatial range for data analysis. Some of these filters are particular to Wi-Fi but some of them can be applied to any detection system