Fast-forward video visualization

Durch den Einsatz von Überwachungskameras kann sich eine sehr große Menge an Videomaterial ansammeln. Wenn es nötig ist, dieses Material manuell zu betrachten, so kann man durch die Verwendung des Schnellvorlaufs die Betrachtungszeit verkürzen. Bei digitalen Videos können dabei hohe Beschleunigungen durch das Überspringen von Bildern erreicht werden. Diese Sprünge können jedoch zu „Change Blindness“ führen und den Beobachter wichtige Ereignisse verpassen lassen. Im Rahmen dieser Diplomarbeit werden deshalb Methoden vorgestellt, die auf verschiedene Weise versuchen, die Informationen der übersprungenen Bilder wieder sichtbar zu machen. Biologisch motiviertes Blending erzeugt eine Bewegungsunschärfe bei den Objekten. Die Differenzen-Methode erzeugt multiple Instanzen der Objekte im Verlauf ihrer Bewegung. Beim Tracking werden die Objekte mit Pfeilen und Schweifen versehen, die Informationen über vergangene und zukünftige Bewegungen der Objekte vermitteln. Da es in Überwachungsvideos häufig Situationen gibt, in denen nichts passiert, kann man durch Adaptive Fast-Forward unterschiedliche Beschleunigungen nach Priorität der Ereignisse verwenden. Drei verschiedene Geschwindigkeitsvisualisierungen werden vorgestellt, die den Wechsel zwischen den Beschleunigungen besser vermitteln sollen. In einer Benutzerstudie werden dann die Methoden für den Schnellvorlauf genauer untersucht. Dabei wird die Objekterkennung und die Verfolgung von Bewegungen geprüft. Die Geschwindigkeitsvisualisierungen werden in einer zusätzlichen Aufgabe hinsichtlich ihrer Effektivität und Beanspruchung miteinander verglichen

Visual analysis for spatio-temporal event correlation in manufacturing

The analysis of events with spatio-temporal context and their interdependencies is a crucial task in the manufacturing domain. In general, understanding this context, for example investigating error messages or alerts is important to take corrective actions. In the manufacturing domain, comprehending the relations of errors is often based on the technicians\u27 experience. Validation of cause-effect relations is necessary to understand if an effect has a preceding causality, e.g., if an error is the result of multiple issues from previous working steps. We present an approach to investigate spatio-temporal relations between such events. Based on a time-sensitive correlation measure, we provide multiple coordinated views to analyze and filter the data. In collaboration with an industry partner, we developed a visual analytics approach for error logs reported by machines that covers a multitude of analysis tasks. We present a case study based on real-world event logs of an assembly line with feedback from our industry partner\u27s domain experts. The findings show that experts can effectively identify error dependencies that impair the overall assembly line productivity using our technique. Furthermore, we discuss how our approach is applicable in other domains

Reading Strategies for Graph Visualizations that Wrap Around in Torus Topology

We investigate reading strategies for node-link diagrams that wrap around the boundaries in a flattened torus topology by examining eye tracking data recorded in a previous controlled study. Prior work showed that torus drawing affords greater flexibility in clutter reduction than traditional node-link representations, but impedes link-and-path exploration tasks, while repeating tiles around boundaries aids comprehension. However, it remains unclear what strategies users apply in different wrapping settings. This is important for design implications for future work on more effective wrapped visualizations for network applications, and cyclic data that could benefit from wrapping. We perform visual-exploratory data analysis of gaze data, and conduct statistical tests derived from the patterns identified. Results show distinguishable gaze behaviors, with more visual glances and transitions between areas of interest in the non-replicated layout. Full-context has more successful visual searches than partial-context, but the gaze allocation indicates that the layout could be more space-efficient

Visual Interactive Labeling of Large Multimedia News Corpora

The semantic annotation of large multimedia corpora is essential for numerous tasks. Be it for the training of classification algorithms, efficient content retrieval, or for analytical reasoning, appropriate labels are often the first necessity before automatic processing becomes efficient. However, manual labeling of large datasets is time-consuming and tedious. Hence, we present a new visual approach for labeling and retrieval of reports in multimedia news corpora. It combines automatic classifier training based on caption text from news reports with human interpretation to ease the annotation process. In our approach, users can initialize labels with keyword queries and iteratively annotate examples to train a classifier. The proposed visualization displays representative results in an overview that allows to follow different annotation strategies (e.g., active learning) and assess the quality of the classifier. Based on a usage scenario, we demonstrate the successful application of our approach. Therein, users label several topics which interest them and retrieve related documents with high confidence from three years of news reports

Visual analytics of eye-tracking and video data

Eye tracking, i.e., the detection of gaze points, becomes increasingly popular in numerous research areas as a means to investigate perceptual and cognitive processes. In comparison to other evaluation methods, eye tracking provides insights into the distribution of attention and sequential viewing behavior, which are essential for many research questions. For visualization research, such insights help assess a visualization design and identify potential flaws. Gaze data coupled with a visual stimulus poses a complex analysis problem that is approached by statistical and visual methods. Statistical methods are often limited to hypothesis-driven evaluation and modeling of processes. Visualization is applied to confirm statistical results and for exploratory data analysis to form new hypotheses. Surveying the state of the art of visualizations for eye tracking shows a deficiency of appropriate methods, particularly for dynamic stimuli (e.g., videos). Video visualization and visual analytics provide methods that can be adapted to perform the required analysis processes. The automatic processing of video and gaze data is combined with interactive visualizations to provide an overview of the data, support efficient browsing, detect interesting events, and annotate important parts of the data. The techniques developed for this thesis focus on the analysis of videos from remote and from mobile eye tracking. The discussed remote eye-tracking scenarios consist of one video that is investigated by multiple participants. Mobile eye tracking comprises scenarios in which participants wear glasses with a built-in device to record their gaze. Both types of scenarios pose individual challenges that have to be addressed for an effective analysis. In general, the comparison of gaze behavior between participants plays an important role to detect common behavior and outliers. This thesis addresses the topic of eye tracking and visualization bidirectionally: Eye tracking is applied in user studies to evaluate visualization techniques beyond established performance measures and questionnaires. The current application of eye tracking in visualization research is surveyed. Further, it is discussed how existing methodology can be extended to incorporate eye tracking for future analysis scenarios. Vice versa, a set of new visualization techniques for data from remote and mobile eye-tracking devices are introduced that support the analysis of gaze behavior in general. Here, techniques for raw data and for data with annotations are introduced, as well as approaches to perform the tedious annotation process more efficiently.Eye-Tracking, d.h., die Erkennung und Verfolgung von Blickpunken, wird in zahlreichen Forschungsbereichen immer beliebter, um Wahrnehmungs- und kognitive Prozesse zu untersuchen. Im Vergleich zu anderen Evaluationsmethoden gewährt Eye-Tracking Einblicke in die Aufmerksamkeitsverteilung und in sequenzielles Blickverhalten, welche für viele Forschungsfragen unerlässlich sind. In der Visualisierungsforschung helfen solche Einblicke, ein Visualisierungsdesign zu bewerten und mögliche Schwächen zu identifizieren. Blickdaten kombiniert mit einem visuellen Stimulus stellen ein komplexes Analyseproblem dar, welches mit statistischen und visuellen Methoden angegangen wird. Statistische Methoden beschränken sich oft auf die hypothesengetriebene Auswertung und Modellierung von Prozessen. Visualisierung wird zur Bestätigung statistischer Ergebnisse und zur explorativen Analyse für die Formulierung neuer Hypothesen eingesetzt. Der aktuelle Stand der Technik von Eye-Tracking-Visualisierungen weist einen Mangel an geeigneten Methoden auf, insbesondere für dynamische Stimuli (z.B. Videos). Videovisualisierung und visuelle Analytik bieten Methoden, die an die benötigten Analyseprozesse angepasst werden können. Die automatische Verarbeitung von Video- und Blickdaten wird kombiniert mit interaktiven Visualisierungen, um einen Überblick über die Daten zu erhalten, effizientes Durchsuchen zu unterstützen, interessante Ereignisse zu erkennen und wichtige Teile der Daten zu annotieren. Die Techniken, welche in dieser Dissertation entwickelt wurden, fokussieren sich auf die Analyse von Videos von Remote- und mobilem Eye-Tracking. Die besprochenen Remote-Szenarien beinhalten ein Video, das von mehreren Teilnehmern betrachtet wird. Mobiles Eye-Tracking umfasst Szenarien, in denen die Teilnehmer eine Brille mit einem eingebauten Gerät tragen, um ihren Blick aufzunehmen. Beide Arten von Szenarien stellen individuelle Herausforderungen dar, die für eine effektive Analyse angegangen werden müssen. Im Allgemeinen spielt der Vergleich des Blickverhaltens zwischen den Teilnehmern eine wichtige Rolle um Gemeinsamkeiten und Ausreißer zu erkennen. Diese Arbeit beschäftigt sich mit dem Thema Eye-Tracking und Visualisierung in beide Richtungen: Eye-Tracking wird in Nutzerstudien eingesetzt, um Visualisierungstechniken über etablierte Leistungsmaßstäbe und Fragebögen hinaus zu bewerten. Die aktuelle Anwendung von Eye-Tracking in der Visualisierungsforschung wird untersucht. Darüber hinaus wird diskutiert, wie bestehende Methoden erweitert werden können, um Eye-Tracking in zukünftige Analyseszenarien zu integrieren. Umgekehrt werden eine Reihe neuer Visualisierungstechniken für Daten von Remote- und mobilen Eye-Trackern vorgestellt, welche die Analyse des Blickverhaltens im Allgemeinen unterstützen. Hierbei werden Techniken für Rohdaten und für Daten mit Annotationen vorgestellt, sowie Ansätze, die den mühsamen Annotationsprozess effizienter gestalten

ETVIS '18: Proceedings of the 3rd Workshop on Eye Tracking and Visualization

No abstract availabl

Visual Analysis of Eye Movements During Game Play

Eye movements indicate visual attention and strategies during game play, regardless of whether in board, sports, or computer games. Additional factors such as individual vs. group play and active playing vs. observing game play further differentiate application scenarios for eye movement analysis. Visual analysis has proven to be an effective means to investigate and interpret such highly dynamic spatio-temporal data. In this paper, we contribute a classification strategy for different scenarios for the visual analysis of gaze data during game play. Based on an initial sample of related work, we derive multiple aspects comprising data sources, game mode, player number, player state, analysis mode, and analysis goal. We apply this classification strategy to describe typical analysis scenarios and research questions as they can be found in related work. We further discuss open challenges and research directions for new application scenarios of eye movements in game play

EyeMSA: exploring eye movement data with pairwise and multiple sequence alignment

Eye movement data can be regarded as a set of scan paths, each corresponding to one of the visual scanning strategies of a certain study participant. Finding common subsequences in those scan paths is a challenging task since they are typically not equally temporally long, do not consist of the same number of fixations, or do not lead along similar stimulus regions. In this paper we describe a technique based on pairwise and multiple sequence alignment to support a data analyst to see the most important patterns in the data. To reach this goal the scan paths are first transformed into a sequence of characters based on metrics as well as spatial and temporal aggregations. The result of the algorithmic data transformation is used as input for an interactive consensus matrix visualization. We illustrate the usefulness of the concepts by applying it to formerly recorded eye movement data investigating route finding tasks in public transport maps