Visual signatures in video visualization

Video visualization is a computation process that extracts meaningful information from original video data sets and conveys the extracted information to users in appropriate visual representations. This paper presents a broad treatment of the subject, following a typical research pipeline involving concept formulation, system development, a path-finding user study, and a field trial with real application data. In particular, we have conducted a fundamental study on the visualization of motion events in videos. We have, for the first time, deployed flow visualization techniques in video visualization. We have compared the effectiveness of different abstract visual representations of videos. We have conducted a user study to examine whether users are able to learn to recognize visual signatures of motions, and to assist in the evaluation of different visualization techniques. We have applied our understanding and the developed techniques to a set of application video clips. Our study has demonstrated that video visualization is both technically feasible and cost-effective. It has provided the first set of evidence confirming that ordinary users can be accustomed to the visual features depicted in video visualizations, and can learn to recognize visual signatures of a variety of motion eventspeer-reviewe

Multifeld-Visualisierung auf Grafikprozessor-Einheiten

The generation of multi-field data has become commonplace in many scientific disciplines and application areas today. While researchers have produced numerous techniques for analyzing a single scalar, vector, or tensor field over the last years, finding approaches for exploring multi-field datasets still forms one of the significant challenges in visualization and analytics. One crucial aspect for the growing demand of multi-field visualization techniques is the fact that scientists need to explore the interaction of these fields to gain deeper understanding of underlying processes and relationships. This work addresses the challenge of illustrating multi-field data and presents new approaches of visualization techniques for a variety of application areas, with the aim to map these algorithms to graphics hardware architectures to achieve interactive visualization. In particular, the main contributions of this thesis contain multi-field flow visualization with one focus on integrating an additional flow uncertainty value, based on measurement simulation, into visualization. Therefore, texture based advection techniques are extended for the transport and display of the additional information. The second focus lies on the illustration of multiple fields as one combined characteristic set to minimize memory usage and allow further feature extraction from the new unique representation. New techniques are developed for multi-field volume rendering in the area of medical applications, with the primary challenge to intermix volumetric data that was acquired by different medical imaging modalities. The proposed solutions give implementation details for raycasting and slice-based rendering of multiple overlapping volumes. The third application area is video visualization. This domain is a typical representative for multi-field visualization, as it combines both, flow fields and multi-volume data for illustration. The goal of the introduced video visualization techniques is to extract dynamic or still objects in a scene, detect their individual actions and the relations among each other and to display this filtered information as a continuous stream of signatures for analysis. Another problematic issue in multi-field visualization is the size of the data, which is usually rather large. Yet, data transfer to and memory size on GPUs are two major bottlenecks. To address this issue, throughout the thesis techniques for data reduction by combination and data bricking for continuous streaming are discussed. Finally, multi-field data encoding and visualization techniques are presented that utilize the advantages of radial basis functions to minimize the data size.Die Generierung von Multifeld-Daten ist heutzutage in vielen wissenschaftlichen Disziplinen und auch in praktischen Anwendungsgebieten weit verbreitet. Während Wissenschaftler im Verlauf der letzten Jahre zahlreiche Techniken für die Analyse von einzelnen Skalar-, Vektor-, und Tensorfeldern entwickelten, so bergen Lösungsansätze zur Erkundung von Multifeld-Datensätzen eine komplexere Problematik, die die Forschung im Bereich der Visualisierung und der Analytik vor enorme Herausforderungen stellt. Ein entscheidender Aspekt für die steigende Nachfrage an Multifeld-Visualisierungsmethoden ist die Tatsache, dass Wissenschaftler und Analysten die Interaktion zwischen mehreren in Relation zueinander stehenden Feldern erforschen wollen, um weitere Erkenntnisse über die beobachteten Phänomene zu gewinnen, um so ein tieferes Verständnis der zugrunde liegenden Prozesse zu ermöglichen. Diese Arbeit behandelt Problemstellungen, die bei der Visualisierung von Multifeld-Daten auftreten und präsentiert neue Visualisierungskonzepte und Algorithmen für eine Vielzahl von Anwendungsgebieten. Ziel ist weiterhin, diese Algorithmen auf moderne Grafikhardwarearchitekturen abzubilden, um so verstärkt eine interaktive Darstellung zu gewährleisten, die für einen kontinuierlichen Analyseprozess von großer Bedeutung ist. Im Einzelnen enthalten die Beiträge in dieser Doktorarbeit Konzepte zur Visualisierung von Multifeld-Strömungsdaten, mit Fokus der Integration eines zusätzlichen Ungenauigkeitsparameters in die Darstellung, der bei Messung oder Simulation der Daten entstehen kann. Für die Umsetzung wird eine bildbasierte Strömungsvisualisierungstechnik, die auch als Texturadvektion bekannt ist, implementiert. Diese Technik wird erweitert, um zusätzliche Informationen zu transportieren und darzustellen. Der zweite Schwerpunkt im Bereich der Strömungsvisualisierung basiert auf einer Technik zur Illustration von mehreren Skalarfeldern als ein logisch kombiniertes charakteristisches Skalarfeld. Der Vorteil dieser Technik liegt zum einen in der Minimierung des Speicherbedarfs, führt zu einer vereinfachten Suche und Extraktion von Strömungscharakteristiken auf dem reduzierten Feld und kann zum anderen als Kriterium verwendet werden, um Partikel in die Strömung zu injizieren. Ein weiterer Teil behandelt neue Techniken zur Multifeld-Volumenvisualisierung von mehreren zusammengehörigen skalaren Feldern aus dem medizinischen Kontext. Die primäre Herausforderung liegt hier im geeigneten Vermischen der einzelnen volumetrischen Daten, die durch verschiedene medizinische Bildgebungsverfahren erzeugt wurden. Insbesondere bei der Wahl eines spezifischen Algorithmus zur direkten Volumenvisualisierung sind hier unterschiedliche Aspekte zu beachten. Die präsentierten Lösungen beinhalten Implementierungsdetails für Raycasting sowie für das Schnittebenen-basierte Verfahren zur Visualisierung von Szenen, in denen sich mehrere Volumen überschneiden. Der dritte Kernbereich dieser Dissertation behandelt die Videovisualisierung. Dieses Anwendungsgebiet ist ein klassischer Stellvertreter für Multifeld-Visualisierung. Hier werden beide bisher besprochenen Gebiete für die Darstellung der Multifeld-Daten kombiniert. Multifeld-Videodaten beinhalten sowohl Volumendaten von extrahierten Objekten als auch Bewegungsinformationen und somit Strömungsdaten dieser Objekte die zur Visualisierung herangezogen werden. Ziel der vorgestellten Videovisualisierungstechniken ist die Extraktion dynamischer und statischer Objekte aus einer Szene und weiterführend die Detektion von individuellen Aktionen und Relationen, die den einzelnen Objekten zugeordnet werden können. Anhand dieser gefilterten Informationen wird dann eine kontinuierliche Endlosdarstellung des Videos generiert, wobei die extrahierten Objekte in dieser Ansicht als raum-zeitliche Signaturen dargestellt werden, die für die Analyse der Daten von großem Wert sind. Eine weitere Problematik, die bei der Visualisierung von Multifeld-Daten auftitt, ist die Tatsache, dass die Existenz von mehreren, in der Regel recht großen Datenfeldern auch unweigerlich zu einem enormen Speicherbedarf führt. Der Transport großer Datenmengen vom Hauptspeicher zum Grafikspeicher ist jedoch ein wesentlicher Flaschenhals, der für die Realisierung von interaktiven Visualisierungstechniken berücksichtigt werden muss. Verschiedene Lösungsvorschläge für diese Problemstellung finden sich in dieser Dissertation in Form einer Unterteilung der Daten in einzelne Blöcke, die dann kontinuierlich zur GPU heruntergeladen werden können. Auch die Kombination und somit eine Fusion von mehreren Datenfeldern zu einem charakteristischen Datenfeld, das dann platzsparend im Grafikspeicher gelagert werden kann, wird hier vorgestellt. Da diese Form von Datenhandhabung nicht in allen Anwendungsgebieten einsetzbar ist, widmet sich das letzte Kapitel ausschließlich der Rekonstruktion von komprimierten Multifeld-Daten. Durch Approximation mittels radialer Basisfunktionen ist es möglich, komplette Multifeld-Datensätze durch eine neue Datenstruktur zu repräsentieren und so als Ganzes im GPU-Speicher zu lagern. Um diese komprimierten Multifeld-Daten darzustellen, präsentiert diese Arbeit GPU-basierte Dekodierungsalgorithmen, die eine interaktive Rekonstruktion und Visualisierung ermöglichen

Texture-Based Visualization of Uncertainty in Flow Fields

In this paper, we present two novel texture-based techniques to visualize uncertainty in time-dependent 2D flow fields. Both methods use semi-Lagrangian texture advection to show flow direction by streaklines and convey uncertainty by blurring these streaklines. The first approach applies a cross advection perpendicular to the flow direction. The second method employs isotropic diffusion that can be implemented by Gaussian filtering. Both methods are derived from a generic filtering process that is incorporated into the traditional texture advection pipeline. Our visualization methods allow for a continuous change of the density of flow representation by adapting the density of particle injection. All methods can be mapped to efficient GPU implementations. Therefore, the user can interactively control all important characteristics of the system like particle density, error influence, or dye injection to create meaningful illustrations of the underlying uncertainty. Even though there are many sources of uncertainties, we focus on uncertainty that occurs during data acquisition. We demonstrate the usefulness of our methods for the example of real-world fluid flow data measured with the particle image velocimetry (PIV) technique. Furthermore, we compare these techniques with an adapted multifrequency noise approach

Dynamic Shader Generation for Flexible Multi-Volume Visualization

Imaging) dataset of a human head. The MRI dataset provides the skin and brain tissue. It is vertically cut and the two halves are moved away from each other to get insight to the inner structures. The CTA dataset contains the skull and the vessels which are rendered with different transfer functions. Images (a-c) show three stages of an interactive multi-volume visualization session and image (d) represents the render graph which corresponds to the final configuration in (c). Volume rendering of multiple intersecting volumetric objects is a difficult visualization task, especially if different rendering styles need to be applied to the components, in order to achieve the desired illustration effect. Real-time performance for even complex scenarios is obtained by exploiting the speed and flexibility of modern GPUs, but at the same time programming the necessary shaders turned into a task for GPU experts only. We foresee the demand for an intermediate level of programming abstraction where visualization specialists can realize advanced applications without the need to deal with shader programming intricacies. In this paper, we describe a generic technique for multi-volume render graph. By combining pre-defined nodes, complex volume operations can be realized. Our system efficiently creates GPU-based fragment shader and vertex shader programs “on-thefly” to achieve the desired visual results. We demonstrate the flexibility of our technique by applying several dynamically generated volume rendering styles to multi-modal medical datasets

INTERACTIVE VISUALIZATION OF UNCERTAINTY IN FLOW FIELDS USING TEXTURE-BASED TECHNIQUES ABSTRACT

We describe texture-based flow visualization techniques that bring out the uncertainties in real-world measured flow data or highlight the deviation of scenarios simulated with different numerical techniques. One visualization approach is based on a generic texture-filtering process that improves the perception of uncertainty-affected regions; the other approach focuses on a user-adjusted color coding of uncertainty. Both methods are implemented on graphics hardware and facilitate interactive visualization. The usefulness of these techniques is demonstrated for examples of simulation and PIV data sets.

Spectral Volume Rendering using GPU-based Raycasting

Traditional volume rendering does not incorporate a number of optical properties that are typically observed for semi-transparent materials, such as glass or water, in the real world. Therefore, we have extended GPUbased raycasting to spectral volume rendering based on the Kubelka-Munk theory for light propagation in parallel colorant layers of a turbid medium. This allows us to demonstrate the effects of selective absorption and dispersion in refractive materials, by generating volume renderings using real physical optical properties. We show that this extended volume rendering technique can be easily incorporated into a flexible framework for GPU-based volume raycasting. Our implementation shows a promising performance for a number of real data sets. Particularly, we obtain up to 100 times the performance of a comparable CPU implementation