High-performance geometric vascular modelling

Image-based high-performance geometric vascular modelling and reconstruction is an essential component of computer-assisted surgery on the diagnosis, analysis and treatment of cardiovascular diseases. However, it is an extremely challenging task to efficiently reconstruct the accurate geometric structures of blood vessels out of medical images. For one thing, the shape of an individual section of a blood vessel is highly irregular because of the squeeze of other tissues and the deformation caused by vascular diseases. For another, a vascular system is a very complicated network of blood vessels with different types of branching structures. Although some existing vascular modelling techniques can reconstruct the geometric structure of a vascular system, they are either time-consuming or lacking sufficient accuracy. What is more, these techniques rarely consider the interior tissue of the vascular wall, which consists of complicated layered structures. As a result, it is necessary to develop a better vascular geometric modelling technique, which is not only of high performance and high accuracy in the reconstruction of vascular surfaces, but can also be used to model the interior tissue structures of the vascular walls.This research aims to develop a state-of-the-art patient-specific medical image-based geometric vascular modelling technique to solve the above problems. The main contributions of this research are:- Developed and proposed the Skeleton Marching technique to reconstruct the geometric structures of blood vessels with high performance and high accuracy. With the proposed technique, the highly complicated vascular reconstruction task is reduced to a set of simple localised geometric reconstruction tasks, which can be carried out in a parallel manner. These locally reconstructed vascular geometric segments are then combined together using shape-preserving blending operations to faithfully represent the geometric shape of the whole vascular system.- Developed and proposed the Thin Implicit Patch method to realistically model the interior geometric structures of the vascular tissues. This method allows the multi-layer interior tissue structures to be embedded inside the vascular wall to illustrate the geometric details of the blood vessel in real world

IST Austria Thesis

Computer graphics is an extremely exciting field for two reasons. On the one hand, there is a healthy injection of pragmatism coming from the visual effects industry that want robust algorithms that work so they can produce results at an increasingly frantic pace. On the other hand, they must always try to push the envelope and achieve the impossible to wow their audiences in the next blockbuster, which means that the industry has not succumb to conservatism, and there is plenty of room to try out new and crazy ideas if there is a chance that it will pan into something useful. Water simulation has been in visual effects for decades, however it still remains extremely challenging because of its high computational cost and difficult artdirectability. The work in this thesis tries to address some of these difficulties. Specifically, we make the following three novel contributions to the state-of-the-art in water simulation for visual effects. First, we develop the first algorithm that can convert any sequence of closed surfaces in time into a moving triangle mesh. State-of-the-art methods at the time could only handle surfaces with fixed connectivity, but we are the first to be able to handle surfaces that merge and split apart. This is important for water simulation practitioners, because it allows them to convert splashy water surfaces extracted from particles or simulated using grid-based level sets into triangle meshes that can be either textured and enhanced with extra surface dynamics as a post-process. We also apply our algorithm to other phenomena that merge and split apart, such as morphs and noisy reconstructions of human performances. Second, we formulate a surface-based energy that measures the deviation of a water surface froma physically valid state. Such discrepancies arise when there is a mismatch in the degrees of freedom between the water surface and the underlying physics solver. This commonly happens when practitioners use a moving triangle mesh with a grid-based physics solver, or when high-resolution grid-based surfaces are combined with low-resolution physics. Following the direction of steepest descent on our surface-based energy, we can either smooth these artifacts or turn them into high-resolution waves by interpreting the energy as a physical potential. Third, we extend state-of-the-art techniques in non-reflecting boundaries to handle spatially and time-varying background flows. This allows a novel new workflow where practitioners can re-simulate part of an existing simulation, such as removing a solid obstacle, adding a new splash or locally changing the resolution. Such changes can easily lead to new waves in the re-simulated region that would reflect off of the new simulation boundary, effectively ruining the illusion of a seamless simulation boundary between the existing and new simulations. Our non-reflecting boundaries makes sure that such waves are absorbed

Implicit muscle models for interactive character skinning

En animation de personnages 3D, la déformation de surface, ou skinning, est une étape cruciale. Son rôle est de déformer la représentation surfacique d'un personnage pour permettre son rendu dans une succession de poses spécifiées par un animateur. La plausibilité et la qualité visuelle du résultat dépendent directement de la méthode de skinning choisie. Sa rapidité d'exécution et sa simplicité d'utilisation sont également à prendre en compte pour rendre possible son usage interactif lors des sessions de production des artistes 3D. Les différentes méthodes de skinning actuelles se divisent en trois catégories. Les méthodes géométriques sont rapides et simples d'utilisation, mais leur résultats manquent de plausibilité. Les approches s'appuyant sur des exemples produisent des résultats réalistes, elles nécessitent en revanche une base de données d'exemples volumineuse, et le contrôle de leur résultat est fastidieux. Enfin, les algorithmes de simulation physique sont capables de modéliser les phénomènes dynamiques les plus complexes au prix d'un temps de calcul souvent prohibitif pour une utilisation interactive. Les travaux décrits dans cette thèse s'appuient sur Implicit Skinning, une méthode géométrique corrective utilisant une représentation implicite des surfaces, qui permet de résoudre de nombreux problèmes rencontrés avec les méthodes géométriques classiques, tout en gardant des performances permettant son usage interactif. La contribution principale de ces travaux est un modèle d'animation qui prend en compte les effets des muscles des personnages et de leur interactions avec d'autres éléments anatomiques, tout en bénéficiant des avantages apportés par Implicit Skinning. Les muscles sont représentés par une surface d'extrusion le long d'axes centraux. Les axes des muscles sont contrôlés par une méthode de simulation physique simplifiée. Cette représentation permet de modéliser les collisions des muscles entre eux et avec les os, d'introduire des effets dynamiques tels que rebonds et secousses, tout en garantissant la conservation du volume, afin de représenter le comportement réel des muscles. Ce modèle produit des déformations plus plausibles et dynamiques que les méthodes géométriques de l'état de l'art, tout en conservant des performances suffisantes pour permettre son usage dans une session d'édition interactive. Elle offre de plus aux infographistes un contrôle intuitif sur la forme des muscles pour que les déformations obtenues se conforment à leur vision artistique.Surface deformation, or skinning is a crucial step in 3D character animation. Its role is to deform the surface representation of a character to be rendered in the succession of poses specified by an animator. The quality and plausiblity of the displayed results directly depends on the properties of the skinning method. However, speed and simplicity are also important criteria to enable their use in interactive editing sessions. Current skinning methods can be divided in three categories. Geometric methods are fast and simple to use, but their results lack plausibility. Example-based approaches produce realistic results, yet they require a large database of examples while remaining tedious to edit. Finally, physical simulations can model the most complex dynamical phenomena, but at a very high computational cost, making their interactive use impractical. The work presented in this thesis are based on, Implicit Skinning, is a corrective geometric approach using implicit surfaces to solve many issues of standard geometric skinning methods, while remaining fast enough for interactive use. The main contribution of this work is an animation model that adds anatomical plausibility to a character by representing muscle deformations and their interactions with other anatomical features, while benefiting from the advantages of Implicit Skinning. Muscles are represented by an extrusion surface along a central axis. These axes are driven by a simplified physics simulation method, introducing dynamic effects, such as jiggling. The muscle model guarantees volume conservation, a property of real-life muscles. This model adds plausibility and dynamics lacking in state-of-the-art geometric methods at a moderate computational cost, which enables its interactive use. In addition, it offers intuitive shape control to animators, enabling them to match the results with their artistic vision

Visualization of two-phase flow dynamics : techniques for droplet interactions, interfaces, and material transport

Computational visualization allows scientists and engineers to better understand simulation data and gain insights into the studied natural processes. Particularly in the field of computational fluid dynamics, interactive visual presentation is essential in the investigation of physical phenomena related to gases and liquids. To ensure effective analysis, flow visualization techniques must adapt to the advancements in the field of fluid dynamics that benefits substantially from the growing computational power of both commodity desktops and supercomputers on the one hand, and steadily expanding knowledge about fluid physics on the other. A prominent example of these advances can be found in the research of two-phase flow with liquid droplets and jets, where high performance computation and sophisticated algorithms for phase tracking enable well resolved and physically accurate simulations of liquid dynamics. Yet, the field of two-phase flow has remained largely unexplored in visualization research so far, leaving the scientists and engineers with a number of challenges when analyzing the data. These include the difficulty in tracking and investigating topological events in large droplet groups, high complexity of droplet dynamics due to the involved interfaces, and a limited choice of high quality interactive methods for the analysis of related transport phenomena. It is therefore the aim of this thesis to address these challenges by providing a multi-scale approach for the visual investigation of two-phase flow, with the focus on the analysis of droplet interaction, fluid interfaces, and material transport. To address the problem of analyzing highly complex two-phase flow simulations with droplet groups and jets, a linked-view approach with three-dimensional and abstract space-time graph representation of droplet dynamics is proposed. The interactive brushing and linking allows for general exploration of topological events as well as detailed inspection of dynamics in terms of oscillations and rotations of droplets. Another approach further examines the separation of liquid phases by segmenting liquid volumes according to their topological changes in future time. For visualization, boundary surfaces of these volume segments are extracted that reveal intricate details of droplet topology dynamics. Additionally, within this framework, visualization of advected particles corresponding to arbitrarily selected segment provides useful insights into the spatio-temporal evolution of the segment. The analysis of interfaces is necessary to understand the interplay of interface dynamics and the dynamics of droplet interactions. A commonly used technique for interface tracking in the volume of fluid-based simulations is the piecewise linear approximation which, although accurate, can affect the quality of the simulation results. To study the influence of the interface reconstruction on the phase tracking procedure, a visualization method is presented that extracts the interfaces by means of the first-order Taylor approximation, and provides several derived quantities that help assess the simulation results in relation to the interface reconstruction quality. The liquid interface is further investigated from the physical standpoint with an approach based on quantities derived from velocity and surface tension gradients. The developed method supports examination of surface tension forces and their impact on the interface instability, as well as detailed analysis of interface deformation characteristics. A line of research important for engineering applications is the analysis of electric fields on droplet interfaces. It is, however, complicated by higher-order elements used in the simulations to preserve field discontinuities. A visualization method has been developed that correctly visualizes these discontinuities at material boundaries. Additionally, the employed space-time representation of the droplet-insulator contact line reveals characteristics of electric field dynamics. The dynamics of droplets are often examined assuming single-phase flow, for instance when the internal material transport is of interest. From the visualization perspective, this allows for adaption of traditional vector field visualization techniques to the investigation of the studied phenomena. As one such concept, dye based visualization is proposed that extends the transport analysis to advection-diffusion problems, therefore revealing true transport behavior. The employed high quality advection preserves fine details of the dye, while the implementation on graphics processing units ensures interactive visualization. Several streamline-based concepts are applied in space-time representation of 2D unsteady flow. By interpreting time as the third spatial dimension, many 3D streamline-based visualization techniques can be applied to investigate 2D unsteady flow. The introduced vortex core ribbons support the examination of vortical flow behavior by revealing rotation near the core lines. For the study of topological structures, a method has been developed that extracts separatrices implicitly as boundaries of regions with different flow behavior, and therefore avoids potentially complicated explicit extraction of various topological structures. All proposed techniques constitute a novel multi-scale approach for visual analysis of two-phase flow. The analysis of droplet interactions is addressed with visualization of the phenomena leading to breakups and with detailed visual inspection of these breakups. On the interface level, techniques for the interface analysis give insights into the simulation quality, mechanisms behind topology changes, as well as the behavior of electrically charged droplets. Further down the scale, the dye-based visualization, streamline-based concepts for space-time analysis, and the implicit extraction of flow topology allow for the investigation of droplet internal transport as well as general single-phase flow scenarios. The applicability of the proposed methods extends, in a varying degree, beyond the use in two-phase flow. Their usability is demonstrated on data from simulations based on Navier-Stokes equations that exemplify practical problems in the research of fluid dynamics.Die numerische Visualisierung ermöglicht Wissenschaftlern und Ingenieuren, Simulationsergebnisse besser zu verstehen und Einblicke in Naturprozesse zu gewinnen. Insbesondere ist die visuelle Darstellung von Ergebnissen numerischer Strömungsmechanik für die Untersuchung physikalischer Phänomene bei Gasen und Flüssigkeiten äußerst wichtig. Die numerische Strömungsmechanik profitiert einerseits von wachsender Rechenleistung handelsüblicher Desktops und Supercomputer, andererseits von den neuen Entwicklungen in der Strömungsforschung. Um eine effektive Analyse von Strömungen zu gewährleisten, müssen sich die Visualisierungstechniken kontinuierlich den Fortschritten in der Strömungsmechanik anpassen. Ein bemerkenswertes Beispiel hierfür ist die Forschung in der Zweiphasenströmung, in der Hochleistungsrechner und effiziente Algorithmen zur Phasenverfolgung hochaufgelöste und physikalisch genaue Simulationen der Flüssigkeitsdynamik ermöglichen. Dennoch ist die Zweiphasenströmung seitens der Visualisierung weitgehend unerforscht geblieben. Insbesondere sehen sich Wissenschaftler und Ingenieure mit verschiedenen Problemen konfrontiert, die mit angepassten Visualisierungstechniken vermieden werden können. Zu den Problemen zählen beispielweise die Verfolgung und Untersuchung der topologischen Ereignisse in Tropfengruppen, hohe Komplexität der Tropfendynamik und die begrenzte Auswahl an interaktiven Methoden zur Untersuchung der Transportphänomene. Demzufolge ist das Ziel dieser Dissertation, die Entwicklung eines Ansatzes zur visuellen Analyse von Zweiphasenströmung auf mehreren Skalen mit dem Fokus auf Interaktionen zwischen den Tropfen, Dynamik der Oberfläche und Materialtransport. Um die Analyse hochkomplexer Simulationsdaten der Zweiphasenströmung zu behandeln, wird eine auf Linked-View-Verfahren basierte Visualisierungstechnik präsentiert, in der die Tropfen sowohl in einer 3D Darstellung als auch in einer abstrakten Graph-Repräsentation visualisiert werden. Der interaktive Brushing-and-Linking-Ansatz ermöglicht eine globale Exploration der topologischen Ereignisse sowie eine detaillierte Inspektion der Dynamik im Hinblick auf die Oszillation und Rotation der Tropfen. Eine andere Technik zeigt die Aufteilung des Tropfenvolumens im zeitlichen Verlauf. Somit ermöglicht diese Methode eine ausführliche Untersuchung der Topologiedynamik mit Hilfe einer statischen Visualisierung. Dafür werden Grenzflächen erzeugt, die das ursprüngliche Volumen des Tropfens hinsichtlich der sich entwickelnden Zerfallskomponenten aufzeigen. Zusätzlich werden die zur Verfolgung der Tropfen benutzten Partikel visualisiert, um Einblicke in die Dynamik der Separation zu gewähren. Die Analyse der Oberfläche ist notwendig, um die Wechselwirkung zwischen der Oberflächendynamik und der Dynamik der Tropfeninteraktion besser zu verstehen. Eine häufig angewendete Technik zur Verfolgung der Phasengrenzen im Volume-of-Fluid-Verfahren ist die zellenweise planare Approximation. Obwohl diese einen guten Kompromiss zwischen Genauigkeit und Performanz bietet, kann die Approximation die Qualität der Simulationsergebnisse erheblich beeinflussen. Es wird deshalb eine Visualisierungsmethode präsentiert, die die Oberfläche mit Hilfe der Taylor-Approximation erster Ordnung extrahiert und unter anderem darauf basierte Größen bereitstellt, die die Relation zwischen der Simulationsapproximation und Qualität der Ergebnisse zeigt. Die Tropfenoberfläche wird weiterhin mit einer Visualisierungsmethode analysiert, die von den Geschwindigkeits- und Oberflächenspannungsgradienten abgeleitete Größen verwendet. Die entwickelte Methode unterstützt die Untersuchung der Deformation der Oberfläche sowie die Untersuchung der Oberflächenspannung und deren Auswirkung auf die Oberflächenstabilität. Eine wichtige Forschungsrichtung in der Zweiphasenströmung ist die Analyse elektrischer Felder auf der Tropfenoberfläche. Die in der Simulation angewendeten Elemente höherer Ordnung ermöglichen physikalische Diskontinuitäten, die für die visuelle Analyse eine gesonderte Behandlung benötigen. Im Zuge dessen wird eine Methode präsentiert, welche die Diskontinuitäten visuell korrekt darstellt und zusätzlich eine Raum-Zeit-Darstellung anwendet, um Einblicke in die Phänomene an der Kontaktlinie zwischen den Tropfen und dem untersuchten Isolator zu gewähren. Die Tropfendynamik wird oft mit der Annahme einer Einphasenströmung analysiert, beispielsweise für die Untersuchung der internen Strömung des Tropfens. Dies ermöglicht eine Anpassung und Verwendung traditioneller Visualisierungsmethoden für Vektorfelder. Eine solche Technik ist die ,,Dye-Advection'', die in dieser Dissertation nicht nur zur Analyse der Advektion, sondern auch zur Untersuchung der Diffusion verwendet wird. Die eingesetzte hochqualitative Rekonstruktion des virtuellen Pigments bewahrt feine Details, während die Implementierung auf der Grafikkarte eine interaktive Visualisierung ermöglicht. Überdies werden einige auf Stromlinien basierende Konzepte in Raum-Zeit-Darstellung angewendet, in der die Zeit als die dritte Raumachse interpretiert wird. Demzufolge können diese Methoden zur Analyse der zeitabhängigen zweidimensionalen Strömung verwendet werden. Die eingeführten ,,Vortex Core Ribbons" unterstützen die Analyse der rotierenden Strömung um die Wirbelkernlinien. Für die Analyse der topologischen Strukturen wurde eine Methode entwickelt, die die Separatrizen implizit als Ränder einer Segmentierung des Vektorfeldes extrahiert. Damit wird eine möglicherweise komplexe direkte Extraktion der Separatrizen vermieden. Die präsentierten Visualisierungsmethoden bilden ein neuartiges Multiskalen-Verfahren zur visuellen Analyse von Zweiphasenströmungen. Die Tropfeninteraktionen werden mit Hilfe einer Visualisierung dargestellt, die sich auf die Ursache des Tropfenzerfalls und deren Ablauf konzentriert. Für die Untersuchung der Oberfläche zeigen die vorgeschlagenen Techniken die Qualität der Ergebnisse hinsichtlich der Oberflächenrekonstruktion, die Mechanismen hinter den topologischen Ereignissen, als auch die Dynamik der elektrisch geladenen Tropfen auf. Andererseits werden unter Annahme der Einphasenströmung neue Techniken basierend auf Dye-Advection, Stromlinien-basierte Konzepte, sowie Verfahren zur Extraktion der Topologie untersucht, um einen besseren Einblick in den Materialtransport zu gewinnen. Die Anwendung dieser Methoden wird in dieser Dissertation auf Daten demonstriert, die durch Simulation, basierend auf Navier-Stokes-Gleichungen, erzeugt wurden