The delta radiance field

The wide availability of mobile devices capable of computing high fidelity graphics in real-time has sparked a renewed interest in the development and research of Augmented Reality applications. Within the large spectrum of mixed real and virtual elements one specific area is dedicated to produce realistic augmentations with the aim of presenting virtual copies of real existing objects or soon to be produced products. Surprisingly though, the current state of this area leaves much to be desired: Augmenting objects in current systems are often presented without any reconstructed lighting whatsoever and therefore transfer an impression of being glued over a camera image rather than augmenting reality. In light of the advances in the movie industry, which has handled cases of mixed realities from one extreme end to another, it is a legitimate question to ask why such advances did not fully reflect onto Augmented Reality simulations as well. Generally understood to be real-time applications which reconstruct the spatial relation of real world elements and virtual objects, Augmented Reality has to deal with several uncertainties. Among them, unknown illumination and real scene conditions are the most important. Any kind of reconstruction of real world properties in an ad-hoc manner must likewise be incorporated into an algorithm responsible for shading virtual objects and transferring virtual light to real surfaces in an ad-hoc fashion. The immersiveness of an Augmented Reality simulation is, next to its realism and accuracy, primarily dependent on its responsiveness. Any computation affecting the final image must be computed in real-time. This condition rules out many of the methods used for movie production. The remaining real-time options face three problems: The shading of virtual surfaces under real natural illumination, the relighting of real surfaces according to the change in illumination due to the introduction of a new object into a scene, and the believable global interaction of real and virtual light. This dissertation presents contributions to answer the problems at hand. Current state-of-the-art methods build on Differential Rendering techniques to fuse global illumination algorithms into AR environments. This simple approach has a computationally costly downside, which limits the options for believable light transfer even further. This dissertation explores new shading and relighting algorithms built on a mathematical foundation replacing Differential Rendering. The result not only presents a more efficient competitor to the current state-of-the-art in global illumination relighting, but also advances the field with the ability to simulate effects which have not been demonstrated by contemporary publications until now

The State of the Art of Spatial Interfaces for 3D Visualization

International audienceWe survey the state of the art of spatial interfaces for 3D visualization. Interaction techniques are crucial to data visualization processes and the visualization research community has been calling for more research on interaction for years. Yet, research papers focusing on interaction techniques, in particular for 3D visualization purposes, are not always published in visualization venues, sometimes making it challenging to synthesize the latest interaction and visualization results. We therefore introduce a taxonomy of interaction technique for 3D visualization. The taxonomy is organized along two axes: the primary source of input on the one hand and the visualization task they support on the other hand. Surveying the state of the art allows us to highlight specific challenges and missed opportunities for research in 3D visualization. In particular, we call for additional research in: (1) controlling 3D visualization widgets to help scientists better understand their data, (2) 3D interaction techniques for dissemination, which are under-explored yet show great promise for helping museum and science centers in their mission to share recent knowledge, and (3) developing new measures that move beyond traditional time and errors metrics for evaluating visualizations that include spatial interaction

Représentation, modélisation et génération procédurale de terrains

Slides disponiblesSoutenance oral (présentation + questions) disponible sur demandeThis PhD (entitled "Representation, modelisation and procedural generation of terrains") is related to movie and videogames digital content creation, especially natural scenes.Our work is dedicated to handle and to generate landscapes efficently. We propose a new model based on a construction tree inside which the user can handle parts of the terrain intuitively. We also present techniques to efficently visualize such model. Finally, we present a new algorithm for generating large-scale terrains exhibiting hierarchical structures based on their hydrographic networks: elevation is generated in a broad compliance to water-tansport principles without having to resort on costly hydraulic simulations.Cette thèse (qui a pour intitulé "Représentation, modélisation et génération procédurale de terrains") a pour cadre la génération de contenus numériques destinés aux films et aux jeux-vidéos, en particulier les scènes naturelles.Nos travaux visent à représenter et à générer des terrains. Nous proposons, en particulier, un nouveau modèle de représentation qui s'appuie sur un arbre de construction et qui va permettre à l'utilisateur de manipuler des morceaux de terrain de façon intuitive. Nous présentons également des techniques pour visualiser ce modèle avec un maximum d'efficacité. Enfin nous développons un nouvel algorithme de génération de terrains qui construit de très grands reliefs possédant des structures hiérarchiques découlant d'un réseau hydrographique : le relief généré est conforme aux grands principes d'écoulement des eaux sans avoir besoin d'utiliser de coûteuses simulations d'érosion hydrique

Interactive advertising displays

Interactive public displays are the latest development in the field of out-of-home advertising. Throughout history characteristic shapes for billboards evolved such as flat rectangular displays, long displays or cylindrical advertising columns. This work presents novel interactive display designs that are based on these historical role models and allow passers-by to interact with them in a natural, touchless manner. It further pursues a vision where interactive public displays become more active themselves and actively influence passer-by behavior in order to increase their effectiveness, better attract attention and improve public interaction in front of them. First, to overcome the challenge that passers-by often do not expect public displays to be interactive and thus pay no attention to them, this work presents a solution called unaware initial interaction that surprises passers-by and communicates interactivity by giving visual feedback to their initial movements. To be effective, the visual feedback has to be designed considering the specific display shapes, their requirements to contents and the typical approaching trajectories. Second, to overcome the challenge that larger groups of passers-by often crowd together in front of wide public displays or do not take optimal positions for interaction, this work presents a solution to subtly and actively guide users by dynamic and interactive visual cues on the screen in order to better distribute them. To explore these concepts and following an initial analysis of the out-of-home domain and of typical display qualities, interactive counterparts to the classical display shapes are designed such as interactive advertising columns, long banner displays and life-size screens. Then interactive contents and visual feedbacks are designed which implement the presented interactivity concepts, and audience behavior around them is analyzed in several long-term field studies in public space. Finally the observed passer-by and user behavior and the effectiveness of the display and content designs are discussed and takeaways given that are useful for practitioners and researchers in the field of public interaction with out-of-home displays.Interaktive öffentliche Displays sind die neueste Entwicklung im Bereich der Außenwerbung. Im Laufe der Geschichte bildeten sich charakteristische Formen für Werbetafeln heraus wie flache rechteckige Displays, lange Displays oder zylindrische Werbesäulen. Die vorliegende Arbeit stellt neuartige Designs für Displays vor, die auf diesen historischen Vorbildern aufbauen und den Passanten erlauben, mit ihnen auf eine natürliche, berührungslose Art und Weise zu interagieren. Darüber hinaus verfolgt sie eine Vision, in der interaktive öffentliche Displays aktiver werden und entsprechend das Passantenverhalten beeinflussen, um ihre Wirksamkeit zu erhöhen, mehr Aufmerksamkeit auf sich zu ziehen und die öffentliche Interaktion mit ihnen zu verbessern. Zunächst stellt diese Arbeit eine als Unbewusste Initialinteraktion bezeichnete Lösung vor, welche die Passanten überrascht und mittels visuellem Feedback auf ihre anfänglichen Bewegungen Interaktivität übermittelt, um die Herausforderung zu bewältigen, dass Passanten oft nicht erwarten, dass öffentliche Displays interaktiv sind und sie ihnen somit keine Aufmerksamkeit schenken. Um effektiv zu sein, muss das visuelle Feedback dabei so gestaltet werden, dass es die spezifischen Displayformen, ihre Anforderungen an die dargestellten Inhalte und ihre typischen Annäherungswege berücksichtigt. Zweitens stellt sie eine Lösung vor, bei der die Nutzer auf subtile Weise und durch auf dem Bildschirm dargestellte dynamische und interaktive visuelle Reize aktiv geführt werden, um sie besser vor dem Display zu verteilen, um die Herausforderung zu bewältigen, dass größere Gruppen von Passanten sich oft vor breiten öffentlichen Displays zusammendrängen oder keine optimalen Positionen für die Interaktion einnehmen. Zur Erforschung dieser Konzepte werden im Anschluss an eine einführende Analyse von Außenwerbedisplays und ihrer typischen Eigenschaften interaktive Entsprechungen der klassischen Displayformen entwickelt wie interaktive Litfaßsäulen, lange Bannerdisplays und Life-size Screens. Weiter werden für diese Displays interaktive Inhalte und visuelle Feedbacks entwickelt, welche die vorgestellten Interaktivitätskonzepte umsetzen und das Verhalten des anwesenden Publikums in mehreren Langzeit-Feldstudien im öffentlichen Raum untersucht. Schließlich werden das beobachtete Passanten- und Nutzerverhalten und die Effektivität der entwickelten Display-Designs und Inhalte bewertet und nützliche Empfehlungen für Praktiker und Forscher auf dem Gebiet der öffentlichen Interaktion mit Außenwerbedisplays gegeben

Positionnement visuel pour la réalité augmentée en environnement plan

Mesurer en temps réel la pose d'une caméra relativement à des repères tridimensionnels identifiés dans une image vidéo est un, sinon le pilier fondamental de la réalité augmentée. Nous proposons de résoudre ce problème dans des environnements bâtis, à l'aide de la visionpar ordinateur. Nous montrons qu'un système de positionnement plus précis que le GPS, et par ailleurs plus stable, plus rapide et moins coûteux en mémoire que d'autres systèmes de positionnement visuel introduits dans la littérature, peut êtreobtenu en faisant coopérer : approche probabiliste et géométrie aléatoire (détection a contrario des points de fuite del'image), apprentissage profond (proposition de boites contenant des façades, élaboration d'un descripteur de façades basé sur un réseau deneurones convolutifs), inférence bayésienne (recalage par espérance-maximisation d'un modèle géométrique et sémantique compactdes façades identifiées) et sélection de modèle (analyse des mouvements de la caméra par suivi de plans texturés). Nous décrivonsde plus une méthode de modélisation in situ, qui permet d'obtenir de manière fiable, de par leur confrontation immédiate à la réalité, des modèles 3D utiles au calcul de pose tel que nous l'envisageons

Ultraschallbasierte Navigation für die minimalinvasive onkologische Nieren- und Leberchirurgie

In der minimalinvasiven onkologischen Nieren- und Leberchirurgie mit vielen Vorteilen für den Pa- tienten wird der Chirurg häufig mit Orientierungsproblemen konfrontiert. Hauptursachen hierfür sind die indirekte Sicht auf die Patientenanatomie, das eingeschränkte Blickfeld und die intra- operative Deformation der Organe. Abhilfe können Navigationssysteme schaffen, welche häufig auf intraoperativem Ultraschall basieren. Durch die Echtzeit-Bildgebung kann die Deformation des Organs bestimmt werden. Da viele Tumore im Schallbild nicht sichtbar sind, wird eine robuste automatische und deformierbare Registrierung mit dem präoperativen CT benötigt. Ferner ist eine permanente Visualisierung auch während der Manipulation am Organ notwendig. Für die Niere wurde die Eignung von Ultraschall-Elastographieaufnahmen für die bildbasierte Re- gistrierung unter Verwendung der Mutual Information evaluiert. Aufgrund schlechter Bildqualität und geringer Ausdehnung der Bilddaten hatte dies jedoch nur mäßigen Erfolg. Die Verzweigungspunkte der Blutgefäße in der Leber werden als natürliche Landmarken für die Registrierung genutzt. Dafür wurden Gefäßsegmentierungsalgorithmen für die beiden häufigsten Arten der Ultraschallbildgebung B-Mode und Power Doppler entwickelt. Die vorgeschlagene Kom- bination beider Modalitäten steigerte die Menge an Gefäßverzweigungen im Mittel um 35 %. Für die rigide Registrierung der Gefäße aus dem Ultraschall und CT werden mithilfe eines bestehen- den Graph Matching Verfahrens [OLD11b] im Mittel 9 bijektive Punktkorrespondenzen definiert. Die mittlere Registrierungsgenauigkeit liegt bei 3,45 mm. Die Menge an Punktkorrespondenzen ist für eine deformierbare Registrierung nicht ausreichend. Das entwickelte Verfahren zur Landmarkenverfeinerung fügt zwischen gematchten Punkte weitere Landmarken entlang der Gefäßmittellinien ein und sucht nach weiteren korrespondierenden Gefäß- segmenten wodurch die Zahl der Punktkorrespondenzen im Mittel auf 70 gesteigert wird. Dies erlaubt die Bestimmung der Organdeformation anhand des unterschiedlichen Gefäßverlaufes. Anhand dieser Punktkorrespondenzen kann mithilfe der Thin-Plate-Splines ein Deformationsfeld für das gesamte Organ berechnet werden. Auf diese Weise wird die Genauigkeit der Registrierung im Mittel um 44 % gesteigert. Die wichtigste Voraussetzung für das Gelingen der deformierbaren Registrierung ist eine möglichst umfassende Segmentierung der Gefäße aus dem Ultraschall. Im Rahmen der Arbeit wurde erstmals der Begriff der Regmentation auf die Segmentierung von Gefäßen und die gefäßbasierte Registrie- rung ausgeweitet. Durch diese Kombination beider Verfahren wurde die extrahierte Gefäßlänge im Mittel um 32 % gesteigert, woraus ein Anstieg der Anzahl korrespondierender Landmarken auf 98 resultiert. Hierdurch lässt sich die Deformation des Organs und somit auch die Lageveränderung des Tumors genauer und mit höherer Sicherheit bestimmen. Mit dem Wissen über die Lage des Tumors im Organ und durch Verwendung eines Markierungs- drahtes kann die Lageveränderung des Tumors während der chirurgischen Manipulation mit einem elektromagnetischen Trackingsystem überwacht werden. Durch dieses Tumortracking wird eine permanente Visualisierung mittels Video Overlay im laparoskopischen Videobild möglich. Die wichtigsten Beiträge dieser Arbeit zur gefäßbasierten Registrierung sind die Gefäßsegmen- tierung aus Ultraschallbilddaten, die Landmarkenverfeinerung zur Gewinnung einer hohen Anzahl bijektiver Punktkorrespondenzen und die Einführung der Regmentation zur Verbesserung der Ge- fäßsegmentierung und der deformierbaren Registrierung. Das Tumortracking für die Navigation ermöglicht die permanente Visualisierung des Tumors während des gesamten Eingriffes