Rapid Visualization of Large Point-Based Surfaces

International audiencePoint-Based Surfaces can be directly generated by 3D scanners and avoid the generation and storage of an explicit topology for a sampled geometry, which saves time and storage space for very dense and large objects, such as scanned statues and other archaeological artefacts [Duguet 2004]. We propose a fast processing pipeline of large point-based surfaces for real-time, appearance preserving, polygonal rendering. Our goal is to reduce the time needed between a point set made of hundred of millions samples and a high resolution visualization taking benefit of modern graphics hardware, tuned for normal mapping of polygons. Our approach starts by an out-of-core generation of a coarse local triangulation of the original model. The resulting coarse mesh is enriched by applying a set of maps which capture the high frequency features of the original data set. We choose as an example the normal component of samples for these maps, since normal maps provide efficiently an accurate local illumination. But our approach is also suitable for other point attributes such as color or position (displacement map). These maps come also from an out-of-core process, using the complete input data in a streaming process. Sampling issues of the maps are addressed using an efficient diffusion algorithm in 2D. Our main contribution is to directly handle such large unorganized point clouds through this two pass algorithm, without the time-consuming meshing or parameterization step, required by current state-of-the-art high resolution visualization methods. One of the main advantages is to express most of the fine features present in the original large point clouds as textures in the huge texture memory usually provided by graphics devices, using only a lazy local parameterization. Our technique comes as a complementary tool to high-quality, but costly, out-of-core visualization systems. Direct applications are: interactive preview at high screen resolution of very detailed scanned objects such as scanned statues, inclusion of large point clouds in usual polygonal 3D engines and 3D databases browsing

Gestion de la complexité géométrique dans le calcul d'éclairement pour la présentation publique de scènes archéologiques complexes

International audienceFor cultural heritage, more and more 3D objects are acquired using 3D scanners [Levoy 2000]. The resulting objects are very detailed with a large visual richness but their geometric complexity requires specific methods to render them. We first show how to simplify those objects using a low-resolution mesh with its associated normal maps [Boubekeur 2005] which encode details. Using this representation, we show how to add global illumination with a grid-based and vector-based representation [Pacanowski 2005]. This grid captures efficiently low-frequency indirect illumination. We use 3D textures (for large objects) and 2D textures (for quasi-planar objects) for storing a fixed set of irradiance vectors. These grids are built during a preprocessing step by using almost any existing stochastic global illumination approach. During the rendering step, the indirect illumination within a grid cell is interpolated from its associated irradiance vectors, resulting in a smooth everywhere representation. Furthermore, the vector-based representation offers additional robustness against local variations of geometric properties of the scene.Pour l’étude du patrimoine, de plus en plus d’objets 3D sont acquis par le biais de scanners 3D [Levoy 2000]. Les objets ainsi acquis contiennent de nombreux détails et fournissent une très grande richesse visuelle. Mais pour les afficher, leur très grande complexité géométrique nécessite l’utilisation d’algorithmes spécifiques. Nous montrons ici comment simplifier ces objets par un maillage de faible résolution et une collection de cartes de normales [Boubekeur 2005] pour préserver les détails. Avec cette représentation, nous montrons comment il est possible de calculer un éclairement réaliste à l’aide d’une grille et de données vectorielles [Pacanowski 2005]. Cette grille permet de capturer efficacement les basses fréquences d’un éclairement indirect. Nous utilisons des textures 3D (pour des gros objets) et potentiellement des textures 2D (pour les objets quasi-plans) afin de stocker un nombre prédéterminé de vecteurs d’irradiance. Ces grilles sont calculées au cours d’un pré-calcul à l’aide de n’importe quelle méthode stochastique de calcul d’éclairement global. Pour l’affichage, l’éclairement indirect dû à la grille est interpolé au sein de la cellule associée à la position courante, fournissant ainsi une représentation continue. De plus, cette approche vectorielle permet une plus grande robustesse aux variations locales des propriétés géométriques de la scène

Gestion de la complexité géométrique dans le calcul d'éclairement pour la présentation publique de scènes archéologiques complexes

International audienceFor cultural heritage, more and more 3D objects are acquired using 3D scanners [Levoy 2000]. The resulting objects are very detailed with a large visual richness but their geometric complexity requires specific methods to render them. We first show how to simplify those objects using a low-resolution mesh with its associated normal maps [Boubekeur 2005] which encode details. Using this representation, we show how to add global illumination with a grid-based and vector-based representation [Pacanowski 2005]. This grid captures efficiently low-frequency indirect illumination. We use 3D textures (for large objects) and 2D textures (for quasi-planar objects) for storing a fixed set of irradiance vectors. These grids are built during a preprocessing step by using almost any existing stochastic global illumination approach. During the rendering step, the indirect illumination within a grid cell is interpolated from its associated irradiance vectors, resulting in a smooth everywhere representation. Furthermore, the vector-based representation offers additional robustness against local variations of geometric properties of the scene.Pour l’étude du patrimoine, de plus en plus d’objets 3D sont acquis par le biais de scanners 3D [Levoy 2000]. Les objets ainsi acquis contiennent de nombreux détails et fournissent une très grande richesse visuelle. Mais pour les afficher, leur très grande complexité géométrique nécessite l’utilisation d’algorithmes spécifiques. Nous montrons ici comment simplifier ces objets par un maillage de faible résolution et une collection de cartes de normales [Boubekeur 2005] pour préserver les détails. Avec cette représentation, nous montrons comment il est possible de calculer un éclairement réaliste à l’aide d’une grille et de données vectorielles [Pacanowski 2005]. Cette grille permet de capturer efficacement les basses fréquences d’un éclairement indirect. Nous utilisons des textures 3D (pour des gros objets) et potentiellement des textures 2D (pour les objets quasi-plans) afin de stocker un nombre prédéterminé de vecteurs d’irradiance. Ces grilles sont calculées au cours d’un pré-calcul à l’aide de n’importe quelle méthode stochastique de calcul d’éclairement global. Pour l’affichage, l’éclairement indirect dû à la grille est interpolé au sein de la cellule associée à la position courante, fournissant ainsi une représentation continue. De plus, cette approche vectorielle permet une plus grande robustesse aux variations locales des propriétés géométriques de la scène

Spatial CPU-GPU data structures for interactive rendering of large particle data

In this work, I investigate the interactive visualization of arbitrarily large particle data sets which ft into system memory, but not into GPU memory. With conventional rendering techniques, interactivity of visualizations is drastically reduced when rendering tens- or hundreds of millions of objects. At the same time, graphics hardware memory capabilities limit the size of data sets which can be placed in GPU memory for rendering. To circumvent these obstacles, a progressive rendering approach is employed, which gradually streams and renders all particle data to the GPU without reducing or altering the particle data itself. The particle data is rendered according to a visibility sorting derived from occlusion relations between different parts of the data set, leading to a rendering order of scene contents guided by importance for the rendered image. I analyze and compare possible implementation choices for rendering particles as opaque spheres in OpenGL, which forms the basis of the particle rendering application developed within this work. The application utilizes a multi-threaded architecture, where data preprocessing on a CPU-thread and a rendering algorithm on a GPU-thread ensure that the user can interact with the application at any time. In particular it is guaranteed that the user can explore the particle data interactively, by ensuring minimal latency from user input to seeing the effects of that input. This is achieved by favoring user inputs over completeness of the rendered image at all stages during rendering. At the same time the user is provided with an immediate feedback about interactions by re-projecting all currently visible particles to the next rendered image. The re-projection is realized with an on-GPU particle-cache of visible particles that is built during particle data streaming and rendering, and drawn upon user interaction using the most recent camera confguration according to user inputs. The combination of the developed techniques allows interactive exploration of particle data sets with up to 1.5 billion particles on a commodity computer.In dieser Arbeit wird die interaktive Visualisierung beliebig großer Partikeldaten untersucht, wobei die Partikeldaten im Arbeitsspeicher hinterlegt sind, aber nicht zwangsläufig in den Grafikspeicher passen. Mit üblichen Rendering Methoden büßen Visualisierungen drastisch an Interaktivität ein, wenn mehrere zehn- bis hunderte Millionen Objekte dargestellt werden. Gleichzeitig ist die Größe möglicher zu visualisierender Datensätze begrenzt durch den Videospeicher von Grafikkarten, auf dem zu visualisierende Daten vorliegen müssen. Um diese Einschränkungen zu umgehen, wird in dieser Arbeit ein progressiver Rendering Ansatz verfolgt, der sukzessive alle Partikeldaten zur Grafikkarte hochlädt und rendert, ohne die Partikeldaten zu reduzieren oder anderweitig zu verändern. Die Partikeldaten werden entsprechend einer vorgenommenen Sichtbarkeitssortierung gerendert, die aus gegenseitigen Verdeckungen verschiedener Teile des Partikeldatensatzes berechnet wird. Dies führt dazu, dass Teile der Szene nach ihrer Wichtigkeit für das aktuelle Bild sortiert und dargestellt werden. Es werden verschiedene Möglichkeiten analysiert und verglichen, Partikel als opake Kugeln in OpenGL zu rendern. Dies formt die Grundlage für die Partikel-Rendering Software, die in dieser Arbeit entwickelt wurde. Die Architektur der Rendering-Software benutzt mehrere Threads, sodass durch eine Daten-Vorverarbeitung auf einem CPUThread und durch Rendering-Algorithmen auf einem GPU-Thread sichergestellt ist, dass der Benutzer mit der Software jederzeit interagieren kann. Insbesondere ist sichergestellt, dass der Benutzer die Partikeldaten interaktiv untersuchen kann, indem die Latenz zwischen Benutzereingaben und dem Anzeigen der daraus resultierenden Veränderungen minimal gehalten wird. Dies wird erreicht indem der Verarbeitung von Benutzereingaben an allen Stellen des Rendering-Prozesses höhere Priorität eingeräumt wird als der Vollständigkeit des gerenderten Bildes. Gleichzeitig wird dem Benutzer eine sofortige Rückmeldung über getätigte Benutzereingaben gegeben, indem alle sichtbaren Partikel in das nächste gerenderte Bild neu projeziert werden. Diese Neu-Projektion wird durch einen GPU-seitigen Partikel-Cache aller aktuell sichtbaren Partikel realisiert, der während des sukzessiven Partikelstreamings und -renderns aufgebaut wird. Sobald der Benutzer eine Eingabe tätigt, wird der auf der GPU liegende Partikel-Cache unter der aktuellsten benutzerdefinierten Kameraposition neu gerendert. Die Kombination dieser entwickelten Methoden erlaubt ein interaktives Betrachten von Partikeldaten mit bis zu 1,5 Milliarden Partikeln auf einem handelsüblichen Computer

Hierarchical processing, editing and rendering of acquired geometry

La représentation des surfaces du monde réel dans la mémoire d’une machine peut désormais être obtenue automatiquement via divers périphériques de capture tels que les scanners 3D. Ces nouvelles sources de données, précises et rapides, amplifient de plusieurs ordres de grandeur la résolution des surfaces 3D, apportant un niveau de précision élevé pour les applications nécessitant des modèles numériques de surfaces telles que la conception assistée par ordinateur, la simulation physique, la réalité virtuelle, l’imagerie médicale, l’architecture, l’étude archéologique, les effets spéciaux, l’animation ou bien encore les jeux video. Malheureusement, la richesse de la géométrie produite par ces méthodes induit une grande, voire gigantesque masse de données à traiter, nécessitant de nouvelles structures de données et de nouveaux algorithmes capables de passer à l’échelle d’objets pouvant atteindre le milliard d’échantillons. Dans cette thèse, je propose des solutions performantes en temps et en espace aux problèmes de la modélisation, du traitement géométrique, de l’édition intéractive et de la visualisation de ces surfaces 3D complexes. La méthodologie adoptée pendant l’élaboration transverse de ces nouveaux algorithmes est articulée autour de 4 éléments clés : une approche hiérarchique systématique, une réduction locale de la dimension des problèmes, un principe d’échantillonage-reconstruction et une indépendance à l’énumération explicite des relations topologiques aussi appelée approche basée-points. En pratique, ce manuscrit propose un certain nombre de contributions, parmi lesquelles : une nouvelle structure hiérarchique hybride de partitionnement, l’Arbre Volume-Surface (VS-Tree) ainsi que de nouveaux algorithmes de simplification et de reconstruction ; un système d’édition intéractive de grands objets ; un noyau temps-réel de synthèse géométrique par raffinement et une structure multi-résolution offrant un rendu efficace de grands objets. Ces structures, algorithmes et systèmes forment une chaîne capable de traiter les objets en provenance du pipeline d’acquisition, qu’ils soient représentés par des nuages de points ou des maillages, possiblement non 2-variétés. Les solutions obtenues ont été appliquées avec succès aux données issues des divers domaines d’application précités.Digital representations of real-world surfaces can now be obtained automatically using various acquisition devices such as 3D scanners and stereo camera systems. These new fast and accurate data sources increase 3D surface resolution by several orders of magnitude, borrowing higher precision to applications which require digital surfaces. All major computer graphics applications can take benefit of this automatic modeling process, including: computer-aided design, physical simulation, virtual reality, medical imaging, architecture, archaeological study, special effects, computer animation and video games. Unfortunately, the richness of the geometry produced by these media comes at the price of a large, possibility gigantic, amount of data which requires new efficient data structures and algorithms offering scalability for processing such objects. This thesis proposes time and space efficient solutions for modeling, editing and rendering such complex surfaces, solving these problems with new algorithms sharing 4 fundamental elements: a systematic hierarchical approach, a local dimension reduction, a sampling-reconstruction paradigm and a pointbased basis. Basically, this manuscript proposes several contributions, including: a new hierarchical space subdivision structure, the Volume-Surface Tree, for geometry processing such as simplification and reconstruction; a streaming system featuring new algorithms for interactive editing of large objects, an appearancepreserving multiresolution structure for efficient rendering of large point-based surfaces, and a generic kernel for real-time geometry synthesis by refinement. These elements form a pipeline able to process acquired geometry, either represented by point clouds or non-manifold meshes. Effective results have been successfully obtained with data coming from the various applications mentioned

Interdisziplinäre Kooperation bei der Erstellung virtueller geschichtswissenschaftlicher 3D-Rekonstruktionen

Virtuelle 3D-Modelle finden in den historischen Disziplinen in zweierlei Art Verwendung. Zum einen dienen diese zur Erfassung und Digitalisierung existierender historischer Objekte. Daneben dient die Erstellung von virtuellen 3D-Rekonstruktionen der Nachbildung nicht mehr existierender Objekte und Strukturen. Während technische Abläufe beider Ansätze ebenso wie methodische und wissenschaftstheoretische Aspekte in der Fachliteratur häufig und umfassend thematisiert werden, ist eine Frage nach sozialen Aspekten und sozialer Interaktion im Kontext derartiger Vorhaben bisher unbeleuchtet geblieben. Ziel der Arbeit stellt dar, eine Bandbreite und Relevanz von Aspekten der Kooperation als „Zusammenarbeit mit gemeinsamem Ziel, gegenseitiger Abstimmung, planvollem Vorgehen sowie Vorteilen für alle Akteure“ (Hagenhoff, 2004) im Kontext derartiger geschichtswissenschaftlicher 3D-Modellierungsvorhaben mittels sozialwissenschaftlicher Methoden zu beleuchten. Dabei zielt eine Darlegung auf unterschiedliche Skalierungen von Kooperation ab – angefangen bei einer Wissenschaftslandschaft über Kooperationsstrukturen bis hin zu einer Betrachtung von spezifischen Kooperationsphänomenen und -strategien innerhalb von Arbeits- und Erstellungsprozessen