Automatic Image Placement to Provide A Guaranteed frame rate

We present a preprocessing algorithm and run-time system for rendering 3D geometric models at a guaranteed frame rate. Our approach trades off space for frame rate by using images to replace distant geometry. The preprocessing algorithm automatically chooses a subset of the model to display as an image so as to render no more than a specified number of geometric primitives. We also summarize an optimized layered-depth-image warper to display images surrounded by geometry at run time. Furthermore, we show the results of applying our method to accelerate the interactive walkthrough of several complex models

View-dependent Object Simplification and its Application in the case of Billboard Clouds

Slightly modified from the original versionNational audienceIn this Master thesis we will present a new approach to simplify a model representation based on a supplementary knowledge of a region in which the observer is allowed to move, the so-called view cell. The simplified representation should be faster to render, without loosing the similarity to the original objects. To assure this we will present our main contribution, a new error bounding method, which to our best knowledge, allows for the first time to restrain the error of a representation for a given view cell. In particular, a lot of common assumptions that were widely accepted are proven to be inexact. We will show several properties for the 3D case and solve a particular case, as well as a numerical solution for points in 3D. For the 2D case we were able to obtain an exact solution which allows our method to be applied on 2.5 dimensional scenes. Our error bounding method is then used in the context of Billboard Clouds [DDSD03]. Still, our result is more general and thus not at all restricted to this particular usage. The view-dependent Billboard Clouds that we will introduce in this master thesis have several advantages. The error of the representation can be bound and the simplification is very successful; to mention one example a 4480 triangle scene has been simplified to approximately 40 billboards (80 triangles) with a ¼ 5% representation error1, for a centered view cell inside of the scene with a size approximately 1/10 of the bounding diagonal. Most algorithms add ad-hoc criteria to preserve silhouettes, our algorithm preserves them automatically. Other advantages of our method are that it works for any kind of triangulated input and that it is easy to use; only two parameters are needed (simplification error and texture quality). It is completely independent of the view frustum that is used for the observer, which is not very common, as most image based view-dependent simplification methods need a fixed view frustum. Also our method does not share a common problem with most other view cell approaches, where the representation becomes worse when the observer approaches the border of the view cell. The construction of view-dependent Billboard Clouds is mostly based on the original Billboard Cloud approach [DDSD03], but some slight improvements were made with respect to the original algorithm

Occlusion culling et pipeline hybride CPU/GPU pour le rendu temps réel de scènes complexes pour la réalité virtuelle mobile

Le rendu 3D temps réel est devenu ces dernières années un outil indispensable pour tous travaux de modélisation et de maintenance des systèmes mécaniques complexes, pour le développement des jeux sérieux ou ludiques et plus généralement pour toute application de visualisation interactive dans l'industrie, la médecine, l'architecture,... Actuellement, c'est le domaine de prédilection des cartes graphiques en raison de leur architecture spécifiquement conçue pour effectuer des rendus 3D rapides, en particulier grâce à leurs unités de discrétisation et de texture dédiées. Cependant, les applications industrielles sont exécutées sur une large gamme d'ordinateurs, hétérogènes en terme de puissance de calcul. Ces machines ne disposent pas toujours de composants matériels haut de gamme, ce qui restreint leur utilisation pour les applications proposant l'affichage de scènes 3D complexes. Les recherches actuelles sont fortement orientées vers des solutions basées sur les capacités de calcul des cartes graphiques modernes, de haute performance. Au contraire, nous ne supposons pas l'existence systématique de telles cartes sur toutes les architectures et proposons donc d'ajuster notre pipeline de rendu à celles-ci afin d'obtenir un rendu efficace. Notre moteur de rendu s'adapte aux capacités de l'ordinateur, tout en prenant en compte chaque unité de calcul, CPU et GPU. Le but est d'équilibrer au mieux la charge de travail des deux unités afin de permettre un rendu temps réel des scènes complexes, même sur des ordinateurs bas de gamme. Ce pipeline est aisément intégrable à tout moteur de rendu classique et ne nécessite aucune étape de précalculNowadays, 3D real-time rendering has become an essential tool for any modeling work and maintenance of industrial equipment, for the development of serious or fun games, and in general for any visualization application in the domains of industry, medical care, architecture,... Currently, this task is generally assigned to graphics hardware, due to its specific design and its dedicated rasterization and texturing units. However, in the context of industrial applications, a wide range of computers is used, heterogeneous in terms of computation power. These architectures are not always equipped with high-end hardware, which may limit their use for this type of applications. Current research is strongly oriented towards modern high performance graphics hardware-based solutions. On the contrary, we do not assume the existence of such hardware on all architectures. We propose therefore to adapt our pipeline according to the computing architecture in order to obtain an efficient rendering. Our pipeline adapts to the computer's capabilities, taking into account each computing unit, CPU and GPU. The goal is to provide a well-balanced load on the two computing units, thus ensuring a real-time rendering of complex scenes, even on low-end computers. This pipeline can be easily integrated into any conventional rendering system and does not require any precomputation ste

Multiresolution Techniques for Real–Time Visualization of Urban Environments and Terrains

In recent times we are witnessing a steep increase in the availability of data coming from real–life environments. Nowadays, virtually everyone connected to the Internet may have instant access to a tremendous amount of data coming from satellite elevation maps, airborne time-of-flight scanners and digital cameras, street–level photographs and even cadastral maps. As for other, more traditional types of media such as pictures and videos, users of digital exploration softwares expect commodity hardware to exhibit good performance for interactive purposes, regardless of the dataset size. In this thesis we propose novel solutions to the problem of rendering large terrain and urban models on commodity platforms, both for local and remote exploration. Our solutions build on the concept of multiresolution representation, where alternative representations of the same data with different accuracy are used to selectively distribute the computational power, and consequently the visual accuracy, where it is more needed on the base of the user’s point of view. In particular, we will introduce an efficient multiresolution data compression technique for planar and spherical surfaces applied to terrain datasets which is able to handle huge amount of information at a planetary scale. We will also describe a novel data structure for compact storage and rendering of urban entities such as buildings to allow real–time exploration of cityscapes from a remote online repository. Moreover, we will show how recent technologies can be exploited to transparently integrate virtual exploration and general computer graphics techniques with web applications

Achieving efficient real-time virtual reality architectural visualisation

Master'sMASTER OF ARTS (ARCHITECTURE

Méthodes de rendu à base de vidéos et applications à la réalité Virtuelle

Given a set images of the same scene, the goal of video-based rendering methods is to compute new views of this scene from new viewpoints. The user of this system controls the virtual camera's movement through the scene. Nevertheless, the virtual images are computed from static cameras. A first approach is based on a reconstruction of the scene and can provide accurate models but often requires lengthy computation before visualization. Other methods try to achieve real-time rendering. Our main contribution to video-base rendering concerns the plane sweep method which belongs to the latter family. The plane sweep method divides space in parallel planes. Each point of each plane is processed independently in order to know if it lies on the surface of an object of the scene. These informations are used to compute a new view of the scene from a new viewpoint. This method is well suited to an implementation using graphic hardware and thus to reach realtime rendering. Our main contribution to this method concerns the way to consider whether a point of a plane lies on the surface of an object of the scene. We first propose a new scoring method increasing the visual quality of the new images. Compared with previous approaches, this method implies fewer constraints on the position of the virtaul camera, i.e. this camera does not need to lie between the input camera's area. We also present an adaptation of the plane sweep algorithm that handles partial occlusions. According to video-based rendering practical applications in virtual reality, we propose an improvement of the plane sweep method dealing with stereoscopic images computation that provides visualization of the virtual scene in relief. Our enhancement provides the second view with only low additional computation time whereas most of the others techniques require to render the scene twice. This improvement is based on a sharing of the informations common to the two stereoscopic views. Finally, we propose a method that removes pseudoscopic movements in a virtual reality application. These pseudoscopic movements appear when the observer moves in front of the stereoscopic screen. Then the scene roportions seem to be distorted and the observer sees the objects of the scene moving in an anormal way. The method we propose is available either on a classical stereoscopic rendering method or on the Plane Seep algorithm. Every method we propose widely uses graphic harware through to shader programs and provides real-time rendering. These methods only require a standard computer, a video acquisition device and a powerful enough graphic card. There exists a lot of practicalapplications of the plane sweep method, especially in fields like virtual reality, video games, 3d television or security.Etant donné un ensemble de caméras filmant une même scène, le rendu à base de vidéos consiste à générer de nouvelles images de cette scène à partir de nouveaux points de vue. L'utilisateur a ainsi l'impression de pouvoir déplacer une caméra virtuelle dans la scène alors qu'en réalité, toutes les caméras sont fixes. Certaines méthodes de rendu à base de vidéos coûteuses en temps de calcul se basent sur une reconstruction 3d de la scène et produisent des images de très bonne qualité. D'autres méthodes s'orientent plutôt vers le rendu temps réel. C'est dans cette dernière catégorie que s'inscrit la méthode de Plane Sweep sur laquelle porte la majeure partie de nos travaux. Le principe de la méthode des Plane Sweep consiste à discrétiser la scène en plans parallèles et à traiter séparément chaque point de ces plans afin de déterminer s'ils se trouvent ou non sur la surface d'un objet de la scène. Les résultats obtenus permettent de générer une nouvelle image de la scène à partir d'un nouveau point de vue. Cette méthode est particulièrement bien adaptée à une utilisation optimale des ressources de la carte graphique ce qui explique qu'elle permette d'effectuer du rendu en temps réel. Notre principale contribution à cette méthode concerne la façon d'estimer si un point d'un plan représente la surface d'un objet. Nous proposons d'une part un nouveau mode de calcul permettant d'améliorer le résultat visuel tout en rendant la navigation de la caméra virtuelle plus souple. D'autre part, nous présentons une adaptation de la méthode des Plane Sweep permettant de gérer les occlusions partielles. Compte tenu des applications du rendu à base de vidéos en réalité virtuelle, nous proposons une amélioration des Plane Sweep appliquée à la réalité virtuelle avec notamment la création de paires d'images stéréoscopiques permettant de visualiser en relief la scène reconstruite. Notre amélioration consiste à calculer la seconde vue à moindre coût alors qu'une majorité des méthodes concurrentes sont contraintes d'effectuer deux rendus indépendants. Cette amélioration est basée sur un partage des données communes aux deux vues stéréoscopiques. Enfin, dans le cadre de l'utilisation des Plane Sweep en réalité virtuelle, nous présentons une méthode permettant de supprimer les mouvements pseudoscopiques. Ces mouvements pseudoscopiques apparaissent lorsque l'observateur se déplace devant une image stéréoscopique, il ressent alors une distorsion des proportions de la scène virtuelle et voit les objets se déplacer de façon anormale. La méthode de correction que nous proposons est applicable d'une part à des méthodes classiques de rendu d'images de synthèse et d'autre part à la méthode des Plane Sweep. Toutes les méthodes que nous présentons utilisent largement les possibilités du processeur de la carte graphique à l'aide des shader programs et génèrent toutes des images en temps réel. Seuls un ordinateur grand public, un dispositif d'acquisition vidéo et une bonne carte graphique sont suffisants pour les faire fonctionner. Les applications des Plane Sweep sont nombreuses, en particulier dans les domaines de la réalité virtuelle, du jeu vidéo, de la télévision 3d ou de la sécurité