Distribución y uso de modelos 3D en la web: ¿estamos listos?

[EN] Digital technologies are now mature for producing high quality digital replicas of Cultural Heritage (CH) assets. The research results produced in the last decade ignitedan impressive evolution and consolidation of the technologies for acquiring high-quality digital three-dimensional (3D)models, encompassing both geometry and color. What remains still an open problem is how to deliver those data and related knowledge to our society. The web is nowadays the main channel for the dissemination of knowledge. Emerging commercial solutions for web-publishing of 3D data are consolidating and becoming a de-facto standard for many applications(e-commerce, industrial products, education, etc.).In this framework, CH is a very specific domain, requiring highly flexible solutions. Some recent experiences arepresented, aimed at providing a support to the archival of archaeological3Ddata, supporting web-based publishing of very high-resolution digitization results and finally enabling the documentation of complex restoration actions. All those examples have been recently implemented on the open-source 3D Heritage Online Presenter (3DHOP)platform, developed at CNR-ISTI[ES] Las tecnologías digitales estánahora maduraspara producir réplicas digitales de alta calidad de valores activos del patrimonio cultural (CH). Los resultados de la investigación producidos en la última década han mostrado una evolución impresionante y una consolidación de las tecnologías para la capturade modelos digitales tridimensionales (3D)de alta calidad, que abarcanla geometríay el color.Lo que queda aún por resolver estárelacionado con la forma de distribuirlos datos y el conocimiento relacionado conla sociedad. La web es hoy en día el principal canal utilizado para divulgarel conocimiento. Las soluciones comerciales nuevas relacionadas con la publicación en la red de datos en 3D se están consolidando y convirtiendo en un estándar de facto para muchas aplicaciones(comercio electrónico, productos industriales, educación, etc.). En este escenario, el patrimonio culturales un dominio muy específico, que requiere soluciones muyflexibles.Se presentan algunas experiencias recientes, destinadasa proporcionar un apoyo al archivo de los datos arqueológicos3D, la publicaciónwebde los resultados de digitalización de muy alta resoluciónque permitenfinalmente la documentación de trabajos de restauracióncomplejos. Todos estos ejemplos se han implementado recientemente en la plataforma 3D Heritage Online Presenter(3DHOP)de código abierto, desarrolladaen el CNR-ISTI.The research leading to these results has received funding from the EU 7th Framework Programme (FP7/2007-2013) under grant agreement no. 654119 (EC "PARTHENOS" project) and EU H2020 Programme (“EMOTIVE: EMOTIve Virtual cultural Experiences through personalized storytelling”, H2020-SC6-CULT-COOP-08-2016) under grant agreement no. 727188.Scopigno, R.; Callieri, M.; Dellepiane, M.; Ponchio, F.; Potenziani, M. (2017). Delivering and using 3D models on the web: are we ready?. Virtual Archaeology Review. 8(17):1-9. https://doi.org/10.4995/var.2017.6405SWORD1981

Visualización 3D de grandes cantidades de datos 3D para la prevención frente a desastres naturales: una revisión de la literatura

La visualización de datos 3D es un aspecto muy importante para varios campos de trabajo como la arquitectura, minería, videojuegos, diseño gráfico, geografía, etc. En especial en este último, la geografía, el cual a diario necesita visualizar información topográfica para hacer un estudio previo de los terrenos sin la necesidad de estar presente. En Perú, el uso información 3D por parte de los geógrafos para analizar terrenos a detalle, se ha vuelto una actividad de mucha importancia, debido a que el país es muy propenso a sufrir de fenómenos naturales como el fenómeno del Niño. Esta información topográfica suele ser de superficies de un gran tamaño que pueden llegar hasta un área de 7000 hectáreas, por lo que se necesita de procesar una inmensa cantidad de información 3D. Es por esto que el presente trabajo de investigación se centra en revisar la literatura para lograr una visualización de grandes cantidades de datos 3D. En primer lugar, se revisará cómo es que se deben guardar y organizar los datos 3D para que puedan ser fácilmente extraídos por el visualizador y qué tipo de estructura de datos es la mejor para este tipo de trabajos. En segundo lugar, se revisarán los métodos que existen actualmente para poder renderizar los datos 3D de forma fluida, con el objetivo de logar una visualización interactiva del usuario sin exigir tantos recursos. Por último, se presentarán las conclusiones de los dos puntos mencionados anteriormente y se explicarán cuáles son los mejores métodos para realizar el proyecto de visualización de grandes cantidades de datos 3D.Trabajo de investigació

Scalable Realtime Rendering and Interaction with Digital Surface Models of Landscapes and Cities

Interactive, realistic rendering of landscapes and cities differs substantially from classical terrain rendering. Due to the sheer size and detail of the data which need to be processed, realtime rendering (i.e. more than 25 images per second) is only feasible with level of detail (LOD) models. Even the design and implementation of efficient, automatic LOD generation is ambitious for such out-of-core datasets considering the large number of scales that are covered in a single view and the necessity to maintain screen-space accuracy for realistic representation. Moreover, users want to interact with the model based on semantic information which needs to be linked to the LOD model. In this thesis I present LOD schemes for the efficient rendering of 2.5d digital surface models (DSMs) and 3d point-clouds, a method for the automatic derivation of city models from raw DSMs, and an approach allowing semantic interaction with complex LOD models. The hierarchical LOD model for digital surface models is based on a quadtree of precomputed, simplified triangle mesh approximations. The rendering of the proposed model is proved to allow real-time rendering of very large and complex models with pixel-accurate details. Moreover, the necessary preprocessing is scalable and fast. For 3d point clouds, I introduce an LOD scheme based on an octree of hybrid plane-polygon representations. For each LOD, the algorithm detects planar regions in an adequately subsampled point cloud and models them as textured rectangles. The rendering of the resulting hybrid model is an order of magnitude faster than comparable point-based LOD schemes. To automatically derive a city model from a DSM, I propose a constrained mesh simplification. Apart from the geometric distance between simplified and original model, it evaluates constraints based on detected planar structures and their mutual topological relations. The resulting models are much less complex than the original DSM but still represent the characteristic building structures faithfully. Finally, I present a method to combine semantic information with complex geometric models. My approach links the semantic entities to the geometric entities on-the-fly via coarser proxy geometries which carry the semantic information. Thus, semantic information can be layered on top of complex LOD models without an explicit attribution step. All findings are supported by experimental results which demonstrate the practical applicability and efficiency of the methods

Real-time rendering of large surface-scanned range data natively on a GPU

This thesis presents research carried out for the visualisation of surface anatomy data stored as large range images such as those produced by stereo-photogrammetric, and other triangulation-based capture devices. As part of this research, I explored the use of points as a rendering primitive as opposed to polygons, and the use of range images as the native data representation. Using points as a display primitive as opposed to polygons required the creation of a pipeline that solved problems associated with point-based rendering. The problems inves tigated were scattered-data interpolation (a common problem with point-based rendering), multi-view rendering, multi-resolution representations, anti-aliasing, and hidden-point re- moval. In addition, an efficient real-time implementation on the GPU was carried out

Algorithms for the reconstruction, analysis, repairing and enhancement of 3D urban models from multiple data sources

Over the last few years, there has been a notorious growth in the field of digitization of 3D buildings and urban environments. The substantial improvement of both scanning hardware and reconstruction algorithms has led to the development of representations of buildings and cities that can be remotely transmitted and inspected in real-time. Among the applications that implement these technologies are several GPS navigators and virtual globes such as Google Earth or the tools provided by the Institut Cartogràfic i Geològic de Catalunya. In particular, in this thesis, we conceptualize cities as a collection of individual buildings. Hence, we focus on the individual processing of one structure at a time, rather than on the larger-scale processing of urban environments. Nowadays, there is a wide diversity of digitization technologies, and the choice of the appropriate one is key for each particular application. Roughly, these techniques can be grouped around three main families: - Time-of-flight (terrestrial and aerial LiDAR). - Photogrammetry (street-level, satellite, and aerial imagery). - Human-edited vector data (cadastre and other map sources). Each of these has its advantages in terms of covered area, data quality, economic cost, and processing effort. Plane and car-mounted LiDAR devices are optimal for sweeping huge areas, but acquiring and calibrating such devices is not a trivial task. Moreover, the capturing process is done by scan lines, which need to be registered using GPS and inertial data. As an alternative, terrestrial LiDAR devices are more accessible but cover smaller areas, and their sampling strategy usually produces massive point clouds with over-represented plain regions. A more inexpensive option is street-level imagery. A dense set of images captured with a commodity camera can be fed to state-of-the-art multi-view stereo algorithms to produce realistic-enough reconstructions. One other advantage of this approach is capturing high-quality color data, whereas the geometric information is usually lacking. In this thesis, we analyze in-depth some of the shortcomings of these data-acquisition methods and propose new ways to overcome them. Mainly, we focus on the technologies that allow high-quality digitization of individual buildings. These are terrestrial LiDAR for geometric information and street-level imagery for color information. Our main goal is the processing and completion of detailed 3D urban representations. For this, we will work with multiple data sources and combine them when possible to produce models that can be inspected in real-time. Our research has focused on the following contributions: - Effective and feature-preserving simplification of massive point clouds. - Developing normal estimation algorithms explicitly designed for LiDAR data. - Low-stretch panoramic representation for point clouds. - Semantic analysis of street-level imagery for improved multi-view stereo reconstruction. - Color improvement through heuristic techniques and the registration of LiDAR and imagery data. - Efficient and faithful visualization of massive point clouds using image-based techniques.Durant els darrers anys, hi ha hagut un creixement notori en el camp de la digitalització d'edificis en 3D i entorns urbans. La millora substancial tant del maquinari d'escaneig com dels algorismes de reconstrucció ha portat al desenvolupament de representacions d'edificis i ciutats que es poden transmetre i inspeccionar remotament en temps real. Entre les aplicacions que implementen aquestes tecnologies hi ha diversos navegadors GPS i globus virtuals com Google Earth o les eines proporcionades per l'Institut Cartogràfic i Geològic de Catalunya. En particular, en aquesta tesi, conceptualitzem les ciutats com una col·lecció d'edificis individuals. Per tant, ens centrem en el processament individual d'una estructura a la vegada, en lloc del processament a gran escala d'entorns urbans. Avui en dia, hi ha una àmplia diversitat de tecnologies de digitalització i la selecció de l'adequada és clau per a cada aplicació particular. Aproximadament, aquestes tècniques es poden agrupar en tres famílies principals: - Temps de vol (LiDAR terrestre i aeri). - Fotogrametria (imatges a escala de carrer, de satèl·lit i aèries). - Dades vectorials editades per humans (cadastre i altres fonts de mapes). Cadascun d'ells presenta els seus avantatges en termes d'àrea coberta, qualitat de les dades, cost econòmic i esforç de processament. Els dispositius LiDAR muntats en avió i en cotxe són òptims per escombrar àrees enormes, però adquirir i calibrar aquests dispositius no és una tasca trivial. A més, el procés de captura es realitza mitjançant línies d'escaneig, que cal registrar mitjançant GPS i dades inercials. Com a alternativa, els dispositius terrestres de LiDAR són més accessibles, però cobreixen àrees més petites, i la seva estratègia de mostreig sol produir núvols de punts massius amb regions planes sobrerepresentades. Una opció més barata són les imatges a escala de carrer. Es pot fer servir un conjunt dens d'imatges capturades amb una càmera de qualitat mitjana per obtenir reconstruccions prou realistes mitjançant algorismes estèreo d'última generació per produir. Un altre avantatge d'aquest mètode és la captura de dades de color d'alta qualitat. Tanmateix, la informació geomètrica resultant sol ser de baixa qualitat. En aquesta tesi, analitzem en profunditat algunes de les mancances d'aquests mètodes d'adquisició de dades i proposem noves maneres de superar-les. Principalment, ens centrem en les tecnologies que permeten una digitalització d'alta qualitat d'edificis individuals. Es tracta de LiDAR terrestre per obtenir informació geomètrica i imatges a escala de carrer per obtenir informació sobre colors. El nostre objectiu principal és el processament i la millora de representacions urbanes 3D amb molt detall. Per a això, treballarem amb diverses fonts de dades i les combinarem quan sigui possible per produir models que es puguin inspeccionar en temps real. La nostra investigació s'ha centrat en les següents contribucions: - Simplificació eficaç de núvols de punts massius, preservant detalls d'alta resolució. - Desenvolupament d'algoritmes d'estimació normal dissenyats explícitament per a dades LiDAR. - Representació panoràmica de baixa distorsió per a núvols de punts. - Anàlisi semàntica d'imatges a escala de carrer per millorar la reconstrucció estèreo de façanes. - Millora del color mitjançant tècniques heurístiques i el registre de dades LiDAR i imatge. - Visualització eficient i fidel de núvols de punts massius mitjançant tècniques basades en imatges