Visualización 3D de grandes cantidades de datos 3D para la prevención frente a desastres naturales: una revisión de la literatura

La visualización de datos 3D es un aspecto muy importante para varios campos de trabajo como la arquitectura, minería, videojuegos, diseño gráfico, geografía, etc. En especial en este último, la geografía, el cual a diario necesita visualizar información topográfica para hacer un estudio previo de los terrenos sin la necesidad de estar presente. En Perú, el uso información 3D por parte de los geógrafos para analizar terrenos a detalle, se ha vuelto una actividad de mucha importancia, debido a que el país es muy propenso a sufrir de fenómenos naturales como el fenómeno del Niño. Esta información topográfica suele ser de superficies de un gran tamaño que pueden llegar hasta un área de 7000 hectáreas, por lo que se necesita de procesar una inmensa cantidad de información 3D. Es por esto que el presente trabajo de investigación se centra en revisar la literatura para lograr una visualización de grandes cantidades de datos 3D. En primer lugar, se revisará cómo es que se deben guardar y organizar los datos 3D para que puedan ser fácilmente extraídos por el visualizador y qué tipo de estructura de datos es la mejor para este tipo de trabajos. En segundo lugar, se revisarán los métodos que existen actualmente para poder renderizar los datos 3D de forma fluida, con el objetivo de logar una visualización interactiva del usuario sin exigir tantos recursos. Por último, se presentarán las conclusiones de los dos puntos mencionados anteriormente y se explicarán cuáles son los mejores métodos para realizar el proyecto de visualización de grandes cantidades de datos 3D.Trabajo de investigació

Multi feature-rich synthetic colour to improve human visual perception of point clouds

Although point features have shown their usefulness in classification with Machine Learning, point cloud visualization enhancement methods focus mainly on lighting. The visualization of point features helps to improve the perception of the 3D environment. This paper proposes Multi Feature-Rich Synthetic Colour (MFRSC) as an alternative non-photorealistic colour approach of natural-coloured point clouds. The method is based on the selection of nine features (reflectance, return number, inclination, depth, height, point density, linearity, planarity, and scattering) associated with five human perception descriptors (edges, texture, shape, size, depth, orientation). The features are reduced to fit the RGB display channels. All feature permutations are analysed according to colour distance with the natural-coloured point cloud and Image Quality Assessment. As a result, the selected feature permutations allow a clear visualization of the scene's rendering objects, highlighting edges, planes, and volumetric objects. MFRSC effectively replaces natural colour, even with less distorted visualization according to BRISQUE, NIQUE and PIQE. In addition, the assignment of features in RGB channels enables the use of MFRSC in software that does not support colorization based on point attributes (most commercially available software). MFRSC can be combined with other non-photorealistic techniques such as Eye-Dome Lighting or Ambient Occlusion.Xunta de Galicia | Ref. ED481B-2019-061Xunta de Galicia | Ref. ED431F 2022/08Agencia Estatal de Investigación | Ref. PID2019-105221RB-C43Universidade de Vigo/CISU

Fachlich erweiterbare 3D-Stadtmodelle – Management, Visualisierung und Interaktion

Domain-extendable semantic 3D city models are complex mappings and inventories of the urban environment which can be utilized as an integrative information backbone to facilitate a range of application fields like urban planning, environmental simulations, disaster management, and energy assessment. Today, more and more countries and cities worldwide are creating their own 3D city models based on the CityGML specification which is an international standard issued by the Open Geospatial Consortium (OGC) to provide an open data model and XML-based format for describing the relevant urban objects with regards to their 3D geometry, topology, semantics, and appearance. It especially provides a flexible and systematic extension mechanism called “Application Domain Extension (ADE)” which allows third parties to dynamically extend the existing CityGML definitions with additional information models from different application domains for representing the extended or newly introduced geographic object types within a common framework. However, due to the consequent large size and high model complexity, the practical utilization of country-wide CityGML datasets has posed a tremendous challenge regarding the setup of an extensive application system to support the efficient data storage, analysis, management, interaction, and visualization. These requirements have been partly solved by the existing free 3D geo-database solution called ‘3D City Database (3DCityDB)’ which offers a rich set of functionalities for dealing with standard CityGML data models, but lacked the support for CityGML ADEs. The key motivation of this thesis is to develop a reliable approach for extending the existing database solution to support the efficient management, visualization, and interaction of large geospatial data elements of arbitrary CityGML ADEs. Emphasis is first placed on answering the question of how to dynamically extend the relational database schema by parsing and interpreting the XML schema files of the ADE and dynamically create new database tables accordingly. Based on a comprehensive survey of the related work, a new graph-based framework has been proposed which uses typed and attributed graphs for semantically representing the object-oriented data models of CityGML ADEs and utilizes graph transformation systems to automatically generate compact table structures extending the 3DCityDB. The transformation process is performed by applying a series of fine-grained graph transformation rules which allow users to declaratively describe the complex mapping rules including the optimization concepts that are employed in the development of the 3DCityDB database schema. The second major contribution of this thesis is the development of a new multi-level system which can serve as a complete and integrative platform for facilitating the various analysis, simulation, and modification operations on the complex-structured 3D city models based on CityGML and 3DCityDB. It introduces an additional application level based on a so-called ‘app-concept’ that allows for constructing a light-weight web application to reach a good balance between the high data model complexity and the specific application requirements of the end users. Each application can be easily built on top of a developed 3D web client whose functionalities go beyond the efficient 3D geo-visualization and interactive exploration, and also allows for performing collaborative modifications and analysis of 3D city models by taking advantage of the Cloud Computing technology. This multi-level system along with the extended 3DCityDB have been successfully utilized and evaluated by many practical projects.Fachlich erweiterbare semantische 3D-Stadtmodelle sind komplexe Abbildungen und Datenbestände der städtischen Umgebung, die als ein integratives Informationsrückgrat genutzt werden können, um eine Reihe von Anwendungsfeldern wie z. B. Stadtplanung, Umweltsimulationen, Katastrophenmanagement und Energiebewertung zu ermöglichen. Heute schaffen immer mehr Länder und Städte weltweit ihre eigenen 3D-Stadtmodelle auf Basis des internationalen Standards CityGML des Open Geospatial Consortium (OGC), um ein offenes Datenmodell und ein XML-basiertes Format zur Beschreibung der relevanten Stadtobjekte in Bezug auf ihre 3D-Geometrien, Topologien, Semantik und Erscheinungen zur Verfügung zu stellen. Es bietet insbesondere einen flexiblen und systematischen Erweiterungsmechanismus namens „Application Domain Extension“ (ADE), der es Dritten ermöglicht, die bestehenden CityGML-Definitionen mit zusätzlichen Informationsmodellen aus verschiedenen Anwendungsdomänen dynamisch zu erweitern, um die erweiterten oder neu eingeführten Stadtobjekt-Typen innerhalb eines gemeinsamen Framework zu repräsentieren. Aufgrund der konsequent großen Datenmenge und hohen Modellkomplexität bei der praktischen Nutzung der landesweiten CityGML-Datensätze wurden jedoch enorme Anforderungen an den Aufbau eines umfangreichen Anwendungssystems zur Unterstützung der effizienten Speicherung, Analyse, Verwaltung, Interaktion und Visualisierung der Daten gestellt. Die bestehende kostenlose 3D-Geodatenbank-Lösung „3D City Database“ (3DCityDB) entsprach bereits teilweise diesen Anforderungen, indem sie zwar eine umfangreiche Funktionalität für den Umgang mit den Standard-CityGML-Datenmodellen, jedoch keine Unterstützung für CityGML-ADEs bietet. Die Schlüsselmotivation für diese Arbeit ist es, einen zuverlässigen Ansatz zur Erweiterung der bestehenden Datenbanklösung zu entwickeln, um das effiziente Management, die Visualisierung und Interaktion großer Datensätze beliebiger CityGML-ADEs zu unterstützen. Der Schwerpunkt liegt zunächst auf der Beantwortung der Schlüsselfrage, wie man das relationale Datenbankschema dynamisch erweitern kann, indem die XML-Schemadateien der ADE analysiert und interpretiert und anschließend dem entsprechende neue Datenbanktabellen erzeugt werden. Auf Grundlage einer umfassenden Studie verwandter Arbeiten wurde ein neues graphbasiertes Framework entwickelt, das die typisierten und attributierten Graphen zur semantischen Darstellung der objektorientierten Datenmodelle von CityGML-ADEs verwendet und anschließend Graphersetzungssysteme nutzt, um eine kompakte Tabellenstruktur zur Erweiterung der 3DCityDB zu generieren. Der Transformationsprozess wird durch die Anwendung einer Reihe feingranularer Graphersetzungsregeln durchgeführt, die es Benutzern ermöglicht, die komplexen Mapping-Regeln einschließlich der Optimierungskonzepte aus der Entwicklung des 3DCityDB-Datenbankschemas deklarativ zu formalisieren. Der zweite wesentliche Beitrag dieser Arbeit ist die Entwicklung eines neuen mehrstufigen Systemkonzepts, das auf CityGML und 3DCityDB basiert und gleichzeitig als eine komplette und integrative Plattform zur Erleichterung der Analyse, Simulationen und Modifikationen der komplex strukturierten 3D-Stadtmodelle dienen kann. Das Systemkonzept enthält eine zusätzliche Anwendungsebene, die auf einem sogenannten „App-Konzept“ basiert, das es ermöglicht, eine leichtgewichtige Applikation bereitzustellen, die eine gute Balance zwischen der hohen Modellkomplexität und den spezifischen Anwendungsanforderungen der Endbenutzer erreicht. Jede Applikation lässt sich ganz einfach mittels eines bereits entwickelten 3D-Webclients aufbauen, dessen Funktionalitäten über die effiziente 3D-Geo-Visualisierung und interaktive Exploration hinausgehen und auch die Durchführung kollaborativer Modifikationen und Analysen von 3D-Stadtmodellen mit Hilfe von der Cloud-Computing-Technologie ermöglichen. Dieses mehrstufige System zusammen mit dem erweiterten 3DCityDB wurde erfolgreich in vielen praktischen Projekten genutzt und bewertet

Le nuage de point intelligent

Discrete spatial datasets known as point clouds often lay the groundwork for decision-making applications. E.g., we can use such data as a reference for autonomous cars and robot’s navigation, as a layer for floor-plan’s creation and building’s construction, as a digital asset for environment modelling and incident prediction... Applications are numerous, and potentially increasing if we consider point clouds as digital reality assets. Yet, this expansion faces technical limitations mainly from the lack of semantic information within point ensembles. Connecting knowledge sources is still a very manual and time-consuming process suffering from error-prone human interpretation. This highlights a strong need for domain-related data analysis to create a coherent and structured information. The thesis clearly tries to solve automation problematics in point cloud processing to create intelligent environments, i.e. virtual copies that can be used/integrated in fully autonomous reasoning services. We tackle point cloud questions associated with knowledge extraction – particularly segmentation and classification – structuration, visualisation and interaction with cognitive decision systems. We propose to connect both point cloud properties and formalized knowledge to rapidly extract pertinent information using domain-centered graphs. The dissertation delivers the concept of a Smart Point Cloud (SPC) Infrastructure which serves as an interoperable and modular architecture for a unified processing. It permits an easy integration to existing workflows and a multi-domain specialization through device knowledge, analytic knowledge or domain knowledge. Concepts, algorithms, code and materials are given to replicate findings and extend current applications.Les ensembles discrets de données spatiales, appelés nuages de points, forment souvent le support principal pour des scénarios d’aide à la décision. Par exemple, nous pouvons utiliser ces données comme référence pour les voitures autonomes et la navigation des robots, comme couche pour la création de plans et la construction de bâtiments, comme actif numérique pour la modélisation de l'environnement et la prédiction d’incidents... Les applications sont nombreuses et potentiellement croissantes si l'on considère les nuages de points comme des actifs de réalité numérique. Cependant, cette expansion se heurte à des limites techniques dues principalement au manque d'information sémantique au sein des ensembles de points. La création de liens avec des sources de connaissances est encore un processus très manuel, chronophage et lié à une interprétation humaine sujette à l'erreur. Cela met en évidence la nécessité d'une analyse automatisée des données relatives au domaine étudié afin de créer une information cohérente et structurée. La thèse tente clairement de résoudre les problèmes d'automatisation dans le traitement des nuages de points pour créer des environnements intelligents, c'est-àdire des copies virtuelles qui peuvent être utilisées/intégrées dans des services de raisonnement totalement autonomes. Nous abordons plusieurs problématiques liées aux nuages de points et associées à l'extraction des connaissances - en particulier la segmentation et la classification - la structuration, la visualisation et l'interaction avec les systèmes cognitifs de décision. Nous proposons de relier à la fois les propriétés des nuages de points et les connaissances formalisées pour extraire rapidement les informations pertinentes à l'aide de graphes centrés sur le domaine. La dissertation propose le concept d'une infrastructure SPC (Smart Point Cloud) qui sert d'architecture interopérable et modulaire pour un traitement unifié. Elle permet une intégration facile aux flux de travail existants et une spécialisation multidomaine grâce aux connaissances liée aux capteurs, aux connaissances analytiques ou aux connaissances de domaine. Plusieurs concepts, algorithmes, codes et supports sont fournis pour reproduire les résultats et étendre les applications actuelles.Diskrete räumliche Datensätze, so genannte Punktwolken, bilden oft die Grundlage für Entscheidungsanwendungen. Beispielsweise können wir solche Daten als Referenz für autonome Autos und Roboternavigation, als Ebene für die Erstellung von Grundrissen und Gebäudekonstruktionen, als digitales Gut für die Umgebungsmodellierung und Ereignisprognose verwenden... Die Anwendungen sind zahlreich und nehmen potenziell zu, wenn wir Punktwolken als Digital Reality Assets betrachten. Allerdings stößt diese Erweiterung vor allem durch den Mangel an semantischen Informationen innerhalb von Punkt-Ensembles auf technische Grenzen. Die Verbindung von Wissensquellen ist immer noch ein sehr manueller und zeitaufwendiger Prozess, der unter fehleranfälliger menschlicher Interpretation leidet. Dies verdeutlicht den starken Bedarf an domänenbezogenen Datenanalysen, um eine kohärente und strukturierte Information zu schaffen. Die Arbeit versucht eindeutig, Automatisierungsprobleme in der Punktwolkenverarbeitung zu lösen, um intelligente Umgebungen zu schaffen, d.h. virtuelle Kopien, die in vollständig autonome Argumentationsdienste verwendet/integriert werden können. Wir befassen uns mit Punktwolkenfragen im Zusammenhang mit der Wissensextraktion - insbesondere Segmentierung und Klassifizierung - Strukturierung, Visualisierung und Interaktion mit kognitiven Entscheidungssystemen. Wir schlagen vor, sowohl Punktwolkeneigenschaften als auch formalisiertes Wissen zu verbinden, um schnell relevante Informationen mithilfe von domänenzentrierten Grafiken zu extrahieren. Die Dissertation liefert das Konzept einer Smart Point Cloud (SPC) Infrastruktur, die als interoperable und modulare Architektur für eine einheitliche Verarbeitung dient. Es ermöglicht eine einfache Integration in bestehende Workflows und eine multidimensionale Spezialisierung durch Gerätewissen, analytisches Wissen oder Domänenwissen. Konzepte, Algorithmen, Code und Materialien werden zur Verfügung gestellt, um Erkenntnisse zu replizieren und aktuelle Anwendungen zu erweitern