Software Visualization in 3D: Implementation, Evaluation, and Applicability

The focus of this thesis is on the implementation, the evaluation and the useful application of the third dimension in software visualization. Software engineering is characterized by a complex interplay of different stakeholders that produce and use several artifacts. Software visualization is used as one mean to address this increasing complexity. It provides role- and task-specific views of artifacts that contain information about structure, behavior, and evolution of a software system in its entirety. The main potential of the third dimension is the possibility to provide multiple views in one software visualization for all three aspects. However, empirical findings concerning the role of the third dimension in software visualization are rare. Furthermore, there are only few 3D software visualizations that provide multiple views of a software system including all three aspects. Finally, the current tool support lacks of generating easy integrateable, scalable, and platform independent 2D, 2.5D, and 3D software visualizations automatically. Hence, the objective is to develop a software visualization that represents all important structural entities and relations of a software system, that can display behavioral and evolutionary aspects of a software system as well, and that can be generated automatically. In order to achieve this objective the following research methods are applied. A literature study is conducted, a software visualization generator is conceptualized and prototypically implemented, a structured approach to plan and design controlled experiments in software visualization is developed, and a controlled experiment is designed and performed to investigate the role of the third dimension in software visualization. The main contributions are an overview of the state-of-the-art in 3D software visualization, a structured approach including a theoretical model to control influence factors during controlled experiments in software visualization, an Eclipse-based generator for producing automatically role- and task-specific 2D, 2.5D, and 3D software visualizations, the controlled experiment investigating the role of the third dimension in software visualization, and the recursive disk metaphor combining the findings with focus on the structure of software including useful applications of the third dimension regarding behavior and evolution

Configurable nD-visualization for complex Building Information Models

With the ongoing development of building information modelling (BIM) towards a comprehensive coverage of all construction project information in a semantically explicit way, visual representations became decoupled from the building information models. While traditional construction drawings implicitly contained the visual representation besides the information, nowadays they are generated on the fly, hard-coded in software applications dedicated to other tasks such as analysis, simulation, structural design or communication. Due to the abstract nature of information models and the increasing amount of digital information captured during construction projects, visual representations are essential for humans in order to access the information, to understand it, and to engage with it. At the same time digital media open up the new field of interactive visualizations. The full potential of BIM can only be unlocked with customized task-specific visualizations, with engineers and architects actively involved in the design and development process of these visualizations. The visualizations must be reusable and reliably reproducible during communication processes. Further, to support creative problem solving, it must be possible to modify and refine them. This thesis aims at reconnecting building information models and their visual representations: on a theoretic level, on the level of methods and in terms of tool support. First, the research seeks to improve the knowledge about visualization generation in conjunction with current BIM developments such as the multimodel. The approach is based on the reference model of the visualization pipeline and addresses structural as well as quantitative aspects of the visualization generation. Second, based on the theoretic foundation, a method is derived to construct visual representations from given visualization specifications. To this end, the idea of a domain-specific language (DSL) is employed. Finally, a software prototype proofs the concept. Using the visualization framework, visual representations can be generated from a specific building information model and a specific visualization description.Mit der fortschreitenden Entwicklung des Building Information Modelling (BIM) hin zu einer umfassenden Erfassung aller Bauprojektinformationen in einer semantisch expliziten Weise werden Visualisierungen von den Gebäudeinformationen entkoppelt. Während traditionelle Architektur- und Bauzeichnungen die visuellen Reprä̈sentationen implizit als Träger der Informationen enthalten, werden sie heute on-the-fly generiert. Die Details ihrer Generierung sind festgeschrieben in Softwareanwendungen, welche eigentlich für andere Aufgaben wie Analyse, Simulation, Entwurf oder Kommunikation ausgelegt sind. Angesichts der abstrakten Natur von Informationsmodellen und der steigenden Menge digitaler Informationen, die im Verlauf von Bauprojekten erfasst werden, sind visuelle Repräsentationen essentiell, um sich die Information erschließen, sie verstehen, durchdringen und mit ihnen arbeiten zu können. Gleichzeitig entwickelt sich durch die digitalen Medien eine neues Feld der interaktiven Visualisierungen. Das volle Potential von BIM kann nur mit angepassten aufgabenspezifischen Visualisierungen erschlossen werden, bei denen Ingenieur*innen und Architekt*innen aktiv in den Entwurf und die Entwicklung dieser Visualisierungen einbezogen werden. Die Visualisierungen müssen wiederverwendbar sein und in Kommunikationsprozessen zuverlässig reproduziert werden können. Außerdem muss es möglich sein, Visualisierungen zu modifizieren und neu zu definieren, um das kreative Problemlösen zu unterstützen. Die vorliegende Arbeit zielt darauf ab, Gebäudemodelle und ihre visuellen Repräsentationen wieder zu verbinden: auf der theoretischen Ebene, auf der Ebene der Methoden und hinsichtlich der unterstützenden Werkzeuge. Auf der theoretischen Ebene trägt die Arbeit zunächst dazu bei, das Wissen um die Erstellung von Visualisierungen im Kontext von Bauprojekten zu erweitern. Der verfolgte Ansatz basiert auf dem Referenzmodell der Visualisierungspipeline und geht dabei sowohl auf strukturelle als auch auf quantitative Aspekte des Visualisierungsprozesses ein. Zweitens wird eine Methode entwickelt, die visuelle Repräsentationen auf Basis gegebener Visualisierungsspezifikationen generieren kann. Schließlich belegt ein Softwareprototyp die Realisierbarkeit des Konzepts. Mit dem entwickelten Framework können visuelle Repräsentationen aus jeweils einem spezifischen Gebäudemodell und einer spezifischen Visualisierungsbeschreibung generiert werden

Adaptivity of 3D web content in web-based virtual museums : a quality of service and quality of experience perspective

The 3D Web emerged as an agglomeration of technologies that brought the third dimension to the World Wide Web. Its forms spanned from being systems with limited 3D capabilities to complete and complex Web-Based Virtual Worlds. The advent of the 3D Web provided great opportunities to museums by giving them an innovative medium to disseminate collections' information and associated interpretations in the form of digital artefacts, and virtual reconstructions thus leading to a new revolutionary way in cultural heritage curation, preservation and dissemination thereby reaching a wider audience. This audience consumes 3D Web material on a myriad of devices (mobile devices, tablets and personal computers) and network regimes (WiFi, 4G, 3G, etc.). Choreographing and presenting 3D Web components across all these heterogeneous platforms and network regimes present a significant challenge yet to overcome. The challenge is to achieve a good user Quality of Experience (QoE) across all these platforms. This means that different levels of fidelity of media may be appropriate. Therefore, servers hosting those media types need to adapt to the capabilities of a wide range of networks and devices. To achieve this, the research contributes the design and implementation of Hannibal, an adaptive QoS & QoE-aware engine that allows Web-Based Virtual Museums to deliver the best possible user experience across those platforms. In order to ensure effective adaptivity of 3D content, this research furthers the understanding of the 3D web in terms of Quality of Service (QoS) through empirical investigations studying how 3D Web components perform and what are their bottlenecks and in terms of QoE studying the subjective perception of fidelity of 3D Digital Heritage artefacts. Results of these experiments lead to the design and implementation of Hannibal

Visualización del contenido de grafos de conocimiento del patrimonio cultural

Esta tesis integra dos áreas científicas, la de las Ciencias Humanas y la de Ciencia y Tecnología. Dentro de las Ciencias Humanas está relacionada con la semantización y visualización de la información de datos del Patrimonio. En cuanto a la Ciencia y Tecnología, este trabajo está relacionado con grafos de conocimiento, diseño de ontologías y la visualización interactiva en tiempo real de datos en dos y tres dimensiones, mediante plataformas web. Tal y como se expone en esta tesis, en la última década ha crecido enormemente la digitalización de los objetos del patrimonio cultural. Este proceso, no se refiere únicamente a digitalizar mediante imágenes, reconocimiento de texto, o modelos 3D, de este tipo de objetos. También comprende el mantenimiento de toda la información posible relacionada con los objetos, su publicación y relación con otras entidades (personas, hechos, materiales, etc.) y la accesibilidad de los mismos a otras personas y/o sistemas informáticos. Por ello, muchos de los datos de objetos son soportados por grafos de conocimiento, que implementan modelos que representan este tipo de información. A pesar de que hay mucha información soportada en diferentes grafos de conocimiento, queda mucho que hacer en este proceso de digitalización del patrimonio. En la actualidad todavía existen grandes cantidades de objetos que aún no están digitalizados. Además, muchos de los datos informatizados no están disponibles públicamente, y usan medios propietarios para representar la información, lo que dificulta su acceso y tratamiento. Debido a que muchos trabajos de investigación se han desarrollado de forma paralela, y/o se han enfocado en las particularidades del mismo, se han digitalizado, y en ocasiones creado desde cero, todo tipo de vocabularios para manejar la información de tipologías, materiales, técnicas, épocas, ubicaciones, etc., relacionado con estos objetos, muchos de ellos con información duplicada. Además, el modelo más utilizado para representar este tipo de datos es el CIDOC-CRM, aún necesita mayor definición para representar algunos procesos importantes relacionados con estos objetos, y tiene una complejidad excesiva. Por estos motivos, existen otros modelos alternativos que también se están utilizando. Debido también a la rapidez de este proceso de digitalización, se ha manifestado en esta década la necesidad de visualizar grandes cantidades de información, mediante plataformas web, que permitan visualizar los datos y relaciones de estos objetos, así como su fluctuación a nivel temporal y espacial. Esta necesidad ha generado el desarrollo de varios proyectos, que generalmente la han resuelto de forma concreta, orientándose al contexto del proyecto. Además, los desarrollos de estos proyectos, no suelen ser abiertos, ni reutilizables por otros sistemas. En estos trabajos existen áreas de trabajo que han sido abordadas con poca profundidad, como la visualización de la fluctuación del tiempo de forma simultánea y la visualización de relaciones entre los objetos. Las dificultades relacionadas con el tiempo y el espacio se hacen mayores en los objetos del Patrimonio Cultural. Esto es debido a que en este campo es muy habitual que exista incerteza en la datación de los hechos relacionados con los datos (creación de los objetos, hechos históricos, etc.), al igual que con el lugar en que acontecieron. Es muy normal que existan objetos que se asocie su creación a diferentes regiones, incluso continentes, además de estar datados en diferentes momentos del tiempo, en ocasiones con varios siglos de diferencia. Tras descubrir la problemática existente, la presente tesis tiene como objetivo principal, la definición de un modelo de visualización de datos de patrimonio cultural que estén soportados por un grafo de conocimiento, y una ontología que lo represente, para diseñar y desarrollar un sistema de visualización interactivo web, basado en el contenido de esta ontología. Para alcanzar este objetivo se ha realizado una serie de tareas y obtenido algunos resultados fruto de éstas: - Revisión del estado del arte en varios campos relacionados con las áreas de investigación que se integran en este trabajo. Por una parte, la representación de datos de patrimonio cultural mediante grafos de conocimiento, por otra parte, analizar las técnicas de visualización de datos, especialmente en datos donde el espacio y el tiempo son variables clave. También se han analizado diferentes proyectos de visualización de datos de patrimonio cultural sobre plataformas web. Además, también se ha investigado la definición formal de la visualización de datos mediante ontologías. Por último, se han estudiado y expuesto en el trabajo diferentes herramientas para la gestión de grafos de conocimiento, así como de visualización de datos en dos y tres dimensiones en tiempo real sobre páginas web. - En base a los estudios realizados en el estado del arte, se han expuesto los aspectos necesarios para definir los conceptos de un modelo que defina la visualización de datos de objetos de patrimonio cultural soportados por grafos de conocimiento. - Se ha diseñado una ontología denominada STEVO para representar el modelo de visualización diseñado. Para el proceso de diseño se ha seguido la metodología METHONTOLOGY. - Se ha diseñado la arquitectura de un marco de trabajo capaz de procesar el contenido de la ontología STEVO y poder representar el contenido del dominio de datos, de acorde a lo especificado en STEVO. - Se ha desarrollado una propuesta de implementación del marco de trabajo, mediante tecnología JavaScript y Unity3D. La propuesta de implementación ha sido integrada en dos proyectos de investigación: SILKNOW y Arxiu Valencià del Dissseny, cuyos resultados se han expuesto de forma detallada en esta memoria. Finalmente, la implementación ha sido evaluada en el proyecto SILKNOW, primero mediante una evaluación de usabilidad, mediante la escala SUS, y también con diferentes pruebas de carga sobre los resultados del proyecto SILKNOW. Los resultados de dichas evaluaciones se han descrito detalladamente en esta investigación