A method for efficient and task oriented configuration of Virtual Reality (VR) models for the analysis of technical systems

The development of products for today’s competitive and rapidly changing market demands the incorporation of digital methods and new technologies. An early evaluation of a product can help the product designer to gain better understanding of the product behaviour in its later life phases. In this paper, we will focus on building the product’s life phase specific models in Virtual Reality (VR) for product evaluation. These will also include the life phase specific actor(s) and environment for the product. A new method based on an MBSE approach will be presented for the description of VR models that can help to reduce the effort needed to create them. The behaviour modelling process based on SysML will be explained using an example model. Moreover, a complete overview of the VR model configuration, its execution and interaction possibilities will be brought to light

Systematic Review of Intelligent Tutoring Systems for Hard Skills Training in Virtual Reality Environments

Advances in immersive virtual reality (I-VR) technology have allowed for the development of I-VR learning environments (I-VRLEs) with increasing fidelity. When coupled with a sufficiently advanced computer tutor agent, such environments can facilitate asynchronous and self-regulated approaches to learning procedural skills in industrial settings. In this study, we performed a systematic review of published solutions involving the use of an intelligent tutoring system (ITS) to support hard skills training in an I-VRLE. For the seven solutions that qualified for the final analysis, we identified the learning context, the implemented system, as well as the perceptual, cognitive, and guidance features of the utilized tutoring agent. Generally, the I-VRLEs emulated realistic work environments or equipment. The solutions featured either embodied or embedded tutor agents. The agents’ perception was primarily based on either learner actions or learner progress. The agents’ guidance actions varied among the solutions, ranging from simple procedural hints to event interjections. Several agents were capable of answering certain specific questions. The cognition of the majority of agents represented variations on branched programming. A central limitation of all the solutions was that none of the reports detailed empirical studies conducted to compare the effectiveness of the developed training and tutoring solutions.Peer reviewe

Designing Guided User Tasks in VR Embodied Experiences

International audienceVirtual reality (VR) offers extraordinary opportunities in user behavior research to study and observe how people interact in immersive 3D environments. A major challenge of designing these 3D experiences and user tasks, however, lies in bridging the inter-relational gaps of perception between the designer, the user, and the 3D scene. Based on Paul Dourish’s theory of embodiment, these gaps of perception are: ontology between the scene representation and the user and designer perception, intersubjectivity from designer to user in task communication, and intentionality from the user’s intentions to the designer’s interpretations.We present the GUsT-3D framework for designing Guided User Tasks in embodied VR experiences, i.e., tasks that require the user to carry out a series of interactions guided by the constraints of the 3D scene. GUsT-3D is implemented as a set of tools that support a 4-step workflow to (1) annotate entities in the scene with names, navigation, and interaction possibilities, (2) define user tasks with interactive and timing constraints, (3) manage scene changes, task progress, and user behavior logging in real-time, and (4) conduct post-scenario analysis through spatio-temporal queries using ontology definitions. To illustrate the diverse possibilities enabled by our framework, we present two case studies with an indoor scene and an outdoor scene, and conducted a formative evaluation involving 6 expert interviews to assess the framework and the implemented workflow. Analysis of the responses show that the GUsT-3D framework fits well into a designer’s creative process, providing a necessary workflow to create, manage, and understand VR embodied experiences of target users

A Framework for the Semantics-aware Modelling of Objects

The evolution of 3D visual content calls for innovative methods for modelling shapes based on their intended usage, function and role in a complex scenario. Even if different attempts have been done in this direction, shape modelling still mainly focuses on geometry. However, 3D models have a structure, given by the arrangement of salient parts, and shape and structure are deeply related to semantics and functionality. Changing geometry without semantic clues may invalidate such functionalities or the meaning of objects or their parts. We approach the problem by considering semantics as the formalised knowledge related to a category of objects; the geometry can vary provided that the semantics is preserved. We represent the semantics and the variable geometry of a class of shapes through the parametric template: an annotated 3D model whose geometry can be deformed provided that some semantic constraints remain satisfied. In this work, we design and develop a framework for the semantics-aware modelling of shapes, offering the user a single application environment where the whole workflow of defining the parametric template and applying semantics-aware deformations can take place. In particular, the system provides tools for the selection and annotation of geometry based on a formalised contextual knowledge; shape analysis methods to derive new knowledge implicitly encoded in the geometry, and possibly enrich the given semantics; a set of constraints that the user can apply to salient parts and a deformation operation that takes into account the semantic constraints and provides an optimal solution. The framework is modular so that new tools can be continuously added. While producing some innovative results in specific areas, the goal of this work is the development of a comprehensive framework combining state of the art techniques and new algorithms, thus enabling the user to conceptualise her/his knowledge and model geometric shapes. The original contributions regard the formalisation of the concept of annotation, with attached properties, and of the relations between significant parts of objects; a new technique for guaranteeing the persistence of annotations after significant changes in shape's resolution; the exploitation of shape descriptors for the extraction of quantitative information and the assessment of shape variability within a class; and the extension of the popular cage-based deformation techniques to include constraints on the allowed displacement of vertices. In this thesis, we report the design and development of the framework as well as results in two application scenarios, namely product design and archaeological reconstruction

Modelling and use of SysML behaviour models for achieving dynamic use cases of technical products in different VR-systems

Digital methods and models help the product designers in performing early evaluations on a product that eventually help to gain understanding about a product’s behaviour and its interactions with neighbouring systems in its later life-phases. Virtual Reality (VR) is a technology that can facilitate the early evaluation process by showing later life situations of a product as early as at the design stage. However, the application of VR in the industry is currently limited due to high model preparation effort and poor reusability of already prepared models. Therefore, this thesis pursues towards the development of a method that can facilitate the early evaluations of the product in VR and thus, facilitate the use of VR in the product development process. This method aims at achieving generic behavioural descriptions for use in VR that can be reused as well to form dynamic use cases of a product in different VR-systems. The focus lies on reducing the overall preparation effort of VR-models and on achieving high reusability of already created models. The core components of the thesis consist of the use of Model Based Systems Engineering (MBSE) to develop generic behavioural model descriptions, their use in building different use cases of a product in one VR-system and their reuse in different VR-systems as well. The Systems Modeling Language (SysML) is used to describe the behavioural models, the modelling process is described systematically and is also summarized in the form of general-purpose guidelines for later use. Furthermore, a dedicated physics engine is used to perform the physical calculations on virtual objects in VR and is integrated with the SysML. These SysML behaviour models together with the physics engine are used to achieve a real-time product use case simulation inside VR. The same SysML behaviour models are used across different VR-systems to achieve real-time simulations and to validate their reuse. Two VR prototypes are developed to demonstrate the effectivity and use of the presented method. Finally, one of the prototypes is put to the empirical evaluation performed with the help of experts from academia as well as the industry.Digitale Methode und Modellen ermöglichen den Produktdesignern eine frühzeitige Evaluierung des Produkts, damit sie das Verhalten des Produkts und seine Interaktionen mit benachbarten Systemen in seinen späteren Lebensphasen besser verstehen können. Virtual Reality (VR) ist eine Technologie, die zum frühen Evaluierungsprozess beitragen kann, indem spätere Lebenssituationen eines Produkts schon in der Entwurfsphase angezeigt werden können. Die Anwendung von VR in der Industrie ist jedoch derzeit aufgrund des hohen Modellaufbereitungsaufwands und der limitierten Wiederverwendbarkeit vorhandener Modelle begrenzt. Daher befasst sich diese Arbeit mit der Entwicklung einer Methode, die die frühzeitige Evaluierung des Produkts innerhalb von VR und die Verwendung von VR im Produktentwicklungsprozess erleichtern kann. Diese Methode befasst sich mit dem Prozess der Entwicklung allgemeiner Verhaltensbeschreibungen zur Verwendung in VR, die auch wiederverwendet werden können, um dynamische Anwendungsfälle eines Produkts in den verschiedenen VR-Systemen abzubilden. Der Fokus liegt auf der Reduzierung des gesamten Aufbereitungsaufwands von VR-Modellen und auf das Verwirklichen einer hohen Wiederverwendbarkeit bereits vorhandener Modelle. Die Kernkomponenten der Arbeit bestehen in der Verwendung von Model Based Systems Engineering (MBSE) zur Entwicklung allgemeingültiger Verhaltensmodellbeschreibungen, ihrer Verwendung beim Erstellen verschiedener Anwendungsfälle eines Produkts in einem VR-System und ihrer Wiederverwendung in den verschiedenen VR-Systemen. Die Systems Modeling Language (SysML) wird zur Beschreibung der Verhaltensmodelle verwendet, der Modellierungsprozess wird systematisch beschrieben und auch in Form allgemeiner Anwendungsrichtlinien für die spätere Verwendung zusammengefasst. Darüber hinaus wird eine dedizierte Physik-Engine verwendet, um die physikalischen Berechnungen für virtuelle Objekte in VR durchzuführen, welche auch mit SysML integriert ist. Diese SysML-Verhaltensmodelle zusammen mit der Physik-Engine bilden eine echtzeitfähige Produktanwendungssimulation in VR. Dieselben SysML-Verhaltensmodelle werden für verschiedene VR-Systeme verwendet, um Echtzeitsimulationen abzubilden und ihre Wiederverwendung zu validieren. Zwei VR-Prototypen wurden entwickelt, um die Wirksamkeit und Verwendung der vorgestellten Methoden zu demonstrieren. Schließlich wurde einer der Prototypen einer empirischen Untersuchung unterzogen, die mithilfe von Experten aus Wissenschaft und Industrie durchgeführt wurde

Holistic Approach for Authoring Immersive and Smart Environments for the Integration in Engineering Education

Die vierte industrielle Revolution und der rasante technologische Fortschritt stellen die etablierten Bildungsstrukturen und traditionellen Bildungspraktiken in Frage. Besonders in der Ingenieurausbildung erfordert das lebenslange Lernen, dass man sein Wissen und seine Fähigkeiten ständig verbessern muss, um auf dem Arbeitsmarkt wettbewerbsfähig zu sein. Es besteht die Notwendigkeit eines Paradigmenwechsels in der Bildung und Ausbildung hin zu neuen Technologien wie virtueller Realität und künstlicher Intelligenz. Die Einbeziehung dieser Technologien in ein Bildungsprogramm ist jedoch nicht so einfach wie die Investition in neue Geräte oder Software. Es müssen neue Bildungsprogramme geschaffen oder alte von Grund auf umgestaltet werden. Dabei handelt es sich um komplexe und umfangreiche Prozesse, die Entscheidungsfindung, Design und Entwicklung umfassen. Diese sind mit erheblichen Herausforderungen verbunden, die die Überwindung vieler Hindernisse erfordert. Diese Arbeit stellt eine Methodologie vor, die sich mit den Herausforderungen der Nutzung von Virtueller Realität und Künstlicher Intelligenz als Schlüsseltechnologien in der Ingenieurausbildung befasst. Die Methodologie hat zum Ziel, die Hauptakteure anzuleiten, um den Lernprozess zu verbessern, sowie neuartige und effiziente Lernerfahrungen zu ermöglichen. Da jedes Bildungsprogramm einzigartig ist, folgt die Methodik einem ganzheitlichen Ansatz, um die Erstellung maßgeschneiderter Kurse oder Ausbildungen zu unterstützen. Zu diesem Zweck werden die Wechselwirkung zwischen verschiedenen Aspekten berücksichtigt. Diese werden in den drei Ebenen - Bildung, Technologie und Management zusammengefasst. Die Methodik betont den Einfluss der Technologien auf die Unterrichtsgestaltung und die Managementprozesse. Sie liefert Methoden zur Entscheidungsfindung auf der Grundlage einer umfassenden pädagogischen, technologischen und wirtschaftlichen Analyse. Darüber hinaus unterstützt sie den Prozess der didaktischen Gestaltung durch eine umfassende Kategorisierung der Vor- und Nachteile immersiver Lernumgebungen und zeigt auf, welche ihrer Eigenschaften den Lernprozess verbessern können. Ein besonderer Schwerpunkt liegt auf der systematischen Gestaltung immersiver Systeme und der effizienten Erstellung immersiver Anwendungen unter Verwendung von Methoden aus dem Bereich der künstlichen Intelligenz. Es werden vier Anwendungsfälle mit verschiedenen Ausbildungsprogrammen vorgestellt, um die Methodik zu validieren. Jedes Bildungsprogramm hat seine eigenen Ziele und in Kombination decken sie die Validierung aller Ebenen der Methodik ab. Die Methodik wurde iterativ mit jedem Validierungsprojekt weiterentwickelt und verbessert. Die Ergebnisse zeigen, dass die Methodik zuverlässig und auf viele Szenarien sowie auf die meisten Bildungsstufen und Bereiche übertragbar ist. Durch die Anwendung der in dieser Arbeit vorgestellten Methoden können Interessengruppen immersiven Technologien effektiv und effizient in ihre Unterrichtspraxis integrieren. Darüber hinaus können sie auf der Grundlage der vorgeschlagenen Ansätze Aufwand, Zeit und Kosten für die Planung, Entwicklung und Wartung der immersiven Systeme sparen. Die Technologie verlagert die Rolle des Lehrenden in eine Moderatorrolle. Außerdem bekommen die Lehrkräfte die Möglichkeit die Lernenden individuell zu unterstützen und sich auf deren kognitive Fähigkeiten höherer Ordnung zu konzentrieren. Als Hauptergebnis erhalten die Lernenden eine angemessene, qualitativ hochwertige und zeitgemäße Ausbildung, die sie qualifizierter, erfolgreicher und zufriedener macht

Semantic search and composition in unstructured peer-to-peer networks

This dissertation focuses on several research questions in the area of semantic search and composition in unstructured peer-to-peer (P2P) networks. Going beyond the state of the art, the proposed semantic-based search strategy S2P2P offers a novel path-suggestion based query routing mechanism, providing a reasonable tradeoff between search performance and network traffic overhead. In addition, the first semantic-based data replication scheme DSDR is proposed. It enables peers to use semantic information to select replica numbers and target peers to address predicted future demands. With DSDR, k-random search can achieve better precision and recall than it can with a near-optimal non-semantic replication strategy. Further, this thesis introduces a functional automatic semantic service composition method, SPSC. Distinctively, it enables peers to jointly compose complex workflows with high cumulative recall but low network traffic overhead, using heuristic-based bidirectional haining and service memorization mechanisms. Its query branching method helps to handle dead-ends in a pruned search space. SPSC is proved to be sound and a lower bound of is completeness is given. Finally, this thesis presents iRep3D for semantic-index based 3D scene selection in P2P search. Its efficient retrieval scales to answer hybrid queries involving conceptual, functional and geometric aspects. iRep3D outperforms previous representative efforts in terms of search precision and efficiency.Diese Dissertation bearbeitet Forschungsfragen zur semantischen Suche und Komposition in unstrukturierten Peer-to-Peer Netzen(P2P). Die semantische Suchstrategie S2P2P verwendet eine neuartige Methode zur Anfrageweiterleitung basierend auf Pfadvorschlägen, welche den Stand der Wissenschaft übertrifft. Sie bietet angemessene Balance zwischen Suchleistung und Kommunikationsbelastung im Netzwerk. Außerdem wird das erste semantische System zur Datenreplikation genannt DSDR vorgestellt, welche semantische Informationen berücksichtigt vorhergesagten zukünftigen Bedarf optimal im P2P zu decken. Hierdurch erzielt k-random-Suche bessere Präzision und Ausbeute als mit nahezu optimaler nicht-semantischer Replikation. SPSC, ein automatisches Verfahren zur funktional korrekten Komposition semantischer Dienste, ermöglicht es Peers, gemeinsam komplexe Ablaufpläne zu komponieren. Mechanismen zur heuristischen bidirektionalen Verkettung und Rückstellung von Diensten ermöglichen hohe Ausbeute bei geringer Belastung des Netzes. Eine Methode zur Anfrageverzweigung vermeidet das Feststecken in Sackgassen im beschnittenen Suchraum. Beweise zur Korrektheit und unteren Schranke der Vollständigkeit von SPSC sind gegeben. iRep3D ist ein neuer semantischer Selektionsmechanismus für 3D-Modelle in P2P. iRep3D beantwortet effizient hybride Anfragen unter Berücksichtigung konzeptioneller, funktionaler und geometrischer Aspekte. Der Ansatz übertrifft vorherige Arbeiten bezüglich Präzision und Effizienz