Development and implementation of an adaptive HTTP streaming fFramework for H.264

Ingeniero (a) ElectrónicoPregrad

A framework for realistic real-time walkthroughs in a VR distributed environment

Virtual and augmented reality (VR/AR) are increasingly being used in various business scenarios and are important driving forces in technology development. However the usage of these technologies in the home environment is restricted due to several factors including lack of low-cost (from the client point of view) highperformance solutions. In this paper we present a general client/server rendering architecture based on Real-Time concepts, including support for a wide range of client platforms and applications. The idea of focusing on the real-time behaviour of all components involved in distributed IP-based VR scenarios is new and has not been addressed before, except for simple sub-solutions. This is considered as “the most significant problem with the IP environment” [1]. Thus, the most important contribution of this research will be the holistic approach, in which networking, end-systems and rendering aspects are integrated into a cost-effective infrastructure for building distributed real-time VR applications on IP-based networks

Medical Data Visual Synchronization and Information interaction Using Internet-based Graphics Rendering and Message-oriented Streaming

The rapid technology advances in medical devices make possible the generation of vast amounts of data, which contain massive quantities of diagnostic information. Interactively accessing and sharing the acquired data on the Internet is critically important in telemedicine. However, due to the lack of efficient algorithms and high computational cost, collaborative medical data exploration on the Internet is still a challenging task in clinical settings. Therefore, we develop a web-based medical image rendering and visual synchronization software platform, in which novel algorithms are created for parallel data computing and image feature enhancement, where Node.js and Socket.IO libraries are utilized to establish bidirectional connections between server and clients in real time. In addition, we design a new methodology to stream medical information among all connected users, whose identities and input messages can be automatically stored in database and extracted in web browsers. The presented software framework will provide multiple medical practitioners with immediate visual feedback and interactive information in applications such as collaborative therapy planning, distributed treatment, and remote clinical health care

Web-based Stereoscopic Collaboration for Medical Visualization

Medizinische Volumenvisualisierung ist ein wertvolles Werkzeug zur Betrachtung von Volumen- daten in der medizinischen Praxis und Lehre. Eine interaktive, stereoskopische und kollaborative Darstellung in Echtzeit ist notwendig, um die Daten vollständig und im Detail verstehen zu können. Solche Visualisierung von hochauflösenden Daten ist jedoch wegen hoher Hardware- Anforderungen fast nur an speziellen Visualisierungssystemen möglich. Remote-Visualisierung wird verwendet, um solche Visualisierung peripher nutzen zu können. Dies benötigt jedoch fast immer komplexe Software-Deployments, wodurch eine universelle ad-hoc Nutzbarkeit erschwert wird. Aus diesem Sachverhalt ergibt sich folgende Hypothese: Ein hoch performantes Remote- Visualisierungssystem, welches für Stereoskopie und einfache Benutzbarkeit spezialisiert ist, kann für interaktive, stereoskopische und kollaborative medizinische Volumenvisualisierung genutzt werden. Die neueste Literatur über Remote-Visualisierung beschreibt Anwendungen, welche nur reine Webbrowser benötigen. Allerdings wird bei diesen kein besonderer Schwerpunkt auf die perfor- mante Nutzbarkeit von jedem Teilnehmer gesetzt, noch die notwendige Funktion bereitgestellt, um mehrere stereoskopische Präsentationssysteme zu bedienen. Durch die Bekanntheit von Web- browsern, deren einfach Nutzbarkeit und weite Verbreitung hat sich folgende spezifische Frage ergeben: Können wir ein System entwickeln, welches alle Aspekte unterstützt, aber nur einen reinen Webbrowser ohne zusätzliche Software als Client benötigt? Ein Proof of Concept wurde durchgeführt um die Hypothese zu verifizieren. Dazu gehörte eine Prototyp-Entwicklung, deren praktische Anwendung, deren Performanzmessung und -vergleich. Der resultierende Prototyp (CoWebViz) ist eines der ersten Webbrowser basierten Systeme, welches flüssige und interaktive Remote-Visualisierung in Realzeit und ohne zusätzliche Soft- ware ermöglicht. Tests und Vergleiche zeigen, dass der Ansatz eine bessere Performanz hat als andere ähnliche getestete Systeme. Die simultane Nutzung verschiedener stereoskopischer Präsen- tationssysteme mit so einem einfachen Remote-Visualisierungssystem ist zur Zeit einzigartig. Die Nutzung für die normalerweise sehr ressourcen-intensive stereoskopische und kollaborative Anatomieausbildung, gemeinsam mit interkontinentalen Teilnehmern, zeigt die Machbarkeit und den vereinfachenden Charakter des Ansatzes. Die Machbarkeit des Ansatzes wurde auch durch die erfolgreiche Nutzung für andere Anwendungsfälle gezeigt, wie z.B. im Grid-computing und in der Chirurgie

MediaSync: Handbook on Multimedia Synchronization

This book provides an approachable overview of the most recent advances in the fascinating field of media synchronization (mediasync), gathering contributions from the most representative and influential experts. Understanding the challenges of this field in the current multi-sensory, multi-device, and multi-protocol world is not an easy task. The book revisits the foundations of mediasync, including theoretical frameworks and models, highlights ongoing research efforts, like hybrid broadband broadcast (HBB) delivery and users' perception modeling (i.e., Quality of Experience or QoE), and paves the way for the future (e.g., towards the deployment of multi-sensory and ultra-realistic experiences). Although many advances around mediasync have been devised and deployed, this area of research is getting renewed attention to overcome remaining challenges in the next-generation (heterogeneous and ubiquitous) media ecosystem. Given the significant advances in this research area, its current relevance and the multiple disciplines it involves, the availability of a reference book on mediasync becomes necessary. This book fills the gap in this context. In particular, it addresses key aspects and reviews the most relevant contributions within the mediasync research space, from different perspectives. Mediasync: Handbook on Multimedia Synchronization is the perfect companion for scholars and practitioners that want to acquire strong knowledge about this research area, and also approach the challenges behind ensuring the best mediated experiences, by providing the adequate synchronization between the media elements that constitute these experiences

VR-LAB: A Distributed Multi-User Environment for Educational Purposes and Presentations

In the last three years our research was focused on a new distributed multi-user environment. Finally, all components were integrated in a system called the VR-Lab, which will be described on the following pages. The VR-Lab provides Hard- and Software for a distributed presentation system. Elements which are often used in environments called Computer Supported Cooperative Work (CSCW). In contrast to other projects the VR-Lab integrates a distributed system in a common environment of a lecture room and does not generate a virtual conference room in a computer system. Thus, allowing inexperienced persons to use the VR-LAB and benefit from the multimedia tools in their common environment. To build the VR-LAB we developed a lot of hard- and software and integrated it into a lecture room to perform distributed presentations, conferences or teaching. Additionally other software components were developed to be connected to the VR-LAB, control its components, or distribute content between VR-LAB installations. Beside standard software for video and audio transmission, we developed and integrated a distributed 3D-VRML-Browser to present three dimensional content to a distributed audience. One of the interesting features of this browser is the object oriented distributed scene graph. By coupling a high-speed rendering system with a database we could distribute objects to other participants. So the semantic properties of any geometrical or control object can be kept and used by the remote participant. Because of the high compression achieved by the transport of objects instead of triangles a lot of bandwidth could be saved. Also each participant could select a display quality appropriate to its hardware.Diese Arbeit beschreibt ein integriertes Virtual-Reality System, das VR Lab. Das System besteht aus verschiedenen Hard- und Softwarekomponenten die eine verteiltevirtuelle Multi-User Umgebung darstellen die vor allem im Bereich verteilter Präsentationen verwendet werden kann. Im Gegensatz zu anderen Systemen dieser Art, die oft im Bereich des Computer Supported Cooperative Work (CSCW) eingesetzt werden dient unser System nicht dazu eine Präsentationsumgebung im Computer nachzubilden sondern eine reele Umgebung zu schaffen in der verteilte Präsentationen durchgeführt werden können. Dies soll vor allem ungeübten Personen die Arbeit mit verteilten Umgebungen erleichtern. Dazu wurden verschiedene Hard- und Softwarekomponenten entwickelt. Darunter der verteilte 3D Browser MRT-VR, der es ermöglicht 3D Daten an verschiedenen Stellen gleichzeitig zu visualisieren. MRT-VR zeichnet sich insbesondere dadurch aus, daß die 3D Objekte nicht als Polygondaten transportiert werden, sonderen als Objekte und so deren Objekteigenschaften beibehalten werden. Dies spart nicht nur sehr viel Bandbreite bei der Übertragung sondern ermöglicht auch Darstellungen in unterschiedlichen Qualitätsstufen auf den unterschiedlichen Zielrechnern der Teilnehmer. Ein weiterer Teil der Arbeit beschreibt die Entwicklung einer preiswerten imersiven 3D Umgebung um die 3D Daten in ansprechender Qualität zu visualisieren. Alle Komponenten wurden in einer gemeinsamen Umgebung, dem VR-Lab, integriert und mt Steuerungskomponenten versehen