Verbinden der virtuellen und der realen Welt durch optisch-dynamische Interfaces

In the virtual world, changing properties of objects such as their color, size or shape is one of the main means of communication. Objects are hidden or revealed when needed, or undergo changes in color or size to communicate importance. Users are in full control over how the virtual world looks and behaves. With augmented reality, virtual content is overlaid over the physical world to display information. Virtual reality enables users to completely dive into artificial environments. In the physical world, however, these features are not readily available. In this dissertation, we investigate how the dynamics of the virtual world can be brought into the real world. We are interested in modifying the optical properties of physical objects and devices to foster interaction and make the physical world more dynamic. To achieve this, we propose the concept of optically dynamic interfaces. Those interfaces change their appearance dynamically either through embedded capabilities or external augmentation. We describe the model of optically dynamic interfaces with three interconnected levels: dynamic objects, augmented objects and augmented surroundings. Dynamic objects are devices that integrate the capabilities to undergo visual changes. Augmented objects exhibit optically dynamic behavior through external augmentation. With augmented surroundings, objects that are unsuited for external augmentation due to their surface properties gain the ability the change their appearance. We present implementations of each of the levels and characterize their design spaces to gain insights into capabilities and limitations. Finally, we connect optically dynamic interfaces back to the virtual world with a new type of mixed reality, termed Remixed Reality.In der virtuellen Welt ist die Veränderung von Objekteigenschaften wie Farbe, Größe oder Form eines der Hauptmittel, um mit Nutzern zu interagieren. Objekte können jederzeit versteckt oder hervorgehoben werden, oder ihre Farbe und Größe kann verändert werden, um deren Wichtigkeit zu kommunizieren. Benutzer haben völlige Kontrolle über die virtuelle Welt und können diese mit Hilfe von Software beliebig verändern. Bei Anwendungen im Bereich der erweiterten Realität (Augmented Reality) werden beispielsweise neue, rein virtuelle, Inhalte und Informationen über die reale Welt gelegt. Bei Anwendungen im Bereich der virtuellen Realität können Nutzer komplett in eine künstliche Welt eintauchen. Die reale Welt ist jedoch nicht so einfach veränderbar. In dieser Dissertation beschäftigen wir uns mit Methoden, die diese Dynamik der virtuellen Welt für Nutzer in der realen Welt verfügbar zu machen. Wir erforschen Methoden um Objekte und Geräte visuell zu verändern, mit dem Ziel Interaktionen zu vereinfachen und die reale Welt dynamischer zu machen. Um dies zu erreichen erstellen wir das Konzept von optisch-dynamischen Interfaces. Diese Geräte ändern ihr Aussehen entweder durch integrierte Funktionalität oder durch externe Augmentierung. In dieser Arbeit beschreiben wir ein Model für optisch-dynamische Interfaces und drei in sich verschachtelte Ebenen: dynamische Objekte, augmentierte Objekte und augmentierte Umgebungen. Bei dynamischen Objekten handelt es sich um Geräte, die durch eingebettete Funktionalität ihr Äußeres verändern können. Augmentierte Objekte erhalten ihre optisch-dynamischen Eigenschaften durch externe Augmentierung. Durch augmentierte Umgebungen können Objekte visuell verändert werden, die aufgrund ihrer Oberflächeneigenschaften nicht für direkte Augmentierung geeignet sind. Für jede der drei Ebenen des Models stellen wir Implementierungen vor und charakterisieren ihre Vorteile und Nachteile. Schlussendlich schließen wir den Kreis von optisch-dynamischen Interfaces zur virtuellen Welt und stellen einen neuen Typ von gemischter Realität vor, in einem Ansatz den wir Remixed Reality nennen