User interface pattern for AR in industrial applications

The background of the paper is that there are currently no specifications or guidelines for the design of a user interface for an augmented reality system in an industrial context. In this area, special requirements apply for the perception and recognition of content, which are given by the framework conditions of the industrial environment, the human-technology interaction, and the work task. This paper addresses the software-technical design of augmented reality surfaces in the industrial environment. The aim is to give first design examples for software tasks by means of sample solutions. For a user-oriented implementation, the methods of personas and an empirical investigation were used. Personas are a stereotypical representation of end users that reflect their characteristics and requirements. For the subsequent development of the pattern catalog, different prototypes with layout and interaction variants were tested in an empirical study with 50 participants. By observing the current realizations, these can be examined more closely in terms of their specific use in an industrial environment. The result is a pattern catalog with 26 solutions for layout and interaction variants. For the layout variants, no direct favorite of the testers could be ascertained; the existing solutions already offer a wide spectrum, which are chosen according to personal preferences. For interaction, on the other hand, it is important to enable fast input. During the study, gesture control revealed weaknesses in this regard. This can be supportive in the development of an industrial augmented reality system regarding a user-oriented representation of the interface

Entwicklung eines Patternkatalogs für Augmented Reality Interfaces in der Industrie

Für die Gestaltung eines User Interfaces für ein Augmented Reality-System im industriellen Kontext gibt es gegenwärtig keine Vorgaben oder Richtlinien. Dabei gelten in diesem Be-reich besondere Anforderungen für das Wahrnehmen und Erkennen von Inhalten, die durch die Rahmenbedingungen der industriellen Umgebung, die Mensch-Technik-Interaktion und die Arbeitsaufgabe gegeben sind. Die vorliegende Dissertation befasst sich mit dieser For-schungs-lücke. Auf Basis der Anforderungsanalyse wurde mit Hilfe des modifizierten Usability Engineering Lifecycle nach Mayhew ein Designkonzept entwickelt. Dieses konzentriert sich auf die Wahr-nehmung von Informationen in Augmented Reality-Systemen. Eine Evaluation mit ExpertIn-nen untersuchte die Sättigung von Grau- und Farbwerten, in Bezug auf die Wahrnehmung und Erkennbarkeit bei minimal und maximal zulässiger Leuchtdichte des industriellen Umfeldes. Als Ergebnis wurde deutlich, dass sich Grauwerte für dauerhafte Textdarstellungen eignen und Farben bei Hervorhebungen oder Grafiken von Vorteil sind. Ein weiteres Hauptaugen-merk der Dissertation befasste sich mit dem Layout und Interaktionsmöglichkeiten des User-Interfaces des Augmented Reality-Systems. Basisinteraktionen und de-facto Standards wur-den spezifisch bezüglich der generischen Aufgaben untersucht. Daraus entstand ein Prototyp, der in einer ausführlichen Untersuchung getestet wurde. Die vier generischen Aufgaben „Auswählen aus dem Hauptmenü“, „Navigieren in Dokumenten“ „Vertiefen von Objektin-formation“ und „Auswählen aus der Funktionsleiste“ wurden auf ihre Nützlichkeit und Nut-zerfreundlichkeit hin evaluiert. Es wurde deutlich, dass bei der Gestaltung der Layout-Elemente demDer NutzerIn die Möglichkeit gegeben werden sollte, die Darstellung nach eigenen Erfahrungen anzupassen und bestehende Lösungen zu übernehmen. Im Ergebnis entstand ein Patternkatalog mit elf Layout- und 18 Interaktionsvarianten. Dieser kann bei der Entwicklung eines industriellen Augmented Reality-Systems in Hinblick auf eine nutzerorientierte Darstellung des Interfaces unterstützend wirken.Currently, there are no guidelines or specifications for the design of a user interface for an augmented reality system in an industrial context. Special requirements such as the (DIN Norm) in fluency the perception and recognition of information in industrial environment. The conditions in turn impact the human-machine-interaction as well as the job assignment. The present dissertation explores on this research gap. Based on a Usability Engineering Lifecycle model according to Mayhew, a design concept was developed, which deals with perception in augmented reality systems. An evaluation with experts examines the saturation of gray and color values, in terms of perception and recog-nizability at minimum and maximum permissible luminance of the industrial environment. The results indicate that gray values are suitable for permanent text display and colors are more suitable for highlighting or graphics. Another focus of the dissertation concerns the concept of the user interface for the augmented reality system. Basic interactions and de-facto standards were examined for the generic tasks of the industrial context. This resulted in a prototype, which was tested in a detailed evaluation. The four generic tasks “select from the main menu”, “navigate in documents”, “deepen object information” and “select from the function bar” were evaluated for their usefulness and usability. As a result, it became clear that when designing the layout elements, the users must be given the opportunity to adapt the presentation according to their own experience and existing solutions should be adopted. The result of the dissertation is a pattern catalog with eleven layouts and eighteen interac-tion alternatives. These design solutions can support the development of user-oriented inter-faces for industrial augmented reality systems.Für die Gestaltung eines User-Interfaces für ein AR-System im industriellen Kontext gelten besondere Anforderungen für das Wahrnehmen und Erkennen von Inhalten, die durch die Rahmenbedingungen der industriellen Umgebung, die Mensch-Technik-Interaktion und die Arbeitsaufgabe gegeben sind. Die Dissertation befasst sich näher mit der Gestaltung des Interface. Eine Studie konzentriert sich auf die Wahrnehmung von Informationen in AR-Systemen. Eine Evaluation mit ExpertInnen untersuchte die Sättigung von Grau- und Farbwerten in Bezug auf die Wahrnehmung und Erkennbarkeit bei minimal und maximal zulässiger Leuchtdichte des industriellen Umfeldes. Ein weiteres Hauptaugenmerk der Dissertation befasste sich mit dem Layout und Interaktionsmöglichkeiten des User-Interfaces des AR-Systems. Basisinteraktionen und de facto Standards wurden bezüglich der generischen Aufgaben untersucht. Daraus entstand ein Prototyp, der in einer ausführlichen nutzerorientierten Untersuchung getestet wurde. Im Ergebnis entstand ein Patternkatalog, der bei der Entwicklung eines industriellen AR-Systems in Hinblick auf eine nutzerorientierte Darstellung des Interfaces unterstützend kann