Konzepte der Anwendungsentwicklung für und mit Multi-Touch

Mit dem Aufkommen natürlicher Benutzerschnittstellen zum Erreichen einer möglichst intuitiven Interaktion mit Computern wird auch über die Bedeutung der Gestaltungsaspekte LOOK und FEEL der darzustellenden Benutzeroberflächen neu verhandelt. Dies bedeutet für den Entwurf und die Entwicklung neuer Anwendungen, die bisherigen Vorgehensmodelle, Werkzeuge und Interaktionen zu überdenken und hinsichtlich der neuen Herausforderungen zu überprüfen. Als Leitmotiv der vorliegenden Arbeit dient der Ansatz: Ähnliches wird durch Ähnliches entwickelt, der sich am Beispielfall der Multi-Touch-Technologie konkret mit dem Forschungsraum der natürlichen Benutzerschnittstellen auseinandersetzt. Anhand der drei aufeinander aufbauenden Aspekte Modell, Werkzeug und Interaktion wird die besondere Stellung des FEELs betont und diskutiert. Die Arbeit konzentriert sich dabei besonders auf die Phase des Prototypings, in der neue Ideen entworfen und später (weiter-) entwickelt werden. Die Arbeit nähert sich dabei dem Thema schrittweise an, vom Abstrakten hin zum Konkreten. Hierzu wird zunächst ein neu entwickeltes Vorgehensmodell vorgestellt, um auf die Besonderheiten des FEELs im Entwicklungsprozess natürlicher Benutzerschnittstellen eingehen zu können. Das Modell verbindet Ansätze agiler und klassischer Modelle, wobei die Iteration und die Entwicklung von Prototypen eine besondere Stellung einnehmen. Ausgehend vom neu vorgestellten Modell werden zwei Einsatzbereiche abgeleitet, die entsprechend des Leitmotivs der Arbeit mit zu konzipierenden Multi-Touch-Werkzeugen besetzt werden. Dabei wird besonderer Wert darauf gelegt, den Entwickler in die Rolle des Nutzers zu versetzen, indem die beiden Aktivitäten Umsetzung und Evaluation am selben Gerät stattfinden und fließend ineinander übergehen. Während das für den Entwurf erstellte Konzept TIQUID die Nachbildung von Verhalten und Abhängigkeiten mittels gestengesteuerter Animation ermöglicht, stellt das Konzept LIQUID dem Entwickler eine visuelle Programmiersprache zur Umsetzung des FEELs zur Verfügung. Die Bewertungen der beiden Werkzeuge erfolgte durch drei unabhängige Anwendungstests, welche die Einordnung im Entwicklungsprozess, den Vergleich mit alternativen Werkzeugen sowie die bevorzugte Interaktionsart untersuchten. Die Resultate der Evaluationen zeigen, dass die vorab gesteckten Zielstellungen einer einfachen Verwendung, der schnellen und umgehenden Darstellung des FEELs sowie die gute Bedienbarkeit mittels der Multi-Touch-Eingabe erfüllt und übertroffen werden konnten. Den Abschluss der Arbeit bildet die konkrete Auseinandersetzung mit der Multi-Touch-Interaktion, die für Entwickler und Nutzer die Schnittstelle zum FEEL der Anwendung ist. Die bisher auf die mittels Berührung beschränkte Interaktion mit dem Multi-Touch-Gerät wird im letzten Abschnitt der Arbeit mit Hilfe eines neuartigen Ansatzes um einen räumlichen Aspekt erweitert. Aus dieser Position heraus ergeben sich weitere Sichtweisen, die einen neuen Aspekt zum Verständnis von nutzerorientierten Aktivitäten beitragen. Diese, anhand einer technischen Umsetzung erprobte Vision neuer Interaktionskonzepte dient als Ansporn und Ausgangspunkt zur zukünftigen Erweiterung des zuvor entwickelten Vorgehensmodells und der konzipierten Werkzeuge. Der mit dieser Arbeit erreichte Stand bietet einen gesicherten Ausgangspunkt für die weitere Untersuchung des Fachgebietes natürlicher Benutzerschnittstellen. Neben zahlreichen Ansätzen, die zur vertiefenden Erforschung motivieren, bietet die Arbeit mit den sehr konkreten Umsetzungen TIQUID und LIQUID sowie der Erweiterung des Interaktionsraumes Schnittstellen an, um die erzielten Forschungsergebnisse in die Praxis zu übertragen. Eine fortführende Untersuchung des Forschungsraumes mit Hilfe alternativer Ansätze ist dabei ebenso denkbar wie der Einsatz einer zu Multi-Touch alternativen Eingabetechnologie

Methodik zur systematischen Analyse der Prozessgestaltung einer Mensch-Roboter-Interaktion in der Montage

Die steigenden Anforderungen, die durch volatile Märkte, den Fachkräftemangel sowie wechselnde Regularien an das Produktionssystem im Automobilbau gestellt werden, erfordern eine stetige Weiterentwicklung. Die Integration einer flexiblen Mensch-Roboter-Interaktion in die Montage bietet eine Möglichkeit den Herausforderungen zu begegnen und eröffnet Potentiale für neuartige Produktionskonzepte. Für die Realisierung einer solchen kollaborativen Roboterapplikation ist sowohl die Kenntnis der Bedarfe, als auch die der spezifischen Anforderungen des Anwendungsumfelds erforderlich. Anhand der Vorstellung des Stands der Forschung werden diesbezüglich Fragestellungen ermittelt, die vor dem Hintergrund der Montage in der Automobilindustrie über eine zweistufige Potentialanalyse konkretisiert werden. Darin rückt neben der Gestaltung einer Schnittstelle insbesondere die Interaktion der Partner in den Fokus. Das primäre Ziel besteht darin, die Auswirkungen der Interaktion des Menschen mit dem Roboter auf den Prozess mittels einer geeigneten Methode abbilden zu können und dafür ein passendes Schnittstellenkonzept bereitzustellen. Auf Basis dessen werden Schnittstellenkonzepte sowie eine Methodik zur Prozessanalyse entworfen, deren Eignung im Rahmen mehrerer experimenteller Untersuchungen evaluiert wird. Der erste Experimentalblock widmet sich der Eignungsprüfung der Schnittstellenkonzepte, um eine negative Beeinflussung der Interaktion vor dem Einsatz in einem kollaborativen Anwendungsfall auszuschließen und erste Implikationen zu erfassen. Der zweite Block dient der Validierung der entwickelten Methodik sowie der Ermittlung des Effekts von Gestaltung und Nutzung der Schnittstelle auf den Prozessablauf. Dies erfolgt anhand einer adaptierten Montageapplikation aus einem Automobilwerk. Die Ergebnisse zeigen auf, dass ein kollaborativer Prozess anhand des aufgestellten Modells ganzheitlich erfassbar ist und die resultierende Aussage sowohl eine effiziente Prozessaufteilung, als auch die subjektive Wahrnehmung des menschlichen Prozessteilnehmers widerspiegelt. Im Anschluss an die experimentellen Untersuchungen werden Implikationen für die Gestaltung des Montageprozesses und die Eignung von Schnittstellen diskutiert. Neben den identifizierten Grenzen werden darin Potentiale zur Weiterentwicklung sowie eine Empfehlung zur Gestaltung aufgezeigt

Taktile Interaktion auf flächigen Brailledisplays

Für den Zugang zu grafischen Benutzungsoberflächen (GUIs) stehen blinden Menschen so genannte Screenreader und Braillezeilen zur Verfügung. Diese ermöglichen zwar das nicht-visuelle Wahrnehmen textueller Inhalte, allerdings kein effektives Arbeiten mit bildlichen Darstellungen. Neuartige taktile Flächendisplays können eine geeignete Lösung für den interaktiven Zugang zu tastbaren Grafiken darstellen und somit die Interaktionsmöglichkeiten blinder Benutzer im Umgang mit grafischen Anwendungen bereichern. Beispielsweise erlauben derartige Geräte nicht nur das Erkunden räumlicher Anordnungen, sondern darüber hinaus auch die kombinierte Ausgabe von Braille, Grafik und semi-grafischen Elementen. Um die deutlich größere Menge an gleichzeitig darstellbaren Informationen beherrschbar zu machen, sind neben entsprechenden Inhaltsaufbereitungen und Navigationsmechanismen auch geeignete Orientierungshilfen bereitzustellen. Im Rahmen der vorliegenden Arbeit wurde am Beispiel der BrailleDis Geräte der Metec AG, welche eine taktile Ausgabefläche von 120 mal 60 Stiften bereitstellen, untersucht, inwieweit flächige Brailledisplays blinden Menschen eine effektive und effiziente Bedienung grafischer Benutzungsoberflächen ermöglichen. Neben dem Zugang zur GUI selbst sowie dem Lesen von Texten stellt dabei insbesondere das Arbeiten mit Grafiken einen wichtigen Aspekt dar. Um die Bedienung auf einem taktilen Flächendisplay zu erleichtern, ist eine konsistente Organisation der Inhalte hilfreich. Hierfür wurde ein neuartiges taktiles Fenstersystem umgesetzt, welches die Ausgabe nicht nur in mehrere disjunkte Bereiche unterteilt, sondern auch verschiedene taktile Darstellungsarten unterstützt. Zur Systematisierung der Gestaltung und Evaluation derartiger taktiler Benutzungsoberflächen sowie der darin stattfindenden Benutzerinteraktionen wurde zunächst eine Taxonomie erarbeitet. Dabei wurden neben der Interaktion selber, welche durch die Ein-und Ausgabe sowie die Handbewegungen des Benutzers beschrieben werden kann, auch die Benutzerintention in Form von taktilen Elementaraufgaben sowie die technischen Spezifikationen des Geräts mit einbezogen. Basierend auf der Taxonomie wurden anschließend relevante Aspekte identifiziert, welche in mehreren Benutzerstudien mit insgesamt 46 blinden und hochgradig sehbehinderten Menschen untersucht wurden. Die betrachteten Untersuchungsfragen betrafen dabei einerseits die Effektivität der Ausgabe in Form verschiedener taktiler Ansichtsarten sowie die Eingabe und Erkundung durch den Benutzer, andererseits auch Aspekte zur Effizienz konkreter Interaktionstechniken. Als Ergebnis der einzelnen Studien wurden abschließend konkrete Empfehlungen zur Umsetzung von Benutzungsoberflächen auf flächigen Brailledisplays gegeben. Diese beinhalten insbesondere Aspekte zur Ergonomie von taktilen Flächendisplays, zur Anzeige von textuellen Inhalten, zur Darstellung und Interaktion mit grafischen Inhalten sowie zu Orientierungshilfen. Insgesamt konnte mit Hilfe der Benutzerstudien gezeigt werden, dass flächige Brailledisplays blinden Menschen einen effektiven und effizienten Zugang zu grafischen Benutzungsoberflächen ermöglichen. Verschiedene taktile Darstellungsarten können dabei das Lösen unterschiedlicher Aufgaben unterstützen. Generell erfordert die flächige Interaktion vom Benutzer allerdings auch die Erweiterung seiner konventionellen Erkundungs-und Eingabestrategien. Die Bereitstellung neuartiger Interaktionstechniken zur Unterstützung der Orientierung kann die Effizienz zusätzlich steigern.Blind people normally use screen readers as well as single-lined refreshable Braille displays for accessing graphical user interfaces (GUIs). These technologies allow for a non-visual perception of textual content but not for an effective handling of visual illustrations. Novel two-dimensional tactile pin-matrix devices are an appropriate solution to interactively access tactual graphics. In this way, they can enrich the interaction possibilities of blind users in dealing with graphical applications. For instance, such devices enable the exploration of spatial arrangements and also combine output of Braille, graphics and semi-graphical elements. To make the high amount of simultaneously presented information perceivable and efficiently usable for blind users, an adequate preparation of content as well as adapted navigation and orientation mechanisms must be provided. In this thesis the BrailleDis devices of Metec AG, which have a tactile output area of 120 times 60 pins, were used. The goal was to investigate to what extent large pin-matrix devices enable blind people to use graphical user interfaces effectively and efficiently. Access to the GUI itself, reading text, and dealing with graphics are the main aspects of the application area of such devices. To facilitate the operation on a two-dimensional pin-matrix device a consistent organization of the content is helpful. Therefore, a novel tactile windowing system was implemented which divides the output area into multiple disjunctive regions and supports diverse tactile information visualizations. Moreover, a taxonomy was developed to systematize the design and evaluation of tactile user interfaces. Apart from interaction that can be described by input and output as well as hand movements, the taxonomy includes user intention in terms of interactive task primitives and technical specifications of the device. Based on the taxonomy, relevant aspects of tactile interaction were identified. These aspects were examined in multiple user studies with a total of 46 blind and visually impaired participants. The following research topics were considered during the user studies: 1. the effectiveness of diverse tactile view types (output), 2. user input and exploration, and 3. the efficiency of specific interaction techniques. As a result, practical recommendations for implementing user interfaces on two-dimensional pin-matrix devices were given. These recommendations include ergonomic issues of physical devices as well as design considerations for textual and graphical content as well as orientation aids. In summary, the user studies showed that two-dimensional pin-matrix devices enable blind people an effective and efficient access to graphical user interfaces. Diverse tactile information visualizations can support users to fulfill various tasks. In general, two-dimensional interaction requires the extension of conventional exploration and input strategies of users. The provision of novel interaction techniques for supporting orientation can help to increase efficiency even more

Gestaltungskonzept für Augmented Reality unterstütztes Training an manuellen Montagearbeitsplätzen

Forschungsvorhaben – Die Komplexitätssteigerung manueller Montageprozesse erfordert hochqualifizierte Arbeitskräfte, um die diffizilen Prozesse zu beherrschen. Um eine effektive und effiziente Ausbildung dieser Personen sicherzustellen, wird der Einsatz AR-basierter Trainingssysteme zunehmend relevant für die Industrie. Momentan mangelt es allerdings an wissenschaftlichen Untersuchungen im industriellen Nutzungskontext. Aufgrund dessen fehlen notwendige Erkenntnisse zur Gestaltung und Evaluation dieser Assistenzsysteme. Dem Ziel, diese Limitation zu schließen, widmet sich die vorliegende Dissertation. Forschungsrahmen – Das Vorgehen zur Erarbeitung der genannten Zielsetzung orientiert sich an der gestaltungsorientierten Forschung. Dieses Paradigma forciert die iterative Gestaltung von problemlösungsorientierten Artefakten mit Hilfe einer stringenten Anwendung wissenschaftlicher Methoden. Forschungsergebnisse – Durch Anwendung des zuvor erwähnten Forschungsparadigmas werden drei Artefakte gestaltet. Die Grundlage dafür liefern die Ergebnisse einer umfangreichen strukturierten Literaturrecherche und die Analyse domänenspezifischer Anforderungen. Basierend auf diesen wird zunächst ein menschzentriertes Vorgehensmodell zur Analyse, Gestaltung und Evaluation von AR-basierten Trainingssystemen im industriellen Nutzungskontext erarbeitet (Artefakt 1), welches seine reproduzierbare Verwendbarkeit durch ausgewählte Methoden und Empfehlungen in allen Ablaufphasen sicherstellt. Darauf aufbauend wird eine HMD-basierte Trainingssoftware instanziiert (Artefakt 2) und durch geeignete Evaluation systematisch zu einer gebrauchstauglichen Anwendung weiterentwickelt. Diese wird einem abschließenden Test unterzogen und im Vergleich zu zwei etablierten Trainingskonzepten empirisch erprobt. Die daraus resultierenden Ergebnisse verdeutlichen sowohl die Nützlichkeit des Vorgehensmodells als auch die Gebrauchstauglichkeit des innovativen Trainingssystems. Beruhend auf den zahlreichen Erfahrungen und Erkenntnissen dieser Dissertation, werden abschließende Empfehlungen (Artefakt 3) dargelegt, welche die erfolgreiche Durchführung ähnlicher wissenschaftlicher Arbeiten sicherstellen. Einschränkungen – Die umfangreichen multimodalen Funktionalitäten der Trainingssoftware wurden für eine konkrete prozedurale Montagetätigkeit entwickelt und am Beispiel eines industriellen Referenzarbeitsplatzes mit potentiellen Anwendern erprobt. Eine Anpassung der Software auf weitere Anwendungsfälle ist aufgrund des immensen Programmieraufwands sehr zeitaufwändig. Dadurch ist die Skalierbarkeit der Software stark limitiert. Angehende Forschungsprojekte sollten daher den Einsatz von Autorenwerkzeugen untersuchen, um eine effiziente Content-Erstellung zu gewährleisten. Darüber hinaus wurden keine Einflüsse der AR-Technologie auf das Langzeitgedächtnis erforscht. Diese Limitation eröffnet ein weiteres interessantes Forschungsfeld für zukünftige Untersuchungen. Implikationen – Diese Dissertation liefert sowohl wissenschaftliche als auch praxisbezogene Implikationen. Demnach schließen die Erkenntnisse zur Gestaltung und Evaluation AR-basierter Trainingssysteme bestehende Forschungslücken und gewährleisten eine reproduzierbare Instanziierung weiterer solcher Assistenzsysteme. Eine gebrauchstaugliche HMD-basierte Trainingssoftware bietet Industrieunternehmen mit manuellen Montageprozessen zudem Einsparungspotentiale durch eine vollkommen neuartige und hocheffektive Ausbildungsmöglichkeit.Purpose – The growing complexity of manual assembly processes require highly skilled workers to deal with such challenging tasks. Therefore, AR-based learning systems become more and more interesting for the industry promising to ensure effective and efficient learning processes. However, scientific research in the field of AR-based learning, especially in the industrial domain, is still very limited. For this reason, necessary knowledge for the design and evaluation of such assistive systems is lacking. This dissertation aims to close these limitations. Approach – The framework of the current scientific work is based on design science research (DSR). This research paradigm attempts to solve practical problems by developing purpose-oriented artifacts with rigorous scientific methods. Findings – Three artifacts are designed using the DSR technique. Hereof, the results of a comprehensive literature survey and an analysis of domain specific requirements provide the foundation. Based on this, a human-centered framework for analyzing, designing and evaluating AR-based learning systems in the industrial context is elaborated (artifact 1). Through well-chosen methods and recommendations in all three phases, a reproducible approach can be guaranteed. By applying this framework, a HMD-based learning software (artifact 2) is developed through several iterative evaluations with potential users using the example of a real internal combustion engine assembly task in order to ensure a high usability. Finally, the software is compared to two traditional approaches (paper-based and trainer-based learning). The results validate the utility of the framework as well as that of the innovative HMD-based learning approach. Based on numerous findings and empirical knowledge, several recommendations are derived to conclude this dissertation and facilitate forthcoming research. Limitations – The elaborate multimodal functionalities of the training software are developed and systematically improved using a concrete procedural internal combustion engine assembly task. This leads to a tremendous and time consuming programming effort as soon as individual software adjustments or assignments are requested by the industrial domain. Therefore, the software scalability is very limited. Due to the previously mentioned limitation, future research should concentrate its investigation into developing authoring tools which enable an efficient AR content creation. Furthermore, the impact of AR on the shortterm memory is only analyzed in this dissertation which opens up an additional interesting research area for future explorations. Implications – This current thesis provides scientific as well as practical oriented implications. The results regarding the design and evaluation of AR-based learning systems ensure a reproducible scientific procedure to instantiate these assistive systems further. In addition, initial insights regarding the use of these systems in the industrial domain are presented, therefore closing current research gaps. A HMD-based learning software offers the opportunity for companies with manual assembly tasks to conserve money due to a completely new and highly-effective training possibility

Ein gebrauchstaugliches Augmented Reality-System für geometrische Analysen in der Produktentstehung

Augmented Reality beschreibt die Erweiterung der menschlichen Wahrnehmung der Realität durch virtuelle Zusatzinformationen. Die Technologie kann in der Produktentstehung für die gemeinsame geometrische Analyse physischer und virtueller Modelle eingesetzt werden. Sie verspricht damit großes Potenzial für eine engere Verzahnung physischer und virtueller Entwicklungsaktivitäten. Trotzdem werden Augmented Reality-Systeme heute kaum produktiv in der Produktentstehung eingesetzt. Eine genauere Betrachtung der bekannten Anwendungen bestätigt die Potenziale von Augmented Reality für geometrische Analysen in Bezug auf Qualität, Kosten und Zeit der Produktentstehung. Für die Durchführung von Augmented Reality-Analysen sind in der Literatur verschiedene Systemlösungen beschrieben, welche sich hauptsächlich durch die eingesetzten Komponenten zur Lagebestimmung unterscheiden. Die einzelnen Augmented Reality-Systemkomponenten scheinen für sich betrachtet zwar technisch weitestgehend ausgereift, die Systeme bieten allerdings selten einen für den Anwender durchgängigen Gesamtprozess. Die Bedienung ist in der Regel sehr komplex und erfordert viel spezifisches Fachwissen. Um Augmented Reality für geometrische Analysen in der Produktentstehung umfassend nutzbar zu machen, wird die Gebrauchstauglichkeit in den Mittelpunkt der folgenden Systementwicklung gestellt. Auf Basis einer ausführlichen Beschreibung des Nutzungskontextes werden die grundlegenden Anforderungen an ein gebrauchstaugliches Augmented Reality-System formuliert. Die möglichen Systemkomponenten werden bezüglich dieser Anforderungen bewertet und ausgewählt, die zugehörigen Prozesse werden aus Benutzersicht ausgestaltet und im Sinne einer möglichst hohen Gebrauchstauglichkeit strukturiert. Mit diesem Wissen wird eine Benutzerführung entwickelt, welche den Anwender durch den gesamten Untersuchungsprozess führt. Die Gebrauchstauglichkeit des so entwickelten Augmented Reality-Systems wird schließlich im Rahmen einer Probandenstudie evaluiert

Konzeption und prototypische Implementierung einer EMG-basierten Anwendung zur passiven Unterstützung in der Handtherapie unter Verwendung der Thalmic Myo

Im Rahmen dieser Abschlussarbeit wird in Zusammenarbeit mit zwei Physiotherapeuten der IB Medizinischen Akademie Mannheim ein Konzept für das heimbasierte Training in der Handtherapie erarbeitet. Das Konzept basiert auf der Thalmic Myo, einem Gestensteuerungssystem, das über den Arm gesteuert wird. Der Entwurf wird prototypisch in Verbindung mit einer Android Anwendung realisiert. Das Myo-Armband ist mit Bewegungssensoren und Elektroden ausgestattet, womit sich Position von Hand und Arm im Raum erfassen und Bewegungen durch elektrische Signale von Muskeln erkennen lassen. Basierend auf dieser Technologie, soll eine Möglichkeit zur Verlaufskontrolle der Adhärenz, die Einhaltung der gemeinsam gesetzten Therapieziele, gewährleistet werden können. Abschließend wird der Prototyp gemeinsam mit sieben Physiotherapeuten hinsichtlich seiner Funktionalität untersucht und die Akzeptanz und das Nutzererlebnis evaluiert. Bei der Untersuchung wird das Studentenprojekt “LeapPhysio” hinzugezogen, das ähnliche Ziele verfolgt, jedoch auf einer anderen Technologie basiert. Es werden beide Technologien gegenübergestellt und auf ihre Eignung geprüft

Untersuchung des Einflusses räumlich getrennter Bedienelemente für mobile Assistenzsysteme auf die Arbeitsbeanspruchung des Nutzers

Zur Steigerung der Qualität werden Wartungstechniker bei ihren Rundgängen in Prozessanlagen mit digitalen Assistenzsystemen unterstützt. Dadurch soll diese Arbeit effizienter und weniger fehleranfällig gestaltet werden. Da sich jedoch konventionelle Eingabemetaphern dafür nur bedingt eignen, versucht man Eingabeelemente von dem Anzeigeelement räumlich zu trennen. Um den Einfluss einer solchen Trennung auf die Arbeitsbeanspruchung des Nutzers zu untersuchen, wurde ein Evaluationsexperiment mit zwei Versuchsgruppen durchgeführt. Dabei hat eine Versuchsgruppe festgelegte Wartungsrundgänge mit Hilfe von Assistenzsystemen mit abgesetzten Eingabegeräte durchgeführt und die andere Gruppe mit kombinierten Eingabegeräten. Der Versuch wurde für die drei Interaktionsmetaphern Texteingabe, Navigation in strukturierten Daten und Navigation in Abbildungen mit jeweils angepassten Eingabegeräten durchgeführt. Als Beanspruchungsindikatoren wurden die Pupillengröße, die Zeitdauer und die subjektive Bewertung mit Hilfe des NASA-TLX gemessen. Als Ergebnis zeigt sich, dass kein signifikanter Unterschied zwischen den verschiedenen Ausprägungen der Trennung für alle Interaktionsmetaphern existiert. Daher spricht von Standpunkt der Arbeitsbeanspruchung nichts gegen eine Trennung des Eingabegeräts vom Anzeigegerät. Zur Erhöhung der Qualität der Daten und Präzisierung der Aussage sollte der Versuch mit einigen Änderungen aber erneut durchgeführt werden.Maintenance technicians are assisted during their operations in process plants with digital assistant systems to increase the quality. This should make the work more efficient and less error prone. Since conventional input metaphors are only limited suitable for this purpose, new input devices are developed which are seperated from the display element. To investigate the influence of such a separation on the work load of the user, an evaluation experiment was conducted with two experimental groups. One group has performed specified maintenance tours with seperated input devices and the other group with combined input devices. The experiment was conducted for the three interaction metaphors text input, navigation in structured data and navigation in images. For each metaphor a suitable input device was used. The workload was measured with the indicators pupil size, time duration and a subjective evaluation with the NASA-TLX. In this experiment no significant difference exists between the various forms of separation for all interaction metaphors. Therefore there is no reason rejecting a separation of the input device from the display device. Nevertheless to improve the quality of the data this investigation should be repetead with some modifications

Multimodales kollaboratives Zeichensystem für blinde Benutzer

Bilder und grafische Darstellungen gehören heutzutage zu den gängigen Kommunikationsmitteln und Möglichkeiten des Informationsaustauschs sowie der Wissensvermittlung. Das bildliche Medium kann allerdings, wenn es rein visuell präsentiert wird, ganze Nutzergruppen ausschließen. Blinde Menschen benötigen beispielsweise Alternativtexte oder taktile Darstellungen, um Zugang zu grafischen Informationen erhalten zu können. Diese müssen jedoch an die speziellen Bedürfnisse von blinden und hochgradig sehbehinderten Menschen angepasst sein. Eine Übertragung von visuellen Grafiken in eine taktile Darstellung erfolgt meist durch sehende Grafikautoren und -autorinnen, die teilweise nur wenig Erfahrung auf dem Gebiet der taktilen Grafiktranskription haben. Die alleinige Anwendung von Kriterienkatalogen und Richtlinien über die Umsetzung guter taktiler Grafiken scheint dabei nicht ausreichend zu sein, um qualitativ hochwertige und gut verständliche grafisch-taktile Materialien bereitzustellen. Die direkte Einbeziehung einer sehbehinderten Person in den Transkriptionsprozess soll diese Problematik angehen, um Verständnis- und Qualitätsproblemen vorzubeugen. Großflächige dynamisch taktile Displays können einen nicht-visuellen Zugang zu Grafiken ermöglichen. Es lassen sich so auch dynamische Veränderungen an Grafiken vermitteln. Im Rahmen der vorliegenden Arbeit wurde ein kollaborativer Zeichenarbeitsplatz für taktile Grafiken entwickelt, welcher es unter Einsatz eines taktilen Flächendisplays und auditiver Ausgaben ermöglicht, eine blinde Person aktiv als Lektorin bzw. Lektor in den Entstehungsprozess einer Grafik einzubinden. Eine durchgeführte Evaluation zeigt, dass insbesondere unerfahrene sehende Personen von den Erfahrungen sehbehinderter Menschen im Umgang mit taktilen Medien profitieren können. Im Gegenzug lassen sich mit dem kollaborativen Arbeitsplatz ebenso unerfahrene sehbehinderte Personen im Umgang mit taktilen Darstellungen schulen. Neben Möglichkeiten zum Betrachten und kollaborativen Bearbeiten werden durch den zugänglichen Zeichenarbeitsplatz auch vier verschiedene Modalitäten zur Erzeugung von Formen angeboten: Formenpaletten als Text-Menüs, Gesteneingaben, Freihandzeichnen mittels drahtlosem Digitalisierungsstift und das kamerabasierte Scannen von Objektkonturen. In einer Evaluation konnte gezeigt werden, dass es mit diesen Methoden auch unerfahrenen blinden Menschen möglich ist, selbständig Zeichnungen in guter Qualität zu erstellen. Dabei präferieren sie jedoch robuste und verlässliche Eingabemethoden, wie Text-Menüs, gegenüber Modalitäten, die ein gewisses Maß an Können und Übung voraussetzen oder einen zusätzlichen technisch aufwendigen Aufbau benötigen.Pictures and graphical data are common communication media for conveying information and know\-ledge. However, these media might exclude large user groups, for instance visually impaired people, if they are offered in visual form only. Textual descriptions as well as tactile graphics may offer access to graphical information but have to be adapted to the special needs of visually impaired and blind readers. The translation from visual into tactile graphics is usually implemented by sighted graphic authors, some of whom have little experience in creating proper tactile graphics. Applying only recommendations and best practices for preparing tactile graphics does not seem sufficient to provide intelligible, high-quality tactile materials. Including a visually impaired person in the process of creating a tactile graphic should prevent such quality and intelligibility issues. Large dynamic tactile displays offer non-visual access to graphics; even dynamic changes can be conveyed. As part of this thesis, a collaborative drawing workstation was developed. This workstation utilizes a tactile display as well as auditory output to actively involve a blind person as a lector in the drawing process. The evaluation demonstrates that inexperienced sighted graphic authors, in particular, can be\-ne\-fit from the knowledge of a blind person who is accustomed to handling tactile media. Furthermore, inexperienced visually impaired people may be trained in reading tactile graphics with the help of the collaborative drawing workstation. In addition to exploring and manipulating existing graphics, the accessible drawing workstation offers four different modalities to create tactile shapes: text-based shape-palette-menus, gestural drawing, freehand drawings using a wireless stylus and scanning object silhouettes by a ToF-camera. The evaluation confirms that even untrained blind users can create drawings in good quality by using the accessible drawing workstation. However, users seem to prefer robust, reliable modalities for drawing, such as text menus, over modalities which require a certain level of skill or additional technical effort

Einsatz der elektronischen Patientenakte im Operationssaal am Beispiel der HNO-Chirurgie

Wenn ein Chirurg heutzutage während der Operation Informationen aus der Patientenakte benötigt, ist er gezwungen, sich entweder unsteril zu machen oder Personal anzuweisen, ihm die entspre-chenden Informationen zugänglich zu machen. Aus technischer Sicht ist ein System zur intraoperati-ven Bedienung und Darstellung sehr einfach zu realisieren. Grundlage dafür ist eine elektronische Patientenakte (EPA), welche beispielsweise softwaregenerierten oder eingescannten Dokumenten verwaltet. Die vorliegende Arbeit widmet sich den folgenden Fragen: Wird ein solches System im Operationssaal sinnvoll genutzt? Welche Methoden zur sterilen Bedienung kommen infrage? Wie muss die grafische Darstellung auf den Operationssaal abgestimmt werden? Kann durch das Imple-mentieren aktueller Kommunikationsstandards auf alle verfügbaren Patientendaten zugegriffen werden? Dazu wurden in einer ambulanten HNO-Klinik zwei Pilotstudien durchgeführt. In der ersten Studie wurde das erste auf dem Markt befindliche kommerzielle Produkt „MI-Report“ der Firma Karl Storz evaluiert, welches per Gestenerkennung bedient wird. Für die zweite Studie wurde ein EPA-System entwickelt (Doc-O-R), welches eine Vorauswahl der angezeigten Dokumente in Abhängigkeit des Eingriffs traf und mit einem Fußschalter bedient werden konnte. Pro System wurden ca. 50 Eingriffe dokumentiert. Dabei wurde jedes angesehene Dokument und der Nutzungsgrund protokolliert. Die Systeme wurden durchschnittlich mehr als einmal pro Eingriff genutzt. Die automatische Vorauswahl der Dokumente zur Reduzierung der Interaktionen zeigte sehr gute Ergebnisse. Da das behandelte Thema noch in den Anfängen steckt, wird in der Arbeit am Ende auf die Vielzahl von Möglichkeiten eingegangen, welche bezüglich neuartiger Darstellungsmethoden, Bedienvorrich-tungen und aktueller Standardisierungsaktivitäten noch realisiert werden können. Dadurch werden zukünftig auch die Abläufe in der Chirurgie beeinflusst werden.:1 Einführung 13 1.1 Problemstellung 14 1.2 Stand der Wissenschaft und Technik 14 1.2.1 Überblick 15 1.2.2 Digitalisierung des Operationssaals 16 1.2.3 Verbreitung Elektronischer Datenverarbeitungssysteme im Krankenhaus 16 1.2.4 Definitionen zum Begriff der elektronischen Patientenakte 17 1.2.5 Aufbau eines EPA-Systems 20 1.2.6 Sterile Bedienkonzepte 20 1.2.7 Darstellung 27 1.2.8 Standardisierung 33 2 Aufgabenstellung 39 3 Materialien und Methoden 41 3.1 Klinik 41 3.1.1 Technischer Stand 41 3.1.2 Abläufe im IRDC 41 3.2 Protokollierung 43 3.3 Verwendete Dokumente 44 3.3.1 KIS-Übersicht 44 3.3.2 Audiogramm 45 3.3.3 Tympanogramm 46 3.3.4 Blutwerte 47 3.3.5 OP-Bericht 48 3.3.6 Rhinomanometrie 50 3.3.7 Computertomographie 50 3.3.8 Bilder vorangegangener Untersuchungen und Operationen 51 3.3.9 Radiologische Gutachten 52 3.3.10 Anamnese 53 3.3.11 Überweisung 54 3.3.12 Stimmbefund 55 3.4 Statistische Auswertung 55 3.4.1 Abhängigkeit des betrachteten Dokuments von der Art des Eingriffs 55 3.4.2 Bewertung des Algorithmus zur automatischen Vorauswahl der Dokumente 56 3.5 Vorbereitung 57 3.6 Studie „MI-Report“ 57 3.6.1 Anzeige 58 3.6.2 Sensor und Bedienung 59 3.6.3 Personen 59 3.6.4 Vorbereitung 60 3.6.5 Protokollierung 60 3.7 Studie „Doc-O-R“ 62 3.7.1 Klinik 63 3.7.2 Vorbereitung 64 3.7.3 Protokollierung 64 3.7.4 Metadaten 65 3.7.5 Softwareentwicklung 65 4 Ergebnisse 69 4.1.1 Statistische Auswertung 71 4.2 Studie „MI-Report“ 71 4.2.1 Aktivierung 72 4.2.2 Nutzung 72 4.3 Studie „Doc-O-R“ 75 4.3.1 Datenlage 75 4.3.2 Algorithmus 75 4.3.3 Nutzung 77 4.3.4 Phasen 78 4.3.5 Operateure 79 4.3.6 Revisionen 79 5 Diskussion 81 5.1 Nutzung 81 5.2 Schwächen des Studienaufbaus 82 5.3 Statistische Auswertung 83 5.4 Darstellung 83 5.5 Standards 83 5.5.1 Technische Faktoren 84 5.5.2 Emotionale Faktoren 84 5.5.3 Strategische Faktoren 84 5.5.4 Ökonomische Faktoren 85 5.5.5 Rechtliche Faktoren 85 5.5.6 Machtpolitische Faktoren 85 5.6 Studie „MI-Report“ 85 5.6.1 Grafische Oberfläche 85 5.6.2 Aktivierung 86 5.6.3 Nutzung 86 5.6.4 Schwächen des Studienaufbaus 87 5.7 Studie „Doc-O-R“ 88 5.7.1 Schwächen der Studie 88 5.7.2 Algorithmus 88 5.7.3 Darstellung 88 5.7.4 Bedienung 89 5.7.5 Phasen 89 5.7.6 Nutzung 89 5.7.7 Revisionen 90 6 Schlussfolgerung 91 6.1 Bedienung 91 6.2 Standardisierung 92 6.3 Darstellung 93 6.4 Nutzungsverhalten 94 7 Ausblick 97 7.1 Bedienung 98 7.2 Standardisierung 100 7.3 Darstellung 102 7.4 Nutzungsverhalten 104 8 Zusammenfassung der Arbeit 105 9 Abbildungsverzeichnis 109 10 Quellenangaben 112 Anhang A Anatomische und physiologische Grundlagen 119 Anhang B Ambulante Eingriffe in der HNO-Chirurgie 121 Anhang C Schematischer Aufbau des Operationstraktes 12

Formalisierung gestischer Eingabe für Multitouch-Systeme

Die Mensch-Computer-Interaktion wird dank neuer Eingabemöglichkeiten jenseits von Tastatur und Maus reicher, vielseitiger und intuitiver. Durch den Verzicht auf zusätzliche Geräte beim Umgang mit Computern geht seitens der Eingabeverarbeitung jedoch eine erhöhte Komplexität einher: Die Programmierung gestischer Eingabe für Multitouch-Systeme ist in derzeitigen Frameworks abgesehen von den verfügbaren Standard-Gesten mit hohem Aufwand verbunden. Die entwickelte Gestenformalisierung für Multitouch (GeForMT) definiert eine domänenspezifische Sprache zur Beschreibung von Multitouch-Gesten. Statt wie verwandte Formalisierungsansätze detaillierte Filter für die Rohdaten zu definieren, bedient sich GeForMT eines bildhaften Ansatzes, um Gesten zu beschreiben. Die Konzeption von Gesten wird unterstützt, indem beispielsweise in einem frühen Stadium der Entwicklung Konflikte zwischen ähnlichen Gesten aufgedeckt werden. Die formalisierten Gesten lassen sich direkt in den Code einbetten und vereinfachen damit die Programmierung. Das zugrundeliegende Framework sorgt für die Verbindung zu den Algorithmen der Gestenerkennung. Die Übertragung des semiotischen Ansatzes zur Formalisierung auf andere Formen gestischer Eingabe wird abschließend diskutiert.:1 Einleitung 1.1 Motivation 1.2 Zielstellung und Abgrenzung 1.3 Aufbau der Arbeit 2 Interdisziplinäre Grundlagenbetrachtung 2.1 Semiotik 2.1.1 Begriffe und Zeichenklassen 2.1.2 Linguistik 2.1.3 Graphische Semiologie 2.1.4 Formgestaltung und Produktsprache 2.1.5 Interfacegestaltung 2.2 Gestenforschung 2.2.1 Kendons Kontinuum für Gesten 2.2.2 Taxonomien 2.2.3 Einordnung 2.3 Gestische Eingabe in der Mensch-Computer-Interaktion 2.3.1 Historische Entwicklung von Ein- und Ausgabetechnologien 2.3.2 Begreifbare Interaktion 2.3.3 Domänenspezifische Modellierung 2.4 Zusammenfassung 3 Verwandte Formalisierungsansätze 3.1 Räumliche Gesten 3.1.1 XML-Beschreibung mit der Behaviour Markup Language 3.1.2 Detektornetze in multimodalen Umgebungen 3.1.3 Gestenvektoren zur Annotation von Videos 3.1.4 Vergleich 3.2 Gesten im Sketching 3.2.1 Gestenfunktionen für Korrekturzeichen 3.2.2 Sketch Language zur Beschreibung von Skizzen 3.2.3 Domänenspezifische Skizzen mit LADDER 3.2.4 Vergleich 3.3 Flächige Gesten 3.3.1 Regelbasierte Definition mit Midas 3.3.2 Gesture Definition Language als Beschreibungssprache 3.3.3 Reguläre Ausdrücke von Proton 3.3.4 Gesture Interface Specification Language 3.3.5 Logische Formeln mit Framous 3.3.6 Gesture Definition Markup Language 3.3.7 Vergleich 3.4 Zusammenfassung 4 Semiotisches Modell zur Formalisierung 4.1 Phasen gestischer Eingabe 4.2 Syntax gestischer Eingabe 4.3 Semantik gestischer Eingabe 4.4 Pragmatik gestischer Eingabe 4.5 Zusammenfassung 5 Gestenformalisierung für Multitouch 5.1 Ausgangslage für die Konzeption 5.1.1 Ikonographische Einordnung flächiger Gesten 5.1.2 Voruntersuchung zur Programmierung flächiger Gesten 5.1.3 Anforderungskatalog für die Formalisierung 5.2 Semiotische Analyse flächiger Gesten 5.2.1 Syntax flächiger Gesten 5.2.2 Semantik flächiger Gesten 5.2.3 Pragmatik flächiger Gesten 5.3 Präzedenzfälle für die Formalisierung 5.3.1 Geschicklichkeit bei der Multitouch-Interaktion 5.3.2 Präzision bei flächigen Gesten 5.3.3 Kooperation in Multitouch-Anwendungen 5.4 Evaluation und Diskussion 5.4.1 Vergleich der Zeichenanzahl 5.4.2 Evaluation der Beschreibungsfähigkeit 5.4.3 Limitierungen und Erweiterungen 6 Referenzarchitektur 6.1 Analyse existierender Multitouch-Frameworks 6.2 Grundlegende Architekturkomponenten 6.2.1 Parser 6.2.2 Datenmodell 6.2.3 Gestenerkennung und Matching 6.2.4 Programmierschnittstelle 6.3 Referenzimplementierung für JavaScript 6.3.1 Komponenten der Bibliothek 6.3.2 Praktischer Einsatz 6.3.3 Gesteneditor zur bildhaften Programmierung 7 Praxisbeispiele 7.1 Analyse prototypischer Anwendungen 7.1.1 Workshop zur schöpferischen Zerstörung 7.1.2 Workshop zu semantischen Dimensionen 7.1.3 Vergleich 7.2 Abbildung von Maus-Interaktion auf flächige Gesten in DelViz 7.2.1 Datengrundlage und Suchkonzept 7.2.2 Silverlight-Implementierung von GeForMT 7.3 Flächige Gesten im 3D-Framework Bildsprache LiveLab 7.3.1 Komponentenarchitektur 7.3.2 Implementierung von GeForMT mit C++ 7.4 Statistik und Zusammenfassung 8 Weiterentwicklung der Formalisierung 8.1 Räumliche Gesten 8.1.1 Verwandte Arbeiten 8.1.2 Prototypischer Aufbau 8.1.3 Formalisierungsansatz 8.2 Substanzen des Alltags 8.2.1 Verwandte Arbeiten 8.2.2 Experimente mit dem Explore Table 8.2.3 Formalisierungsansatz 8.3 Elastische Oberflächen 8.3.1 Verwandte Arbeiten 8.3.2 Der Prototyp DepthTouch 8.3.3 Formalisierungsansatz 9 Zusammenfassung 9.1 Kapitelzusammenfassungen und Beiträge der Arbeit 9.2 Diskussion und Bewertung 9.3 Ausblick und zukünftige Arbeiten Anhang Vergleichsmaterial Formalisierungsansätze Fragebogen Nachbefragung Ablaufplan studentischer Workshops Grammatikdefinitionen Statistische Auswertung Gestensets Literatur Webreferenzen Eigene Veröffentlichungen Betreute studentische Arbeiten Abbildungsverzeichnis Tabellen Verzeichnis der Code-Beispiel