Interaction gestuelle à une main avec un smartphone : retours utilisateurs et application aux picophones

This paper presents a one-handed gesture command for the interaction with a picophone and any mobile device. We present an algorithm of 3D gesture recognition based on the filtering of accelerometer data. An experiment is detailed which shown the robustness of the gesture detection as well as the interest of such a one-handed command. At last, we report an application of this work with a picophone

Informationsvisualisierung mit Mobilgeräten: Erstellung und interaktive Darstellung einer Literatursammlung

In dieser Arbeit werden die in einer umfassenden Literaturrecherche zum Thema “Informationsvisualisierung auf mobilen Geräten” erlangten Ergebnisse strukturiert dargelegt. Dabei werden sowohl historische, als auch Aspekte des aktuellen Stands zur Visualisierung auf und Interaktion mit Mobilgeräten berücksichtigt. Des Weiteren wird eine Sammlung von wissenschaftlichen Arbeiten zum genannten Thema in einer web-basierten Literaturübersicht visualisiert. Dafür werden Vorgehensweisen und Konzepte für die Auswahl von geeigneten Daten, Technologien und Designentscheidungen vorgestellt und bei der Implementierung beachtet.:1 Einführung 1 1.1 Motivation 1 1.2 Ziel dieser Arbeit 2 1.3 Aufbau der Arbeit 2 2 Verwandte Arbeiten 5 2.1 Interaktive Informationsvisualisierung auf mobilen Geräten 5 2.1.1 Ideen hinter dem heutigen Stand der Technik 5 2.1.2 Stand der Technik: Interaktionen für mobile Geräte 6 2.1.3 Informationsvisualisierung auf mobilen Geräten 10 2.1.4 Aufgaben und Nutzung mobiler interaktiver Visualisierungen 16 2.1.5 Interaktive Visualisierungen durch Kombination von mobilen Geräten 17 2.2 Interaktive Literaturübersicht 19 2.2.1 Netzwerkdarstellungen wissenschaftlicher Arbeiten 20 2.2.2 Weitere Darstellungen wissenschaftlicher Arbeiten 22 2.2.3 Interaktive Visualisierungen literatur-ähnlicher Sammlungen 23 2.3 Zusammenfassung 25 3 Konzeption 27 3.1 Analyse der Datenbasis 27 3.1.1 Informationen aus exportierten Metadaten 27 3.1.2 Zu extrahierende Daten 29 3.2 Kriterien für das Design interaktiver Visualisierungen 32 3.2.1 Aufgaben einer interaktiven Literaturübersicht 32 3.2.2 Zielgruppe einer interaktiven Literaturübersicht 33 3.3 Design interaktiver Literaturübersichten 34 3.3.1 Vergleich von multiplen und Einzelansichten 34 3.3.2 Visuelles Designkonzept 36 3.3.3 Erweiterung der Visualisierungen durch Animationen 37 3.4 Vergleich vorgestellter Visualisierungen 38 3.4.1 Vergleich von Wortwolke, Netzwerk und Sunburst-Diagramm 38 3.4.2 Vergleich von Punktmatrizen, Stapel-, Marimekko und gruppierten Balkendiagrammen 39 3.5 Zusammenfassung 40 4 Entwicklung einer interaktiven Literaturübersicht 43 4.1 Auswahl geeigneter Technologien und der Datengrundlage 43 4.1.1 Technologieauswahl 43 4.1.2 Definition der Datengrundlage 45 4.2 Oberflächendesign 46 4.2.1 Designentscheidungen der Seitenelemente 47 4.2.2 Designentscheidungen der Benutzeroberfläche 50 4.3 Interaktionsdesign der Literaturübersicht 52 4.4 Implementierung 54 4.4.1 Modulstruktur 54 4.4.2 Datenhaltung 55 4.4.3 Wortwolke 55 4.4.4 Seitenleiste und Filter 56 4.4.5 Streudiagramm 57 4.4.6 Autorenvisualisierung 57 4.5 Schlussfolgerungen 58 5 Zusammenfassung 61 5.1 Fazit 61 5.2 Ausblick 62 Literatur 63 Selbstständigkeitserklärung 79In this thesis, the results obtained in a comprehensive literature search on the topic of “information visualization on mobile devices” are presented in a structured manner. Historical as well as aspects of the current state-of-the-art of visualization on and interaction with mobile devices are considered. Furthermore, a collection of scientific papers on this topic will be visualized in a web-based literature overview. Procedures and concepts for the selection of suitable data, technologies and design decisions will be presented and considered during implementation.:1 Einführung 1 1.1 Motivation 1 1.2 Ziel dieser Arbeit 2 1.3 Aufbau der Arbeit 2 2 Verwandte Arbeiten 5 2.1 Interaktive Informationsvisualisierung auf mobilen Geräten 5 2.1.1 Ideen hinter dem heutigen Stand der Technik 5 2.1.2 Stand der Technik: Interaktionen für mobile Geräte 6 2.1.3 Informationsvisualisierung auf mobilen Geräten 10 2.1.4 Aufgaben und Nutzung mobiler interaktiver Visualisierungen 16 2.1.5 Interaktive Visualisierungen durch Kombination von mobilen Geräten 17 2.2 Interaktive Literaturübersicht 19 2.2.1 Netzwerkdarstellungen wissenschaftlicher Arbeiten 20 2.2.2 Weitere Darstellungen wissenschaftlicher Arbeiten 22 2.2.3 Interaktive Visualisierungen literatur-ähnlicher Sammlungen 23 2.3 Zusammenfassung 25 3 Konzeption 27 3.1 Analyse der Datenbasis 27 3.1.1 Informationen aus exportierten Metadaten 27 3.1.2 Zu extrahierende Daten 29 3.2 Kriterien für das Design interaktiver Visualisierungen 32 3.2.1 Aufgaben einer interaktiven Literaturübersicht 32 3.2.2 Zielgruppe einer interaktiven Literaturübersicht 33 3.3 Design interaktiver Literaturübersichten 34 3.3.1 Vergleich von multiplen und Einzelansichten 34 3.3.2 Visuelles Designkonzept 36 3.3.3 Erweiterung der Visualisierungen durch Animationen 37 3.4 Vergleich vorgestellter Visualisierungen 38 3.4.1 Vergleich von Wortwolke, Netzwerk und Sunburst-Diagramm 38 3.4.2 Vergleich von Punktmatrizen, Stapel-, Marimekko und gruppierten Balkendiagrammen 39 3.5 Zusammenfassung 40 4 Entwicklung einer interaktiven Literaturübersicht 43 4.1 Auswahl geeigneter Technologien und der Datengrundlage 43 4.1.1 Technologieauswahl 43 4.1.2 Definition der Datengrundlage 45 4.2 Oberflächendesign 46 4.2.1 Designentscheidungen der Seitenelemente 47 4.2.2 Designentscheidungen der Benutzeroberfläche 50 4.3 Interaktionsdesign der Literaturübersicht 52 4.4 Implementierung 54 4.4.1 Modulstruktur 54 4.4.2 Datenhaltung 55 4.4.3 Wortwolke 55 4.4.4 Seitenleiste und Filter 56 4.4.5 Streudiagramm 57 4.4.6 Autorenvisualisierung 57 4.5 Schlussfolgerungen 58 5 Zusammenfassung 61 5.1 Fazit 61 5.2 Ausblick 62 Literatur 63 Selbstständigkeitserklärung 7

Personalized Interaction with High-Resolution Wall Displays

Fallende Hardwarepreise sowie eine zunehmende Offenheit gegenüber neuartigen Interaktionsmodalitäten haben in den vergangen Jahren den Einsatz von wandgroßen interaktiven Displays möglich gemacht, und in der Folge ist ihre Anwendung, unter anderem in den Bereichen Visualisierung, Bildung, und der Unterstützung von Meetings, erfolgreich demonstriert worden. Aufgrund ihrer Größe sind Wanddisplays für die Interaktion mit mehreren Benutzern prädestiniert. Gleichzeitig kann angenommen werden, dass Zugang zu persönlichen Daten und Einstellungen — mithin personalisierte Interaktion — weiterhin essentieller Bestandteil der meisten Anwendungsfälle sein wird. Aktuelle Benutzerschnittstellen im Desktop- und Mobilbereich steuern Zugriffe über ein initiales Login. Die Annahme, dass es nur einen Benutzer pro Bildschirm gibt, zieht sich durch das gesamte System, und ermöglicht unter anderem den Zugriff auf persönliche Daten und Kommunikation sowie persönliche Einstellungen. Gibt es hingegen mehrere Benutzer an einem großen Bildschirm, müssen hierfür Alternativen gefunden werden. Die daraus folgende Forschungsfrage dieser Dissertation lautet: Wie können wir im Kontext von Mehrbenutzerinteraktion mit wandgroßen Displays personalisierte Schnittstellen zur Verfügung stellen? Die Dissertation befasst sich sowohl mit personalisierter Interaktion in der Nähe (mit Touch als Eingabemodalität) als auch in etwas weiterer Entfernung (unter Nutzung zusätzlicher mobiler Geräte). Grundlage für personalisierte Mehrbenutzerinteraktion sind technische Lösungen für die Zuordnung von Benutzern zu einzelnen Interaktionen. Hierzu werden zwei Alternativen untersucht: In der ersten werden Nutzer via Kamera verfolgt, und in der zweiten werden Mobilgeräte anhand von Ultraschallsignalen geortet. Darauf aufbauend werden Interaktionstechniken vorgestellt, die personalisierte Interaktion unterstützen. Diese nutzen zusätzliche Mobilgeräte, die den Zugriff auf persönliche Daten sowie Interaktion in einigem Abstand von der Displaywand ermöglichen. Einen weiteren Teil der Arbeit bildet die Untersuchung der praktischen Auswirkungen der Ausgabe- und Interaktionsmodalitäten für personalisierte Interaktion. Hierzu wird eine qualitative Studie vorgestellt, die Nutzerverhalten anhand des kooperativen Mehrbenutzerspiels Miners analysiert. Der abschließende Beitrag beschäftigt sich mit dem Analyseprozess selber: Es wird das Analysetoolkit für Wandinteraktionen GIAnT vorgestellt, das Nutzerbewegungen, Interaktionen, und Blickrichtungen visualisiert und dadurch die Untersuchung der Interaktionen stark vereinfacht.An increasing openness for more diverse interaction modalities as well as falling hardware prices have made very large interactive vertical displays more feasible, and consequently, applications in settings such as visualization, education, and meeting support have been demonstrated successfully. Their size makes wall displays inherently usable for multi-user interaction. At the same time, we can assume that access to personal data and settings, and thus personalized interaction, will still be essential in most use-cases. In most current desktop and mobile user interfaces, access is regulated via an initial login and the complete user interface is then personalized to this user: Access to personal data, configurations and communications all assume a single user per screen. In the case of multiple people using one screen, this is not a feasible solution and we must find alternatives. Therefore, this thesis addresses the research question: How can we provide personalized interfaces in the context of multi-user interaction with wall displays? The scope spans personalized interaction both close to the wall (using touch as input modality) and further away (using mobile devices). Technical solutions that identify users at each interaction can replace logins and enable personalized interaction for multiple users at once. This thesis explores two alternative means of user identification: Tracking using RGB+depth-based cameras and leveraging ultrasound positioning of the users' mobile devices. Building on this, techniques that support personalized interaction using personal mobile devices are proposed. In the first contribution on interaction, HyDAP, we examine pointing from the perspective of moving users, and in the second, SleeD, we propose using an arm-worn device to facilitate access to private data and personalized interface elements. Additionally, the work contributes insights on practical implications of personalized interaction at wall displays: We present a qualitative study that analyses interaction using a multi-user cooperative game as application case, finding awareness and occlusion issues. The final contribution is a corresponding analysis toolkit that visualizes users' movements, touch interactions and gaze points when interacting with wall displays and thus allows fine-grained investigation of the interactions

Enhanced sensor-based interaction techniques for mobile map-based applications

Mobile phones are increasingly being equipped with a wide range of sensors which enable a variety of interaction techniques. Sensor-based interaction techniques are particularly promising for domains such as map-based applications, where the user is required to interact with a large information space on the small screen of a mobile phone. Traditional interaction techniques have several shortcomings for interacting with mobile map-based applications. Keypad interaction offers limited control over panning speed and direction. Touch-screen interaction is often a two-handed form of interaction and results in the display being occluded during interaction. Sensor-based interaction provides the potential to address many of these shortcomings, but currently suffers from several limitations. The aim of this research was to propose enhancements to address the shortcomings of sensor-based interaction, with a particular focus on tilt interaction. A comparative study between tilt and keypad interaction was conducted using a prototype mobile map-based application. This user study was conducted in order to identify shortcomings and opportunities for improving tilt interaction techniques in this domain. Several shortcomings, including controllability, mental demand and practicality concerns were highlighted. Several enhanced tilt interaction techniques were proposed to address these shortcomings. These techniques were the use of visual and vibrotactile feedback, attractors, gesture zooming, sensitivity adaptation and dwell-time selection. The results of a comparative user study showed that the proposed techniques achieved several improvements in terms of the problem areas identified earlier. The use of sensor fusion for tilt interaction was compared to an accelerometer-only approach which has been widely applied in existing research. This evaluation was motivated by advances in mobile sensor technology which have led to the widespread adoption of digital compass and gyroscope sensors. The results of a comparative user study between sensor fusion and accelerometer-only implementations of tilt interaction showed several advantages for the use of sensor fusion, particularly in a walking context of use. Modifications to sensitivity adaptation and the use of tilt to perform zooming were also investigated. These modifications were designed to address controllability shortcomings identified in earlier experimental work. The results of a comparison between tilt zooming and Summary gesture zooming indicated that tilt zooming offered better results, both in terms of performance and subjective user ratings. Modifications to the original sensitivity adaptation algorithm were only partly successful. Greater accuracy improvements were achieved for walking tasks, but the use of dynamic dampening factors was found to be confusing. The results of this research were used to propose a framework for mobile tilt interaction. This framework provides an overview of the tilt interaction process and highlights how the enhanced techniques proposed in this research can be integrated into the design of tilt interaction techniques. The framework also proposes an application architecture which was implemented as an Application Programming Interface (API). This API was successfully used in the development of two prototype mobile applications incorporating tilt interaction