Improving Usability of Interactive Graphics Specification and Implementation with Picking Views and Inverse Transformations

Specifying and programming graphical interactions are difficult tasks, notably because designers have difficulties to express the dynamics of the interaction. This paper shows how the MDPC architecture improves the usability of the specification and the implementation of graphical interaction. The architecture is based on the use of picking views and inverse transforms from the graphics to the data. With three examples of graphical interaction, we show how to express them with the architecture, how to implement them, and how this improves programming usability. Moreover, we show that it enables implementing graphical interaction without a scene graph. This kind of code prevents from errors due to cache consistency management

Content arrangement on large high-resolution displays: a PDF-reader

The advent of Large High Resolution Displays (LHRDs) enables new visualisation methods for data analysis. This allows users to replace virtual navigation with spatial navigation which leads to further challenges in arranging the content appropriately. Conventional applications are developed without considering these novel issues; thus they may have deficiencies to be used on LHRDs efficiently. For this purpose, we conduct this thesis with a focus on the content arrangement of PDF documents. The aim of this thesis is to design, implement and evaluate an interface for viewing PDF documents on LHRDs. After an extensive literature review, we conducted design workshops to elicit design concepts and received various inspiring suggestions. The most promising design ideas were implemented as a working prototype by using an existing open source PDF renderer. Finally, we evaluated our implementation in a collaborative sensemaking user study in terms of usability and performance. We examine the result of the evaluation study and present key influencing factors which might be useful for future applications on LHRDs

Improving Task Switching Interfaces

Most interfaces for switching between tasks require slow, visual searches of candidates, where each candidate must be scanned in turn. We developed a logging tool for task switching actions and undertook a log-based study with eleven participants to empirically characterise task-switching behaviour, finding Zipfian distributions for window and application switching, and significant differences in interface use between single and dual monitor users. We then used this data to assist in designing a new interface (Spatially COnsistent Thumbnail Zones or SCOTZ) to allow rapid task-switching performance by utilising spatial memory. In a formal evaluation against three mainstream interfaces under four workspace conditions, SCOTZ attained the lowest mean times for all conditions and scaled better with workspace load, obtaining a significant difference under high workspace load. We conclude with a recommendation for using SCOTZ at all workspace loads, and suggest it be implemented and tested in a real-world environment

Multimonitoring und Taskmanagement

Window Manager begleiten den Computeralltag seit ungefähr 30 Jahren. Sie vereinfachen durch Visualisierung, Interaktionstechniken und Organisationsmöglichkeiten die Handhabung der verschiedensten täglichen Arbeitsprozesse von Benutzern unterschiedlichster Berufsgruppen. Das Konzept, auf dem sie basieren, ist noch älter. Trotzdem gibt es vergleichsweise wenig Literatur über die Benutzerzufriedenheit und eventuell auftretende Probleme. Gerade bei einer Software wie einem Window Manager sind diese Daten umso wichtiger, da sie applikationsübergreifend direkt auf den Benutzeralltag Einfluss nehmen. Der Fokus dieser Arbeit liegt daher auf dem Umgang der Benutzer mit den technischen Herausforderungen im alltäglichen Umgang mit Window Managern. In diesem Rahmen werden die Bereiche Multimonitoring und Taskmanagement gesondert betrachtet, da sich in diesen Bereichen die auffälligsten Veränderungen abzeichnen. Eine Gegenüberstellung bisher erstellter Studien mit Prototypen und neu entwickelten Techniken soll Klarheit bringen, inwiefern die Weiterentwicklung letztendlich dem Anwenderwunsch und folglich auch seinem Nutzen entspricht. Die Analyse der Erkenntnisse der bestehenden Studien führte zur Aufstellung von sechzehn Hypothesen zur tatsächlichen Verwendung von Window Managern, Taskmanagement und Multimonitoring, die im Rahmen einer Online Studie verifiziert werden sollten. Die Studie wurde als Online Fragebogens konzipiert und unter Beteiligung von 73 Teilnehmern durchgeführt. Die Ergebnisse der Online Studie werden gemeinsam mit den Ergebnissen der vorangegangenen Literaturstudie betrachtet und den Prototypen gegenübergestellt.Window manager have been an integral part of our daily interactions with computers for the last three decades. The underlying concept, the desktop metaphor, dates back even further. Employing visualization, interaction, and management techniques window managers simplify the handling of the everyday user processes across professions. However little is still known regarding user satisfaction with and potential problems of window managers. Developing evidence-based insight into this realm is essential for improving the usability of window-based computer interfaces as they directly affect the daily life of the end user. The thesis focuses on the technical challenges for users in the everyday work environments when interacting with window managers and their applications. More specifically this research investigates aspects of multi-monitoring and task management as they offer promising opportunities for improving the way users currently interact with window managers. The thesis presents an analysis of related work that proposes new prototypes and techniques to determine whether the presented enhancements are addressing the end user's needs and benefits. This analysis led to the development of sixteen hypotheses regarding the way users interact with window managers, and their practices regarding task management and multi-monitoring. To verify the hypotheses an online survey was designed and implemented yielding responses from 73 participants. The results of the survey were compared with the results of previous studies and technical prototypes. The most significant findings were identified in the areas of navigation, window organization and sequence, interaction between windows, task management, multitasking and multi-monitorin

De la Métaphore à la tâche (une bibliothèque de concepts métaphoriques pour le prototypage de techniques d'interactions.)

Nous présentons dans cette thèse les bases d un dialogue entre le modèle cognitif dit incarné et le développement de styles et techniques d interaction pour les interfaces graphiques en 3 dimensions. Ce modèle cognitif, structuré entre autres par Lakoff et Johnson, décrit les correspondances métaphoriques que nous construisons naturellement entre des idées abstraites et les modèles mentaux provenant de notre expérience perceptive. Dortier résume la cognition incarnée en disant que les idées ont des formes, des couleurs, suscitent des goûts et des dégoûts. Cette vision intégrée des systèmes perceptifs et cognitifs s applique non seulement à la représentation mentale des objets ou des personnes, mais aussi aux idées abstraites quelles soient morales, philosophiques ou scientifiques.Ce modèle met en évidence le rôle de ces corrélations en tant que source de compréhension et d action et a fait émerger le concept d interfaces énactives. Aujourd hui elles se présentent comme un regard commun sur les projets émergents d interfaces homme-machine. Des projets, tels que les interfaces tangibles, les systèmes de capture de gestes et d autres solutions logicielles et matérielles multimodales, se servent de notre aptitude à structurer métaphoriquement l information produite par notre action sur le monde, pour créer des interfaces universellement appréhendables.Nous avons illustré l application de ce modèle sur des projets d interfaces graphiques pour la réalisation de tâches dans des contextes hétérogènes. Nous avons ciblé les dispositifs multimédia pour le grand public et les stratégies pour la réussite de ces interfaces en tant qu outil pédagogique pour les musées, expositions et outils de travail collaboratifs. Notre première application est le projet de médiation graphique pour accéder à une base de données d'objets numérisés en 3D pour le Musée des Arts et Métiers. Dans ce projet les objets numérisés sont affichés selon une métaphore de fluides et particules dotés d électromagnétisme. La navigation dans ce catalogue se veut claire et pervasive. Nous avons analysons la capacité des métaphores de construire des ponts cohérents entre les diverses plateformes d accès au catalogue. Dans une seconde implémentation nous employons les métaphores liés à la notion visuelle de profondeur et de densité pour proposer une ligne du temps en 3 dimensions pour la visualisation de donnés temporelles pour EDF. Finalement nos synthétisons les relations entre les ensembles de métaphores pour les appliquer aux composantes d interaction. La structure résultante se présente sous forme d un Framework conceptuel d agents et styles d interaction qui peut servir en tant qu outil de prototypage mais aussi comme catalyseur pour la conception d interfaces innovantes.Embodied cognition has emerged over the last decades as a new paradigm of the human reasoning system. Large numbers of researchers agree on the influences of perceptual and motor activity on our thinking and representational mechanisms. The importance of embodied mind theory is growing in the field of cognitive science. It is now the conceptual support for innovative projects in human computer interaction (HCI). The new paradigms of HCI are shifting towards the venue of natural, invisible and pervasive interfaces. Office tasks of the 80s and their related interfaces are now being replaced by multimodal commands (gesture, voice) and contextual or social inputs. From graphical user interfaces to tangible and multimodal devices, new sets of innovative interaction techniques are emerging and these can no longer rely on classic metaphors and visual analogies. To increase the meaning of new commands and representations of post-wimp interaction techniques and to build coherent and consistent metaphors between different platforms and embedded devices in our environment, researchers have turned their attention to the embodied vision of the cognitive system.We present in this thesis the embodied cognitive paradigm and how it has been adopted by the HCI community. We illustrate this model by analyzing several tasks carried out in heterogeneous environments. Thereafter, proposals are made on how museums, exhibitions and collaboration tools may use embodied metaphors as a design strategy to produce innovative multimedia devices. The first application was one of mediating access to a database of digitized 3D objects for the Museum of Arts and Crafts in Paris. In this project the digitized objects are displayed in a metaphor of fluids and particles managed by electromagnetic forces that guide the semantics of the user s search. Browsing tasks in this catalog are intended to be clear and coherent between different platforms in order to respect the user s levels of desired engagement. An analysis is made of the ability of metaphors to build bridges between the various platform interfaces. In the second application, metaphors related to the concept of visual depth and density was used to propose a 3D timeline so as to visualize temporal data. Finally, the framework synthesizes the embodied metaphorical mappings in a large set of components which will be applied as building blocks when prototyping interaction techniques. This structure takes the form of a conceptual Framework of interaction agents which might serve not only as a tool for prototyping interfaces but also as a catalyst for generating innovative ideas.PARIS-CNAM (751032301) / SudocSudocFranceF

Konzepte und Mechanismen für die Darstellung von sicherheitskritischen Informationen im Fahrzeug

Die zunehmende Verwendung von Anwendungen im Fahrzeug wie Navigation, Videowiedergabe oder Geschwindigkeitsanzeige, welche eine grafische Repräsentation anstatt der physischen Zeigerinstrumente nutzen, geht einher mit einer Zunahme der verbauten digitalen Anzeigen im Fahrzeug. Neben den Anzeigen der Headunit und der Kombiinstrumente gibt es Anzeigen in den Kopfstützen und die Headup-Anzeige. Da meist jede Anzeige ihr eigenes Steuergerät besitzt, führt dieser Trend auch zu einer Zunahme an Steuergeräten. Dies bringt jedoch Skalierungsprobleme und eine zunehmende Komplexität mit sich, sowie erhöhten Bauraumbedarf, zunehmende Kosten und einen höheren Stromverbrauch. Um diesen Problemen begegnen zu können, wird eine Konsolidierung von Steuergeräten angestrebt. Die Anwendungen im Automobilbereich sind jedoch teils sehr unterschiedlich in ihrer Sicherheitskritikalität, da sie unterschiedlichen Einfluss auf die funktionale Sicherheit des Fahrzeugs haben. So ist die Darstellung mancher Warnlampen sicherheitskritisch, da sie für die Sicherheit der Insassen relevant sind, während das Abspielen einer DVD nur den Qualitätsansprüchen genügen muss. Die unterschiedlichen Anwendungen dürfen sich gegenseitig nicht ungewollt beeinflussen, was eine Isolation erforderlich macht, die bisher durch physisch separierte Hardware-Plattformen realisiert wurde. Dies muss aufgrund der oben genannten Gründe durch Software implementiert werden. Hierzu eignet sich vor allem die Technologie Virtualisierung, welche verschiedene Anwendungen in virtuellen Maschinen kapselt. Die Virtualisierung gewährleistet Isolation derzeit in der Nutzung von Ressourcen wie CPU und Speicher und vermeidet unbeabsichtigte oder böswillige Beeinflussung. Jedoch erstreckt sich die Isolation nicht auf die Nutzung der grafischen Ressourcen wie Anzeigen und GPU und kann insbesondere nicht die Anforderungen im Automobilbereich erfüllen. Der konfliktfreie Zugriff auf Anzeigebereiche unter Berücksichtigung der Sicherheitskritikalität der Anwendungen ist essentiell für die Sicherheit während der Fahrt. Im Rahmen des öffentlich geförderten Projektes ARAMiS wurde dieser Sachverhalt untersucht und geeignete Konzepte entwickelt. In dieser Arbeit werden unterschiedliche Anforderungen aus Rahmenrichtlinien wie ISO-Standards oder gesetzlichen Bestimmungen analysiert und auf sieben Kategorien von Anforderungen reduziert, welche für das grafische System im Fahzeug erfüllt werden müssen. Auf Grundlage dieser Anforderungen wird dann eine Architektur für einen Domänen-Server vorgeschlagen, welche mittels Virtualisierung und verschiedener Komponenten Isolation zwischen grafischen Anwendungen mit unterschiedlicher Sicherheitskritikalität bietet. Insbesondere die gemeinsame Nutzung der Anzeigen durch die Anwendungen mit unterschiedlicher Kritikalität stellt eine besondere Herausforderung dar. Die Konsolidierung von Steuergeräten wie der Headunit und den Kombiinstrumenten ermöglicht die flexible und dynamische Nutzung der viele Anzeigen, die den Anwendungen nun zur Verfügung stehen. Die dynamische Zuweisung der Anzeigebereiche muss die verschiedenen Anforderungen erfüllen und zu jeder Zeit die Ablenkung des Fahrers vermeiden. Zu diesem Zweck ist eine Zugriffskontrolle für die Anzeigebereiche notwendig. Hierzu werden Kontexte verwendet, um dynamisch festzustellen, welche Anwendung auf welchen Anzeigebereich zugreifen darf. Ein Kontext kann aus Sensorinformationen des Fahrzeugs (z. B. die Geschwindigkeit) oder aus Zuständen der Anwendungen (z. B. welcher Eintrag in der Auswahllite ausgewählt ist) abgeleitet werden. In dieser Arbeit wird ein Zugriffskontrollmodell vorgeschlagen, welches den Zugriff auf die Anzeigebereiche abhängig vom Kontext des Fahrzeugs und der Anwendungen regelt. Für eine möglichst flexible Erweiterbarkeit werden die Berechtigungen für die Anzeigebereiche zwischen Anwendungen, welche beispielsweise von verschiedenen Drittanbietern stammen, delegiert. Das Zugriffskontrollmodell ist vollständig formal definiert und es werden anhand von definierten Zuständen im Modell bestimmte Eigenschaften wie die Konfliktfreiheit bei Zugriff auf Anzeigebereiche bewiesen. Die Evaluation des Zugriffskontrollmodells wird anhand einer Implementierung der Konzepte durchgeführt und zeigt auf, dass die Latenz, die durch die Zugriffskontrolle entsteht, gering genug für Szenarien im Fahrzeug ist. Zudem wird ein Konzept für das Compositing von Fenstern vorgeschlagen, welche den grafischen Inhalt von Anwendungen enthalten und entsprechend ihrer Größe und Position auf einer Anzeige dargestellt werden. Hierzu wird zwischen rechteckigen Fenstern und Fenstern, die eine beliebige Form annehmen können, unterschieden. Rechteckige Fenster werden meist in den existierenden Fenstersystemen verwendet, für welche zwei populäre Ansätze für das Compositing mehrerer sich teils überdeckender Fenster existieren. In dieser Arbeit wird ein Hybridansatz für das Compositing vorgeschlagen, welcher die Vorteile der beiden Ansätze nutzt, um ein effizienteres Compositing durchzuführen, was anhand von verschiedenen Szenarien aufgezeigt werden kann. Die Verwendung von Fenstern in beliebiger Form erfordert andere Ansätze für das Compositing. Um durchgängig die flexiblen Möglichkeiten des Zugriffskontrollmodells zu ermöglichen, wird daher ein weiterer Ansatz für ein Compositing vorgeschlagen, welcher als Grundlage für die Definition der Fenster Bitmasken verwendet, die ebenfalls in den Berechtigungen für die Anzeigebereiche verwendet werden. Das Compositing gewährleistet dann, dass nur die Pixel auf der Anzeige geschrieben werden, welche in der Berechtigung für den Zugriff mittels Bitmaske definiert wurde. Anhand geeigneter Evaluationen wird aufgezeigt, dass diese Eigenschaft für das Compositing einen Mehraufwand darstellt, jedoch in Szenarien im Fahrzeug anwendbar ist. Zur Evaluation der Konzepte für ein Zugriffskontrollmodell und ein Compositing für Anzeigebereiche wird die Systemarchitektur basierend auf Virtualisierung in einem Demonstrator implementiert. Anhand des Demonstrators in Form eines Cockpits, welcher im Rahmen des Projektes ARAMiS entstanden ist, werden verschiedene Szenarien aus dem Fahrzeug demonstriert. Dadurch wird gezeigt, dass eine Konsolidierung der separaten Hardware-Plattformen für die Kombiinstrumente und die Headunit unter Berücksichtigung der verschiedenen Anforderungen für sicherheitskritische Anwendungen im Fahrzeug durch den Einsatz der vorgeschlagenen Konzepte möglich ist

Imagining & Sensing: Understanding and Extending the Vocalist-Voice Relationship Through Biosignal Feedback

The voice is body and instrument. Third-person interpretation of the voice by listeners, vocal teachers, and digital agents is centred largely around audio feedback. For a vocalist, physical feedback from within the body provides an additional interaction. The vocalist’s understanding of their multi-sensory experiences is through tacit knowledge of the body. This knowledge is difficult to articulate, yet awareness and control of the body are innate. In the ever-increasing emergence of technology which quantifies or interprets physiological processes, we must remain conscious also of embodiment and human perception of these processes. Focusing on the vocalist-voice relationship, this thesis expands knowledge of human interaction and how technology influences our perception of our bodies. To unite these different perspectives in the vocal context, I draw on mixed methods from cog- nitive science, psychology, music information retrieval, and interactive system design. Objective methods such as vocal audio analysis provide a third-person observation. Subjective practices such as micro-phenomenology capture the experiential, first-person perspectives of the vocalists them- selves. Quantitative-qualitative blend provides details not only on novel interaction, but also an understanding of how technology influences existing understanding of the body. I worked with vocalists to understand how they use their voice through abstract representations, use mental imagery to adapt to altered auditory feedback, and teach fundamental practice to others. Vocalists use multi-modal imagery, for instance understanding physical sensations through auditory sensations. The understanding of the voice exists in a pre-linguistic representation which draws on embodied knowledge and lived experience from outside contexts. I developed a novel vocal interaction method which uses measurement of laryngeal muscular activations through surface electromyography. Biofeedback was presented to vocalists through soni- fication. Acting as an indicator of vocal activity for both conscious and unconscious gestures, this feedback allowed vocalists to explore their movement through sound. This formed new perceptions but also questioned existing understanding of the body. The thesis also uncovers ways in which vocalists are in control and controlled by, work with and against their bodies, and feel as a single entity at times and totally separate entities at others. I conclude this thesis by demonstrating a nuanced account of human interaction and perception of the body through vocal practice, as an example of how technological intervention enables exploration and influence over embodied understanding. This further highlights the need for understanding of the human experience in embodied interaction, rather than solely on digital interpretation, when introducing technology into these relationships

Metisse is not a 3D Desktop

Twenty years after the general adoption of overlapping windows and the desktop metaphor, modern window systems differ mainly in minor details such as window decorations or mouse and keyboard bindings. While a number of innovative window management techniques have been proposed, few of them have been evaluated and fewer have made their way into real systems. We believe that one reason for this is that most of the proposed techniques have been designed using a low fidelity approach and were never made properly available. In this paper, we present Metisse, a fully functional window system specifically created to facilitate the design, the implementation and the evaluation of innovative window management techniques. We describe the architecture of the system, some of its implementation details and present several examples that illustrate its potential