Concevoir des Interactions au Stylet pour la Productivité et la Créativité

Abstract

Designed with the mouse and keyboard in mind, productivity tools and creativity support tools are powerful on desktop computers, but their structure becomes an obstacle when brought to interactive surfaces supporting pen and touch input.Indeed, the opportunities provided by the pen for precision and expressivity have been demonstrated in the HCI literature, but productivity and creativity tools require a careful redesign leveraging these unique affordances to take benefit from the intuitiveness they offer while keeping the advantages of structure. This delicate articulation between pen and structure has been overlooked in the literature.My thesis work focuses on this articulation with two use cases to answer the broad research question: “How to design pen-based interactions for productivity and creativity on interactive surfaces?” I argue that productivity depends on efficiency while creativity depends on both efficiency and flexibility, and explore interactions that promote these two dimensions.My first project, TableInk, explores a set of pen-based interaction techniques designed for spreadsheet programs and contributes guidelines to promote efficiency on interactive surfaces. I first conduct an analysis of commercial spreadsheet programs and an elicitation study to understand what users can do and what they would like to do with spreadsheets on interactive surfaces. Informed by these, I design interaction techniques that leverage the opportunities of the pen to mitigate friction and enable more operations by direct manipulation on and through the grid. I prototype these interaction techniques and conduct a qualitative study with information workers who performed a variety of spreadsheet operations on their own data. The observations show that using the pen to bypass the structure is a promising mean to promote efficiency with a productivity tool.My second project, EuterPen, explores a set of pen-based interaction techniques designed for music notation programs and contributes guidelines to promote both efficiency and flexibility on interactive surfaces. I first conduct a series of nine interviews with professional composers in order to take a step back and understand both their thought process and their work process with their current desktop tools. Building on this dual analysis, I derive guidelines for the design of features which have the potential to promote both efficiency with frequent or complex operations and flexibility in regard to the exploration of ideas. Then, I act on these guidelines by engaging in an iterative design process for interaction techniques that leverage the opportunities of the pen: two prototyping phases, a participatory design workshop, and a final series of interviews with eight professional composers. The observations show that on top of using the pen to leverage the structure for efficiency, using its properties to temporarily break the structure is a promising mean to promote flexibility with a creativity support tool.I conclude this manuscript by discussing several ways to interact with structure, presenting a set of guidelines to support the design of pen-based interactions for productivity and creativity tools, and elaborating on the future applications this thesis opens.Conçus pour une utilisation avec la souris et le clavier, les outils aidant à la productivité et à la créativité sont puissants sur les ordinateurs de bureau, mais leur structure devient un obstacle lorsqu'ils sont transposés sur des surfaces interactives offrant une saisie tactile et au stylet.En effet, les opportunités offertes par le stylet en termes de précision et d'expressivité ont été démontrées dans la littérature sur en IHM. Cependant, les outils de productivité et de créativité nécessitent une refonte minutieuse exploitant ces propriétés uniques pour tirer parti de l'intuitivité qu'ils offrent, tout en conservant les avantages liés à la structure. Cette articulation délicate entre le stylet et la structure a été négligée dans la littérature.Mon travail de thèse se concentre sur cette articulation à travers deux cas d'utilisation afin de répondre à la question de recherche générale : « Comment concevoir des interactions basées sur le stylet pour la productivité et la créativité sur des surfaces interactives ? » Je considère que la productivité dépend de l'efficacité, tandis que la créativité repose à la fois sur l'efficacité et la flexibilité, et j'explore des interactions qui favorisent ces deux dimensions.Mon premier projet, TableInk, explore un ensemble de techniques d'interaction basées sur le stylet et conçues pour les logiciels de tableurs, et propose des lignes directrices pour promouvoir l'efficacité sur les surfaces interactives. Je commence par analyser les logiciels commerciaux et par mener une étude d'élicitation pour comprendre ce que les utilisateurs peuvent faire et ce qu'ils aimeraient faire avec les tableurs sur des surfaces interactives. Sur la base de ces analyses, je conçois des techniques d'interaction qui exploitent les opportunités offertes par le stylet pour réduire les frictions et permettre plus d'opérations par manipulation directe sur et à travers la grille. Je prototype ces techniques d'interaction et mène une étude qualitative auprès d'utilisateurs qui effectuent diverses opérations sur tableurs avec leurs propres données. Les observations montrent que l'utilisation du stylet pour contourner la structure constitue un moyen prometteur de favoriser l'efficacité dans un outil de productivité.Mon deuxième projet, EuterPen, explore un ensemble de techniques d'interaction basées sur le stylet, et conçues pour les logiciels de notation musicale, et propose des lignes directrices pour promouvoir à la fois l'efficacité et la flexibilité sur les surfaces interactives. Je commence par une série de neuf entretiens avec des compositeurs professionnels afin de prendre du recul et de comprendre à la fois leur processus de réflexion et leur processus de travail avec leurs outils actuels sur ordinateur de bureau. Sur la base de cette analyse double, j'élabore des lignes directrices pour la conception de fonctionnalités ayant le potentiel de promouvoir à la fois l'efficacité pour les opérations fréquentes ou complexes et la flexibilité dans l'exploration des idées. Ensuite, je mets en œuvre ces lignes directrices à travers un processus de conception itératif : deux phases de prototypage, un atelier de conception participative et une série finale d'entretiens avec huit compositeurs professionnels. Les observations montrent qu'en plus d'utiliser le stylet pour profiter de la structure afin de favoriser l'efficacité, tirer parti de ses propriétés pour briser temporairement la structure constitue un moyen prometteur de promouvoir la flexibilité dans un outil de soutien à la créativité.Je conclus ce manuscrit en discutant de différentes manières d'interagir avec la structure, en présentant un ensemble de recommandations pour soutenir la conception d'interactions basées sur le stylet pour les outils de productivité et de créativité, et en élaborant sur les applications futures que cette thèse ouvre