Freeform User Interfaces for Graphical Computing

報告番号: 甲15222 ; 学位授与年月日: 2000-03-29 ; 学位の種別: 課程博士 ; 学位の種類: 博士(工学) ; 学位記番号: 博工第4717号 ; 研究科・専攻: 工学系研究科情報工学専

Phrasing Bimanual Interaction for Visual Design

Architects and other visual thinkers create external representations of their ideas to support early-stage design. They compose visual imagery with sketching to form abstract diagrams as representations. When working with digital media, they apply various visual operations to transform representations, often engaging in complex sequences. This research investigates how to build interactive capabilities to support designers in putting together, that is phrasing, sequences of operations using both hands. In particular, we examine how phrasing interactions with pen and multi-touch input can support modal switching among different visual operations that in many commercial design tools require using menus and tool palettes—techniques originally designed for the mouse, not pen and touch. We develop an interactive bimanual pen+touch diagramming environment and study its use in landscape architecture design studio education. We observe interesting forms of interaction that emerge, and how our bimanual interaction techniques support visual design processes. Based on the needs of architects, we develop LayerFish, a new bimanual technique for layering overlapping content. We conduct a controlled experiment to evaluate its efficacy. We explore the use of wearables to identify which user, and distinguish what hand, is touching to support phrasing together direct-touch interactions on large displays. From design and development of the environment and both field and controlled studies, we derive a set methods, based upon human bimanual specialization theory, for phrasing modal operations through bimanual interactions without menus or tool palettes

tBox: A 3D Transformation Widget designed for Touch-screens

International audience3D transformation widgets are commonly used in many 3D applications operated from mice and keyboards. These user interfaces allow independent control of translations, rotations, and scaling for manipulation of 3D objects. In this paper, we study how these widgets can be adapted to the tactile paradigm. We have explored an approach where users apply rotations by means of physically plausible gestures, and we have extended successful 2D tactile principles to the context of 3D interaction. These investigations led to the design of a new 3D transformation widget, tBox, that can been operated easily and efficiently from gestures on touch-screens

XRSpotlight: Example-based Programming of XR Interactions using a Rule-based Approach

Research on enabling novice AR/VR developers has emphasized the need to lower the technical barriers to entry. This is often achieved by providing new authoring tools that provide simpler means to implement XR interactions through abstraction. However, novices are then bound by the ceiling of each tool and may not form the correct mental model of how interactions are implemented. We present XRSpotlight, a system that supports novices by curating a list of the XR interactions defined in a Unity scene and presenting them as rules in natural language. Our approach is based on a model abstraction that unifies existing XR toolkit implementations. Using our model, XRSpotlight can find incomplete specifications of interactions, suggest similar interactions, and copy-paste interactions from examples using different toolkits. We assess the validity of our model with professional VR developers and demonstrate that XRSpotlight helps novices understand how XR interactions are implemented in examples and apply this knowledge in their projects

Animation de personnages 3D par le sketching 2D

Free-form animation allows for exaggerated and artistic styles of motions such as stretching character limbs and animating imaginary creatures such as dragons. Creating these animations requires tools flexible enough to shape characters into arbitrary poses, and control motion at any instant in time. The current approach to free-form animation is keyframing: a manual task in which animators deform characters at individual instants in time by clicking-and-dragging individual body parts one at a time. While this approach is flexible, it is challenging to create quality animations that follow high-level artistic principles---as keyframing tools only provide localized control both spatially and temporally. When drawing poses and motions, artists rely on different sketch-based abstractions that help fulfill high-level aesthetic and artistic principles. For instance, animators will draw textit{lines of action} to create more readable and textit{expressive} poses. To coordinate movements, animators will sketch textit{motion abstractions} such as semi-circles and loops to coordinate a bouncing and rolling motions. Unfortunately, these drawing tools are not part of the free-form animation tool set today. The fact that we cannot use the same artistic tools for drawing when animating 3D characters has an important consequence: 3D animation tools are not involved in the creative process. Instead, animators create by first drawing on paper, and only later are 3D animation tools used to fulfill the pose or animation. The reason we do not have these artistic tools (the line of action, and motion abstractions) in the current animation tool set is because we lack a formal understanding relating the character's shape---possible over time---to the drawn abstraction's shape. Hence the main contribution of this thesis is a formal understanding of pose and motion abstractions (line of action and motion abstractions) together with a set of algorithms that allow using these tools in a free-form setting. As a result, the techniques described in this thesis allow exaggerated poses and movements that may include squash and stretch, and can be used with various character morphologies. These pose and animation drafting tools can be extended. For instance, an animator can sketch and compose different layers of motion on top of one another, add twist around strokes, or turning the strokes into elastic ribbons. The main contributions of this thesis are summarized as follows: -The line of action facilitating expressive posing by directly sketching the overall flow of the character's pose. -The space-time curve allowing to draft full coordinated movements with a single stroke---applicable to arbitrary characters. -A fast and robust skeletal line matching algorithm that supports squash-and-stretch. -Elastic lines of action with dynamically constrained bones for driving the motion of a multi-legged character with a single moving 2D line.L'animation expressive permet des styles de mouvements exagerés et artistiques comme l'étirement de parties du corps ou encore l'animation de créatures imaginaires comme un dragon. Créer ce genre d'animation nécessite des outils assez flexible afin de déformer les personnages en des poses quelconques, ainsi que de pouvoir contrôler l'animation à tout moment dans le temps. L'approche acutelle pour l'animation expressive est le keyframing: une approche manuelle avec laquelle les animateurs déforment leur personnage un moment spécifique dans le temps en cliquand et glissant la souris sur une partis spécifique du corps---un à la fois. Malgré le fait que cette approche soit flexible, il est difficile de créer des animations de qualité qui suivent les principes artistiques, puisque le keyframing permet seulement qu'un contrôle local spatiallement et temporellement. Lorsqu'ils dessinent des poses ou des mouvements, les artistes s'appuient sur différentes abstractions sous forme de croquis qui facillitent la réalisation de certain principes artistiques. Par example, certains animateurs dessinent des lignes d'action afin de créer une pose plus lisible et expressive. Afin de coordonner un mouvement, les animateurs vont souvent dessiner des abstractions de mouvement comme des demi-cercles pour des sauts, ou des boucles pour des pirouettes---leur permettant de pratiquer la coordination du mouvement. Malheureusement, ces outils artistiques ne font pas partis de l'ensemble d'outils de keyframing actuelle. Le fait que l'on ne puisse pas employer les même outils artistiques pour animater des personnages 3D a une forte conséquence: les outils d'animation 3D ne sont pas employés dans le processus créatif. Aujourd'hui, les animateurs créent sur du papier et utilisent le keyframing seulement à la fin pour réaliser leur animation. La raison pour laquelle nous n'avons pas ces outils artistiques (ligne d'action, abstractions de mouvement) en animation 3D, est parce qu'il manque une compréhension formelle de ceux-ci qui nous permettrais d'exprimer la forme du personnage---potentiellement au cours du temps---en fonction de la forme de ces croquis. Ainsi la contribution principale de cette thèse est une compréhension formelle et mathématique des abstractions de forme et de mouvement courrament employées par des artistes, ainsi qu'un ensemble d'algorithme qui permet l'utilisation de ces outils artistiques pour créer des animations expressives. C'est-à-dire que les outils développés dans cette thèse permettent d'étirer des parties du corps ainsi que d'animer des personnages de différentes morphologies. J'introduis aussi plusieurs extentions à ces outils. Par example, j'explore l'idée de sculpter du mouvement en permettant à l'artiste de dessigner plusieurs couches de mouvement une par dessus l'autre, de twister en 3D les croquis, ou encore d'animer un croquis ligne comme un élastique. Les contributions principales de cette thèse, aussi résumé ci-dessous: -La ligne d'action facilitant la création de poses expressives en dessinant directement le flow complet du personnage. -La courbe spatio-temporelle qui permet de spécifier un mouvement coordoné complet avec un seul geste (en dessinant une seule courbe), applicable à n'importe quel personnage 3D. -Un algorithme de matching rapide et robuste qui permet du ``squash and stretch''. -La ligne d'action élastique avec des attachements dynamiques à la ligne permettant d'animer un personnages à plusieurs jambes (bras) avec une seule ligne 2D animée

Animation de personnages 3D par le sketching 2D

Free-form animation allows for exaggerated and artistic styles of motions such as stretching character limbs and animating imaginary creatures such as dragons. Creating these animations requires tools flexible enough to shape characters into arbitrary poses, and control motion at any instant in time. The current approach to free-form animation is keyframing: a manual task in which animators deform characters at individual instants in time by clicking-and-dragging individual body parts one at a time. While this approach is flexible, it is challenging to create quality animations that follow high-level artistic principles---as keyframing tools only provide localized control both spatially and temporally. When drawing poses and motions, artists rely on different sketch-based abstractions that help fulfill high-level aesthetic and artistic principles. For instance, animators will draw textit{lines of action} to create more readable and textit{expressive} poses. To coordinate movements, animators will sketch textit{motion abstractions} such as semi-circles and loops to coordinate a bouncing and rolling motions. Unfortunately, these drawing tools are not part of the free-form animation tool set today. The fact that we cannot use the same artistic tools for drawing when animating 3D characters has an important consequence: 3D animation tools are not involved in the creative process. Instead, animators create by first drawing on paper, and only later are 3D animation tools used to fulfill the pose or animation. The reason we do not have these artistic tools (the line of action, and motion abstractions) in the current animation tool set is because we lack a formal understanding relating the character's shape---possible over time---to the drawn abstraction's shape. Hence the main contribution of this thesis is a formal understanding of pose and motion abstractions (line of action and motion abstractions) together with a set of algorithms that allow using these tools in a free-form setting. As a result, the techniques described in this thesis allow exaggerated poses and movements that may include squash and stretch, and can be used with various character morphologies. These pose and animation drafting tools can be extended. For instance, an animator can sketch and compose different layers of motion on top of one another, add twist around strokes, or turning the strokes into elastic ribbons. The main contributions of this thesis are summarized as follows: -The line of action facilitating expressive posing by directly sketching the overall flow of the character's pose. -The space-time curve allowing to draft full coordinated movements with a single stroke---applicable to arbitrary characters. -A fast and robust skeletal line matching algorithm that supports squash-and-stretch. -Elastic lines of action with dynamically constrained bones for driving the motion of a multi-legged character with a single moving 2D line.L'animation expressive permet des styles de mouvements exagerés et artistiques comme l'étirement de parties du corps ou encore l'animation de créatures imaginaires comme un dragon. Créer ce genre d'animation nécessite des outils assez flexible afin de déformer les personnages en des poses quelconques, ainsi que de pouvoir contrôler l'animation à tout moment dans le temps. L'approche acutelle pour l'animation expressive est le keyframing: une approche manuelle avec laquelle les animateurs déforment leur personnage un moment spécifique dans le temps en cliquand et glissant la souris sur une partis spécifique du corps---un à la fois. Malgré le fait que cette approche soit flexible, il est difficile de créer des animations de qualité qui suivent les principes artistiques, puisque le keyframing permet seulement qu'un contrôle local spatiallement et temporellement. Lorsqu'ils dessinent des poses ou des mouvements, les artistes s'appuient sur différentes abstractions sous forme de croquis qui facillitent la réalisation de certain principes artistiques. Par example, certains animateurs dessinent des lignes d'action afin de créer une pose plus lisible et expressive. Afin de coordonner un mouvement, les animateurs vont souvent dessiner des abstractions de mouvement comme des demi-cercles pour des sauts, ou des boucles pour des pirouettes---leur permettant de pratiquer la coordination du mouvement. Malheureusement, ces outils artistiques ne font pas partis de l'ensemble d'outils de keyframing actuelle. Le fait que l'on ne puisse pas employer les même outils artistiques pour animater des personnages 3D a une forte conséquence: les outils d'animation 3D ne sont pas employés dans le processus créatif. Aujourd'hui, les animateurs créent sur du papier et utilisent le keyframing seulement à la fin pour réaliser leur animation. La raison pour laquelle nous n'avons pas ces outils artistiques (ligne d'action, abstractions de mouvement) en animation 3D, est parce qu'il manque une compréhension formelle de ceux-ci qui nous permettrais d'exprimer la forme du personnage---potentiellement au cours du temps---en fonction de la forme de ces croquis. Ainsi la contribution principale de cette thèse est une compréhension formelle et mathématique des abstractions de forme et de mouvement courrament employées par des artistes, ainsi qu'un ensemble d'algorithme qui permet l'utilisation de ces outils artistiques pour créer des animations expressives. C'est-à-dire que les outils développés dans cette thèse permettent d'étirer des parties du corps ainsi que d'animer des personnages de différentes morphologies. J'introduis aussi plusieurs extentions à ces outils. Par example, j'explore l'idée de sculpter du mouvement en permettant à l'artiste de dessigner plusieurs couches de mouvement une par dessus l'autre, de twister en 3D les croquis, ou encore d'animer un croquis ligne comme un élastique. Les contributions principales de cette thèse, aussi résumé ci-dessous: -La ligne d'action facilitant la création de poses expressives en dessinant directement le flow complet du personnage. -La courbe spatio-temporelle qui permet de spécifier un mouvement coordoné complet avec un seul geste (en dessinant une seule courbe), applicable à n'importe quel personnage 3D. -Un algorithme de matching rapide et robuste qui permet du ``squash and stretch''. -La ligne d'action élastique avec des attachements dynamiques à la ligne permettant d'animer un personnages à plusieurs jambes (bras) avec une seule ligne 2D animée

Natural and Smooth Pen-based Interaction Utilizing Multiple Pen Input Channels

高知工科大学博士(工学) 平成22年3月19日授与 (甲第176号

Blending the Material and Digital World for Hybrid Interfaces

The development of digital technologies in the 21st century is progressing continuously and new device classes such as tablets, smartphones or smartwatches are finding their way into our everyday lives. However, this development also poses problems, as these prevailing touch and gestural interfaces often lack tangibility, take little account of haptic qualities and therefore require full attention from their users. Compared to traditional tools and analog interfaces, the human skills to experience and manipulate material in its natural environment and context remain unexploited. To combine the best of both, a key question is how it is possible to blend the material world and digital world to design and realize novel hybrid interfaces in a meaningful way. Research on Tangible User Interfaces (TUIs) investigates the coupling between physical objects and virtual data. In contrast, hybrid interfaces, which specifically aim to digitally enrich analog artifacts of everyday work, have not yet been sufficiently researched and systematically discussed. Therefore, this doctoral thesis rethinks how user interfaces can provide useful digital functionality while maintaining their physical properties and familiar patterns of use in the real world. However, the development of such hybrid interfaces raises overarching research questions about the design: Which kind of physical interfaces are worth exploring? What type of digital enhancement will improve existing interfaces? How can hybrid interfaces retain their physical properties while enabling new digital functions? What are suitable methods to explore different design? And how to support technology-enthusiast users in prototyping? For a systematic investigation, the thesis builds on a design-oriented, exploratory and iterative development process using digital fabrication methods and novel materials. As a main contribution, four specific research projects are presented that apply and discuss different visual and interactive augmentation principles along real-world applications. The applications range from digitally-enhanced paper, interactive cords over visual watch strap extensions to novel prototyping tools for smart garments. While almost all of them integrate visual feedback and haptic input, none of them are built on rigid, rectangular pixel screens or use standard input modalities, as they all aim to reveal new design approaches. The dissertation shows how valuable it can be to rethink familiar, analog applications while thoughtfully extending them digitally. Finally, this thesis’ extensive work of engineering versatile research platforms is accompanied by overarching conceptual work, user evaluations and technical experiments, as well as literature reviews.Die Durchdringung digitaler Technologien im 21. Jahrhundert schreitet stetig voran und neue Geräteklassen wie Tablets, Smartphones oder Smartwatches erobern unseren Alltag. Diese Entwicklung birgt aber auch Probleme, denn die vorherrschenden berührungsempfindlichen Oberflächen berücksichtigen kaum haptische Qualitäten und erfordern daher die volle Aufmerksamkeit ihrer Nutzer:innen. Im Vergleich zu traditionellen Werkzeugen und analogen Schnittstellen bleiben die menschlichen Fähigkeiten ungenutzt, die Umwelt mit allen Sinnen zu begreifen und wahrzunehmen. Um das Beste aus beiden Welten zu vereinen, stellt sich daher die Frage, wie neuartige hybride Schnittstellen sinnvoll gestaltet und realisiert werden können, um die materielle und die digitale Welt zu verschmelzen. In der Forschung zu Tangible User Interfaces (TUIs) wird die Verbindung zwischen physischen Objekten und virtuellen Daten untersucht. Noch nicht ausreichend erforscht wurden hingegen hybride Schnittstellen, die speziell darauf abzielen, physische Gegenstände des Alltags digital zu erweitern und anhand geeigneter Designparameter und Entwurfsräume systematisch zu untersuchen. In dieser Dissertation wird daher untersucht, wie Materialität und Digitalität nahtlos ineinander übergehen können. Es soll erforscht werden, wie künftige Benutzungsschnittstellen nützliche digitale Funktionen bereitstellen können, ohne ihre physischen Eigenschaften und vertrauten Nutzungsmuster in der realen Welt zu verlieren. Die Entwicklung solcher hybriden Ansätze wirft jedoch übergreifende Forschungsfragen zum Design auf: Welche Arten von physischen Schnittstellen sind es wert, betrachtet zu werden? Welche Art von digitaler Erweiterung verbessert das Bestehende? Wie können hybride Konzepte ihre physischen Eigenschaften beibehalten und gleichzeitig neue digitale Funktionen ermöglichen? Was sind geeignete Methoden, um verschiedene Designs zu erforschen? Wie kann man Technologiebegeisterte bei der Erstellung von Prototypen unterstützen? Für eine systematische Untersuchung stützt sich die Arbeit auf einen designorientierten, explorativen und iterativen Entwicklungsprozess unter Verwendung digitaler Fabrikationsmethoden und neuartiger Materialien. Im Hauptteil werden vier Forschungsprojekte vorgestellt, die verschiedene visuelle und interaktive Prinzipien entlang realer Anwendungen diskutieren. Die Szenarien reichen von digital angereichertem Papier, interaktiven Kordeln über visuelle Erweiterungen von Uhrarmbändern bis hin zu neuartigen Prototyping-Tools für intelligente Kleidungsstücke. Um neue Designansätze aufzuzeigen, integrieren nahezu alle visuelles Feedback und haptische Eingaben, um Alternativen zu Standard-Eingabemodalitäten auf starren Pixelbildschirmen zu schaffen. Die Dissertation hat gezeigt, wie wertvoll es sein kann, bekannte, analoge Anwendungen zu überdenken und sie dabei gleichzeitig mit Bedacht digital zu erweitern. Dabei umfasst die vorliegende Arbeit sowohl realisierte technische Forschungsplattformen als auch übergreifende konzeptionelle Arbeiten, Nutzerstudien und technische Experimente sowie die Analyse existierender Forschungsarbeiten

A Survey of Interaction Techniques for Interactive 3D Environments

International audienceVarious interaction techniques have been developed for interactive 3D environments. This paper presents an up-to-date and comprehensive review of the state of the art of non-immersive interaction techniques for Navigation, Selection & Manipulation, and System Control, including a basic introduction to the topic, the challenges, and an examination of a number of popular approaches. We hope that this survey can aid both researchers and developers of interactive 3D applications in having a clearer overview of the topic and in particular can be useful for practitioners and researchers that are new to the field of interactive 3D graphics