Bi-manual 3D Painting: an interaction paradigm for augmented reality live performance

International audienceThe rise of gestural interaction led artists to produce shows, or installations based on this paradigm. We present the first stages of the " Sculpture numérique " (Virtual Sculpture) project. This project was born from a collaboration with dancers. Its goal is to propose bi-manual interactions in a large augmented space: we aim at giving dancers the possibility to generate and manipulate virtual elements on stage using their hands. The first set of interactions we present in this paper is 3D painting, where the user can generate 3D virtual matter from his hands. The movement of the hand defines a stroke, which shape is controlled by the shape of the hand. Changing the shape and orientation of the hand allows switching between three interaction modes to produce volumes, surfaces or curves in space. We explore the applicative case of dance, with the goal of producing a plastic creation from choreography.La généralisation au grand public de l'interaction gestuelle et de la réalité augmentée a amené les artistes à s'approprier ces technologies et à les intégrer dans la production de spectacles ou d'installations. Dans cet article, nous présentons les premiers résultats du projet "Sculpture Numérique". Issu d'une collaboration avec le milieu de la danse, ce projet a pour but de contribuer sur l'interaction bi-manuelle dans un grand espace augmenté. La première étape que nous proposons ici est la Peinture 3D: la génération de matière virtuelle à la main dans un espace large. Par son mouvement, la main de l'utilisateur dessine dans l'espace 3D un trait, une surface ou un volume défini par la conformation de sa main et par son mouvement. Celui-ci peut ainsi dessiner des formes dans l'espace. Cette technique, généralisable à d'autres domaines, est ici appliquée à la danse, dans le but de permettre à un danseur ou chorégraphe de produire une création plastique virtuelle issue d'une chorégraphie

Peinture numérique 3D bi-manuelle: un paradigme d'interaction pour la réalité augmentée en spectacle vivant

National audienceThe rise of gestural interaction led artists to produce shows, or installations based on this paradigm. We present the first stages of the " Sculpture numérique " (Virtual Sculpture) project. This project was born from a collaboration with dancers. Its goal is to propose bi-manual interactions in a large augmented space: we aim at giving dancers the possibility to generate and manipulate virtual elements on stage using their hands. The first set of interactions we present in this paper is 3D painting, where the user can generate 3D virtual matter from his hands. The movement of the hand defines a stroke, which shape is controlled by the shape of the hand. Changing the shape and orientation of the hand allows switching between three interaction modes to produce volumes, surfaces or curves in space. We explore the applicative case of dance, with the goal of producing a plastic creation from choreography