Haptic Board

International audienceWe define the haptic board as the component of a real time system for multi-sensory interaction that plays the role of a communication interface between the computer (e.g. in the case of simulation, the machine computing the simulated model) and the haptic device at hand

Gesture and motion (encoding of)

International audienceIn the context of virtual reality systems, with the development of haptic systems and motion capture systems, and with the need of inter-communication of virtual reality systems through control data, the questions of gesture and motion data, and of their encoding, becomes more and more important

Mimesis : Interactive interface for mass-interaction modeling

International audienceWhile 3D graphics software and 3D shapes modeling developed considerably, there is still a need for integrated physics-based tools. This would ideally require an integrated, coherent, usable, generic, physical modeling formalism, and a dedicated software, preferably to a collection of one shot models or animation techniques. This article introduces MIMESIS, a end-user software based on mass-interaction modeling. In MIMESIS, the mass-interaction paradigm (and, more generally, animation) is the core of the creation process at hand. It joins together a comprehensible, user-friendly modeler, various simulators, various coating means for visualizing synthesized movements and a growing set of pedagogical examples and library of models

Implantation temps réel sur GPU d'un écran d'épingles dynamique

Actes: http://liris.cnrs.fr/publis/?id=4183National audienceCet article présente une implantation temps réel sur processeur graphique de la méthode dite de l’écran d’épingles dynamique inspiré de la méthode de gravure d’Alexandre Alexeïeff. Cette méthode initialement, proposée par [HL02] et fondée sur un formalisme masses- interactions, était trop coûteuse pour pouvoir s’insérer dans une application interactive. Cet article résout ce frein majeur à l’exploration des possibilités dynamiques de la méthode. Il présente alors un certain nombre d’applications obtenues en temps-réel : (1) la visualisation de modèles particulaires simulés sur une machine amont en temps réel ou en temps différé, (2) l’utilisation de l’écran d’épingles dynamique comme modèle physique pour des scènes 3D complexes, (3) une gravure directe par l’intermédiaire de la souris

Technologies de la Simulation Interactive de Modèles Physiques Multisensoriels

This thesis presents my research activity on multisensory interactive simulation (gesture, sound and image), in technological and conceptual aspects. This interdisciplinary research concerns three fields : 1/ physical modeling for simulation, 2/ hardware and software architectures for real time computation, 3/ interactive gestural interfaces (with force feedback). Work done in these three fields is presented chronologically.Ce mémoire présente mon activité de recherche sur la simulation interactive multisensorielle (geste, son et image), dans ses aspects technologiques et conceptuels. C’est une recherche interdisciplinaire qui concerne trois domaines : 1/ modélisation physique pour la simulation, 2/ architectures matérielles et logicielles pour le calcul temps réel, 3/ interfaces gestuelles interactives (à « retour d’effort »). Les travaux effectués dans ces trois domaines sont exposés de manière chronologique

A basic gesture and motion format for virtual reality multisensory applications

Abstract: The question of encoding movements such as those produced by human gestures may become central in the coming years, given the growing importance of movement data exchanges between heterogeneous systems and applications (musical applications, 3D motion control, virtual reality interaction, etc.). For the past 20 years, various formats have been proposed for encoding movement, especially gestures. Though, these formats, at different degrees, were designed in the context of quite specific applications (character animation, motion capture, musical gesture, biomechanical concerns…). The article introduce a new file format, called GMS (for ‘Gesture and Motion Signal’), with the aim of being more low-level and generic, by defining the minimal features a format carrying movement/gesture information needs, rather than by gathering all the information generally given by the existing formats. The article argues that, given its growing presence in virtual reality situations, the “gesture signal ” itself must be encoded, and that a specific format is needed. The proposed format features the inner properties of such signals: dimensionality, structural features, types of variables, and spatial and temporal properties. The article first reviews the various situations with multisensory virtual objects in which gesture controls intervene. The proposed format is then deduced, as a mean to encode such versatile and variable “gestural and animated scene”.

Technologies logicielles de la modélisation, de la simulation et de l'interaction multisensorielles instrumentales pour la création

The presented works have firstly questioned the possible inter-relations between physics-based modelling and simulation on the one hand, and creation and creativity on the other. More specifically, the possibility and fundamental interests of rooting creative activities onto physics-based modelling have been considered.This theme was approached from a Computer Sciences perspective, through the invention and the design of a new family of software environments aimed at creation with masses-interactions physics-based networks. In particular: GENESIS for musical creation, and MIMESIS for movement and computer graphics animation.These software environments empower the artist with innovative and complete creation processes, centred on physical modelling activities.Each and all of these environments are characterized by a specific “software environment paradigm”: dedicated features, software architecture specificities, adequate and necessary human-computer interaction means (interfaces and languages), and particular usage protocols (in our case: modelling and creative processes).These elements have been situated in the scientific and technological history of computer creation tools, and in the state of the art of the various concerned scientific domains. This work has in particular led to analysing the properties of masses-interactions physical networks (modularity, generic potential, calculability, usability, …), in relation with other categories of algorithms, models and formalisms used nowadays to address human sensori-motor skills. It also accompanied the demonstration that the building of physical models by an artist can be deeply relevant. This relevance lies in the qualities of the phenomena that are finally generated, but also, which is more original, and probably more essential, in the modelling/creation processes themselves.Finally, the works have been extended to various other axes: contributions to synchronous real-time simulation architecture and software for multisensory interaction, including force-feedback, sound, and image, by means of physics-based simulation; experimental modelling works; contributions to the evolutions of the formal basis of the physics networks paradigm; contributions to graphical representation of punctual movements, etc.These past works and the achieved results altogether lead to introduce new research perspectives, which we name software technologies of multisensory instrumental interaction, with, as a far end view, the foundation of a new “science of the multisensory computer” and the possibility of a “multisensory art”.Les travaux présentés ont été pour l’essentiel traversés par un questionnement sur les relations liant modélisation et simulation physiques et création ou, plus spécifiquement, sur la possibilité et l’intérêt fondamental d’appuyer une activité de création sur la modélisation. Ce thème a été abordé sous l’angle de l’informatique appliquée (en anglais, les « computer sciences »), au moyen de l’invention et de la réalisation d’une nouvelle famille d’environnements logiciels pour la création avec les réseaux physiques masses-interactions, dont en particulier les modeleurs-simulateurs GENESIS pour la création musicale, puis MIMESIS pour la création du mouvement et l’image animée. Ces environnements permettent à l’artiste d’organiser des processus de création complets et novateurs, fondés sur l’activité de modélisation physique.Ils sont chacun, et dans leur ensemble, caractérisés par un paradigme d’environnement logiciel nouveau : des fonctionnalités, des caractéristiques en matière d’architecture logicielle, des ergonomies nécessaires, adéquates et spécifiques, ainsi que des protocoles d’utilisation – ici des processus de modélisation et de création – qui leur sont propres. Ces propriétés ont été situées dans l’histoire scientifique et technologique des outils de création et dans les états de l’art des communautés scientifiques concernées. Ce travail a notamment donné lieu à une étude des propriétés des réseaux physiques masses-interactions (généricité, modularité, calculabilité, utilisabilité, généralité...) en vis-à-vis des catégories d’algorithmes, modèles et formalismes utilisés pour adresser la sensori-motricité humaine. Il s’est de plus accompagné d’une analyse du fait que l’activité de construction de modèles physiques peut présenter une pertinence profonde pour l’artiste – pertinence qui se joue non seulement dans les qualités des phénomènes générés, mais encore, de façon plus originale et peut-être plus essentielle, dans le processus de modélisation/création lui-même.Enfin, les travaux se sont étendus à plusieurs autres axes d’études : contributions aux logiciels de simulation temps réel pour l’interaction multisensorielle incluant le retour d’effort, le son et l’image, au moyen de la simulation physique ; travaux expérimentaux en modélisation ; contributions à l’amélioration du cadre formel des réseaux physiques masses-interactions ; contributions aux procédés de mise en forme visuelle de mouvements ponctuels ; travaux de positionnement théorique ; etc.L’expérience et les résultats acquis conduisent à introduire de nouvelles perspectives de recherche, sous le fil conducteur des technologies logicielles de l’interaction multisensorielle instrumentale, avec en ligne de mire la fondation d’une « science de l’ordinateur multisensoriel » et la possibilité d’un « art multisensoriel »

A system for the analysis of musical data

The role of music analysis is to enlighten our understanding of a piece of music. The role of musical performance analysis is to help us understand how a performer interprets a piece of music. The current work provides a tool which combines music analysis with performance analysis. By combining music and performance analysis in one system new questions can be asked of a piece of music: how is the structure of a piece reflected in the performance and how can the performance enlighten our understanding of the piece's structure? The current work describes a unified database which can store and present musical score alongside associated performance data and musical analysis. Using a general purpose representation language, Performance Mark-up Language (PML), aspects of performance are recorded and analysed. Data thus acquired from one project is made available to others. Presentation involves high-quality scores suitably annotated with the requested information. Such output is easily and directly accessible to musicians, performance scientists and analysts. We define a set of data structures and operators which can operate on musical pitch and musical time, and use them to form the basis of a query language for a musical database. The database can store musical information (score, gestural data, etc.). Querying the database results in annotations of the musical score. The database is capable of storing musical score information and performance data and cross-referencing them. It is equipped with the necessary primitives to execute music-analytical queries, and highlight notes identified from the score and display performance data alongside the score

”Haptic Processor Unit” : vers une Plate-Forme Transportable pour la Simulation Temps-Réel Synchrone Multisensorielle

This work is related to the field of Human-Computer Interaction, and particularly to the field of multisensory instrumental simulation, as conceptualized by the research group ACROE & ICA, and which needs a strong coupling between the human and the instrument.The first part of this thesis presents various degrees of the integration of gesture in computer uses, then develops a functional approach of force feedback technologies. This analysis elicits the mainstreams that are currently sharing the field of haptics research. We then present a study of the hardware and software components that are used in haptic simulation, and the various approaches used to connect a force feedback device to a real time modelling system. The analysis of the role of each of the components in the simulation chain and their relationships allowed us to conceptualize the “Haptic Processor Unit”. This component guarantees in particular the conditions of reactivity that are required for multisensory simulation. The new simulation architecture that we designed in this work, named ERGON_X, implements the concept of HPU. ERGON_X is a compact and transportable simulator, and handles simulation frequencies up to 44 100Hz. The third part presents the validation of the simulation platform ERGON_X. It mainly focuses on the design of new models, which were used in the framework of the research carried on by ACROE & ICA about instrumental interaction. The “E” is a model demonstrating the capabilities of the ERGOS technology, which is now fully exploitable thanks to this new simulation architecture. The models of tapping and of deformable paste allowed us to bring new results on human-object interaction, and validate the simulator as a tool for psychophysical experimentation. The Enactive Emblematic Scenarii “Ergotic Sounds” and “Pebble Box” illustrate the conception of Enaction. They validate the use of our simulation architecture as an experimental platform and lead us to a paradigm shift from “instrumental interaction” to “enactive interaction”Ce travail se situe dans le domaine de l’Interaction Personne-Système, et plus particulièrement dans celui de la simulation instrumentale multisensorielle telle que conceptualisée par le groupe de recherche ACROE & ICA, qui nécessite un couplage fort homme-instrument.La première partie de cette thèse présente les différents degrés d’intégration du geste dans l’ordinateur, puis propose une approche fonctionnelle des technologies pour le retour d’effort. Nous dégageons de cette analyse les grandes approches qui se partagent actuellement le champ de la recherche « haptique ».Nous présentons ensuite une étude sur les différents composants matériels et logiciels nécessaires à la chaîne de simulation haptique, ainsi que les différentes approches utilisées pour connecter un système à retour d’effort à un processus de simulation en temps réel. L’analyse du rôle des composants de la chaîne de simulation et de leurs relations permet de formaliser le concept de « Haptic Processor Unit ». Ce composant permet en particulier de garantir les conditions de réactivité propres à la simulation multisensorielle. La nouvelle architecture de simulation multisensorielle que nous avons réalisée, ERGON_X, met en œuvre le concept de HPU.ERGON_X est un simulateur compact et transportable, et permet d’utiliser des fréquences de simulation jusqu’à 44 100Hz. La dernière partie présente la validation de la plate-forme de simulation ERGON_X. Elle est essentiellement orientée vers l’implantation de nouveaux modèles, utilisés dans le cadre d’un travail de recherche sur la situation instrumentale médiatisée. Le « E » est un modèle de démonstration des performances de la technologie ERGOS que la nouvelle architecture de simulation permet d’exploiter pleinement. Les modèles de tapping (percussion) et de pâtes déformables ont permis d’avancer des résultatssur l’interaction homme-objet, et valident le simulateur comme un outil pour l’expérimentation psychophysique. Les Enactive Emblematic Scenarii « Ergotic Sounds » (frottement d’archet) et « Pebble Box » (la boîte à cailloux) sont des illustrations du concept de l’Enaction. Elles valident l’utilisation de l’architecture de simulation comme une plate-forme pour l’expérimentation et ouvrent de nouvelles perspectives de recherche sur l’enaction et la notion de présence en simulation interactive