Nouvelles interactions physiques pour dispositifs mobiles

Soixante pour cent de la population mondiale possède aujourd'hui un téléphone portable. Les modèles récents, qui tendent à devenir de petits ordinateurs portables, sont jusqu à 10 000 fois plus puissants et 300 000 fois moins lourds que le premier ordinateur, apparu voici 60 ans. Malgré cette puissance, et les ressources offertes par les équipements dont ils sont munis (écran tactile multitouch, accéléromètres et autres capteurs...), les mobiles souffrent de certaines limitations du fait de la disparition de nombreux périphériques d'entrée classiques tels que le clavier et la souris. Afin d'augmenter la bande passante interactionnelle de ces dispositifs et de tirer partie de ces capteurs, nous nous sommes intéressé dans cette thèse aux possibilités offertes par l'interaction gestuelle en considérant deux axes de recherche : les mouvements sur le mobile et les mouvements du mobile. Après avoir proposé un espace de classification nous avons conçu et développé plusieurs techniques d'interaction gestuelle destinées à enrichir et faciliter l'interaction de l'utilisateur avec ces dispositifs.Concernant les mouvements sur le mobile, nous nous sommes intéressé à l'amélioration du Flick, une technique de défilement largement popularisée ces dernières années. Après avoir étudié son anatomie , nous avons proposé d'exploiter plusieurs ressources interactionnelles jusqu'à présent inutilisées. Ce travail a donné naissance à trois nouvelles techniques: Flick-and-brake et LongFlick, qui utilisent respectivement la pression sur l'écran et les caractéristiques du geste de lancer pour mieux contrôler le défilement, et 'Semantic Flicking' qui exploite la sémantique du document pour faciliter la lecture. Dans un second temps nous avons considéré les possibilités offertes par l'interaction 3D, en déplaçant le dispositif mobile dans l'espace. Cette voie de recherche vise à permettre d'augmenter le vocabulaire d'interaction sans parasiter les interactions tactiles déjà existantes. Tirant parti des capteurs intégrés dans les mobiles, en particulier les accéléromètres, nous avons proposé deux nouvelles techniques d'interaction 3D : TimeTilt qui utilise des gestes fluides et impulsifs pour naviguer aisément entre différentes vues et JerkTilt qui introduit la notion de gestes 'auto-délimités' pour accéder rapidement à des commandes. Ces gestes auto-délimités ayant également la particularité de pouvoir être facilement combinés avec des interactions sur l'écran, nous avons enfin considéré la combinaison des modalités offertes par les gestes bi- et tri-dimensionnels.Sixty percent of the world's population now owns a mobile phone. Recent models, which tend to become small laptops are up to 10 000 times more powerful and 300 000 times less heavy than the first computer, appeared 60 years ago. Despite this power and all the resources provided by modern equipment (touchscreen, accelerometer and other sensors...), mobile phones suffer from certain limitations due to the lack of conventional input such as keyboard and mouse. To increase the interaction bandwidth of these device and take advantage of these sensors, we investigate the potential offered by gestural interaction by considering two lines of research: movements on the mobile and movements of the mobile. After defining a classification space we conceived and developed several gestural interaction techniques to enrich and facilitate interaction between the user and these devices. For the movements on the mobile we have proposed to improve the flick, a scrolling technique widely popularized in recent years. We first studied his anatomy of this technique, then we proposed to exploit multiple interactional resources hitherto unused. This work gave birth to three new techniques: Flick-and-Brake and LongFlick, that respectively use the pressure on the screen and the characteristics of the throwing action to better control scrolling, and Semantic Flicking which leverage on document semantics to facilitate reading. In a second stage we considered the potential of 3D interaction, by moving the mobile device in the space. This line of research aims at expanding the interaction vocabulary while avoiding interferences with existing touch interactions. Leveraging on integrated sensors such as accelerometers, we proposed two new techniques for 3D interaction: TimeTilt, which uses smooth and impulsive gestures to easily navigate between different views, and JerkTilt, which introduced the notion of self-delimited gestures for accessing quickly to commands. An interesting property of these self-defined gestures is their ability to be combined with common interactions on the screen. We thus finally considered the combination of modalities offered by the two and three-dimensional gestures.PARIS-Télécom ParisTech (751132302) / SudocSudocFranceF

Technologies de la Simulation Interactive de Modèles Physiques Multisensoriels

This thesis presents my research activity on multisensory interactive simulation (gesture, sound and image), in technological and conceptual aspects. This interdisciplinary research concerns three fields : 1/ physical modeling for simulation, 2/ hardware and software architectures for real time computation, 3/ interactive gestural interfaces (with force feedback). Work done in these three fields is presented chronologically.Ce mémoire présente mon activité de recherche sur la simulation interactive multisensorielle (geste, son et image), dans ses aspects technologiques et conceptuels. C’est une recherche interdisciplinaire qui concerne trois domaines : 1/ modélisation physique pour la simulation, 2/ architectures matérielles et logicielles pour le calcul temps réel, 3/ interfaces gestuelles interactives (à « retour d’effort »). Les travaux effectués dans ces trois domaines sont exposés de manière chronologique

Conception et évaluation de nouvelles techniques d'interaction dans le contexte de la télévision interactive

Television has never stopped being popularized and offering new services to the viewers. These interactive services make viewers more engaged in television activities. Unlike the use of a computer, they interact on a remote screen with a remote control from their sofa which is not convenient for using a keyboard and a mouse. The remote control and the current interaction techniques associated with it are struggling to meet viewers’ expectations. To address this problem, the work of this thesis explores the possibilities offered by the gestural modality to design new interaction techniques for interactive television, taking into account its context of use. More specifically, in a first step, we present the specific context of the television usage. Then, we propose a litterature review of research trying to improve the remote control. Finally we focus on gestural interaction. To guide the design of interaction techniques based on gestural modality, we introduce a taxonomy that attempts to unify gesture interaction constrained by a surface and hand-free gesture interaction. Therefore, we propose various techniques for gestural interaction in two scopes of research : gestural instrumented interaction techniques, which improves the traditional remote control expressiveness, and hand-free gestural interaction by exploring the possibility o performing gestures on the surface of the belly to control the television set.La télévision n’a cessé de se populariser et d’évoluer en proposant de nouveaux services. Ces services de plus en plus interactifs rendent les téléspectateurs plus engagés dans l’activité télévisuelle. Contrairement à l’usage d’un ordinateur, ils interagissent sur un écran distant avec une télécommande et des applications depuis leur canapé peu propice à l’usage d’un clavier et d’une souris. Ce dispositif et les techniques d’interaction actuelles qui lui sont associées peinent à répondre correctement à leurs attentes. Afin de répondre à cette problématique, les travaux de cette thèse explorent les possibilités offertes par la modalité gestuelle pour concevoir de nouvelles techniques d’interaction pour la télévision interactive en tenant compte de son contexte d’usage. Dans un premier temps, nous présentons le contexte singulier de l’activité télévisuelle. Puis, nous proposons un espace de caractérisation des travaux de la littérature cherchant à améliorer la télécommande pour, finalement, nous focaliser sur l’interaction gestuelle. Nous introduisons un espace de caractérisation qui tente d’unifier l’interaction gestuelle contrainte par une surface, mains libres, et instrumentée ou non afin de guider la conception de nouvelles techniques. Nous avons conçu et évalué diverses techniques d’interaction gestuelle selon deux axes de recherche : les techniques d’interaction gestuelle instrumentées permettant d’améliorer l’expressivité interactionnelle de la télécommande traditionnelle, et les techniques d’interaction gestuelles mains libres en explorant la possibilité de réaliser des gestes sur la surface du ventre pour contrôler sa télévision

Espace de conception et modèle d'interaction multi-tactile gestuel : un environnement de développement pour enrichir le modèle

The technical refinement and the recent adoption of multi-touch technologies by both the industry and users made these technologies a major concern for interaction designers. While many studies on human-computer interaction have started to compare this type of interface with traditional WIMP interfaces performance-wise, few have included in their approach the gestural and system mapping specificities of multi-touch interactions. In this study, I defend the idea that such interaction design should follow a specific interaction model taking into account physical, cognitive, sensitive and motor aspects of gestures in the human-computer relation. I define a design space, sort of socio-technical approach, which participates in the definition of a descriptive and generative interaction model. I establish a set of conceptual and technical principles that allow the evaluation and conception of multi-touch interfaces, in a systemic and extensible way. Throughout this study, I emphasize the limits of the « natural user interface » paradigm by having a better understanding of how interaction realism affects system efficiency. Finally, I present a multi-touch framework developed as part of a CIFRE collaboration, which helped this study in the design and the extension of the conceptual model.L’affinage technique et l’adoption récente des technologies tactiles multi-points par les industriels et les utilisateurs ont fixé l’attention des designers d’interaction sur ces technologies. Tandis que de nombreuses études en interaction homme-machine se sont intéressées à comparer la performance de ces interfaces à celle des interfaces WIMP traditionnelles, peu se sont attachées à intégrer dans leur approche les spécificités du canal gestuel et les modalités d’interactions multi-tactiles. Dans cette étude, je défends l’idée que le design de telles interactions ne peut être approché qu’en suivant un modèle d’interaction spécifique intégrant l’ensemble des composantes physiques, cognitives, sensorielles et motrices du geste dans le couplage homme-machine. J’articule ma recherche autour d’un espace de conception, courte analyse sociotechnique de mon objet d’étude, dans lequel je définis un modèle d’interaction descriptif et génératif. Je détermine un ensemble de principes conceptuels et techniques permettant l’évaluation et la conception du design d’interfaces multi-tactiles de manière systémique et extensible. Au cours de cette étude, je précise les limites du paradigme d’ « interface naturelle » en nuançant les effets du réalisme des interactions dans l’efficacité de tels systèmes. Enfin, je présente les travaux de conception et de développement d’un environnement de développement réalisé dans le cadre d’un dispositif CIFRE qui a accompagné cette étude et permis d’enrichir le modèle théorique

Techniques d'interaction 'phygitales' pour l'exploration de systèmes informationnels complexes

Durant cette dernière décennie, la quantité de données numériques n'a cessé d'augmenter. Ces données provenant de l'Internet des Objets ou de smartphones permettent aux utilisateurs de comprendre et d'analyser leur santé, leur mode de vie ou encore leur consommation énergétique, et aux différentes institutions (villes, campus, promoteurs immobiliers) de gérer le flux de population, le trafic routier ou les pertes énergétiques dans les bâtiments administrés. Le domaine de la "ville intelligente" en tire particulièrement profit. Il est donc capital de mettre à disposition des visualisations interactives de ces données pour pouvoir faire émerger des connaissances et faciliter la prise de décision. Une approche récente propose de représenter ces données proches de l'objet qui les capte ou les produit. Cependant, ce domaine est encore assez récent et il reste de nombreux défis à explorer. Un des défis majeurs identifié par Thomas et collab. (Thomas et al., 2018) est le développement et la conception de techniques d'interaction pour faciliter l'analyse de données situées. L'objectif de nos travaux de thèse est de concevoir et d'évaluer des solutions interactives tirant profit du référent physique pour interagir avec des données numériques situées en se focalisant sur une tâche interactive fondamentale en IHM : la sélection. Dans ce manuscrit nous abordons cette tâche selon une approche fonctionnelle et une approche conceptuelle.Over the past decade, the amount of digital data has been increasing. This data from the Internet of Things or smartphones allows users to understand and analyse their health, lifestyle or energy consumption, and different institutions (cities, campuses, real estate developers) to manage the flow of people, road traffic or energy losses in the buildings they manage. One particular topic that benefits from this is the "smart city". It is therefore essential to make interactive visualisations of this data available in order to generate knowledge and facilitate decision-making. A recent approach proposes to represent these data close to the object that captures or produces them. However, this field is still quite new and there are still many challenges to explore. One of the major challenges identified by Thomas et al. (Thomas et al., 2018) is the development and design of interaction techniques to facilitate the analysis of situated data. The objective of our thesis work is to design and evaluate interactive solutions leveraging the physical referent to interact with situated digital data by focusing on a fundamental interactive task in HCI: selection. In this manuscript we study this task from both a practical and a conceptual approach

Applications musicales du traitement de signal : synthèse et prospective

L'objet de cette communication est de proposer une synthèse des applications musicales du traitement de signal, des problématiques de recherche qui leur sont liées et des directions prospectives qui se dégagent sur la base de travaux récents dans ce domaine. Après l'exposé de notions préliminaires, relatives au système technique musical et à l'analyse des différentes représentations numériques des informations musicales, cette synthèse se concentre sur trois types de fonctions principales : la synthèse et le traitement des sons musicaux, la spatialisation sonore et les technologies d'indexation et d'accès

Jeux pédagogiques collaboratifs situés (conception et mise en oeuvre dirigées par les modèles)

Un jeu pédagogique constitue une déclinaison relative à l apprentissage du concept de jeu sérieux (serious game). Ce type d'outil permet la ludification (gamification) de l'activité afin d'utiliser des éléments de jeu dans un contexte non ludique et conduit à catalyser l attention, faire accroître l engagement et augmenter la motivation des joueurs-apprenants dans les situations d apprentissage. Les jeux pédagogiques reposent sur la mise en situation et l immersion des apprenants, utilisant les ressorts ludiques dans des simulations axées vers la résolution de problèmes. Parmi des recherches antérieures, certains retours d expériences font écho d une trop grande artificialité de l activité notamment par manque de contextualisation de l apprentissage dans l environnement d utilisation des connaissances apprises. Nous avons proposé la mise en place un environnement mixte (physique et numérique) et l utilisation de techniques collaboratives pour raffiner l approche pédagogique. Ces orientations nous ont menés à la mise en place de ce que nous appelons des Jeux Pédagogiques Collaboratifs Situés (JPCS). Les deux questions de recherche qui nous ont été posées dans le cadre du projet SEGAREM et qui sont devenues les nôtres sont : 1/ comment accompagner les jeux sérieux par l approche Réalité Augmentée (RA) et l'approche Interface Tangible (IT)? 2/ comment rendre la conception et la mise en œuvre des JPCS (Jeux Pédagogiques Collaboratifs Situés) plus explicite et plus systématique ? Les réponses que nous présentons dans cette thèse sont les suivantes : 1/ la conception et la mise en œuvre des pupitres interactifs supportant des objets réels augmentés, associés à un protocole de communication existant, proposant un support générique des techniques d interaction détectée et de prise en compte du contexte physique d utilisation ; 2/ une approche de production de JPCS se situant après l étape de scénarisation ludo-pédagogique qui constitue notre cahier des charges. Nous avons basé notre approche sur des modèles pour permettre un support d expression qui précise les caractéristiques des JPCS. Ces modèles sont soutenus par des éditeurs contextuels et produisent comme résultat des fichiers de descriptions en XML. La projection des descriptions obtenues sur une architecture générique d exécution du JPCS permet une spécialisation pour obtenir une version exécutable. Dans les six modèles, certains sont adaptés des travaux antérieurs de l équipe, d'autres issues de la littérature et les derniers sont directement proposés ici. Ces six modèles décrivent l activité (un modèle d orchestration de l activité et un modèle de tâches), la structure de différents environnements, l état initial de l environnement et les conditions nécessaires d un état final et les interactions possibles entre les joueurs et l environnement. Nos travaux tant sur les pupitres que sur les modèles et le support d exécution ont été concrétisés dans la mise en place de Lea(r)nIt. Ce JPCS avait pour but de consolider des acquis méthodologiques en Lean Manufacturing par l utilisation et l optimisation d une chaîne de production simulée sur pupitres (supportant interactions tactiles, interactions tangibles et pouvant être assemblés) et sur téléphones mobiles (permettant la mobilité des joueurs-apprenants).A Learning game is a declension of the serious game concept dedicated to the learning activity. A Learning game is based on a scenario and immersion of the learners with use of game mechanics on problem based simulation. The gamification concept is the use of game elements in a non-playful activity with as impact attention, motivation and engagement. However, some research feedback explains that too much artificiality on learning activity caused by a lack of contextualization of the activity on the professional environment. We propose to use Mixed Reality and Collaborative Supported Computer Work as technological solution to support situated and collaborative situation in aim to enhance pedagogical strategy and allow a better learning. We call it Situated Collaborative Learning Game (SCLG) as a concept of pedagogical tools to enhance learning of content with use of collaborative learning (when learners interactions is useful to learn), situated learning (when the environment context is meaningful) and human-physical objet interaction (with use of mixed reality, with kinesthetic and tangible interaction in augmented reality) and game based learning (when learner's motivation is improved by the learning activity). In these contexts, our two research questions are: 1 / How to create a serious games support by use of Augmented Reality (AR) approach and Tangible Interface (IT) approach? 2 / How to make design and development of SCLG (situated collaborative learning game) more explicit and systematic? We propose two solutions: 1/ the design and the production of four interactive desks with support of tangible interaction on and above the table. These devices are linked to a communication protocol which allows a generic support of technical interaction. 2/ A generic way to design the CSLG system, with integration of advanced human computer interaction support (as augmented reality and tangible interaction) and ubiquitous computing in Learning Games. For that, we propose, with a user centered oriented and model oriented design, a way to make a CSLG factory. For that, we propose use of six models to determinate the behavior of the CSLG. These six models describe learners activity (with use of three different models to follow the activity theory s), the mixed game environment, deployment of entities on the environment, and human computer interactions. All of these models are linked by an orchestration model and can be project on a multi-agent multi-layers architecture by use of XML description file. We propose tools to help each step of our design and production process. Our work on interactive desks, on the six models and on the runtime support has been realized in the production of Lea(r)nIT. This SCLG consolidate methodological knowledge of Lean Manufacturing by use and optimization of a simulated chain production on four desks (which support touch and tangible interactions and can be assembled) and on mobile phones (to allow movement of learners).LYON-Ecole Centrale (690812301) / SudocSudocFranceF

Communication kinesthésique des émotions dans un contexte d'interaction homme-machine

The communication of emotions use several modalities of expression, as facial expressions or touch. The affective computing field aims to integrate an emotional component in human-computer interactions. Even though touch is an effective vector of emotions, is remains little explored. This thesis aims to investigate the kinesthetic features of the expression and perception of emotions in a human-computer interaction setting. Firstly, this thesis considers the kinesthetic expression and perception of semantically close and acted emotions. Secondly, this thesis proposes a facial-kinesthetic combination of expressions of several close emotions. This aims to investigate the influence of the kinesthetic modality on the multimodal perception of emotions. Finally, this thesis goes beyond acted emotions by focusing on the expression and perception of a spontaneous state of stress. Those different experiments used various devices for kinesthetic interaction, as Geomagic Touch devices and a pressure rendering device developed for this thesis. Results have multiple applications. Firstly, a better integration of the kinesthetic modality in virtual settings, from human-human remote communications to immersion in video games. This thesis also paves the way for an automatic recognition of affective states expressed by the kinesthetic modality.La communication des émotions s'effectue naturellement par le biais de différentes modalités, comme par exemple les expressions faciales et le toucher. L'informatique affective cherche à intégrer la composante émotionnelle dans les interactions homme-machine. Cependant, le toucher, qui est un puissant vecteur d'émotions, reste peu exploité. L'objectif de cette thèse est d'étudier les paramètres qui influencent l'expression et la perception des émotions dans la modalité kinesthésique dans un contexte d'interaction homme-machine. Dans un premier temps, cette thèse considère l'expression kinesthésique liée à la perception physique de forces et de mouvements d'un ensemble d'émotions actées sémantiquement proches. Sur la base des résultats de cette première étude, un couplage des expressions kinesthésiques typiques de différentes émotions avec des expressions faciales exprimées par un avatar est proposé afin d'étudier l'influence de la modalité kinesthésique dans la perception d'une expression multimodale d’émotion. Enfin, cette thèse va au-delà de ces émotions actées en abordant dans une dernière étude le cas de l'expression et de la perception d'un état affectif de stress spontané. Ces différentes expérimentations ont considéré différents dispositifs matériels pour la communication kinesthésique : des dispositifs de type Geomagic Touch ainsi qu'un dispositif de rendu de pression développé spécifiquement dans le cadre de cette thèse. Les résultats de ces travaux ont de multiples applications pratiques. Premièrement, une meilleure intégration de la modalité kinesthésique en contexte virtuel, qu'il s'agisse de communication humain-humain à distance ou d'immersion dans les jeux vidéo. Cette thèse ouvre également la voie à la détection automatique d'états affectifs exprimés spontanément par la modalité kinesthésique

Nouvelles techniques d'interaction pour les dispositifs miniaturisés de l'informatique mobile

Thanks to the availability of powerful miniaturized electronic coponents, this last decade have seen the popularization of small mobile devices such as smartphones, and even smaller devices for wearable computing. These new devices bring new interaction problems, such as the small size of the screen and the "fat-finger" problem (a relatively large portion of the sreen is occluded and pointing lacks precision). the objective of the work reported here is twofold : 1) to aquire a better understanding of pointing on small devices, thanks to an advanced study of Fitts' law, 2) to design new interaction techniques for increasing the interaction bandwidth between the user and the device.Du fait de la disponibilité de capteurs éléctroniques de plus en plus puissant, la dernière décennie a vu la popularisation de nouveaux dispositifs mobiles, comme les téléphones intelligents (smartphone), et même des dispositifs miniatures comme ceux de l'informatique portée. Ces nouveaux dispositifs apportent de nouveaux problèmes interactionnels, du fait de la petite taille de l'écran et du problème du "fat-finger" (lors de l'interaction, une large portion de l'écran se retrouve occultée par le doigt, et les tâches de pointage perdent en précision. L'objectif de ce travail est double : 1) d'acquérir une meilleure compréhension du pointage sur les petits dispositifs mobiles, grâce à une étude poussée de la loi Fitts, 2) de créer de nouvelles techniques d'interaction afin d'augmenter la bande passante interactionnelle entre l'utilisateur et le dispositi

Technologies logicielles de la modélisation, de la simulation et de l'interaction multisensorielles instrumentales pour la création

The presented works have firstly questioned the possible inter-relations between physics-based modelling and simulation on the one hand, and creation and creativity on the other. More specifically, the possibility and fundamental interests of rooting creative activities onto physics-based modelling have been considered.This theme was approached from a Computer Sciences perspective, through the invention and the design of a new family of software environments aimed at creation with masses-interactions physics-based networks. In particular: GENESIS for musical creation, and MIMESIS for movement and computer graphics animation.These software environments empower the artist with innovative and complete creation processes, centred on physical modelling activities.Each and all of these environments are characterized by a specific “software environment paradigm”: dedicated features, software architecture specificities, adequate and necessary human-computer interaction means (interfaces and languages), and particular usage protocols (in our case: modelling and creative processes).These elements have been situated in the scientific and technological history of computer creation tools, and in the state of the art of the various concerned scientific domains. This work has in particular led to analysing the properties of masses-interactions physical networks (modularity, generic potential, calculability, usability, …), in relation with other categories of algorithms, models and formalisms used nowadays to address human sensori-motor skills. It also accompanied the demonstration that the building of physical models by an artist can be deeply relevant. This relevance lies in the qualities of the phenomena that are finally generated, but also, which is more original, and probably more essential, in the modelling/creation processes themselves.Finally, the works have been extended to various other axes: contributions to synchronous real-time simulation architecture and software for multisensory interaction, including force-feedback, sound, and image, by means of physics-based simulation; experimental modelling works; contributions to the evolutions of the formal basis of the physics networks paradigm; contributions to graphical representation of punctual movements, etc.These past works and the achieved results altogether lead to introduce new research perspectives, which we name software technologies of multisensory instrumental interaction, with, as a far end view, the foundation of a new “science of the multisensory computer” and the possibility of a “multisensory art”.Les travaux présentés ont été pour l’essentiel traversés par un questionnement sur les relations liant modélisation et simulation physiques et création ou, plus spécifiquement, sur la possibilité et l’intérêt fondamental d’appuyer une activité de création sur la modélisation. Ce thème a été abordé sous l’angle de l’informatique appliquée (en anglais, les « computer sciences »), au moyen de l’invention et de la réalisation d’une nouvelle famille d’environnements logiciels pour la création avec les réseaux physiques masses-interactions, dont en particulier les modeleurs-simulateurs GENESIS pour la création musicale, puis MIMESIS pour la création du mouvement et l’image animée. Ces environnements permettent à l’artiste d’organiser des processus de création complets et novateurs, fondés sur l’activité de modélisation physique.Ils sont chacun, et dans leur ensemble, caractérisés par un paradigme d’environnement logiciel nouveau : des fonctionnalités, des caractéristiques en matière d’architecture logicielle, des ergonomies nécessaires, adéquates et spécifiques, ainsi que des protocoles d’utilisation – ici des processus de modélisation et de création – qui leur sont propres. Ces propriétés ont été situées dans l’histoire scientifique et technologique des outils de création et dans les états de l’art des communautés scientifiques concernées. Ce travail a notamment donné lieu à une étude des propriétés des réseaux physiques masses-interactions (généricité, modularité, calculabilité, utilisabilité, généralité...) en vis-à-vis des catégories d’algorithmes, modèles et formalismes utilisés pour adresser la sensori-motricité humaine. Il s’est de plus accompagné d’une analyse du fait que l’activité de construction de modèles physiques peut présenter une pertinence profonde pour l’artiste – pertinence qui se joue non seulement dans les qualités des phénomènes générés, mais encore, de façon plus originale et peut-être plus essentielle, dans le processus de modélisation/création lui-même.Enfin, les travaux se sont étendus à plusieurs autres axes d’études : contributions aux logiciels de simulation temps réel pour l’interaction multisensorielle incluant le retour d’effort, le son et l’image, au moyen de la simulation physique ; travaux expérimentaux en modélisation ; contributions à l’amélioration du cadre formel des réseaux physiques masses-interactions ; contributions aux procédés de mise en forme visuelle de mouvements ponctuels ; travaux de positionnement théorique ; etc.L’expérience et les résultats acquis conduisent à introduire de nouvelles perspectives de recherche, sous le fil conducteur des technologies logicielles de l’interaction multisensorielle instrumentale, avec en ligne de mire la fondation d’une « science de l’ordinateur multisensoriel » et la possibilité d’un « art multisensoriel »