Technologies de la Simulation Interactive de Modèles Physiques Multisensoriels

This thesis presents my research activity on multisensory interactive simulation (gesture, sound and image), in technological and conceptual aspects. This interdisciplinary research concerns three fields : 1/ physical modeling for simulation, 2/ hardware and software architectures for real time computation, 3/ interactive gestural interfaces (with force feedback). Work done in these three fields is presented chronologically.Ce mémoire présente mon activité de recherche sur la simulation interactive multisensorielle (geste, son et image), dans ses aspects technologiques et conceptuels. C’est une recherche interdisciplinaire qui concerne trois domaines : 1/ modélisation physique pour la simulation, 2/ architectures matérielles et logicielles pour le calcul temps réel, 3/ interfaces gestuelles interactives (à « retour d’effort »). Les travaux effectués dans ces trois domaines sont exposés de manière chronologique

Espace de conception et modèle d'interaction multi-tactile gestuel : un environnement de développement pour enrichir le modèle

The technical refinement and the recent adoption of multi-touch technologies by both the industry and users made these technologies a major concern for interaction designers. While many studies on human-computer interaction have started to compare this type of interface with traditional WIMP interfaces performance-wise, few have included in their approach the gestural and system mapping specificities of multi-touch interactions. In this study, I defend the idea that such interaction design should follow a specific interaction model taking into account physical, cognitive, sensitive and motor aspects of gestures in the human-computer relation. I define a design space, sort of socio-technical approach, which participates in the definition of a descriptive and generative interaction model. I establish a set of conceptual and technical principles that allow the evaluation and conception of multi-touch interfaces, in a systemic and extensible way. Throughout this study, I emphasize the limits of the « natural user interface » paradigm by having a better understanding of how interaction realism affects system efficiency. Finally, I present a multi-touch framework developed as part of a CIFRE collaboration, which helped this study in the design and the extension of the conceptual model.L’affinage technique et l’adoption récente des technologies tactiles multi-points par les industriels et les utilisateurs ont fixé l’attention des designers d’interaction sur ces technologies. Tandis que de nombreuses études en interaction homme-machine se sont intéressées à comparer la performance de ces interfaces à celle des interfaces WIMP traditionnelles, peu se sont attachées à intégrer dans leur approche les spécificités du canal gestuel et les modalités d’interactions multi-tactiles. Dans cette étude, je défends l’idée que le design de telles interactions ne peut être approché qu’en suivant un modèle d’interaction spécifique intégrant l’ensemble des composantes physiques, cognitives, sensorielles et motrices du geste dans le couplage homme-machine. J’articule ma recherche autour d’un espace de conception, courte analyse sociotechnique de mon objet d’étude, dans lequel je définis un modèle d’interaction descriptif et génératif. Je détermine un ensemble de principes conceptuels et techniques permettant l’évaluation et la conception du design d’interfaces multi-tactiles de manière systémique et extensible. Au cours de cette étude, je précise les limites du paradigme d’ « interface naturelle » en nuançant les effets du réalisme des interactions dans l’efficacité de tels systèmes. Enfin, je présente les travaux de conception et de développement d’un environnement de développement réalisé dans le cadre d’un dispositif CIFRE qui a accompagné cette étude et permis d’enrichir le modèle théorique

”Haptic Processor Unit” : vers une Plate-Forme Transportable pour la Simulation Temps-Réel Synchrone Multisensorielle

This work is related to the field of Human-Computer Interaction, and particularly to the field of multisensory instrumental simulation, as conceptualized by the research group ACROE & ICA, and which needs a strong coupling between the human and the instrument.The first part of this thesis presents various degrees of the integration of gesture in computer uses, then develops a functional approach of force feedback technologies. This analysis elicits the mainstreams that are currently sharing the field of haptics research. We then present a study of the hardware and software components that are used in haptic simulation, and the various approaches used to connect a force feedback device to a real time modelling system. The analysis of the role of each of the components in the simulation chain and their relationships allowed us to conceptualize the “Haptic Processor Unit”. This component guarantees in particular the conditions of reactivity that are required for multisensory simulation. The new simulation architecture that we designed in this work, named ERGON_X, implements the concept of HPU. ERGON_X is a compact and transportable simulator, and handles simulation frequencies up to 44 100Hz. The third part presents the validation of the simulation platform ERGON_X. It mainly focuses on the design of new models, which were used in the framework of the research carried on by ACROE & ICA about instrumental interaction. The “E” is a model demonstrating the capabilities of the ERGOS technology, which is now fully exploitable thanks to this new simulation architecture. The models of tapping and of deformable paste allowed us to bring new results on human-object interaction, and validate the simulator as a tool for psychophysical experimentation. The Enactive Emblematic Scenarii “Ergotic Sounds” and “Pebble Box” illustrate the conception of Enaction. They validate the use of our simulation architecture as an experimental platform and lead us to a paradigm shift from “instrumental interaction” to “enactive interaction”Ce travail se situe dans le domaine de l’Interaction Personne-Système, et plus particulièrement dans celui de la simulation instrumentale multisensorielle telle que conceptualisée par le groupe de recherche ACROE & ICA, qui nécessite un couplage fort homme-instrument.La première partie de cette thèse présente les différents degrés d’intégration du geste dans l’ordinateur, puis propose une approche fonctionnelle des technologies pour le retour d’effort. Nous dégageons de cette analyse les grandes approches qui se partagent actuellement le champ de la recherche « haptique ».Nous présentons ensuite une étude sur les différents composants matériels et logiciels nécessaires à la chaîne de simulation haptique, ainsi que les différentes approches utilisées pour connecter un système à retour d’effort à un processus de simulation en temps réel. L’analyse du rôle des composants de la chaîne de simulation et de leurs relations permet de formaliser le concept de « Haptic Processor Unit ». Ce composant permet en particulier de garantir les conditions de réactivité propres à la simulation multisensorielle. La nouvelle architecture de simulation multisensorielle que nous avons réalisée, ERGON_X, met en œuvre le concept de HPU.ERGON_X est un simulateur compact et transportable, et permet d’utiliser des fréquences de simulation jusqu’à 44 100Hz. La dernière partie présente la validation de la plate-forme de simulation ERGON_X. Elle est essentiellement orientée vers l’implantation de nouveaux modèles, utilisés dans le cadre d’un travail de recherche sur la situation instrumentale médiatisée. Le « E » est un modèle de démonstration des performances de la technologie ERGOS que la nouvelle architecture de simulation permet d’exploiter pleinement. Les modèles de tapping (percussion) et de pâtes déformables ont permis d’avancer des résultatssur l’interaction homme-objet, et valident le simulateur comme un outil pour l’expérimentation psychophysique. Les Enactive Emblematic Scenarii « Ergotic Sounds » (frottement d’archet) et « Pebble Box » (la boîte à cailloux) sont des illustrations du concept de l’Enaction. Elles valident l’utilisation de l’architecture de simulation comme une plate-forme pour l’expérimentation et ouvrent de nouvelles perspectives de recherche sur l’enaction et la notion de présence en simulation interactive

Mesure tactile proprioceptive pour des doigts sous-actionnés

RÉSUMÉ La préhension et la manipulation d’objets par des robots deviennent de plus en plus répandues dans divers domaines, et ce, pour de multiples applications. L’utilisation de robots permet d’améliorer la répétabilité, la rapidité et la précision lors de certaines tâches, et ce, comparativement aux performances d’un opérateur humain. De plus, un robot peut également être conçu pour accomplir certaines tâches qu’une personne ne pourrait effectuer, que ce soit au niveau de la force nécessaire ou du manque d’espace pour manoeuvrer. Des robots peuvent également plus aisément fonctionner dans des environnements hostiles. Tout comme pour l’être humain, la rétroaction tactile est particulièrement utile et même inévitable pour effectuer certaines tâches. Il faut toutefois souligner qu’il s’agit d’un thème de recherche où l’on est encore bien loin d’avoir atteint les performances humaines. Pour s’en approcher, de nombreuses et diverses technologies de capteurs tactiles existent, mais chacune comporte ses défauts. Ainsi, bien qu’il existe actuellement des solutions technologiques pour donner une rétroaction sensorielle à un robot ou à son opérateur, ces dernières s’avèrent généralement coûteuses, présentent différents défauts au niveau de la sensibilité et ne sont pas toujours adaptées à certaines utilisations. Dans l’optique de trouver une alternative efficace aux technologies conventionnelles de détection et de mesure tactiles, la présente thèse se concentre sur la possibilité d’utiliser la raideur inhérente du mécanisme de transmission d’un doigt sous-actionné. En effet, les doigts et les mains sous-actionnés sont de plus en plus communément utilisés pour leur simplicité propre et leur capacité à saisir et à s’adapter à la forme d’objet de manière purement mécanique sans schéma de commande complexe ou de nombreux actionneurs. Contrairement aux mécanismes pleinement actionnés, les doigts sous-actionnés, communément appelés adaptatifs, comportent des éléments passifs pour contraindre leur mouvement avant le contact, tout en permettant d’obtenir une prise stable sans développer des forces de contact trop élevées initialement. Les doigts sous-actionnés étant généralement dépourvus d’actionneurs à l’intérieur du doigt lui-même, les seuls capteurs déjà présents sont typiquement situés à l’unique actionneur. Toutefois, en analysant et traitant en temps réel les données de ces capteurs internes, également appelés proprioceptifs, il est possible d’extraire une panoplie d’informations sur ce qui se passe au niveau des phalanges. Ce principe est donc utilisé pour obtenir des algorithmes de détection tactile pouvant être utilisés sur différents systèmes, tels qu’une pince compliante et un préhenseurs à membrures.----------ABSTRACT Robotic hands have become more and more prevalent in many fields. They have replaced human operators in many repetitive applications where robots become more precise and efficient. Moreover, robotic graspers can lift heavier loads and accomplish maneuvers a human could not. They can also manipulate objects in hostile environments where it would be dangerous for humans. Therefore, a lot of work has been done in recent years to improve their capabilities such as their speed, dexterity, strength, and versatility. However, current robotic manipulators lack the sensory feedback of their human counterparts. Indeed, haptic and tactile feedbacks are still very limited in current devices, which may be a problem, because tactile sensing is deemed nearly mandatory for a large number of applications. Conventional tactile sensors, which are usually applied on the external surface of a robot, are generally used, but they can also be costly, insensitive to some dynamic phenomena, and not adequate to some applications. To solve these issues, many authors have worked on finding alternatives to standard tactile sensors. This thesis fits in this current trend by focusing on the possibility of using the internal stiffness of underactuated fingers to design a virtual tactile sensor. This technique is referred to as proprioceptive tactile sensing. It is applied here to underactuated robotics fingers, which are becoming prevalent in many fields. Underactuated mechanisms, sometimes referred to as self-adaptive, are particularly interesting because of their intrinsic ability to mechanically adapt themselves to the shape of an object without complex control laws and as low as only one actuator. As they have by definition less actuators, they generally have no sensor in the finger’s mechanism itself. Instead of adding new sensors, it is possible to take advantage of the sensors already present, such as the ones at the actuator. Therefore, in this thesis, only data provided by sensors at the actuator is used. Since a oneto-one relationship exists between the contact location and the instantaneous stiffness of the mechanism, it is possible to compute one from the other. Therefore, with the measurements from sensors at the actuator, it is possible to estimate the point of contact. To this aim, a complete model is proposed and experimental data is provided. Different algorithms were tested successfully on a compliant biocompatible gripper and a 2-DOF linkage-driven finger. Finally, an optimization procedure is presented with the aim of finding the optimal parameters of the transmission mechanism to improve the sensitivity of the virtual tactile sensor. The data presented in this thesis demonstrate the robustness of the proposed proprioceptive tactile sensing (PTS) technique

On the critical role of the sensorimotor loop on the design of interaction techniques and interactive devices

People interact with their environment thanks to their perceptual and motor skills. This is the way they both use objects around them and perceive the world around them. Interactive systems are examples of such objects. Therefore to design such objects, we must understand how people perceive them and manipulate them. For example, haptics is both related to the human sense of touch and what I call the motor ability. I address a number of research questions related to the design and implementation of haptic, gestural, and touch interfaces and present examples of contributions on these topics. More interestingly, perception, cognition, and action are not separated processes, but an integrated combination of them called the sensorimotor loop. Interactive systems follow the same overall scheme, with differences that make the complementarity of humans and machines. The interaction phenomenon is a set of connections between human sensorimotor loops, and interactive systems execution loops. It connects inputs with outputs, users and systems, and the physical world with cognition and computing in what I call the Human-System loop. This model provides a complete overview of the interaction phenomenon. It helps to identify the limiting factors of interaction that we can address to improve the design of interaction techniques and interactive devices.Les humains interagissent avec leur environnement grâce à leurs capacités perceptives et motrices. C'est ainsi qu'ils utilisent les objets qui les entourent et perçoivent le monde autour d'eux. Les systèmes interactifs sont des exemples de tels objets. Par conséquent, pour concevoir de tels objets, nous devons comprendre comment les gens les perçoivent et les manipulent. Par exemple, l'haptique est à la fois liée au sens du toucher et à ce que j'appelle la capacité motrice. J'aborde un certain nombre de questions de recherche liées à la conception et à la mise en œuvre d'interfaces haptiques, gestuelles et tactiles et je présente des exemples de contributions sur ces sujets. Plus intéressant encore, la perception, la cognition et l'action ne sont pas des processus séparés, mais une combinaison intégrée d'entre eux appelée la boucle sensorimotrice. Les systèmes interactifs suivent le même schéma global, avec des différences qui forme la complémentarité des humains et des machines. Le phénomène d'interaction est un ensemble de connexions entre les boucles sensorimotrices humaines et les boucles d'exécution des systèmes interactifs. Il relie les entrées aux sorties, les utilisateurs aux systèmes, et le monde physique à la cognition et au calcul dans ce que j'appelle la boucle Humain-Système. Ce modèle fournit un aperçu complet du phénomène d'interaction. Il permet d'identifier les facteurs limitatifs de l'interaction que nous pouvons aborder pour améliorer la conception des techniques d'interaction et des dispositifs interactifs

Etude du tissage hybride multicouche : réalisation d’une machine par une approche multiaxes synchronisés

Woven fabric is basically produced by interlacing two set of threads, warp yarns, or ends, which run lengthwise in the fabric and the filling yarns (weft), or picks, which run from side to side. The traditional system of ends and picks interlacing is identified as a two dimensional weave or pattern. Involving woven fabrics into technical applications require the evolution of advanced patterns in which ends and picks can be interlaced to build a 3D woven fabric. Moreover, these advanced patterns can allow the integration of new elements other than textile yarns such as sensors, liquid-feeding tubes, electric wires, etc. The goal of this study is to develop a new concept of weaving machine that fill these requirements by moving the various mechanisms of weaving machine independently and replacing the mechanical synchronization by an electronic one. Such a new synchronization will take the timing diagram apart and thus to bring new functions. The new concept of the weaving machine lies on two parts; a mechanical part and an electronic part. The developed automation for this new concept is based on an advanced automation structure. This structure is composed of motion controller, IHM, a distance PLC connected to a CANmotion bus to meet the user's needs, this new concept of weaving machine based on electronic cams which is one of the strongest point. This new machine electronically synchronized allows a great flexibility and gives a great opportunity to develop a wide range of new woven fabric structuresUn tissu classique est réalisé par l’entrecroisement de 2 réseaux de fils (appelé armure), un longitudinal, la chaîne et un transversal, la trame. L’introduction des tissus dans les applications techniques a nécessité le développement de réseaux de fils beaucoup plus complexes permettant la réalisation d’entrecroisement en 3D. Toutefois, ces tissus complexes ne sont constitués que de fils textiles de même nature. Dans un futur proche, il sera nécessaire d’entrecroiser d’une part des fils textiles, mais aussi d’autres éléments tels que des capteurs, des tubes d’alimentation liquide, des fils électriques ou tout autre objet. Le but de notre travail est de développer un nouveau concept de machine pouvant répondre à ces nouvelles exigences. Dans le cadre du développement d’un nouveau concept de tissage, nous souhaitons mettre en mouvement les divers mécanismes de la machine à tisser de manière indépendante et remplacer la synchronisation mécanique de ces mécanismes, par une synchronisation électronique. Ce nouveau type de synchronisation permettra de « déstructurer » l’horloge de tissage et ainsi apporter de nouvelles fonctions. La réalisation de cette nouvelle machine a conduit à la conception d’une partie mécanique et d’une partie électronique.L'automatisation développée lors de la réalisation de cette machine est fondée sur la mise en place d'une structure avancée d'automatisation, constituée d’un contrôleur de mouvement, d’un IHM, d’une automate déporté, connectés sur un bus de terrain CANmotion, essayant de répondre au mieux aux besoins des utilisateurs. La flexibilité et la synchronisation électronique présente dans cette machine architecturée autour de cames électroniques, sont les points forts, et laisse la porte ouverte à l'utilisation de cette machine pour de nouvelles applications. En particulier la réalisation de tissus multicouches hybrides complexes

La pensée mixte : une approche de la composition par l'interaction des pensées instrumentale, électroacoustique et informatique

La « pensée mixte » est une approche de la composition caractérisée par l’interaction de trois pensées: la pensée instrumentale, la pensée électroacoustique et la pensée informatique. Elle prend la forme d’un réseau où le compositeur fait des aller-retours entre les trois pensées et réalise des équivalences paramétriques. La pensée instrumentale se rattache à la tradition de l’écriture occidentale, la pensée électroacoustique fait allusion aux pratiques du studio analogique et de la musique acousmatique, et la pensée informatique fait référence aux pratiques numériques de la programmation visuelle et de l’analyse spectrale. Des lieux communs existent où s’opèrent l’interaction des trois pensées: la notion du studio instrumental de Ivo Malec, la notion de musique concrète instrumentale de Helmut Lachenmann, la composition assistée par ordinateur, la musique spectrale, l’approche instrumentale par montage, la musique acousmatique s’inspirant de la tradition musicale écrite et les musiques mixtes. Ces domaines constituent les influences autour desquelles j’ai composé un corpus de deux cycles d’œuvres: Les Larmes du Scaphandre et le Nano-Cosmos. L’analyse des œuvres met en évidence la notion de « pensée mixte » en abordant la pensée électroacoustique dans ma pratique instrumentale, la pensée informatique dans ma pratique musicale, et la pensée instrumentale dans ma pratique électroacoustique.“Mixed-method thinking” is an approach to composition characterized by the interaction of three streams of compositional thought: instrumental, electroacoustic and computing-based. It takes the form of a network within which the composer goes back and forth between these three types of conceptualization and succeeds in finding equivalences between parameters. Instrumental thinking is connected to the Western notated compositional tradition, electroacoustic thinking alludes to practices derived from the analog studio environment and the acousmatic music tradition, and computing-based thinking refers to visual programming and spectral analysis practices. Common areas exist where all three forms of thinking interact: Ivo Malec’s notion of the instrumental studio, Helmut Lachenmann’s notion of musique concrète instrumentale, computer-assisted composition, spectral music, the montage approach to instrumental composition, acousmatic music inspired by the written musical tradition and genres combining instruments with fixed media or electronics. These areas comprise the influences around which I composed a corpus of two cycles of works: Les Larmes du Scaphandre and Nano-Cosmos. Analysis of these works demonstrates the notion of “mixed-method thinking” through the adoption of electroacoustic thinking in my instrumental composition practice, computational thinking in my musical practice, and instrumental thinking in my electroacoustic practice

Analyse et modélisation de la préhension pouce-index lors de mouvements du bras chez l'humain

Mémoire numérisé par la Direction des bibliothèques de l'Université de Montréal

Méthodologie de conception de textures pour les interfaces tactiles à frottement programmable

National audienceThe design of textures for so-called variable friction technologies requires multiple perspectives, which this paper aims to outline and discuss. We first propose a definition of texture and describe the current state of knowledge on their perception. After presenting two technologies for variable friction and comparing them to other tactile interfaces, we describe several particular uses for these devices. We then discuss psychophysical methods for signal perception evaluation and finally discuss methodologies for creating multidimensional tactile content