Perception et imitation du mouvement dans l'autisme : une question de temps

International audienceAn increasing amount of studies demonstrated the existence of biological motion integration deficit in individuals with autism, especially when velocity of movement is high. This type of movements (such as facial and body gestures) is intrinsically involved in social interactions: a rapid visual-motion processing deficit could therefore account for their verbal and non verbal comprehension and social interaction disorders. Previous studies showed that the speed of presentation of facial expressions to children with autism may influence their performance in recognition of these facial expressions, i.e., a slowed down presentation enhances their performance, particularly in those having the more severe autistic disorders. In the present study, we aimed at extending these findings to the field of imitation, i.e., to assess the influence of the speed of presentation of various gestures on the imitative abilities of children and adolescents with autism and normal control subjects. These gestures are meaningless, presented on a computer screen at normal and slowed down speeds by the means of a software especially dedicated to this research. Results show that autistic individuals, especially the more affected ones and those having the lower verbal comprehension level, imitate more poorly than their controls. More importantly, slow dynamic presentations enhance the performance in imitation of the autistic children. These findings may open new lines of interventions in the domain of perceptive and communicative reeducation in autistic individuals.Un nombre croissant d'études a montré que certaines personnes autistes souffrent de troubles de la perception des mouvements biologiques pouvant affecter leur communication verbale et non verbale et leurs interactions sociales. Les mouvements de l'environnement iraient trop vite pour elles et déborderaient leurs capacités de traitement perceptif. Confirmant cette hypothèse explicative du trouble social dans l'autisme, des études antérieures ont montré que la reconnaissance d'expressions faciales est améliorée chez des enfants autistes lorsque ces expressions sont présentées de manière ralentie. Dans cette même perspective, notre présente étude vise à explorer, chez des enfants et adolescents autistes comparés à des enfants témoins normaux, l'impact de différentes vitesses de présentation de gestes corporels ou faciaux sur leur capacité à les imiter sur demande. Ces gestes, effectués par une personne, sont présentés sur ordinateur, en vitesse normale ou ralentie, grâce à un logiciel spécialement conçu à cet effet. Les résultats montrent d'une part que les enfants autistes, essentiellement ceux ayant un autisme plus sévère ou un âge de compréhension verbale plus bas, imitent moins bien les gestes que les enfants témoins, et, d'autre part, que leurs performances imitatives s'améliorent lorsque les gestes sont présentés lentement. Ces résultats pourraient ouvrir la voie à de nouvelles modalités de rééducation perceptive et communicative chez les personnes autistes

La reconnaissance du langage de signes par les fonctions de taille

Le principal objectif de mon projet de maîtrise est la conception d'un système de reconnaissance adapté au canal gestuel afin de pouvoir intégrer de nouvelles possibilités d'interaction au sein d'interfaces Personne-Machine. Une attention particulière a été portée au problème de la reconnaissance de l'alphabet du langage des signes italien (LSI). Après avoir étudié les différents paramètres du langage des signes, et les différentes techniques utilisées précédemment dans ce domaine, nous avons choisi l'approche visuelle pour bénéficier des techniques de traitement d'images afin d'obtenir une meilleure représentation des gestures et pour ainsi mieux distinguer les différentes postures du langage des signes. Nous avons ainsi défini un ensemble de caractéristiques pertinentes et effectué l'expérimentation de plusieurs techniques d'extraction de caractéristiques. Le problème que nous avons soulevé est celui de trouver une caractéristique plus générale et plus adaptée au canal gestuel. Au niveau de la représentation des signes, nous avons opté pour l'utilisation d'un outil topologique appelé"Fonctions de taille", lui-même basé sur un autre paramètre essentiel appelé"Fonctions de mesure". Nous avons opté pour l'utilisation des moments d'inertie dans le but de trouver une fonction de mesure spécifique à la représentation de l'alphabet du langage des signes. Notre schéma de reconnaissance est construit autour d'un classificateur neuronal

Une étude sur la prise en compte simultanée de deux modalités pour la reconnaissance de gestes de SoundPainting

National audienceNowadays, gestures are being adopted as a new modality in the field of Human-Computer Interaction (HMI), where the physical movements of the whole body can perform unlimited actions. Soundpainting is a language of artistic composition used for more than forty years. However, the work on the recognition of SoundPainting gestures is limited and they do not take into account the movements of the fingers and the hand in the gestures which constitute an essential part of SoundPainting. In this context, we con- ducted a study to explore the combination of 3D postures and muscle activity for the recognition of SoundPainting gestures. In order to carry out this study, we created a Sound- Painting database of 17 gestures with data from two sensors (Kinect and Myo). We formulated four hypotheses concerning the accuracy of recognition. The results allowed to characterize the best sensor according to the typology of the gesture, to show that a "simple" combination of the two sensors does not necessarily improves the recognition, that a combination of features is not necessarily more efficient than taking into account a single well-chosen feature, finally, that changing the frequency of the data acquisition provided by these sensors does not have a significant impact on the recognition of gestures.Actuellement, les gestes sont adoptés comme une nouvelle modalité dans le domaine de l'interaction homme-machine, où les mouvements physiques de tout le corps peuvent effectuer des actions quasi-illimitées. Le Soundpainting est un langage de composition artistique utilisé depuis plus de quarante ans. Pourtant, les travaux sur la reconnaissance des gestes SoundPainting sont limités et ils ne prennent pas en compte les mouvements des doigts et de la main dans les gestes qui constituent une partie essentielle de SoundPainting. Dans ce contexte, nous avons réalisé une étude pour explorer la combinaison de postures 3D et de l'activité musculaire pour la reconnaissance des gestes SoundPainting. Pour réaliser cette étude, nous avons créé une base de données SoundPainting de 17 gestes avec les données provenant de deux capteurs (Kinect et Myo). Nous avons formulé quatre hypothèses portant sur la précision de la reconnaissance. Les résultats ont permis de caractériser le meilleur capteur en fonction de la typologie du geste, de montrer qu'une "simple" combinaison des deux capteurs n'entraîne pas forcément une amélioration de la reconnaissance, de même une combinaisons de caractéristiques n'est pas forcément plus performante que la prise en compte d'une seule caractéristique bien choisie, enfin, que le changement de la cadence d'acquisition des données fournies par ces capteurs n'a pas un impact significatif sur la reconnaissance des gestes

Design of a dance gesture recognition system

We present here a whole operational prototype for the compression and recognition of dance gestures from contemporary ballet. Our input data are motion trajectories followed by the joints of a dancing body provided by a motion-capture system. We propose a suitable tool for nonuniform sub-sampling of spatio-temporal signals. The key of our approach is the use of polygonal approximation to provide a compact and efficient representation of motion trajectories. Our dance gesture recognition method involves a set of Hidden Markov Models (HMMs), each of them being related to a motion trajectory followed by the joints. We have validated our recognition system on 12 fundamental movements from contemporary ballet performed by 4 dancers.Nous présentons ici un prototype complet et opérationnel intégrant la compression et la reconnaissance de gestes dansés issus d'un ballet contemporain. Les données traitées sont des trajectoires de mouvement suivies par les articulations d'un corps dansant. Ces courbes spatio-temporelles sont fournies par un système de capture du mouvement. Nous proposons un outil efficace pour le sous-échantillonnage non uniforme de signaux spatio-temporels. Notre approche utilise une approximation polygonale des contours pour construire une représentation compacte et efficace des trajectoires de mouvement. Notre méthode de reconnaissance de gestes dansés repose sur un ensemble de Modèles de Markov Cachés (MMC) chacun étant associé à la trajectoire d'un marqueur. Nous avons validé notre système de reconnaissance sur 12 mouvements de base effectués par 4 danseurs d'un ballet contemporain

Interactions en 3D : cycle de vie du geste, de la génération à sa consommation

In the gesture recognition domain, human movements are tracked, recognized and mapped to functional primitives to control a system or to manipulate an object. Human-Computer Interaction researchers have particularity focused on the tracking of the gesture made after the contact with the object to be manipulating a 3D object is a wider process that starts with vision, includes reaching, grasping, manipulating and ends with "event consumption" in target applications. In this thesis, we have collected and organized a HCI literature review coming from many fields (vision, neuropsychology, grasping and technical). We have created a system that tracks, from low level 3D point-cloud input, user movements on the table but also above the surface. We have specified multiple cases of gesture activities and we used them in two applications. We have also proposed a novel way of creating future adaptable applications to new forms of interactions using a software bus.Dans le domaine de la reconnaissance gestuelle, les mouvements humains sont observés, reconnus et transformés en primitives fonctionnelles pour contrôler un système ou manipuler un objet. Les chercheurs en Interaction Homme-Machine ont plus particulièrement étudié le suivi des gestes réalisés après le contact avec l'objet à manipuler (geste apparent). Nous montrons dans cette thèse qu'intéragir et manipuler un objet 3D est un processus plus large qui commence par la vision, qui inclut le rapprochement, la saisie, la manipulation et qui se termine avec la "consommation des évènements" dans les applications cibles. Dans cette thèse, nous avons collecté et organisé un état de l'art sur l'interaction Homma-Machine provenant de différents points de vue (visions, neuropsychologie, de saisie et techniques). Nous avons créé un système qui suit les mouvements des utilisateurs sur une table mais également au dessus de la surface à partir d'un nuage de points 3D. Nous avons spécifié des cas d'activités gestuelles et nous les avons utilisés dans deux applications. Nous avons aussi proposé une nouvelle façon de créer des applications adaptables aux nouvelles formes d'interactions en se basant sur un bus logiciel

L’espace du geste-son, vers une nouvelle pratique performative

Cette thèse en recherche-création est une réflexion sur l’espace du geste-son. La dé- marche artistique de l’auteure, reposant sur six éléments : le corps, le son, le geste, l’image vidéo, l’espace physique et l’espace technologique, a été intégrée dans la conception d’un système de captation de mouvement en vision par ordinateur, le SICMAP (Système In- teractif de Captation du Mouvement en Art Performatif). Cette approche propose une nouvelle pratique performative hybride. Dans un premier temps, l’auteure situe sa démarche artistique en s’appuyant sur les trois piliers de la méthodologie transdisciplinaire : les niveaux de Réalité et de perception (le corps et l’espace-matière), la logique du tiers inclus (l’espace du geste-son) et la com- plexité (éléments du processus de création). Ces concepts transdisciplinaires sont ensuite mis en relation à travers l’analyse d’œuvres arborant un élément commun à la démarche de l’auteure, soit le corps au centre d’un univers sensoriel. L’auteure met ensuite en lumière des éléments relatifs à la pratique scénique susci- tée par cette démarche artistique innovante à travers le corps expressif. Le parcours du performeur-créateur, menant à la conception du SICMAP, est ensuite exposé en passant par une réflexion sur l’« instrument rêvé » et la réalisation de deux interfaces gestuelles pré- paratoires. Sous-entendant une nouvelle gestuelle dans un contexte d’interface sans retour haptique, la typologie du geste instrumental est revisitée dans une approche correspondant au nouveau paradigme de l’espace du geste-son. En réponse à ces recherches, les détails de la mise en œuvre du SICMAP sont ensuite présentés sous l’angle de l’espace technologique et de l’application de l’espace du geste- son. Puis, les compositions réalisées lors du développement du SICMAP sont décrites d’un point de vue artistique et poïétique à travers les éléments fondateurs du processus de création de l’auteure. La conclusion résume les objectifs de cette recherche-création ainsi que les contributions de cette nouvelle pratique performative hybride.This research-creation thesis is a reflection on the gesture-sound space. The author’s artistic research, based on six elements: body, sound, gesture, video, physical space, and technological space, was integrated in the conception of a motion capture system based on computer vision, the SICMAP (Système Interactif de Captation du Mouvement en Art Performatif – Interactive Motion Capture System For Performative Arts). This approach proposes a new performative hybrid practice. In the first part, the author situates her artistic practice supported by the three pillars of transdisciplinary research methodology: the levels of Reality and perception (the body and space as matter), the logic of the included middle (gesture-sound space) and the com- plexity (elements of the creative process). These transdisciplinary concepts are juxtaposed through the analysis of works bearing a common element to the author’s artistic practice, the body at the center of a sensorial universe. The author then puts forth elements relative to scenic practice arisen by this innovative artistic practice through the expressive body. The path taken by the performer-creator, leading to the conception of the SICMAP, is then explained through a reflection on the “dream instrument” and the realization of two preparatory gestural interfaces. Implying a new gestural in the context of a non-haptic interface that of the free-body gesture, the topology of the instrumental gesture is revisited in response to a new paradigm of the gesture-sound space. In reply to this research, the details of the SICMAP are then presented from the angle of the technological space and then applied to the gesture-sound space. The compositions realized during the development of SICMAP are then presented. These works are discussed from an artistic and poietic point of view through the founding elements of the author’s creative process. The conclusion summarises the objectives of this research-creation as well as the contributions of this new performative hybrid practice

Application d'un réseau de neurones ARTMAP à la reconnaissance des commandes gestuelles d'édition de documents braille

Applications crayon -- La tâche d'édition -- Commandes gestuelles -- Reconnaissance de commandes gestuelles -- Cadre fonctionnel de l'éditeur -- Analyse des besoins de l'édition gestuelle -- Plate-forme pour le développement d'applications à crayon et types d'applications à crayon -- La portée des reconnaisseurs -- Solution du problème de cohabitation entre le reconnaisseur local et le reconnaisseur du système -- Détails sur l'implantation de l'éditeur gestuel -- Le choix des gestes -- Revue des commandes gestuelles proposé.es par des chercheurs et des compagnies -- Sélection d'un ensemble de commandes gestuelles -- Le réseau ARTMAP pour la reconnaissance des commandes gestuelles -- Propriétés intéressantes des machines neuronales pour la reconnaissance des commandes gestuelles -- Le réseau ARTI -- Nature des données et prétraitement -- L'architecture ARTMAP -- la base de notre reconnaisseur de commandes gestuelles -- L'éditeur gestuel adaptable -- Les paramètres du reconnaisseur gestuel -- La création de la base de données