Interactions en 3D : cycle de vie du geste, de la génération à sa consommation

In the gesture recognition domain, human movements are tracked, recognized and mapped to functional primitives to control a system or to manipulate an object. Human-Computer Interaction researchers have particularity focused on the tracking of the gesture made after the contact with the object to be manipulating a 3D object is a wider process that starts with vision, includes reaching, grasping, manipulating and ends with "event consumption" in target applications. In this thesis, we have collected and organized a HCI literature review coming from many fields (vision, neuropsychology, grasping and technical). We have created a system that tracks, from low level 3D point-cloud input, user movements on the table but also above the surface. We have specified multiple cases of gesture activities and we used them in two applications. We have also proposed a novel way of creating future adaptable applications to new forms of interactions using a software bus.Dans le domaine de la reconnaissance gestuelle, les mouvements humains sont observés, reconnus et transformés en primitives fonctionnelles pour contrôler un système ou manipuler un objet. Les chercheurs en Interaction Homme-Machine ont plus particulièrement étudié le suivi des gestes réalisés après le contact avec l'objet à manipuler (geste apparent). Nous montrons dans cette thèse qu'intéragir et manipuler un objet 3D est un processus plus large qui commence par la vision, qui inclut le rapprochement, la saisie, la manipulation et qui se termine avec la "consommation des évènements" dans les applications cibles. Dans cette thèse, nous avons collecté et organisé un état de l'art sur l'interaction Homma-Machine provenant de différents points de vue (visions, neuropsychologie, de saisie et techniques). Nous avons créé un système qui suit les mouvements des utilisateurs sur une table mais également au dessus de la surface à partir d'un nuage de points 3D. Nous avons spécifié des cas d'activités gestuelles et nous les avons utilisés dans deux applications. Nous avons aussi proposé une nouvelle façon de créer des applications adaptables aux nouvelles formes d'interactions en se basant sur un bus logiciel

L'évolution de Linux vers les nouvelles formes d'ordinateurs personnels

Les tablettes tactiles représentent une première étape dans l'évolution de la forme des ordinateurs depuis le poste de travail graphique vers une plus grande variété. Il faut adapter les systèmes d'exploitation à une plus grande variabilité des moyens d'entrée, et à la remise en cause d'hypothèses de base telles que la présence d'un clavier ou d'un unique pointeur de désignation. Cela demande donc de multiples évolutions dans Linux, qui doit continuer à faire fonctionner les applications existantes. La gestion des entrées, dans le noyau et le serveur X, est modifiée pour tenir compte de flux d'information plus complexes. La reconnaissance de gestes est introduite, tant pour simuler le clavier ou la souris que pour proposer de nouveaux styles d'interaction. De nouvelles conventions d'interaction adaptées aux tablettes sont en cours de définition dans la distribution Ubuntu. Des modifications plus profondes de la gestion des entrées pour préparer les prochaines évolutions sont à l'étude

A Low-Cost Natural User Interaction Based on a Camera Hand-Gestures Recognizer

International audienceThe search for new simplified interaction techniques is mainly motivated by the improvements of the communication with interactive devices. In this paper, we present an interactive TVs module capable of recognizing human gestures through the PS3Eye low-cost camera. We recognize gestures by the tracking of human skin blobs and analyzing the corresponding movements. It provides means to control a TV in an ubiquitous computing environment. We also present a new free gestures icons library created to allow easy representation and diagramming

Interaction vocale de commande de visualisation médicale

International audienceIn this demonstration, we show a practical use case of voice recognition in a sterilized surgery room. Due to medical constraints of hygiene, all alternative means of interaction are forbidden or are limited in terms of their possible bandwidth. We use the last state-of-the-art tools for off-line voice recognition for privacy reasons. By employing this system we can control a web-based visualization of the patient medical 3D images using a set of around 20 voice commands or more.Dans cette démonstration, nous montrons un cas pratique d'utilisation de la reconnaissance vocale dans une salle de chirurgie stérilisée. En raison des contraintes médicalesd'hygiène, tous les moyens d'interaction alternatifs sont interdits, ou sont limités en termes d'expressions possibles. Nous utilisons les dernières avancées de l’état de l’art pour la reconnaissance vocale hors-ligne pour des raisons de confidentialité. Grâce à ce système, nous pouvons contrôler la visualisation des images médicales du patient à l'aide d'un ensemble d'environ 20 commandes vocales ou plu

Interaction vocale de commande de visualisation médicale

International audienceIn this demonstration, we show a practical use case of voice recognition in a sterilized surgery room. Due to medical constraints of hygiene, all alternative means of interaction are forbidden or are limited in terms of their possible bandwidth. We use the last state-of-the-art tools for off-line voice recognition for privacy reasons. By employing this system we can control a web-based visualization of the patient medical 3D images using a set of around 20 voice commands or more.Dans cette démonstration, nous montrons un cas pratique d'utilisation de la reconnaissance vocale dans une salle de chirurgie stérilisée. En raison des contraintes médicalesd'hygiène, tous les moyens d'interaction alternatifs sont interdits, ou sont limités en termes d'expressions possibles. Nous utilisons les dernières avancées de l’état de l’art pour la reconnaissance vocale hors-ligne pour des raisons de confidentialité. Grâce à ce système, nous pouvons contrôler la visualisation des images médicales du patient à l'aide d'un ensemble d'environ 20 commandes vocales ou plu

Mashup Architecture for Connecting Graphical Linux Applications Using a Software Bus

International audienceAlthough UNIX commands are simple, they can be combined to accomplish complex tasks by piping the output of one command, into another's input. With the invasion of GUI applications, we have lost this ability to chain many small tools in order to accomplish a composite task or the possibility to script applications. As such we have become imprisoned into the interface as designed by the developer. Most applications are also designed to be used through a keyboard and a mouse even if the user has newer input devices. In this paper, we demonstrate how we can remove most of these limits and provide the possibility to script, adapt and automate GUI applications using a software bus in a Linux operating system. We provide implemented proof-of-concept cases in addition to conceptual scenarios showing the possibilities arising from the approach