Fixed-gaze head movement detection for triggering commands

International audienceIn the field of human-computer interaction, mobile eye-tracking devices (carried on a pair of glasses) can be used to interact with an object remotely, in mobility, while keeping both hands free to perform the main activity. This process allows us to interact with objects beyond our reach and sometimes it can be faster than a traditional interaction. On the other hand, as the main task of the eyes is to observe the environment, it becomes difficult to differentiate a simple observation of an object in the scene from the will to interact with it (Midas touch). To solve this problem, solutions have been proposed in the literature, such as the use of voluntary eye movements, the use of smooth pursuit, or coupling the eye-tracking with a secondary device. In this context, our study focuses on the analysis of voluntary head movement when the user's eyes are fixed on the object of interest to trigger various commands. In order to evaluate the appropriateness of this approach in realistic situation and to evaluate its performance, we have conducted a test of the detection of 6 different fixed-gaze head movements on 40 people: head shaking (right, left), nodding (up, down) and tilting (right, left). During this test, we asked the participants to learn quickly these six movements, then to trigger various commands using these movements. The success rate is 70%, but this rate depends on the individuals and the gestures performed. As these movements are rarely used during the observation of an object, the problem of Midas touch can be avoided, while keeping both hands free

Jeux pédagogiques collaboratifs situés (conception et mise en oeuvre dirigées par les modèles)

Un jeu pédagogique constitue une déclinaison relative à l apprentissage du concept de jeu sérieux (serious game). Ce type d'outil permet la ludification (gamification) de l'activité afin d'utiliser des éléments de jeu dans un contexte non ludique et conduit à catalyser l attention, faire accroître l engagement et augmenter la motivation des joueurs-apprenants dans les situations d apprentissage. Les jeux pédagogiques reposent sur la mise en situation et l immersion des apprenants, utilisant les ressorts ludiques dans des simulations axées vers la résolution de problèmes. Parmi des recherches antérieures, certains retours d expériences font écho d une trop grande artificialité de l activité notamment par manque de contextualisation de l apprentissage dans l environnement d utilisation des connaissances apprises. Nous avons proposé la mise en place un environnement mixte (physique et numérique) et l utilisation de techniques collaboratives pour raffiner l approche pédagogique. Ces orientations nous ont menés à la mise en place de ce que nous appelons des Jeux Pédagogiques Collaboratifs Situés (JPCS). Les deux questions de recherche qui nous ont été posées dans le cadre du projet SEGAREM et qui sont devenues les nôtres sont : 1/ comment accompagner les jeux sérieux par l approche Réalité Augmentée (RA) et l'approche Interface Tangible (IT)? 2/ comment rendre la conception et la mise en œuvre des JPCS (Jeux Pédagogiques Collaboratifs Situés) plus explicite et plus systématique ? Les réponses que nous présentons dans cette thèse sont les suivantes : 1/ la conception et la mise en œuvre des pupitres interactifs supportant des objets réels augmentés, associés à un protocole de communication existant, proposant un support générique des techniques d interaction détectée et de prise en compte du contexte physique d utilisation ; 2/ une approche de production de JPCS se situant après l étape de scénarisation ludo-pédagogique qui constitue notre cahier des charges. Nous avons basé notre approche sur des modèles pour permettre un support d expression qui précise les caractéristiques des JPCS. Ces modèles sont soutenus par des éditeurs contextuels et produisent comme résultat des fichiers de descriptions en XML. La projection des descriptions obtenues sur une architecture générique d exécution du JPCS permet une spécialisation pour obtenir une version exécutable. Dans les six modèles, certains sont adaptés des travaux antérieurs de l équipe, d'autres issues de la littérature et les derniers sont directement proposés ici. Ces six modèles décrivent l activité (un modèle d orchestration de l activité et un modèle de tâches), la structure de différents environnements, l état initial de l environnement et les conditions nécessaires d un état final et les interactions possibles entre les joueurs et l environnement. Nos travaux tant sur les pupitres que sur les modèles et le support d exécution ont été concrétisés dans la mise en place de Lea(r)nIt. Ce JPCS avait pour but de consolider des acquis méthodologiques en Lean Manufacturing par l utilisation et l optimisation d une chaîne de production simulée sur pupitres (supportant interactions tactiles, interactions tangibles et pouvant être assemblés) et sur téléphones mobiles (permettant la mobilité des joueurs-apprenants).A Learning game is a declension of the serious game concept dedicated to the learning activity. A Learning game is based on a scenario and immersion of the learners with use of game mechanics on problem based simulation. The gamification concept is the use of game elements in a non-playful activity with as impact attention, motivation and engagement. However, some research feedback explains that too much artificiality on learning activity caused by a lack of contextualization of the activity on the professional environment. We propose to use Mixed Reality and Collaborative Supported Computer Work as technological solution to support situated and collaborative situation in aim to enhance pedagogical strategy and allow a better learning. We call it Situated Collaborative Learning Game (SCLG) as a concept of pedagogical tools to enhance learning of content with use of collaborative learning (when learners interactions is useful to learn), situated learning (when the environment context is meaningful) and human-physical objet interaction (with use of mixed reality, with kinesthetic and tangible interaction in augmented reality) and game based learning (when learner's motivation is improved by the learning activity). In these contexts, our two research questions are: 1 / How to create a serious games support by use of Augmented Reality (AR) approach and Tangible Interface (IT) approach? 2 / How to make design and development of SCLG (situated collaborative learning game) more explicit and systematic? We propose two solutions: 1/ the design and the production of four interactive desks with support of tangible interaction on and above the table. These devices are linked to a communication protocol which allows a generic support of technical interaction. 2/ A generic way to design the CSLG system, with integration of advanced human computer interaction support (as augmented reality and tangible interaction) and ubiquitous computing in Learning Games. For that, we propose, with a user centered oriented and model oriented design, a way to make a CSLG factory. For that, we propose use of six models to determinate the behavior of the CSLG. These six models describe learners activity (with use of three different models to follow the activity theory s), the mixed game environment, deployment of entities on the environment, and human computer interactions. All of these models are linked by an orchestration model and can be project on a multi-agent multi-layers architecture by use of XML description file. We propose tools to help each step of our design and production process. Our work on interactive desks, on the six models and on the runtime support has been realized in the production of Lea(r)nIT. This SCLG consolidate methodological knowledge of Lean Manufacturing by use and optimization of a simulated chain production on four desks (which support touch and tangible interactions and can be assembled) and on mobile phones (to allow movement of learners).LYON-Ecole Centrale (690812301) / SudocSudocFranceF

ADVICE, Allocation Dynamique des Voies de Circulation : Analyse système et choix technologique, livrable final de la Tache 2

Lutter efficacement contre la congestion routière, améliorer durablement la sécurité des automobilistes sont deux des objectifs majeurs des gestionnaires d'infrastructures routières. En milieu urbain, la congestion du trafic a un impact direct sur la qualité des transports collectifs (TC) de surface. Au-delà de leur extension, l'optimisation des infrastructures existantes et le déploiement de Systèmes de Transport Intelligent (STI), qui rendent possible la gestion dynamique du trafic, sont une solution. Le projet ADViCe, issu d'un travail collaboratif d'un Think Tank du LUTB « Systèmes de transport », propose d'évaluer la pertinence de la mise en place d'une stratégie d'allocation dynamique des voies de circulation. L'objectif étant d'améliorer l'efficacité des transports prioritaires (bus, pompiers, etc.) sans limiter sensiblement l'espace disponible pour les autres véhicules. Les objectifs du projet Advices sont : " Définir une méthodologie pour la mise en place d'une solution innovante de gestion du trafic " Développer les technologies adaptées et les mettre en oeuvre " Expérimenter les stratégies ADViCe " Evaluer et optimiser les scénarios de régulation Ce livrable représente le livrable final de la tache 2. Dans ce rapport nous identifierons les fonctions nécessaires à la gestion du trafic et nous décrirons les technologies permettant de les réaliser

Caractérisation in situ de soudure sans plomb

L'étude porte sur les différents matériaux constituant les structures microélectroniques. L'objectif est d'améliorer la fiabilité de ces produits. On cherche alors à caractériser le comportement en fluage de telles structures. Notre attention se porte sur les brasures. Des éprouvettes permettent de déterminer les lois de Norton et Garofalo utilisées pour les brasures. Or la taille des éprouvettes ne représente pas l'échelle de la brasure au sein de la microstructure. On cherche alors à caractériser "in situ" la brasure via des essais de nanoindentation (approche de Mayo Nix)

Réalité mixte et travail collaboratif : IRVO, un modèle de l'interaction homme-machine

One of the main weaknesses with traditional computing is the fact that the numerical world of the computer is decoupled from the users' real world. The application of Mixed Reality (MR) can provide interactive systems in which real objects and computer data are combined in a cohesive way.In our state of the art, we review several applications and technologies that have been developed during the last decade. Most of these applications are home made and were developed in an independent and autonomous way. Therefore, it is important to propose comprehensive model and an associated design methodology.As we illustrated it, the current models of Human-Computer Interaction (HCI) and Computer-Supported Cooperative Work (CSCW), are not suitable for Mixed Reality systems. It is because they are limited in terms of modeling the real artefacts.Therefore, the proposed IRVO model (Interacting with Real and Virtual Objects) aims at formalizing the interaction between the users, the real and virtual objects. It identifies the entities that have a role in the system (users, tools, objects of the task and the application) and their relationships. Its expressiveness help us to model the applications we reviewed while helping us in understanding, comparing and classifying them.We will also show how IRVO supports the design of a new generation of Mixed Reality based applications. IRVO can be used either as a starting point, or at the end of the analysis phase to help the designer in checking the completeness, coherence, continuity of the design. We investigated also the relation between IRVO and traditional HCI and CSCW models and more specifically with the AMF-C and Arch models. In a Model-Based Approach (MBA), IRVO can supplement the task and dialog models.L'un des principaux reproches que l'on fait à l'informatique traditionnelle est que le monde numérique de l'ordinateur est trop déconnecté du monde réel dans lequel les utilisateurs évoluent. La Réalité Mixte (RM) s'intéresse aux systèmes interactifs dans lesquels des objets réels et des données informatiques sont mêlées de manière cohérente.Dans notre état de l'art nous analysons de nombreuses applications et technologies qui ont été conçues depuis une dizaine d'années dans ce domaine de façon généralement indépendantes et autonomes. Il semble désormais possible de proposer des modèles unificateurs et des méthodologies de conception associées.Les modèles traditionnels de l'Interaction Homme-Machine (IHM) et du Travail Collaboratif Assisté par Ordinateur (TCAO), comme nous le montrons, ne sont pas adaptés car ils sont conçus pour la modélisation du logiciel et ne prennent pas (ou peu) en compte les artefacts réels.Nous proposons donc le modèle IRVO (Interacting with Real and Virtual Objects) qui cherche à formaliser l'interaction entre les utilisateurs et les objets réels et virtuels. Pour cela IRVO identifie les entités intervenant dans le système (les utilisateurs, les outils, les objets de la tâche et l'application informatique) et leurs relations. Son pouvoir d'expression nous permet de modéliser les applications de la littérature dans le but de les comprendre, les comparer et les classer. Nous montrons également que IRVO est un support à la conception d'applications nouvelles : il peut être utilisé soit comme point de départ, soit en fin d'analyse pour aider le concepteur à vérifier un certain nombre de critères (complétude, cohérence, continuité, etc.). Nous étudions la liaison entre IRVO et les modèles classiques de l'IHM et du TCAO et plus spécifiquement avec les modèles AMF-C et Arch. Dans une démarche MBA (Model-Based Approach), IRVO prend naturellement la place aux côtés des modèles de tâches et de dialogues

Mobile Interaction in Real Augmented Environments: Principles, Platforms, Development Processes and Applications

International audienceIn this chapter we describe a real augmented environment and its associated mobile interactions based on wearable computers with appropriate interaction devices that can be either classical computer interaction devices or real objects augmented with computer interfaces called tangible objects. After presenting the main principles, we describe a concrete platform, related MDA development processes and give several applications. These examples are contextual collaborative maintenance of industrial appliances and associated just-in-time mobile learning and nutritional coaching system supporting practice and learning of management of nutritional decisions in relation to specific requirements in health or high-level sport

Digitalization and Virtual Assistive Systems in Tourist Mobility: Evolution, an Experience (with Observed Mistakes), Appropriate Orientations and Recommendations

Digitalization and virtualization are extremely active and important approaches in a large scope of activities (marketing, selling, enterprise management, logistics). Tourism management is also highly concerned by this evolution. In this paper we try to present today’s situation based on a 7-week trip showing appropriate and shame situations. After this case study, we give a list of appropriate practices and orientations and confirm the fundamental role of User Experience in validating the proposed assistive system and the User Interfaces needed for client/user satisfaction. We also outline the expected role of Metaverse in the future of the evolution of this domain