Méthodes et modèles de conception et d'évaluation des interfaces homme-machine

L'importance accordée aux interactions homme-machine en général est actuellement énorme. L'orientation prise par les chercheurs et les industriels pour couvrir ce domaine est désormais résolument pluridisciplinaire. Ce mémoire d'Habilitation à Diriger des Recherches en informatique se situe dans cette mouvance en étant consacré à l'étude de méthodes de conception et d'évaluation des interfaces homme-machine (IHM) dans les systèmes complexes. Ce domaine de recherche se positionne au carrefour de l'ingénierie des IHM, du génie logiciel et de l'intelligence artificielle, tout en prenant en compte des concepts et modèles issus des sciences cognitives. Les aspects méthodologiques du développement d'interfaces homme-machine servent de canevas théorique tout au long du mémoire qui est organisé en trois chapitres. Le premier est consacré à un état de l'art sur le domaine de recherche. Après une étude critique des différents cycles de développement du génie logiciel, il recense autour d'un cadre théorique et méthodologique un ensemble de méthodes, modèles, techniques et outils contribuant au développement d'applications interactives dans les systèmes complexes. Le second chapitre est bâti autour d'un ensemble de contributions à l'ingénierie de conception et d'évaluation des interfaces homme-machine. Ces contributions résultent d'un travail d'équipe depuis mon arrivée au laboratoire en septembre 1985. Après une présentation des systèmes réalisés dans le cadre de cette recherche, ce chapitre présente plusieurs méthodes de conception ou d'évaluation mises en place autour de ceux-ci. Enfin, le troisième chapitre tire les leçons des aspects méthodologiques étudiés dans les deux premiers en proposant un modèle, appelé ∇, de développement d'applications interactives. Au cours de ces prochaines années, l'approfondissement de ce modèle devrait servir de cadre de pensée pour nos recherches. Pour l'ensemble des axes de recherche envisagés, un travail considérable reste à accomplir, au vu de la place de plus en plus importante que tient l'ingénierie des interfaces homme-machine dans de nombreux domaines

Introduction de critères ergonomiques dans un système de génération automatique d’interfaces de supervision

The ecological interface design is composed of two steps, a work domain analysis and a transcription of the information of the work domain into ecological representation (Naikar, 2010). This kind of design showed his effectiveness for the supervision of complex system (Burns, 2008). Nevertheless, Vicente (2002) highlighted two issues, the long design time and the difficulties to translate with a formal way a work domain into ecological representation. Moreover, he doesn’t exist a formal tool of validation for a work domain. Several tools and works allow to be comfortable in the possibility to find some solution (Functional methodology (Liu et al, 2002), TMTA (Morineau, 2010) and Anaxagore (Bignon, 2012). We propose several answers at the issue: how formalize the design of an ecological interface in order to reduce the time and effort linked to the design? The first proposition is a tool of verification of model of work domain based on a simulation by TMTA. The second bring thanks to a second version of the Anaxagore flow, an integration of the works of Liu et al (2002) with the principle of the ecological library of ecological widget linked to a scheme of input of high level. Based on the work domain of a fresh water system in a ship, an ecological interface has been implemented and validated experimentally. This interface has been compared with a conventional interface also generated by Anaxagore. The results show that the ecological interface promotes a biggest numbers of coherent ways in the work domain. This kind of interface also promotes a better accuracy of the diagnostic for the operators using the ecological interface.La conception d’interface écologique se décompose en deux étapes, une analyse du domaine de travail et une retranscription des informations du domaine en des représentations écologiques (Naikar, 2010). Ce type de conception a montré son efficacité pour la supervision de système complexe (Burns, 2008). Cependant, Vicente (2002) a pointé deux lacunes le temps de conceptions très long et la difficulté à transcrire de manière formalisée un domaine de travail en des représentations écologiques. De même, il n’existe pas d’outil formel de validation de domaine de travail. Dans ce manuscrit, nous proposons plusieurs réponses à la question : comment formaliser la conception d’une interface écologique, afin de réduire le temps et les efforts liés à la conception ? La première proposition est un outil de vérification de modèle de domaine de travail basé sur la méthode TMTA (Morineau, 2010). La seconde apporte, au travers d’une deuxième version du flot Anaxagore (Bignon, 2012), une intégration des travaux de Liu et al (2002) avec le principe d’une bibliothèque de widgets écologiques associée à un schéma d’entrées de haut niveau. Sur la base du domaine de travail d’un système d’eau douce sanitaire à bord d’un navire, une interface écologique a été implémentée et validée expérimentalement. Cette interface a été comparée à une interface conventionnelle générée également par le flot Anaxagore. Les résultats montrent que les interfaces écologiques favorisent un plus grand nombre de parcours cohérents dans un domaine de travail. Elles favorisent également une meilleure précision du diagnostic pour les opérateurs utilisant les interfaces écologiques

Introduction de critères ergonomiques dans un système de génération automatique d'interface de supervision

The ecological interface design is divided into two stages, an analysis of the domainwork and a transcript of the working area of ​​information ecological representations(Naikar, 2010). This design has proven effective in overseeing complex system (Burns,2008). However, Vicente (2002) pointed to two key gaps, long design time anddifficulty to transcribe formalized way of a working area in a set of representationsecological. Similarly, there is no formal validation tool working area. The literatureoffers no concrete solutions nevertheless tracks as the translation methodology of a fieldworking in graphic representations proposed by Liu et al (2002), the TMTA tool on a simulatedtask in a work area (Morineau, 2010), and the stream of semi-automated design Anaxagoras(Bignon, 2012), allow you to be confident about the ability to find solutions.In this manuscript, we propose several answers to the question: how to formalizedesign of an ecological interface, reducing the time and effort associated with the design? The firstproposal is a domain model verification tool working on the basis of a simulation TMTA.The second brings, through a second version of the flood Anaxagoras, integrating Liu workset al (2002) with the principle of ecological widget library associated with a high input schemalevel. Based on the work area of ​​a sanitary fresh water system on board a ship, an interfaceEco has been implemented and validated experimentally. This interface was compared with aConventional interface also generated by the flow Anaxagoras. The results show that the interfacesEcological promote a more consistent course in a field of work. Theyalso promote better diagnostic accuracy for operators using interfacesecological.La conception d’interface écologique se décompose en deux étapes, une analyse du domaine detravail et une retranscription des informations du domaine de travail en des représentations écologiques(Naikar, 2010). Ce type de conception a montré son efficacité pour la supervision de système complexe (Burns,2008). Cependant, Vicente (2002) a pointé deux lacunes principales, le temps de conception très long et ladifficulté à transcrire de manière formalisée un domaine de travail en un ensemble de représentationsécologiques. De même, il n’existe pas d’outil formel de validation de domaine de travail. La littérature nepropose pas de solutions concrètes néanmoins des pistes comme la méthodologie de traduction d’un domainede travail en représentations graphiques proposée par Liu et al (2002), l’outil TMTA sur la simulation d’unetâche dans un domaine de travail (Morineau, 2010), et le flot de conception semi-automatisé Anaxagore(Bignon, 2012), permettent d’être confiant sur la possibilité de trouver des solutions.Dans ce manuscrit, nous proposons plusieurs réponses à la question : comment formaliser laconception d’une interface écologique, afin de réduire le temps et les efforts liés à la conception ? La premièreproposition est un outil de vérification de modèle de domaine de travail sur la base d’une simulation par TMTA.La seconde apporte, au travers d’une deuxième version du flot Anaxagore, une intégration des travaux de Liuet al (2002) avec le principe d’une bibliothèque de widgets écologiques associée à un schéma d’entrées de hautniveau. Sur la base du domaine de travail d’un système d’eau douce sanitaire à bord d’un navire, une interfaceécologique a été implémentée et validée expérimentalement. Cette interface a été comparée avec uneinterface conventionnelle générée également par le flot Anaxagore. Les résultats montrent que les interfacesécologiques favorisent un plus grand nombre de parcours cohérents dans un domaine de travail. Ellesfavorisent également une meilleure précision du diagnostic pour les opérateurs utilisant les interfacesécologiques

Modélisation et mise en œuvre d'environnements informatiques pour la régulation de l'apprentissage, le cas de l'algèbre avec le projet LINGOT

200 pagesCe projet a pour objectif de mettre à la disposition des enseignants des outils performants pour un travail plus individualisé avec des élèves dans le domaine de l'algèbre élémentaire. Le travail s'appuie sur des recherches théoriques en Didactique des Mathématiques et en Environnements Informatiques d'Apprentissage Humain. Le projet a produit un logiciel, appelé Pépite, qui construit automatiquement le profil cognitif en algèbre d'un élève du secondaire à partir de ses réponses à un test spécialement élaboré à cet effet

Towards the integration of speech and natural language into human-computer interaction systems

This paper first surveys and classifies applications of voice humancomputer dialogue. The advantages and limits of speech as a means of communication between users and software are then considered . A major problem in the development of user interfaces with a voice component, besicles the choice of appropriate applications, is speech recognition, especially continuons speech recognition . As approaches differ according to the type of application, we first summarize problems and techniques specific to voice data input ; as an example, we briefly describe the speech recognition approach that we have adopted for the dictation machine that we are developing in our Laboratory Then, the case of voice dialogue understanding and management is considered. To illustraie the discussion, the architecture and functionalities ofsome prototypes that we have implemented are presented :for instance, an E-mail system and a Sonar control software . Finally, we present a dialogue manager DIAL capable of helping/guiding the user in complex cognitive activities that we are currently developing and implementing .Cet article se propose de dresser une synthèse et une classification des diverses applications du dialogue oral homme-machine. Il présente, dans une première partie, les avantages et les limites de la parole comme moyen de communication entre un utilisateur et un système automatisé . Le problème essentiel pour le développement d'interfaces utilisateur à composante orale, à côté du choix d'applications appropriées, est la reconnaissance de la parole, spécialement de la parole continue . Comme les approches diffèrent suivant le type d'applications, nous présentons tout d'abord les problèmes et les techniques spécifiques à l'entrée orale de données et, à titre d'exemple, nous décrivons rapidement l'approche que nous avons adoptée pour la machine à dicter que nous développons dans notre laboratoire . Ensuite nous abordons la compréhension et la gestion de dialogues oraux . Pour illustrer cette présentation, nous présentons l'architecture et les fonctionnalités de divers prototypes que nous avons mis en ouvre système de messagerie électronique, dialogue pour la commande d'une console sonar et dialogue entre un chirurgien et un système d'aide au diagnostic . Enfin, nous détaillons le gestionnaire de dialogues DIAL, en cours de développement, dont l'objectif est d'aider et de guider un utilisateur dans des activités cognitives complexes telle la recherche de renseignements administratifs

Etude de la relation contrôleur/contrôlé : apports des approches collaboratives à la gestion des risques

The current research aims to study collaborative working contributions in risk management control processes. Control is needed in risk management processes facing complexity. Indeed, IT development and risk increase led to increase control complexity. It is now shared between human actors (inspectors, industrialist, OHS department, etc.) and non-human (IT, software, management systems, etc.) including a collaborative working dimension. In order to propose a model of the system of actors and different exchanges allowed by the collaborative approach, three sociological objects are mobilized: the Social Regulation Theory (SRT), introducing the concept of regulation, the actor- Network Theory (ANT), authorizing an asymmetric study of actors, and collaborative working, combining collaboration and software engineering. To verify IT contributions as part of a collaborative approach a field trial and a survey on collaborative work practices were conducted. The novelty of this approach lies in the consideration of the interrelationships between each control sub-process and the confrontation of a field trial with a generalized prospective survey.Le présent travail de recherche a pour objet l'étude des apports des pratiques d'utilisation des outils de gestion collaboratifs par les parties prenantes du processus de contrôle en gestion des risques. Face aux enjeux multiples pour réduire la vulnérabilité des organisations, le contrôle tient une place particulière. Avec le développement de l'informatique et l'accroissement des risques il s'est naturellement complexifié. Il est aujourd'hui partagé entre des acteurs humains (organismes de contrôle, industriels, services de prévention des risques, etc.) et non-humains (systèmes d'information, logiciels, systèmes de management, etc.), incluant ainsi la dimension de travail collaboratif. Afin de proposer une modélisation du système d'acteurs et des différents échanges permis par l'approche collaborative, trois objets sociologiques sont mobilisées : la Théorie de la Régulation Sociale (TRS), introduisant le concept de régulation, la Théorie de l'Acteur-Réseau (TAR), autorisant une étude asymétrique des acteurs et une maitrise de l'a priori, et le travail collaboratif, regroupant la collaboration et l'ingénierie logicielle. La conduite d'une expérimentation terrain et le déploiement d'un questionnaire sur les pratiques du travail collaboratif permettent de vérifier concrètement les apports des systèmes d'information dans le cadre d'une approche collaborative du contrôle. L'originalité de cette démarche réside dans la prise en compte des interrelations entre chacun des sous-processus du contrôle et la confrontation d'une expérimentation terrain avec une enquête prospective généralisée

ETUDE DE L’ACTIVITE EN PSYCHOLOGIE DU TRAVAIL : APPORT DE L’ANALYSE INTERLOCUTOIRE A LA PSYCHOLOGIE ERGONOMIQUE

Je me situe en psychologie du travail et plus particulièrement dans le champ de la psychologie ergonomique francophone. Ainsi, je privilégie, pour comprendre l’Homme au travail, l’étude de l’activité produite en situation. Dans le cadre de ma carrière, je me suis plus particulièrement intéressée aux activités professionnelles qui prenaient forme dans les interactions interpersonnelles. Les comportements langagiers sont alors vus comme la partie manifeste de l’activité et un moyen, pour le chercheur, d’instruire l’activité.Ma singularité dans ce champ tient en trois points : 1) je privilégie l’étude des interactions langagières pour instruire l’activité ; 2) je procède à des analyses interlocutoires qui consistent à considérer la dimension pragmatique et dialogique des échanges parlés; 3) je recours à des catégories de description pour instruire certains pans de l’activité. La note de synthèse débute par une présentation de mon cadre qui précise ma conception des activités prenant forme dans les interactions langagières, les modèles et les méthodologies que je privilégie. Les prochains chapitres restituent quatre études illustrant l’emploi du cadre développé. La note se clôt par une présentation de mes projets

De la Métaphore à la tâche (une bibliothèque de concepts métaphoriques pour le prototypage de techniques d'interactions.)

Nous présentons dans cette thèse les bases d un dialogue entre le modèle cognitif dit incarné et le développement de styles et techniques d interaction pour les interfaces graphiques en 3 dimensions. Ce modèle cognitif, structuré entre autres par Lakoff et Johnson, décrit les correspondances métaphoriques que nous construisons naturellement entre des idées abstraites et les modèles mentaux provenant de notre expérience perceptive. Dortier résume la cognition incarnée en disant que les idées ont des formes, des couleurs, suscitent des goûts et des dégoûts. Cette vision intégrée des systèmes perceptifs et cognitifs s applique non seulement à la représentation mentale des objets ou des personnes, mais aussi aux idées abstraites quelles soient morales, philosophiques ou scientifiques.Ce modèle met en évidence le rôle de ces corrélations en tant que source de compréhension et d action et a fait émerger le concept d interfaces énactives. Aujourd hui elles se présentent comme un regard commun sur les projets émergents d interfaces homme-machine. Des projets, tels que les interfaces tangibles, les systèmes de capture de gestes et d autres solutions logicielles et matérielles multimodales, se servent de notre aptitude à structurer métaphoriquement l information produite par notre action sur le monde, pour créer des interfaces universellement appréhendables.Nous avons illustré l application de ce modèle sur des projets d interfaces graphiques pour la réalisation de tâches dans des contextes hétérogènes. Nous avons ciblé les dispositifs multimédia pour le grand public et les stratégies pour la réussite de ces interfaces en tant qu outil pédagogique pour les musées, expositions et outils de travail collaboratifs. Notre première application est le projet de médiation graphique pour accéder à une base de données d'objets numérisés en 3D pour le Musée des Arts et Métiers. Dans ce projet les objets numérisés sont affichés selon une métaphore de fluides et particules dotés d électromagnétisme. La navigation dans ce catalogue se veut claire et pervasive. Nous avons analysons la capacité des métaphores de construire des ponts cohérents entre les diverses plateformes d accès au catalogue. Dans une seconde implémentation nous employons les métaphores liés à la notion visuelle de profondeur et de densité pour proposer une ligne du temps en 3 dimensions pour la visualisation de donnés temporelles pour EDF. Finalement nos synthétisons les relations entre les ensembles de métaphores pour les appliquer aux composantes d interaction. La structure résultante se présente sous forme d un Framework conceptuel d agents et styles d interaction qui peut servir en tant qu outil de prototypage mais aussi comme catalyseur pour la conception d interfaces innovantes.Embodied cognition has emerged over the last decades as a new paradigm of the human reasoning system. Large numbers of researchers agree on the influences of perceptual and motor activity on our thinking and representational mechanisms. The importance of embodied mind theory is growing in the field of cognitive science. It is now the conceptual support for innovative projects in human computer interaction (HCI). The new paradigms of HCI are shifting towards the venue of natural, invisible and pervasive interfaces. Office tasks of the 80s and their related interfaces are now being replaced by multimodal commands (gesture, voice) and contextual or social inputs. From graphical user interfaces to tangible and multimodal devices, new sets of innovative interaction techniques are emerging and these can no longer rely on classic metaphors and visual analogies. To increase the meaning of new commands and representations of post-wimp interaction techniques and to build coherent and consistent metaphors between different platforms and embedded devices in our environment, researchers have turned their attention to the embodied vision of the cognitive system.We present in this thesis the embodied cognitive paradigm and how it has been adopted by the HCI community. We illustrate this model by analyzing several tasks carried out in heterogeneous environments. Thereafter, proposals are made on how museums, exhibitions and collaboration tools may use embodied metaphors as a design strategy to produce innovative multimedia devices. The first application was one of mediating access to a database of digitized 3D objects for the Museum of Arts and Crafts in Paris. In this project the digitized objects are displayed in a metaphor of fluids and particles managed by electromagnetic forces that guide the semantics of the user s search. Browsing tasks in this catalog are intended to be clear and coherent between different platforms in order to respect the user s levels of desired engagement. An analysis is made of the ability of metaphors to build bridges between the various platform interfaces. In the second application, metaphors related to the concept of visual depth and density was used to propose a 3D timeline so as to visualize temporal data. Finally, the framework synthesizes the embodied metaphorical mappings in a large set of components which will be applied as building blocks when prototyping interaction techniques. This structure takes the form of a conceptual Framework of interaction agents which might serve not only as a tool for prototyping interfaces but also as a catalyst for generating innovative ideas.PARIS-CNAM (751032301) / SudocSudocFranceF

PLACID : une Plateforme pour Coopérer en Conception Distribuée

International audienceNous relatons dans cet article la conception d'une plate-forme multi-agents adaptée à la conception innovante et distribuée de systèmes mécaniques et supportant des applications d'assistance aux concepteurs dénommés μ-outils. Cette plate-forme (PLACID : PLAteforme pour La Conception Innovante et Distribuée) est développée dans le but d'apporter une assistance au travail de coconception, guidé ou non par des processus complexes de type workflow pour leur capacité à gérer des flots de travaux coopératifs (contrôle et exécution de procédés coopératifs). L'utilisation du paradigme agent concerne aussi bien la modélisation et le développement des différentes couches de la plate-forme que celles des interfaces. A ces objectifs s'ajoutent des contraintes fortes de souplesse et d'adaptabilité, visant à faciliter l'intégration de nouveaux outils de travail collaboratif