e-COMM, un éditeur pour spécifier l'interaction multimodale et multiutilisateur

National audienceCet article présente l'éditeur e-COMM pour la spécification de systèmes interactifs multimodaux et multiutilisateurs à l'aide de la notation COMM. La majorité des notations dédiées à la conception des collecticiels offrent des moyens limités pour décrire l'interaction multimodale. Ainsi la notation COMM comble ce manque en introduisant de nouveaux concepts (tâche modale et rôle interactif) pour lier ces deux aspects : l'interaction multimodale et multiutilisateur. L'éditeur e-COMM vise alors deux objectifs : founir un outil facilement accessible et aider le concepteur à se concentrer sur la tâche d'édition en reposant autant que possible sur la manipulation directe

Description des tâches avec un système interactif multiutilisateur et multimodal : Etude comparative de notations

International audienceMulti-user multimodal interactive systems involve multiple users who can use multiple interactionmodalities. Multi-user multimodal systems are becoming more prevalent, especially systems based on largeshared multi-touch surfaces or video game centers such as Wii or Xbox. In this article we address thedescription of the tasks with such interactive systems. We review existing notations for the description of taskswith a multi-user multimodal interactive system and focus particularly on tree-based notations. For elementarytasks (e.g. actions), we also consider the notations that describe multimodal interaction. The contribution isthen a comparison of existing notations based on a set of organized concepts. While some concepts are generalto any notation, other concepts are specific to human-computer interaction, or to multi-user interaction andfinally to multimodal interaction.De nombreux systèmes interactifs, professionnels ou grand public, permettent conjointementl’interaction multiutilisateur et multimodale. Un système interactif est multimodal lorsqu’un utilisateur peutinteragir avec le système par l’usage de plusieurs modalités d’interaction (en entrée ou en sortie) de façonparallèle ou non. Nous constatons que de plus en plus de systèmes multiutilisateurs ou collecticiels sontmultimodaux, comme ceux construits autour d’une surface interactive et les consoles de jeu de type Wii ouXbox. Nous traitons dans cet article de la description des tâches-utilisateur avec de tels systèmes interactifsmultiutilisateurs et multimodaux. Précisément, nous dressons un panorama des notations existantes permettantla description des tâches mono ou multi-utilisateur avec une attention particulière pour les notations à based’arbre de tâches. Nous focalisons aussi sur les tâches élémentaires ou actions mono/multi-modales del’utilisateur en considérant les notations de description de l’interaction multimodale. Pour cela, nousproposons une étude comparative d'un ensemble de notations de description selon une grille d’analyseregroupant des concepts généraux à l’interaction et des concepts propres à l’interaction multiutilisateur etmultimodale

HAMSTERS : un environnement d’édition et de simulation de modèles de tâches

National audienceCet article décrit une démonstration concernant l’outil logiciel HAMSTERS (Human-centered Assessment and Modeling to Support Task Engineering for Resilient Systems). HAMSTERS est un outil logiciel de modélisation permettant d’éditer, de simuler et d’analyser des modèles de tâches basés sur la notation éponyme. HAMSTERS a été conçu et développé pour les besoins de projets de recherche industriels principalement dans les domaines de l’aéronautique et de l’espace

HAMSTERS : un environnement d'édition et de simulation de modèles de tâches (Démonstration)

Cet article décrit une démonstration concernant l’outil logiciel HAMSTERS (Human-centered Assessment and Modeling to Support Task Engineering for Resilient Systems). HAMSTERS est un outil logiciel de modélisation permettant d’éditer, de simuler et d’analyser des modèles de tâches basés sur la notation éponyme. HAMSTERS a été conçu et développé pour les besoins de projets de recherche industriels principalement dans les domaines de l’aéronautique et de l’espace

Approche pour la définition d'applications web riches multiplateforme

Les termes client Web riche ou interface riche sont utilisés pour désigner l'interface utilisateur d'une application Web qui comprend des fonctionnalités et des méthodes d'interactions similaires à celles des interfaces utilisateurs conventionnelles. Un client Web riche assure une part du traitement de l'application. Cela peut aller de la validation de saisies jusqu'à la prise en charge complète des interactions avec l'utilisateur. Il doit donc être doté d'une certaine intelligence, c'est-à-dire que du code, décrivant son comportement ainsi qu'une part de la logique d'affaire de l'application, doit pouvoir y être exécuté. L'utilisation de méthodes d'interactions avancées (comme le glisser-déplacer, la saisie semi-automatique ou l'utilisation de contrôles « widgets ») implique aussi des capacités de traitement plus poussées que pour les clients Web standards. Il existe une multitude de technologies pouvant êtres utilisées pour le développement d'un client Web riche. Le principal problème relié à cette situation est que les projets basés sur une technologie de présentation deviennent dépendants de cette dernière. Un changement de technologie implique alors la perte des investissements relatifs au développement de la partie client. Le fait d'avoir à supporter plusieurs plateformes de présentation implique aussi généralement d'avoir à maintenir plusieurs versions distinctes du client de l'application. Ces travaux couvrent les approches existantes et la conceptualisation d'une nouvelle approche permettant de définir, indépendamment d'une technologie de présentation, le volet client d'une application. Celle-ci a été expérimentée à l'intérieur de trois projets concrets présentés sous forme d'étude de cas. Une revue des plateformes d'exécution contemporaines pour les clients Web riches y est effectuée, suivi d'un état de l'art couvrant les méthodes existantes pour la définition d'interfaces utilisateur. Les travaux s'intéressant à la définition d'interfaces utilisateurs à l'aide de dialectes XML sont également couverts, de même que les architectures couramment utilisées pour la définition d'un client Web riche. Les résultats obtenus à l'intérieur des études de cas auront permis de montrer la faisabilité de l'approche ainsi que de mesurer certains avantages de celle-ci selon différents critères de qualité

Analyse des usages des plateformes de construction de connaissances par des méthodes mixtes et réflexives pour l’amélioration de l’appropriation et de la structuration de l’information: SECONDE PARTIE : Synthèse et bilan des recherches

Mes travaux se situent dans le domaine de l’apprentissage instrumenté académique et industriel, c’est-à-dire dans le champ pluridisciplinaire des Environnements Informatiques pour l’Apprentissage Humain (EIAH) et celui du Knowledge Management (KM). Je considère la construction de connaissances selon le positionnement des sciences de l’information et de la communication (SIC) c’est-à-dire comme le résultat d’une information communiquée et reçue par une personne. Mieux elle est appropriée et plus la connaissance construite est solide. La construction de connaissance se fait par l’intermédiaire d’objets partagés et échangés selon des référents sociologiques et culturels ou des pratiques. La médiation est le concept utilisé en sciences humaines pour décrire les moyens matériels, en particulier technologiques, et les moyens humains qui peuvent être imaginés pour favoriser cette transmission de connaissances et cette appropriation de l’information. La médiation technologique joue un rôle prégnant sur la construction des connaissances dans la mesure où elle façonne les artefacts de connaissance, c’est-à-dire les outils ou supports construits ou utilisés par l’homme pour inscrire des connaissances. Cette caractéristique place la question de l’instrumentation des apprentissages au cœur des questions de recherche des Sciences de l’information et de la Communication (SIC) en regard des deux processus informationnel et communicationnel cités précédemment et de la conception de ces outils de médiatisation technologiques. Elle est aussi au cœur des questions de recherche en informatique, en particulier en EIAH (Environnement Informatiques pour l’Apprentissage Humain), qui est un domaine de l’informatique largement expérimentale. L’analyse de l’activité d’apprentissage médiatisée et l’analyse des usages en est une thématique centrale. Dans ce contexte, la question générale de mes recherches consiste à déterminer comment des médiations qui utilisent les dispositifs informatiques jouent un rôle dans la construction de connaissances. La construction de connaissances est analysée sous l’angle de la production de ressources documentaires potentiellement exploitables dans les environnements technologiques et sous l’angle de l’apprentissage effectif ou l’évolution de comportement de l’utilisateur. Pour analyser les effets produits par ces médiations, je me centre sur l’analyse de l’humain au cours de l’usage. Plus précisément, je considère que l’utilisation est un élément déterminant la qualité de la médiation technologique alors que l’appropriation et l’apprentissage sont des éléments déterminants la qualité de la médiation. Mes axes de recherche s’organisent autour de trois thématiques : L’assistance à la conception de ressources pour l’apprentissage instrumenté : j’ai étudié l’utilité des formats de structuration des ressources pédagogiques en regard du type de médiation documentaire visé par les outils pour lesquels ces ressources sont produites, j’ai évalué les outils auteur et participé à la conception d’un outil auteur utilisable pour concevoir des ressources pour les Serious Games en réalité mixte. Ces études ont mis en évidence l’intérêt d’assister la conception par des interactions pour la réalisation d’activités productives (formalisation des idées, structuration de l’information, collaboration, …) et d’activités constructives (consultation de bonnes pratiques ou recommandations relatives à l’intérêt pédagogique ou expérientiel de telle ou telle forme de médiatisation ou d’interaction) ; en particulier lorsque les formations s’appuient sur des technologies innovantes pour être médiatisées. L’analyse des usages des outils d’apprentissage instrumenté : j’ai réalisé différentes analyses d’usage pour la validation de situations de formation instrumentées innovantes ou la compréhension de l’évolution des pratiques de travail ou d’apprentissage instrumentés. Mes critères d’analyse sont la recevabilité d’un environnement technologique en fonction des attentes et besoins humains. Je la mesure par l’utilité, l’utilisabilité et l’acceptabilité des dispositifs socio-techniques (composés des environnements technologiques et des environnements d’usage). Je privilégie des méthodes mixtes, principalement des méthodes triangulées, d’analyse des usages. Elles combinent les analyses qualitatives et quantitatives, considèrent différents points de vue sur les acteurs ou l’activité, et cela à différents moments du cycle de conception. Les études menées portent sur la mise en œuvre de technologie pour le travail et l’apprentissage collaboratif, l’utilisation des jeux (Serious Game) et de la réalité mixte, l’apprentissage en mode projet, la diffusion d’information via des plateformes. La conception d’outils utilisant les traces de l’activité pour supporter les apprentissages : j’ai analysé dans deux contextes privilégiés, l’apprentissage en mode projet et la formation tout au long de la vie dans l’industrie, comment mettre en place des régulations utilisant les traces pour améliorer l’apprentissage. Dans le premier cas, j’ai instrumenté des pratiques d’auto-régulation pour favoriser l’apprentissage de comportements, dans le second j’ai cherché à instrumenter une régulation sociale pour favoriser la diffusion et capitalisation des savoirs

Groupware and Multimodality : interaction specification the COMM notation and the e-COMM editor

Dans le domaine de l'Interaction Homme-Machine, nos travaux concernent l'interaction multiutilisateur et multimodale. Exploitant les avancées importantes en terme de modalités d'interaction, de nombreux collecticiels reposent sur une combinaison de modalités, comme les systèmes multiutilisateurs autour d'une table augmentée. Néanmoins ces systèmes constituent des réalisations ad-hoc en l'absence d'outils de conception. Face à constat, nos contributions conceptuelles et logicielles concernent la phase de spécification de l'interaction multiutilisateur et multimodale. Nous présentons une notation de spécification notée COMM (COllaborative et MultiModale) qui est une extension de CTT par l'introduction de deux concepts, le rôle interactif et la tâche modale, et par la spécialisation des opérateurs temporels, en s'appuyant sur les relations de Allen. La notation COMM est instrumentée par un éditeur logiciel de spécifications COMM, nommé e-COMM ((http://iihm.imag.fr/demo/editeur/). COMM et e-COMM ont été utilisés dans un projet DGA de taille conséquente pour spécifier l'interaction au sein d'un poste de commande de drones militaires.Multi-user multimodal interactive systems involve multiple users that can use multiple interaction modalities. Although multi-user multimodal systems are becoming more prevalent (especially multi-user multimodal systems involving multi-touch surfaces), their design is still ad-hoc without properly keeping track of the design process. Addressing this issue of lack of design tools, our doctoral research is dedicated to the specification of multi-user multimodal interaction. The doctoral research contributions include the COMM (Collaborative and MultiModal) notation and its on-line editor for specifying multi-user multimodal interactive systems. Extending the CTT notation, the salient features of the COMM notation include the concepts of interactive role and modal task as well as a refinement of the temporal operators applied to tasks using the Allen relationships. The COMM notation and its on-line editor e-COMM (http://iihm.imag.fr/demo/editeur/) have been successfully applied to a large scale project dedicated to a multimodal military command post for the control of unmanned aerial vehicles (UAV) by two operators

Collecticiel et multimodalité : spécification de l'interaction la notation COMM et l'éditeur e-COMM

Multi-user multimodal interactive systems involve multiple users that can use multiple interaction modalities. Although multi-user multimodal systems are becoming more prevalent (especially multi-user multimodal systems involving multi-touch surfaces), their design is still ad-hoc without properly keeping track of the design process. Addressing this issue of lack of design tools, our doctoral research is dedicated to the specification of multi-user multimodal interaction. The doctoral research contributions include the COMM (Collaborative and MultiModal) notation and its on-line editor for specifying multi-user multimodal interactive systems. Extending the CTT notation, the salient features of the COMM notation include the concepts of interactive role and modal task as well as a refinement of the temporal operators applied to tasks using the Allen relationships. The COMM notation and its on-line editor e-COMM (http://iihm.imag.fr/demo/editeur/) have been successfully applied to a large scale project dedicated to a multimodal military command post for the control of unmanned aerial vehicles (UAV) by two operators.Dans le domaine de l'Interaction Homme-Machine, nos travaux concernent l'interaction multiutilisateur et multimodale. Exploitant les avancées importantes en terme de modalités d'interaction, de nombreux collecticiels reposent sur une combinaison de modalités, comme les systèmes multiutilisateurs autour d'une table augmentée. Néanmoins ces systèmes constituent des réalisations ad-hoc en l'absence d'outils de conception. Face à constat, nos contributions conceptuelles et logicielles concernent la phase de spécification de l'interaction multiutilisateur et multimodale. Nous présentons une notation de spécification notée COMM (COllaborative et MultiModale) qui est une extension de CTT par l'introduction de deux concepts, le rôle interactif et la tâche modale, et par la spécialisation des opérateurs temporels, en s'appuyant sur les relations de Allen. La notation COMM est instrumentée par un éditeur logiciel de spécifications COMM, nommé e-COMM ((http://iihm.imag.fr/demo/editeur/). COMM et e-COMM ont été utilisés dans un projet DGA de taille conséquente pour spécifier l'interaction au sein d'un poste de commande de drones militaires