“Show me, how does it look now”: Remote Help-giving in Collaborative Design

This paper examines the role of visual information in a remote help-giving situation involving the collaborative physical task of designing a prototype remote control. We analyze a set of video recordings captured within an experimental setting. Our analysis shows that using gestures and relevant artefacts and by projecting activities on the camera, participants were able to discuss several design-related issues. The results indicate that with a limited camera view (mainly faces and shoulders), participants’ conversations were centered at the physical prototype that they were designing. The socially organized use of our experimental setting provides some key implications for designing future remote collaborative systems

Object-focused collaboration in Second Life: the use of verbal and gestural modes for the establishment of common ground and in deictic referencing.

This study focuses on a French-as-a-foreign-language course for architecture students. The course uses the virtual world Second Life for collaborative building tasks in the foreign language and adopts a Content and Language Integrated Learning (CLIL) approach. The study investigates participant exchanges and, more specifically, how verbal and gestural communication modes are used in establishing common ground. Given the inherently object-focused nature of building tasks, it appears crucial for learners to establish mutual understanding of objects they identify and refer to quickly and securely (Hindmarsh, 1997). Diectic referencing, thus, play an important role in the establishment of this common ground. In virtual worlds, users are represented as avatars: semi-autonomous agents represented in the digital space which can perform actions when commanded by the user (Peachey et al, 2010). Second Life users can express themselves using text chat, voice and by commanding their avatar to use gestures. The range of gestures of an avatar includes kinaesthetic gestures (e.g. orientating the avatar in a particular direction), tactile gestures (e.g. touching an object to make the avatar appear to be pointing at it) and gestures of action (e.g. moving an object or changing the textural appearance / size of an object.) One of the affordances of virtual worlds has been shown to be that they favour collaborative learning (Dalgarno and Lee, 2010, Henderson et al., 2009). Clark and Brennan (1991: 127) proffer that in collaborative tasks, "all collective actions are built on common ground and its accumulation" and that the purpose of spoken language in such collaboration is to establish this common ground. Kraut et al. (2003) and Clark and Krych (2004) add that in distance collaborative tasks participants must have shared visual access to the collaborative task space so as to help establish deictic references. In Second Life this shared access is not guaranteed for the virtual world includes a camera tool which users can manipulate independently of the position of their avatar and this is not visible to other participants. Furthermore, in virtual worlds, visual access to collaborative tasks is limited by a user's inability to transform the course of pointing gestures to take into account emerging orientations and movements of co-participants. Fraser (2000) argues that this impacts on designating referential actions for co-participants and, thus, that there is a greater reliance on talk than in everyday, real-life, collaborative work. These characteristics of virtual worlds lead us to study the new relationships between the gestural and verbal modes. Firstly, we examine how learners employ these modes when engaged in a collaborative building task, in particular to establish a common ground. Secondly, we examine how these modes are utilised to reference objects used within the building tasks. Virtual worlds are becoming of interest for distance language educators (Molka-Danielson et al., 2007, Cooke-Plagwitz, 2008). This study furthers our previous work on multimodality (Chanier and Vetter, 2006) by introducing the gestural mode. The study is also one of the first pieces of research drawing on a CLIL approach in higher education

Second Life et apprentissage d'une langue étrangère dans une approche Emile : quels apports d'un environnement synthétique pour l'apprentissage du vocabulaire ?

Dans l'apprentissage d'une langue étrangère, les problèmes en vocabulaire rencontrés par les apprenants peuvent concerner diverses caractéristiques d'une unité lexicale (UL), que nous désignons comme des Points de Vocabulaire Problématiques (PVP). Ainsi, la signification, la charge culturelle, le registre, ou encore les liens thématiques entre les UL (Galisson, 1979 & 1989 ; Boggards, 1994) sont autant de difficultés possibles, qu'il faut être en mesure d'identifier, afin d'aider à la compréhension, à la mémorisation et au réemploi du vocabulaire. Notre intérêt se porte particulièrement sur les potentialités des contextes d'apprentissage pour l'aide à la résolution de ces PVP. Du point de vue des TICE, il a déjà été démontré que les environnements synthétiques fonctionnant sur un mode en 3D ouvraient de nouvelles et nombreuses perspectives pour l'enseignement/apprentissage, notamment en didactique des langues. Permettant non seulement le travail collaboratif (Dalgarno & Lee, 2010), mais également les échanges à distance avec des natifs, ces environnements, qui sont de ce fait un support didactique de la perspective actionnelle (suivant les préconisations du Cadre Européen Commun de Référence pour les Langues), présentent également la particularité d'ajouter une dimension visuelle et spatiale (en comparaison aux dispositifs de type plateformes d'apprentissage), à travers la manipulation d'un avatar qui interagit dans et avec cet espace virtuel, et avec les autres utilisateurs. Ces environnements offrent de cette façon des possibilités de communication verbale, para-verbale et non verbale (Peterson, 2010). De plus, ils désinhibent (Schwienhorst, 2002) et rassurent les apprenants (Teoh, 2007), qui ont l'impression de prendre moins de risques que dans le monde réel. Afin d'appréhender les apports de ces environnements pour l'apprentissage lexical, nous proposons d'étudier une situation d'apprentissage de l'anglais et du français, dans le cadre d'une expérimentation menée en février 2011 avec des étudiants d'architecture, dont la spécificité est de suivre leurs cours dans une approche didactique EMILE (Enseignement de Matières par l'Intégration d'une Langue Etrangère). La démarche choisie dans ce projet a consisté à élaborer un dispositif hybride, comportant séances en présentiel et à distance, utilisant notamment le monde synthétique Second Life. Diverses activités ont été menées, telles que la construction collaborative d'un objet en groupes, encadrée par un tuteur de langue, l'un des apprenants jouant le rôle de l'assistant, les autres étant ouvriers (Kraut et al, 2003), afin de favoriser les interactions (Pica et al., 1993), ou encore des séances réflexives. Notre communication s'attache tout d'abord à la description du dispositif. Nous présentons ensuite notre analyse des interactions au cours des activités, afin de déceler les potentialités de l'environnement synthétique pour l'apprentissage lexical. Nous essayons ainsi de répondre aux questions suivantes : - comment les besoins liés au vocabulaire ont-ils été exprimés dans Second Life, lors des activités menées ? - les modes verbal, para-verbal et non-verbal ont-ils joué un rôle dans l'identification et l'explication des PVP ? - quels PVP semblent avoir été résolus dans ce contexte, pour ce public spécifique, et de quelle manière

Collaboration en langue étrangère dans une approche de type EMILE articulant modes verbaux et gestuels dans le monde virtuel Second Life.

Les environnements 3D facilitent l'apprentissage collaboratif selon Dalgarno et Lee (2010), ainsi que Henderson et al (2009). Nous présentons ici une formation en langues étrangères destinée à des étudiants d'architecture et se déroulant dans le monde virtuel Second Life, en français ou en anglais selon la langue maternelle des étudiants. Elle repose sur des tâches de construction collaboratives conçues suivant une approche didactique EMILE (Enseignement d'une Matière par Intégration d'une Langue Étrangère, CLIL en anglais). Notre étude a pour but d'analyser les échanges entre participants dans lesquels s'articulent modes de communication verbaux et gestuels pour l'établissement d'un fond commun de compréhension ("common ground"). Les participants impliqués dans les tâches de construction doivent pouvoir identifier et référencer rapidement et précisément des objets du monde virtuel (Hindmarsh, 1997). Les références déictiques jouent alors un rôle important dans l'élaboration de la compréhension mutuelle. Dans ces mondes, les utilisateurs sont représentés par des avatars. Les avatars sont des agents semi-autonomes de l'espace digital qui exécutent des actions commandées par les participants en ligne (Peachey et al, 2010). Dans Second Life, ces participants peuvent s'exprimer en utilisant le clavardage, l'audio, ainsi qu'en guidant leur avatar. La gamme gestuelle de l'avatar comprend des gestes kinésiques (par exemple l'orientation de l'avatar dans une direction particulière), des gestes tactiles (contact avec un objet en le pointant du doigt, même à distance), et des gestes actionnels (déplacement d'un objet ou changement de sa texture ou de sa taille, etc.). Clark et Brennan (1991: 127) montrent que pour que les tâches soient de nature collaborative chaque action collective doit reposer sur un fond commun de compréhension, continuellement mis à jour au travers des interactions dans lesquelles l'oral joue un rôle prépondérant. Kraut et al. (2003), ainsi que Clark et Krych (2004), ajoutent que dans des tâches collaboratives accomplies à distance, les participants doivent avoir accès, non seulement à l'information verbale, mais également à un champ visuel partagé pour que s'établissent des références déictiques. Suivant Platt et Brooks (2008) le pointage est un aspect important dans l'établissement du fond commun lorsque deux personnes essaient de résoudre ensemble un problème. Dans ce genre de situation, l'accès à un champ visuel partagé est un pré-requis. Or ce partage n'est pas toujours garanti dans Second Life. Ainsi, l'outil caméra permet à chaque utilisateur d'obtenir des perspectives rapides sur le monde environnant, perspectives détachées de l'avatar guidé par cet utilisateur. Alors que le positionnement et l'orientation d'un avatar est visible des autres participants, la vue caméra n'est elle pas discernable. Dans ce cas, l'accès visuel partagé est rompu. Par ailleurs, il est intéressant de noter que, dans ces mondes virtuels, les contraintes imposées par le système informatique sur les gestes de pointage des avatars, donc sur la désignation des actions référentielles, renforcent l'utilisation des modes verbaux (Fraser, 2000), et ce de façon plus notable que dans les communications associées à des tâches collaboratives du monde réel. Ces spécificités des mondes virtuels nous conduisent à étudier les nouveaux rapports entre modes verbaux et gestuels. Nous examinons, premièrement, comment les modes verbaux et non verbaux sont utilisés par les apprenants engagés dans une tâche de construction collaborative, en particulier lorsque s'élabore le fond commun de compréhension. Deuxièmement, nous examinons comment ces modes sont mobilisés pour référencer les objets impliqués dans la tâche de construction. La tâche de construction que les apprenants auront à faire s'inspire de l'étude de Wadley et Ducheneaut (2009), dans laquelle des locuteurs anglophones s'expriment dans leur langue maternelle pour mener à bien des tâches collaboratives au sein de Second Life. Un apprenant joue le rôle de coordinateur, ayant à sa disposition le plan de construction d'un objet. Il doit diriger les autres apprenants, endossant le rôle d'ouvriers, lors de l'assemblage de l'objet à partir des pièces fournies. Cette tâche de type "échanges d'information" (Pica et al., 1993), distribuant les rôles d'assistant et d'ouvrier suivant Kraut et al (2003), a été choisie afin d'établir un processus de communication bidirectionnelle. Le déficit d'information (gap) d'une des parties rend nécessaire l'interaction pour accomplir la tâche (Long, 1980). L'observation de l'utilisation conjointe des modes gestuels et verbaux nous aidera à saisir comment se résolvent les problèmes de compréhension / expression en L2, au sein d'une situation d'apprentissage à distance en architecture. Les expérimentations auront lieu en février 2011. Des captures d'écran, intégrant l'audio et le texte (clavardage) seront enregistrées. Les références déictiques des participants seront analysées. Des entretiens permettront de recueillir l'avis des participants sur leurs façons d'établir un fond commun de compréhension et d'expliciter les stratégies utilisées pour surmonter les difficultés afférentes. Les mondes virtuels comme Second Life suscitent un grand intérêt dans l'enseignement à distance des langues (Molka-Danielson et al., 2007, Cooke-Plagwitz, 2008). Cette étude vise à élargir les travaux antérieurs sur les interactions multimodales (Chanier et Vetter, 2006) en y introduisant la composante gestuelle. Elle s'inscrit également dans le lot des premières recherches reposant sur une approche didactique EMILE au sein l'enseignement supérieur

A corpus-based analysis of route instructions in human-robot interaction

This paper investigates how users employ spatial descriptions to navigate a speech-enabled robot. We created a simulated environment in which users gave route instructions in a dialogic real-time interaction with a robot, which was operated by naïve participants. The ability of robot monitoring was also manipulated in two experimental conditions. The results provide evidence that the content of the instructions and strategies of the users vary depending on the conditions and demands of the interaction. As expected, the route instructions frequently were underspecified and arbitrary. The findings of this study elucidate the complexity in interpreting spatial language in HRI. However, they also point to the need for endowing mobile robots with richer dialogue resources to compensate for the uncertainties arising from language as well as the environment

The F@ Framework of Designing Awareness Mechanisms in Instant Messaging

This paper presents our research on awareness support in Instant Messaging (IM). The paper starts with a brief overview of empirical study of IM, using an online survey and face-to-face interviews to identify user needs for awareness support. The study identified a need for supporting four aspects of awareness, awareness of multiple concurrent conversations, conversational awareness, presence awareness of a group conversation, and visibility of moment-to-moment listeners and viewers. Based on the empirical study and existing research on awareness, we have developed the F@ (read as fat) framework of awareness. F@ comprises of the abstract level and the concrete level. The former includes an in-depth description of various awareness aspects in IM, whilst the latter utilises temporal logic to formalise fundamental time-related awareness aspects. F@ helps developers gain a better understanding of awareness and thereby design usable mechanisms to support awareness. Applying F@, we have designed several mechanisms to support various aspect of awareness in IM

Seeing the face and observing the actions: the effects of nonverbal cues on mediated tutoring dialogue

International audienceMediated communication technologies, conveying verbal and nonverbal cues, are more and more employed in learning activities. Nevertheless, their effects on teacher-student interaction have been not clearly stated yet. Through two experimental studies, we investigated on the effects of nonverbal communication cues (kinesic and ostensive-inferential) on synchronous mediated tutoring dialogue, in which a tutor and a student communicate through audio-video communication tools. The outcomes show that kinesic cues lead tutor to monitor more carefully learner's ongoing task and to encourage much more them, while ostensive-inferential cues improve learner' task performance and lead both tutor and student to focus better on tutoring speech act