Researching Less-Resourced Languages : the DigiSami Corpus

Peer reviewe

Creating Comparable Multimodal Corpora for Nordic Languages

Proceedings of the 18th Nordic Conference of Computational Linguistics NODALIDA 2011. Editors: Bolette Sandford Pedersen, Gunta Nešpore and Inguna Skadiņa. NEALT Proceedings Series, Vol. 11 (2011), 153-160. © 2011 The editors and contributors. Published by Northern European Association for Language Technology (NEALT) http://omilia.uio.no/nealt . Electronically published at Tartu University Library (Estonia) http://hdl.handle.net/10062/16955

Feedback and gestural behaviour in a conversational corpus of Danish

Proceedings of the 3rd Nordic Symposium on Multimodal Communication. Editors: Patrizia Paggio, Elisabeth Ahlsén, Jens Allwood, Kristiina Jokinen, Costanza Navarretta. NEALT Proceedings Series, Vol. 15 (2011), 33–39. © 2011 The editors and contributors. Published by Northern European Association for Language Technology (NEALT) http://omilia.uio.no/nealt . Electronically published at Tartu University Library (Estonia) http://hdl.handle.net/10062/22532

Overlaps in Maltese : a comparison between map task dialogues and multimodal conversational data

This paper deals with overlaps in spoken Maltese. Overlaps are studied in samples from two different corpora, one consisting of Map Task dialogues, and the other of free face-to-face conversations. The results show that the number and function of the overlaps vary with the presence or absence of pre-defined roles, the nature of the dialogue and the subjects’ familiarity with the situation. Overlaps are used to achieve optimal information exchange in the Map Task dialogues, and are a sign of ease and familiarity in the free conversationspeer-reviewe

Overlaps in Maltese conversational and task-oriented dialogues

This paper deals with overlaps in spoken Maltese. Overlaps are studied in two different corpora recorded in different communicative situations. One is a multimodal corpus involving first acquaintance conversations; the other consists of Map Task dialogues. The results show that the number of overlaps is larger in the free conversations, where it varies depending on specific aspects of the interaction. They also show that overlaps in the MapTask dialogues tend to be longer, serving the function of establishing common understanding to achieve optimal task completion.peer-reviewe

Les processus inférentiels dans l’interaction multimodale en L2

Les interactions entre apprenants d’une langue seconde (L2) restant encore insuffisamment étudiées, les connaissances sur le type de ressources interactionnelles étant en jeu dans ces échanges et sur la manière dont elles sont mobilisées sont dès lors limitées. La communication étant multimodale par nature, bon nombre de ressources posturo-mimo-gestuelles (PMG) sont mobilisées par les locuteurs apprenants d’une L2 et participent ainsi de l’intention communicative de l’énonciateur. Il semble donc essentiel de mieux connaître le rôle de ces ressources PMG pour les énonciateurs apprenants d’une L2 dans le cadre d’interactions apprenants-apprenants, mais également la manière dont ces ressources sont décodées par leurs co-énonciateurs, par la mise en oeuvre de processus inférentiels permettant d’accéder au sens visé. L’étude empirique exploratoire que nous présentons dans cet article se propose d’apporter un éclairage sur ces questions. À partir d’un corpus d’interactions orales entre apprenants de l’anglais L2, nous mettons en évidence l’apport essentiel des processus inférentiels dans l’interprétation de ressources PMG au service de la tentative de mise en mots et de la gestion des tours de parole, ainsi que dans le décodage des ressources PMG se substituant au verbal. Il émerge également de notre analyse qu’une même ressource PMG peut avoir de multiples fonctions en contexte. Tous ces éléments nous poussent à plaider en faveur de l’intégration, dans l’apprentissage des langues, d’une formation à la production et à l’interprétation des ressources PMG comme autant d’indices « inférables » par les interlocuteurs dans une aire géographique et linguistique donnée.While published research on the role of the body in multimodal didactic discourse is growing at a fast pace, as shown by the numerous recent studies on the subject (Aden, 2017 ; Azaoui, 2015 ; Sime, 2001, 2008 ; Tellier, 2014, 2016), research on the multimodal nature of learner-learner interactions in a second language (L2) remains more confidential than that on interactions between teacher and learner(s) or between native speaker(s) and learner(s) (Kurhila, 2006). In addition, few studies have been published to date on the use of non-verbal resources in learner-learner exchanges (Gullberg, 2010). As a result, our knowledge of the types of interactional resources involved in these exchanges and of the way they are used is still limited. This is particularly true of interactional resources other than the words uttered by interactants. Interacting results from a complex cognitive process (McNeill, 2005 ; Kendon, 2004) which combines verbal resources as well as vocal and visual ones (postures, facial expressions and gestures, cf. “ressources posturo-mimo-gestuelles” for Cosnier, 1985). We investigate the impact of the visual resources in face-to-face L2 learner exchanges so as to better understand their role in learner-learner interactions, as well as the way they are interpreted by the co-speakers through the inferential processes in play. It is only thanks to these pragmatic inferential processes, which are instrumental in the interpretation of contextual elements (cf. Gumperz 1989), be they intra-textual or extra-textual, that co-speakers can truly access the speaker’s intended meaning. Gestures and more generally visual resources trigger inferential processes that make it possible to reconstruct the meaning of utterances, even more so when the latter are difficult to put into words. In the case of ambiguous, erroneous or incomplete utterances, coverbal gestures, i.e., gestures produced at the same time as speech acts (McNeill, 1992, 2005 ; Goldin-Meadow, 2003), can generate inferential work for the co-speakers and facilitate access to the speaker’s intended meaning (Tellier, 2014). The multimodal nature of interpersonal communication is claimed to be all the more perceptible in exchanges between L2 learners because of the deficits in their L2 system (David, 2017) : a number of studies (Gullberg, 1998 ; Hadar et al., 2001 ; Nobe, 2001 ; Yoshioka, 2005) show that the use of gestures is more prevalent during exchanges in L2 than in L1, in particular the use of deictic gestures (Sherman & Nicoladis, 2004). The exploratory empirical study presented in this paper aims to shed light on the role of visual resources for a given speaker in interactions between learners of L2 English, but also on the way these resources are interpreted by the co-speakers, who engage in inferential processes to gain access to the intended meaning. Our work is based on a corpus of face-to-face oral interactions between learners of L2 English in tertiary education. Our analysis highlights the essential role of inferential processes in the interpretation of visual resources in three different patterns : learners of L2 English tend to make inferences based on (1) visual resources used during word searches, (2) visual resources used in turn management, and (3) visual resources used as substitutes for verbal elements. Our results show that inferences based on visual resources are related to both the speaker’s communicative intent and the management of speech turns. Our study also sheds light on the multiple functions that a single visual resource can take on in a given context and leads us to advocate language classes with specific training in interpreting and resorting to visual resources as “inferrable” clues which are specific to a given geographical and linguistic area

Hur hamna du här? : Samtalsstarten, topiker och multimodal uppbackning i första samtal

Tämän tutkielman tavoitteena on tutkia ja vertailla, miten suomen- ja ruotsinkieliset keskustelevat tavatessaan keskustelukumppaninsa ensimmäistä kertaa. Analyysi keskittyy keskustelunaloitukseen, keskustelunaiheisiin sekä multimodaaliseen keskustelupalautteeseen. Multimodaalinen kommunikaatio on verbaalisen sekä ei-verbaalisen yhtäaikaista käyttöä ja tähän tutkielmaan olen valinnut analysoida nyökkäysten ja dialogipartikkelien yhtäaikaista esiintymistä. Tutkin syvemmin muun muassa sitä, millä tervehdyksillä keskustelijat aloittavat keskustelun, miten he esittelevät itsensä sekä sitä, onko keskustelunaiheilla tietty esiintymisjärjestys. Tutkimukseni taustalla on mielenkiinto kartoittaa tarkemmin ensimmäisiä keskusteluita vuorovaikutteisena ilmiönä. Tutkielmani aineisto koostuu yhteensä 24 videoidusta järjestetystä keskustelusta, joista 12 on suomen- ja 12 ruotsinkielisiä. Analyysini perustuu näiden keskusteluiden viiteen ensimmäiseen minuuttiin. Suomenkieliset keskustelut nauhoitettiin Tampereella ja ruotsinkieliset Göteborgissa, Ruotsissa. Aineisto kerättiin alun perin pohjoismaisen NOMCO-projektin aikana, jonka tavoitteena oli kehittää ja analysoida multimodaalisen kommunikaation korpus sekä vertailla erilaisia kommunikatiivisia toimintoja suomalaisissa, ruotsalaisissa sekä tanskalaisissa keskusteluissa. Metodini perustuu keskustelunanalyysiin, tarkemmin sanottuna vuorovaikutteiseen lingvistiikkaan (engl. interactional linguistics), jonka mukaan tärkeintä keskusteluissa on se, miten vuorovaikutus ja kieli vaikuttavat toisiinsa. Keskustelupalautteita analysoin kvantitatiivisesti laskemalla nyökkäysten, dialogipartikkeleiden ja näiden yhteisen käytön frekvenssit. Analyysistä käy ilmi, että vaikka suomen- ja ruotsinkieliset keskustelut rakentuvat suurimmilta osin samalla tavalla, niistä löytyy myös selkeitä eroja. Kiinnostavimpia löytöjä on se, että ruotsinkieliset keskustelijat kyselevät enemmän keskustelukumppaneiltaan heidän asuinpaikastaan ja alkuperästään. Suomenkieliset keskustelijat ottavat kyseiset aiheet esille vain kahdessa keskustelussa, kun taas ruotsalaiset tekevät niin jopa kuudessa keskustelussa. Toinen mielenkiintoinen havainto on se, että ruotsalaisille keskustelijoille on tavanomaista päättää keskustelun alussa tapahtuva esittelysekvenssi joko toistamalla keskustelukumppanin nimen tai lausumalla trevligt, jonka oletan olevan lyhennys fraasista trevligt att träffas (suomenkielinen vastine hauska tutustua). Suomenkielisissä esittelysekvensseistä ei löydy vastaavaa lopetusvuoroa. Edellä mainittujen lisäksi eroja löytyy suomalaisten ja ruotsalaisten keskustelijoiden palautteenannossa. Ruotsalaiset antavat enemmän multimodaalista palautetta, kun taas suomalaiset nyökkäilevät useammin sekä käyttävät enemmän dialogipartikkeleita (esim. joo, nii(n) tai okei). Kielten välisten erojen lisäksi myös puhujakohtaiset erot ovat ajoittain merkittäviä: osa antaa jatkuvasti palautetta kun taas osa tekee sitä huomattavasti harvemmin