Spotting Agreement and Disagreement: A Survey of Nonverbal Audiovisual Cues and Tools

While detecting and interpreting temporal patterns of non–verbal behavioral cues in a given context is a natural and often unconscious process for humans, it remains a rather difficult task for computer systems. Nevertheless, it is an important one to achieve if the goal is to realise a naturalistic communication between humans and machines. Machines that are able to sense social attitudes like agreement and disagreement and respond to them in a meaningful way are likely to be welcomed by users due to the more natural, efficient and human–centered interaction they are bound to experience. This paper surveys the nonverbal cues that could be present during agreement and disagreement behavioural displays and lists a number of tools that could be useful in detecting them, as well as a few publicly available databases that could be used to train these tools for analysis of spontaneous, audiovisual instances of agreement and disagreement

Proceedings

Proceedings of the 3rd Nordic Symposium on Multimodal Communication. Editors: Patrizia Paggio, Elisabeth Ahlsén, Jens Allwood, Kristiina Jokinen, Costanza Navarretta. NEALT Proceedings Series, Vol. 15 (2011), vi+87 pp. © 2011 The editors and contributors. Published by Northern European Association for Language Technology (NEALT) http://omilia.uio.no/nealt . Electronically published at Tartu University Library (Estonia) http://hdl.handle.net/10062/22532

MultiMediate '22: Backchannel Detection and Agreement Estimation in Group Interactions

Backchannels, i.e. short interjections of the listener, serve important meta-conversational purposes like signifying attention or indicating agreement. Despite their key role, automatic analysis of backchannels in group interactions has been largely neglected so far. The MultiMediate challenge addresses, for the first time, the tasks of backchannel detection and agreement estimation from backchannels in group conversations. This paper describes the MultiMediate challenge and presents a novel set of annotations consisting of 7234 backchannel instances for the MPIIGroupInteraction dataset. Each backchannel was additionally annotated with the extent by which it expresses agreement towards the current speaker. In addition to a an analysis of the collected annotations, we present baseline results for both challenge tasks.Comment: ACM Multimedia 202

Spontaneous Behavioral Coordination: the Impact of Achieved and Desired Interpersonal Closeness on Synchrony and Mimicry

The purpose of the present dissertation was to examine the impact of interpersonal closeness and the desire for interpersonal closeness on displays of behavioral synchrony and mimicry, simultaneously. Groups of two strangers (N = 182 participants, N = 91 dyads) were randomly assigned to complete a “closeness-inducing” task where partners took turns asking and answering intimate questions or a comparison “small-talk” task where partners asked and answered less-intimate questions. Additionally, dyads were randomly assigned to complete these tasks in real time over Zoom, or by reading and responding to the task’s questions over text. These tasks were intended to generate varying levels of interpersonal closeness among participants or to prevent participants from feeling close and instead inspire the desire for closeness. Then, all participants, regardless of prior experimental condition assignment, completed a second problem-solving task where their behavioral synchrony and mimicry were measured using multiple methodological approaches. Specifically, synchrony was measured using global impression ratings whereas mimicry for gestures and postural displays was measured using global impression ratings and molecular coding approaches to allow for discriminant and convergent validity analyses. The effects of the experimental conditions on participants’ reported feelings of closeness and the desire for closeness after their first interaction were examined along with the effect of these experimental conditions on participants’ displays of behavioral synchrony and mimicry in a subsequent interaction. Then, collapsing across experimental condition, the effect of participants’ feeling of closeness with their partner after their first interaction on their behavioral synchrony during their second interaction was tested alongside the effect of participants’ desire for closeness with their partner after their first interaction on their behavioral mimicry. Results generally supported that the more participants reported feeling close with one another, the more they synchronized their behavior during a subsequent interaction. Additionally, the less close participants felt to their partner, but the more they desired to feel close, the more participants mimicked their partner in a subsequent interaction. These results are discussed in relation to understanding the differing nomological networks of behavioral synchrony and mimicry and recommendations for future measurement approaches are made

(Dis)fluencies and their contribution to the co-construction of meaning in native and non-native tandem interactions of French and English

In this paper, (dis)fluencies will be examined during tandem interactions in French and English by exploring the notions of secondary didacticity and pedagogical intention outside the classroom environment. While (dis)fluencies have typically been viewed as disturbances and markers of production difficulty, or have only been analyzed from a strictly verbal or vocal point of view, this paper offers a fresh multimodal perspective on these processes by taking into account the visual-gestural features of spoken interactions, mainly manual gestures and eye gaze. Based on the qualitative analyses of two sequences, this paper will illustrate how native and non-native speakers co-construct meaning during the course of their talk by relying on several semiotic resources. Our detailed analyses allow for a richer and deeper understanding of (dis)fluencies as they show the way (dis)fluencies can be negotiated multimodally in context during jointly collaborative activities in tandem settings.Cet article vise à étudier la contribution des (dis)fluences dans la co-construction multimodale du sens en interaction, et plus particulièrement dans le cadre des interactions tandems. Les interactions tandems, qui reposent sur l’alternance entre le rôle du locuteur natif et celui non-natif, peuvent être considérées asymétriques (Adams, 1998) puisque le locuteur natif doit adapter son discours et sa gestuelle au locuteur non-natif (Adams 1998) et que les locuteurs non-natifs doivent également déployer des stratégies communicatives pour faire face à leurs difficultés de production (Gullberg, 2011). La situation tandem sera entendue ici comme discours « didactique » puisque le premier objectif des locuteurs qui interagissent dans une langue plus ou moins maîtrisée est de se faire comprendre. Cela renvoie à la notion de didacticité seconde explorée par Moirand (1993) qui fait référence aux discours qui ne sont pas didactiques en soi (e.g. contexte scolaire) mais qui relèvent d’une intention didactique. Dans cet article, la notion de didacticité seconde et d’intention pédagogique est explorée dans le cadre de l’analyse des (dis)fluences et de leurs manifestations multimodales.La (dis)fluence peut se définir comme une suspension ou une interruption du flux de la parole (Ferreira & Bailey 2004) et se manifeste sous la forme de plusieurs marqueurs vocaux et morpho-syntactiques, tels que les pauses remplies, les pauses silencieuses, les allongements de syllabe, les répétitions, les auto-corrections, les auto-interruptions etc. (Shriberg, 1994). Ces phénomènes ont souvent été considérés dans la littérature comme des signes de problèmes ou de dysfonctionnement liés à la production des énoncés (Schachter, Christenfeld, & Bilous, 1991; Smith & Clark, 1993) tandis que des études plus récentes défendent l’idée qu’ils ont également avoir des fonctions discursives et communicatives en interaction (Tottie 2014; 2011; Kjellmer 2003; Tellier, et al., 2013). Cette opposition, ou ce conflit reflété dans la littérature souligne l’aspect polyvalent des (dis)fluences : les mêmes formes, selon leur distribution locale et globale en contexte peuvent à la fois être des signes de fluence et de disfluence (Crible, et al., 2017). Cet article vise donc à dépasser l’opposition binaire traditionnelle entre « fluence » et « disfluence », et d’analyser ces phénomènes sur un continuum où l’on trouve plusieurs degrés de (dis)fluence. En partant d’une vision polyvalente, fonctionnelle et interactionnelle de ces phénomènes, nous adoptons une définition de la grammaire qui est dynamique et qui s’adapte à une diversité de contextes discursifs et sociologiques (Mondada 2001). Cela prend également en compte la perspective de l’analyse conversationnelle (Sacks, 1992 ; Sacks et al. 1974) qui vise à analyser minutieusement la dimension séquentielle des énoncés ; les énoncés sont constamment construits, planifiés, ajustés au fur et à mesure qu’ils émergent de l’intention des locuteurs. Dès lors, les (dis)fluences prennent leur sens dans l’interaction, et sont constitutifs de la parole spontanée. De plus, cet article souligne l’aspect multimodal des (dis)fluences, puisqu’elles peuvent se manifester par le biais de plusieurs ressources sémiotiques. Certaines études se sont intéressées à la production des gestes qui apparaissent en même temps que les (dis)fluences (Stam & Tellier 2017 pour les pauses, Seyfedinnipur sur les auto-corrections) ; tandis que les (dis)fluences n’ont pas de contenu propositionnel ou sémantique en soi, les gestes qui les accompagnent peuvent aider à déterminer leurs fonctions au sein de l’interaction. D’autres chercheurs se sont également intéressés à des cas où la suspension du geste suivait celle de la parole (Graziano & Gullberg, 2013, 2018), ce qui défend l’idée que la parole et les gestes peuvent fonctionner de manière synchrone. L’étude du regard a également son importance dans le rôle des (dis)fluences en interaction (Goodwin & Goodwin, 1986). Cet article s’inscrit dans la lignée de ces études, et propose une perspective nouvelle de la (dis)fluence en suivant un axe epistémologique qui souligne l’importance des signaux faciaux et gestuels dans la co-construction du sens en interaction.Afin d’explorer la dimension interactionnelle des (dis)fluences dans le cadre d’interactions tandems, la présente étude s’appuie sur le corpus SITAF, un corpus vidéo collecté à la Sorbonne Nouvelle (Sylwia & Scheuer, 2015) qui comprend plusieurs interactions dyadiques tandems entre des locuteurs francophones et anglophones qui interagissent mutuellement dans leur L1 et leur L2. Ce corpus a déjà été exploré dans le cadre des (dis)fluences lors d’études précédentes (Kosmala & Morgenstern, 2017; Kosmala et al. 2019 ; Kosmala, à venir) mais cet article repose sur l’analyse détaillée de deux séquences tirées d’une même paire du corpus. Ces analyses soulignent l’aspect interactionnel et multimodal des (dis)fluences et le fait qu’elles puissent apparaitre dans des contextes d’activité et de réalisation conjointe. Tandis que les résultats quantitatifs soulignent peu la dimension interactionnelle et multimodale des (dis)fluences (puisque très peu de gestes (20%) accompagnaient les (dis)fluences dans les données), l’analyse qualitative, à travers une approche multimodale contextualisée, est cruciale dans l’analyse de ces processus puisqu’elle permet de prendre en compte la complexité des (dis)fluences, qui sont déterminées par leur contexte d’apparition. Les analyses proposées dans cet article servent également de complément au codage minutieux qui a été effectué sur les données et qui prend en compte les spécificités verbales et non-verbales des (dis)fluences. La première séquence analysée porte sur l’interaction en anglais où la locutrice française non-native discute des émissions de télé réalité et du comportement des acteurs lors de ces émissions. Seulement, la locutrice a mal compris le sujet (écrit en anglais sur un bout de papier), puisqu’il portait sur les réseaux sociaux, et non sur la télé réalité. Lors de cette séquence, le locuteur natif, par le biais de plusieurs (dis)fluences et ressources visuo-gestuelles, tente de réajuster le sens en effectuant un geste déictique vers le morceau de papier afin de bien vérifier le sujet écrit dessus, puis de faire comprendre à son interlocutrice qu’elle s’est trompée. Il produit également un autre geste cyclique par la suite en tentant de faire parler la locutrice sur le sujet. Le locuteur arrive à jouer deux rôles en même temps, celui du co-participant de l’interaction, et celui de l’expert natif qui tente de régler ce malentendu. Cette action peut s’interpréter comme relevant d’une intention pédagogique, puisque le locuteur fait recours à la gestuelle pour faciliter l’accès au sens, mais aussi pour inciter son interlocutrice à parler. La deuxième séquence porte sur l’interaction en français, où les rôles sont inversés, et c’est donc cette fois ci le locuteur américain non-natif qui discute du sujet. Le sujet porte sur l’adolescence, et contrairement à la première séquence, les deux locuteurs sont parfaitement d’accord sur la question, et il n’y a aucun problème de communication. A un moment précis de l’interaction, le locuteur non-natif souhaite exprimer une idée, et produit dès lors un geste référentiel qui renvoie à la notion des hauts et des bas, en même temps qu’une (dis)fluence. Sa locutrice complète son énoncé, et verbalise cette notion en énonçant « des hauts et des bas ». Cette fois ci, le locuteur non-natif n’a pas l’air d’éprouver de difficulté lexicale car il ne s’adresse pas à son interlocutrice pour qu’elle lui vienne en aide, et sa partenaire, via une reprise gestuelle, participe dès lors à la co-construction du sens. Cette séquence peut donc être vue comme le fruit d’un travail collaboratif sur une notion précise en contexte. À nouveau, l’intention pédagogique des locuteurs peut être manifestée à travers cet échange puisqu’ils avaient comme but commun de se faire comprendre et de souligner leur accord. Seulement, le degré de didacticité était un peu moins marqué que lors de la première séquence puisque la relation expert/novice semble moins accentuée. Cela peut souligner l’idée que les gestes pédagogiques peuvent être envisagés sur un continuum qui comporte plusieurs degrés de didacticité. (Azaoui, 2015). Pour conclure, cet article souligne l’aspect interactionnel des (dis)fluences en interaction tandem, que l’on peut considérer ici comme discours pédagogique puisque certains des gestes utilisés par les locuteurs en contexte relevaient d’une intention pédagogique en lien avec la stratégie du sens. Les analyses ont également montré que les locuteurs natifs et non-natifs, par le biais des (dis)fluences et de plusieurs ressources sémiotiques ont su co-construire le sens en tandem. La co-construction du sens se fait donc à travers le corps, les gestes, le regard et la parole

Communication and cooperation in wild chimpanzees (Pan troglodytes schweinfurthii)

Comparisons between animal and human communication are invaluable for understanding the evolution of language and, as our closest living relatives, chimpanzees can provide particularly important insights into this. Here I examined unimodal (UM) and multimodal (MM) communication in wild chimpanzees, in an integrated manner. I found that although MM signals were produced infrequently, and at lower rates compared to captivity, the vast majority of adult and sub-adult individuals did freely combine vocal, gestural and facial signals to produce MM signals. A total of 48 free MM signal combinations were observed, incorporating a wide range of different signal types from different modalities. Focusing on one specific vocalgestural MM signal, I found that MM combinations and UM gestural signals were more successful in eliciting responses compared to UM vocal signals. To investigate signal function more systematically I focused on one common grooming gesture, the big loud scratch (BLS), and tested several competing functional hypotheses. I found little evidence to support the hypotheses that this signal operates as an attention-getter, or as a referential signal. In contrast, my data suggested that in this community of chimpanzees, the BLS facilitates the negotiation of roles within a grooming bout. Groomers used BLSs to request grooming during grooming bouts and the BLS seemed to show willingness to groom, both to initiate a grooming bout, and potentially during a bout when groomees intend to start grooming their partner. Finally, to explore the theoretical link between the evolution of communication and cooperation I tested whether, on an individual level, there was a positive relationship between communicativeness and cooperativeness in chimpanzees. In contrast to theoretical predictions, I found a significantly negative relationship between these two domains, indicating that more communicative chimpanzees were less cooperative. I explore several potential explanations for this highly unexpected finding

Bodily mimesisas “the missing link” in human cognitive evolution

It is fairly uncontroversial that there is a large gap between the communicative and cognitive systems of non-human animals and those of human beings. There is much less consensus, however, on what the nature of this gap is, and even less on how it was bridged in evolution

An evaluation of a communicative intervention programme for hearing caregivers and their deaf children in a developing context

Includes bibliographical references (p. 398-428).This study set out to evaluate the effectiveness of an intervention programme, in a developing context within an ecological framework that involves parents througp parent training adopting a parent-child interaction approach to intervention. This short-term, group intervention programme was developed specifically for hearing primary caregivers of profo,undly deaf signing children from low socio-economic backgrounds. A naturalistic approach to .intervention that followed a conversational model was applied. The programme was deSigned to enhance dyadic communicative interaction and to empower the caregivers as effective change agents, primarily through the programme components of communication skills and sign language, information and knowledge, educational advocacy and support. A broader perspective was adopted through addressing socio-economic factors and adapting to cultural differences. A team of people was involved in programme development, implementation and evaluation and included professionals from a range of disciplines, Deaf signing adults, and an English-isiXhosa interpreter. A shortterm longitudinal, before-and-after group design was used in programme implementation and evaluation. This design encompassed constructivist-interpretive and positivist/post-positivist research paradigms. The group of sixteen caregiver-child dyads reported on in this study was its own control, constituting a quasi-experimental design. An estimate of the effect of the programme was determined by analysing pre-post-intervention comparisons of videotaped dyadic interactions during play and storytelling, and the post-intervention evaluation questionnaire and focus group interview data. A coding system was compiled for the investigation of communication and sign language parameters that were not part of an occurrence of communication breakdown. Investigation of breakdown and repair as well as aspects of caregiver sign production constituted a separate analysis. Both quantitative and qualitative analyses were Icarried out in the evaluation process and certain procedures were adopted to enhance the reliability and validity of the findings. It is believed that the aims I of this study and the specific goals/objectives of the programme were met. The analyses carried out indicated positive change and that this change was most likely due to the programme. In particular, it is believed that the style of caregiver-child interaction changed over the course of the intervention and so the programme was effective to the degree that it improved caregiver-child communicative interaction. More so, it is believed that the programme resulted in empowerment of the caregivers. Numerous aspects are believed to contribute towards the uniqueness of this study and of the communicative intervention programme. The numerous clinical and theoretical implications and implications for future research arising from this study are discussed in detail

Triadic interaction among young children and their mothers and fathers

Recent research into the interaction which occurs between mother, father and child has tended to view the interaction as two dyadic interactions, one occurring between the mother and the child and the other occurring between the father and the child (Barton and Tomesello, 1994). None of these studies have viewed the triadic interaction which exists when mother, father and child are present as anything other than a series of dyadic interactions. In this study, three groups of children aged 12 months, 24 months and 36 months were videotaped for 15 minutes with their fathers and mothers while they ate lunch. Three additional children and their parents were followed in a longitudinal study. The interactions were coded from the videotapes. Included in the coding were turns that were monadic, dyadic, double dyadic and triadic and thus incorporated interactions which are exclusive to polyadic interaction. It was found necessary to include non-verbal behaviors to assist in the definition of the turn and its direction within the interaction. The work examines the way infants and young children gain access to the triad and how the interactive behavior changes as the child's communicative competence develops. The changes in parental interaction styles are also analyzed as a function of the age of the child