The bouba/kiki effect is robust across cultures and writing systems

The bouba/kiki effect-the association of the nonce word bouba with a round shape and kiki with a spiky shape-is a type of correspondence between speech sounds and visual properties with potentially deep implications for the evolution of spoken language. However, there is debate over the robustness of the effect across cultures and the influence of orthography. We report an online experiment that tested the bouba/kiki effect across speakers of 25 languages representing nine language families and 10 writing systems. Overall, we found strong evidence for the effect across languages, with bouba eliciting more congruent responses than kiki. Participants who spoke languages with Roman scripts were only marginally more likely to show the effect, and analysis of the orthographic shape of the words in different scripts showed that the effect was no stronger for scripts that use rounder forms for bouba and spikier forms for kiki. These results confirm that the bouba/kiki phenomenon is rooted in crossmodal correspondence between aspects of the voice and visual shape, largely independent of orthography. They provide the strongest demonstration to date that the bouba/kiki effect is robust across cultures and writing systems. This article is part of the theme issue 'Voice modulation: from origin and mechanism to social impact (Part II)'.Peer reviewe

Novel vocalizations are understood across cultures

Linguistic communication requires speakers to mutually agree on the meanings of words, but how does such a system first get off the ground? One solution is to rely on iconic gestures: visual signs whose form directly resembles or otherwise cues their meaning without any previously established correspondence. However, it is debated whether vocalizations could have played a similar role. We report the first extensive cross-cultural study investigating whether people from diverse linguistic backgrounds can understand novel vocalizations for a range of meanings. In two comprehension experiments, we tested whether vocalizations produced by English speakers could be understood by listeners from 28 languages from 12 language families. Listeners from each language were more accurate than chance at guessing the intended referent of the vocalizations for each of the meanings tested. Our findings challenge the often-cited idea that vocalizations have limited potential for iconic representation, demonstrating that in the absence of words people can use vocalizations to communicate a variety of meanings.Peer reviewe

The relation between cognitive abilities and the distribution of semantic features across speech and gesture in 4-year-olds

Abramov O, Kern F, Koutalidis S, Mertens U, Rohlfing K, Kopp S. The relation between cognitive abilities and the distribution of semantic features across speech and gesture in 4-year-olds. Cognitive Science. 2021;45(7)

Multimodal marking of focus in German preschoolers’ utterances with the focus-particles also, only, and even/still

Koutalidis S, Mertens U, Abramov O, Kopp S, Rohlfing K, Kern F. Multimodal marking of focus in German preschoolers’ utterances with the focus-particles also, only, and even/still. In: GESPIN 2020. Accepted

Development and function of explicit and diffuse iconic gestures in narratives of preschool children

Németh A, Abramov O, Boden U, et al. Development and function of explicit and diffuse iconic gestures in narratives of preschool children. In: BCCCD 2022. 2022.Research suggests that children and adults’ speech-gesture production correlates with communicative genres, cognitive developmental stages and individual differences (Alamillo, Colletta & Guidetti, 2013; Capirci et al., 2007; Sekine et al., 2015). While studies with adults propose that iconic gestures may be evolving in an ongoing interaction, with the co-participant co-constructing their meaning (Goodwin, 2003; Streeck, 2009), little is known about how children make use of gestural reference and how iconic gestures correlate with the interactive processes in activities like storytelling. In the EcoGest project, we video-recorded 46 preschool children aged four years whilst producing different communicative genres with an interlocutor (e.g. explanation, narrative, illustration). The results showed evidence for several important relations – e.g. communicative genre and iconic gestures (Rohlfing et al.), gesture viewpoint and spatial competence (Mertens et al., 2019), cognitive abilities and semantic features (Abramov et al., 2021), the influence of input modality on narrative elaboration (Carshaw et al., 2020). The current study’s aim was an in-depth analysis of the global semantic structure of the children’s oral narration and their connection with the use and (pragmatic) function of iconic gestures. This study compares explicit iconic gestures in contrast to less elaborate/diffuse constructed ones, and how this correlates with discourse competence and possible developmental changes (Mertens & Rohlfing, 2021). First results are presented and will be discussed

Anwesenheit und Partizipation: Zur Rolle von Körperlichkeit und Wahrnehmung in digitalen Lehr-Lern-Settings

Kern F, Koutalidis S, Leßmann A-C, et al. Anwesenheit und Partizipation: Zur Rolle von Körperlichkeit und Wahrnehmung in digitalen Lehr-Lern-Settings. Presented at the GAL 2021, Würzburg.Als Hochschullehrende in Zeiten der COVID-19-Pandemie befinden wir uns in der Situation, überwiegend videovermittelte Lehre durchzuführen. In digitalen Kommunikations- bzw. Interaktionssituationen sind Konzepte wie Anwesenheit und Partizipation auf ungewohnte Weise mit Fragen der Körperlichkeit und reziproker Wahrnehmung verknüpft: So unterliegen Anwesenheit und Verfügbarkeit dort anderen Voraussetzungen, da sie erst durch technische Hilfsmittel gemeinsam hergestellt werden müssen (Hausendorf 2020: 200); außerdem sind in ihnen sowohl die körperlichen Konfigurationen für die Interagierenden bereits vorstrukturiert (Auer 2017:12) als auch die räumliche Reziprozität stark eingeschränkt (Meier 2017: 42). Die gegenseitigen Wahrnehmungsmöglichkeiten der Interagierenden in anderen „Präsenzregistern“ (Schmidt/Marx 2017: 29) als der physischen Kopräsenz wird also durch deren technische Voraussetzungen fundamental beeinflusst (Friebel et al. 2003, Hausendorf 2020). Videovermittelte Lehre stellt somit eine spezifische Form der Medienkommunikation dar, in der die normative Erwartung hinsichtlich der Verbindung des anwesenden leiblichen Körpers mit der Möglichkeit gegenseitiger Wahrnehmung in eine fundamentale „Krise“ gestürzt wird (Oevermann 2016). Dies hat zur Konsequenz, dass die Teilnehmenden in solchen Interaktionssituationen zu „Fremden in der eigenen Kultur“ werden (Schütz 2011). In Lehr-Lernsituationen spielt darüber hinaus die physische Anwesenheit aller Interaktionsbeteiligten für die reziproke Wahrnehmung und damit für die Sicherung der gemeinsamen Aufmerksamkeit eine gewichtige Rolle. Diese ist Voraussetzung für die Vermittlung von Wissen, das ein normativ gesetztes Ziel in institutionellen Bildungssettings ist (Hausendorf 2008; Becker-Mrotzek 2009; Paul 2010; Kern 2021). Ausgehend von diesen Überlegungen und auf Basis u.a. der Arbeiten von Goffman (1963) und Goodwin (1996), die zeigen, dass Körper und Raum eine zentrale Rolle bei der situativen Wirklichkeitsherstellung, Aufmerksamkeitssteuerung und Gesprächsprogression spielen, möchten wir uns in unserem Vortrag den Zusammenhängen zwischen digital vermittelter Körperlichkeit und Möglichkeiten reziproker Wahrnehmung in der videovermittelten Lehre widmen und besonders die krisenhafte Momente dieser Interaktionsform aus der Perspektive von Lehrenden in den Blick nehmen. Die empirische Grundlage unseres Beitrags bilden autoethnografische Notizen (Ellys et al. 2010), in denen wir zwei Semester lang die eigene digitale Lehre reflexiv eingefangen haben und die wir qualitativ-rekonstruktiv mittels kollaborativer Annotationen auswerten. Im Rahmen eines ethnomethodologischen Interaktionsverständnisses sind für uns dabei die folgenden beiden Punkte zentral: (1) die situative Konstitution und Zuschreibung von (Nicht-)Teilnahme und deren affektive Relevanz für die Lehrenden sowie (2) mögliche daraus resultierende Konsequenzen für die Wissensvermittlung in videovermittelter Hochschullehre

Preschool children’s discourse competence in different genres and how it relates to iconic gestures

Kern F, Boden U, Németh A, et al. Preschool children’s discourse competence in different genres and how it relates to iconic gestures. Journal of Child Language. 2024:1-25.**Abstract** Based on the linguistic analysis of game explanations and retellings, the paper’s goal is to investigate the relation of preschool children’s situated discourse competence and iconic gestures in different communicative genres, focussing on reinforcing and supplementary speech-gesture-combinations. To this end, a method was developed to evaluate discourse competence as a context-sensitive and interactively embedded phenomenon. The so-called GLOBE-model was adapted to assess discourse competence in relation to interactive scaffolding. The findings show clear links between the children’s competence and their parents’ scaffolding. We suggest this to be evidence of a fine-tuned interactive support system. The results also indicate strong relations between higher discourse competence and increased frequency of iconic gestures. This applies in particular to reinforcing gestures. The results are interpreted as a confirmation that the speech-gesture system undergoes systematic changes during early childhood, and that gesturing becomes more iconic – and thus more communicative – when discourse competence is growing

„[…] eine Situation, die mich aufatmen lässt, weil sie mir aus Präsenz-Lehre und Sprechstunden so vertraut ist.“: Autoethnografische Notizen zur Krisenhaftigkeit von digitaler Lehre

Durch die Corona-Pandemie entstand im Bereich der Hochschullehre die Notwendigkeit, sehr kurzfristig auf rein digitale Lehrformate umzustellen. Im folgenden Beitrag wird die affektiv aufgeladene Perspektive der Lehrenden in den ersten Online-Semestern auf Basis autoethnografischer Notizen in den Fokus gestellt. Anhand repräsentativ ausgewählter Zitate werden als krisenhaft erlebte Momente der videovermittelten Online-Lehre aufgegriffen und auf der Grundlage der Goffman’schen Interaktionstheorie reflektiert. Als zentrale Aspekte haben sich hierbei die durch technische Affordanzen veränderten Möglichkeiten von Selbst- und Fremdwahrnehmung sowie die Besonderheit damit zusammenhängender Ko-Präsenz herausgestellt. Die dadurch ausgelösten Reaktionen auf die wahrnehmungsbezogenen Veränderungen, wie sie von uns dokumentiert wurden, fassen wir als Krise unserer hochschulischen Lehrprofessionalität

The bouba/kiki effect is robust across cultures and writing systems

The bouba/kiki effect-the association of the nonce word bouba with a round shape and kiki with a spiky shape-is a type of correspondence between speech sounds and visual properties with potentially deep implications for the evolution of spoken language. However, there is debate over the robustness of the effect across cultures and the influence of orthography. We report an online experiment that tested the bouba/kiki effect across speakers of 25 languages representing nine language families and 10 writing systems. Overall, we found strong evidence for the effect across languages, with bouba eliciting more congruent responses than kiki. Participants who spoke languages with Roman scripts were only marginally more likely to show the effect, and analysis of the orthographic shape of the words in different scripts showed that the effect was no stronger for scripts that use rounder forms for bouba and spikier forms for kiki. These results confirm that the bouba/kiki phenomenon is rooted in crossmodal correspondence between aspects of the voice and visual shape, largely independent of orthography. They provide the strongest demonstration to date that the bouba/kiki effect is robust across cultures and writing systems. This article is part of the theme issue 'Voice modulation: from origin and mechanism to social impact (Part II)'.Peer reviewe