The Role of Prosodic Stress and Speech Perturbation on the Temporal Synchronization of Speech and Deictic Gestures

Gestures and speech converge during spoken language production. Although the temporal relationship of gestures and speech is thought to depend upon factors such as prosodic stress and word onset, the effects of controlled alterations in the speech signal upon the degree of synchrony between manual gestures and speech is uncertain. Thus, the precise nature of the interactive mechanism of speech-gesture production, or lack thereof, is not agreed upon or even frequently postulated. In Experiment 1, syllable position and contrastive stress were manipulated during sentence production to investigate the synchronization of speech and pointing gestures. An additional aim of Experiment 2 was to investigate the temporal relationship of speech and pointing gestures when speech is perturbed with delayed auditory feedback (DAF). Comparisons between the time of gesture apex and vowel midpoint (GA-VM) for each of the conditions were made for both Experiment 1 and Experiment 2. Additional comparisons of the interval between gesture launch midpoint to vowel midpoint (GLM-VM), total gesture time, gesture launch time, and gesture return time were made for Experiment 2. The results for the first experiment indicated that gestures were more synchronized with first position syllables and neutral syllables as measured GA-VM intervals. The first position syllable effect was also found in the second experiment. However, the results from Experiment 2 supported an effect of contrastive pitch effect. GLM-VM was shorter for first position targets and accented syllables. In addition, gesture launch times and total gesture times were longer for contrastive pitch accented syllables, especially when in the second position of words. Contrary to the predictions, significantly longer GA-VM and GLM-VM intervals were observed when individuals responded under provided delayed auditory feedback (DAF). Vowel and sentence durations increased both with (DAF) and when a contrastive accented syllable was produced. Vowels were longest for accented, second position syllables. These findings provide evidence that the timing of gesture is adjusted based upon manipulations of the speech stream. A potential mechanism of entrainment of the speech and gesture system is offered as an explanation for the observed effects

Structure in mind, structure in vocal tract

We update our understanding of the view that grammar regulates intersegmental temporal coordination and present an extension of that view to a new domain: we argue that inter-segmental coordination is basic to prosody. It is the glue joining segments together differently in different languages (here, illustrated with examples from Arabic and Spanish) and orchestrates their unfolding in ways corresponding to constructs posited in theoretical analysis. The correspondence is one between organization in mind-brain and organization in vocal tract. Moreover, for both mind-brain and vocal tract, the organization is phonological and abstract. It is so because it holds over segments of various identities: in Arabic, the first segment in /bka/ is not prosodified as part of the same unit as /ka/ and this holds true also for /blat/, /klat/ and so on, regardless of sonority. In contrast, in English or Spanish, a different organization holds. Crucially, uniformity in organization (same organization presiding over sequences with varying segmental makeup) does not imply uniqueness of phonetic exponents: prosodic organization is pleiotropic, simultaneously expressed by more than one phonetic exponent. Finally, two properties of coordination relations are underscored: lawful flexibility and abstractness. The first is revealed in the degrees of freedom with which movements corresponding to any given effector begin; the second in invariances of task-relevant kinematic signatures regardless of the effectors implicated in any given segmental sequence. Once again, abstract phonological structure is mirrored in vocal tracts via coordination relations holding across physiology and the particular modes of its operation

Theories of the development of human communication

This article considers evidence for innate motives for sharing rituals and symbols from animal semiotics, developmental neurobiology, physiology of prospective motor control, affective neuroscience and infant communication. Mastery of speech and language depends on polyrhythmic movements in narrative activities of many forms. Infants display intentional activity with feeling and sensitivity for the contingent reactions of other persons. Talk shares many of its generative powers with music and the other ‘imitative arts’. Its special adaptations concern the capacity to produce and learn an endless range of sounds to label discrete learned understandings, topics and projects of intended movement

How hand movements and speech tip the balance in cognitive development:A story about children, complexity, coordination, and affordances

When someone asks us to explain something, such as how a lever or balance scale works, we spontaneously move our hands and gesture. This is also true for children. Furthermore, children use their hands to discover things and to find out how something works. Previous research has shown that children’s hand movements hereby are ahead of speech, and play a leading role in cognitive development. Explanations for this assumed that cognitive understanding takes place in one’s head, and that hand movements and speech (only) reflect this. However, cognitive understanding arises and consists of the constant interplay between (hand) movements and speech, and someone’s physical and social environment. The physical environment includes task properties, for example, and the social environment includes other people. Therefore, I focused on this constant interplay between hand movements, speech, and the environment, to better understand hand movements’ role in cognitive development. Using science and technology tasks, we found that children’s speech affects hand movements more than the other way around. During difficult tasks the coupling between hand movements and speech becomes even stronger than in easy tasks. Interim changes in task properties differently affect hand movements and speech. Collaborating children coordinate their hand movements and speech, and even their head movements together. The coupling between hand movements and speech is related to age and (school) performance. It is important that teachers attend to children’s hand movements and speech, and arrange their lessons and classrooms such that there is room for both

Dynamische Modellierung von Artikulation und prosodischer Struktur: Eine Einführung in die Artikulatorische Phonologie

Die Artikulatorische Phonologie (Catherine Browman und Louis Goldstein) wurde als Alternative zu segmentalen Ansätzen entwickelt. So nimmt die segmentale Phonologie an, dass nur distinkte Information gespeichert wird, die dann mit Hilfe von Regeln und Rechenprinzipien von der kategorialen Welt der Symbole in die kontinuierliche Welt der physikalischen Repräsentation übersetzt wird. Die Artikulatorische Phonologie hingegen nimmt an, dass auch kontinuierliche Information wie beispielsweise sprecher- oder situationsbedingte Variationen als Teil des Sprachsystems gespeichert werden. Variabilität wird hier als Teil des linguistischen Systems betrachtet, das konkret Aufschluss über zugrundeliegende Strukturen gibt. Im Modell der Artikulatorischen Phonologie wird Sprache als dynamisches System betrachtet und somit phonetische und phonologische Information integriert. Die Grundeinheiten der Artikulatorischen Phonologie sind nicht Segmente oder Merkmale, sondern artikulatorische Gesten. Diese legen linguistische relevante Konstriktionen wie beispielsweise einen Vollverschluss der Zungenspitze an den Alveolen sowie eine glottale Öffnungsgeste für Stimmlosigkeit bei der Produktion von /t/. Die Einbeziehung der zeitlichen Domäne ermöglicht im Gegensatz zu segmentalen Ansätzen die Abbildung natürlicher Variabilität. So kann beispielsweise im Falle von /t/ der Grad der Aspiration direkt aus der zeitlichen Anordnung der glottalen und oralen Geste abgeleitet werden: Ist die glottale Geste länger als die Zungenspitzengeste aktiviert, so entsteht auf akustischer Oberfläche Aspiration. Artikulatorische Gesten enkodieren darüber hinaus den kontextuellen Einfluss (Koartikulation in Form von Synergien zwischen Organgruppen) und können direkt den Einfluss höhere linguistischer Strukturen wie der prosodischen Hierarchie abbilden. Das vorliegende Buch stellt eine Einführung in die Artikulatorische Phonologie dar. Es richtet sich an Leserinnen und Leser, die phonetische Grundkenntnisse besitzen und sich mit der Artikulatorischen Phonologie beschäftigen. Darüber hinaus werden neben einer Einführung in das Model auch neuere Arbeiten und aktuelle Weiterentwicklungen aufgezeigt, insbesondere die Implementierung prosodischer Aspekte in die Artikulatorische Phonologie. Somit eignet sich das Buch auch für Leserinnen und Leser, die bereits mit der Artikulatorischen Phonologie in Kontakt gekommen sind, aber ihr Wissen vertiefen möchten. Zur Veranschaulichung werden Beispiele aus verschiedenen Sprachen gegeben, darunter Deutsch, Katalanisch, Italienisch, Polnisch, Mandarin und Tashlhiyt Berber.   This book is an introduction to Articulatory Phonology with a special focus on the interplay of articulation and prosody. Articulatory Phonology (Catherine Browman and Louis Goldstein) is a dynamic approach that fully integrates phonetics and phonology. It assumes that the basic units of speech production are dynamically defined articulatory gestures, which can be modelled as a constellation of invariant functional units of vocal tract constriction actions. Articulatory gestures do not directly correspond to traditional segments or features. Moreover, they are movements which extend over time and can temporally overlap with one another. Within this model, the continuous variation of a self-organised speech system can be modelled, constantly mediating between the demands of the physical control system and linguistic structure. The present book gives an introduction in German to the basic concepts of articulatory phonology for a German readership (e.g. task dynamics, definition of articulatory gestures, gestural scores, coupling graphs and parameter manipulation in mass-spring models). Furthermore, it discusses the implementation of prosodic structure in Articulatory Phonology (e.g. self-organisation of prosodic constituents, head and edge marking in the prosodic hierarchy and implementation of prosodic gestures and tone gestures in Articulatory Phonology). In every chapter, examples from different languages are given, such as German, Catalan, Italian, Polish, Mandarin und Tashlhiyt Berber. The book is written in the spirit that dynamic approaches offer a crucial alternative to the traditional symbol-based theories. The natural process of human communication constantly triggers and constrains variation in speech, often reaching deeply into human physiology, cognition and grammar. This variation is more than just noise in experimental data: It is a window to linguistic structure, which can be best modelled in terms of a dynamical system. Der Preis dieses Buches in Deutschland ist auf 40 EUR festgelegt. As per legal requirement, we state that this book is available in Germany for 40 EUR

Dynamische Modellierung von Artikulation und prosodischer Struktur: Eine Einführung in die Artikulatorische Phonologie

Die Artikulatorische Phonologie (Catherine Browman und Louis Goldstein) wurde als Alternative zu segmentalen Ansätzen entwickelt. So nimmt die segmentale Phonologie an, dass nur distinkte Information gespeichert wird, die dann mit Hilfe von Regeln und Rechenprinzipien von der kategorialen Welt der Symbole in die kontinuierliche Welt der physikalischen Repräsentation übersetzt wird. Die Artikulatorische Phonologie hingegen nimmt an, dass auch kontinuierliche Information wie beispielsweise sprecher- oder situationsbedingte Variationen als Teil des Sprachsystems gespeichert werden. Variabilität wird hier als Teil des linguistischen Systems betrachtet, das konkret Aufschluss über zugrundeliegende Strukturen gibt. Im Modell der Artikulatorischen Phonologie wird Sprache als dynamisches System betrachtet und somit phonetische und phonologische Information integriert. Die Grundeinheiten der Artikulatorischen Phonologie sind nicht Segmente oder Merkmale, sondern artikulatorische Gesten. Diese legen linguistische relevante Konstriktionen wie beispielsweise einen Vollverschluss der Zungenspitze an den Alveolen sowie eine glottale Öffnungsgeste für Stimmlosigkeit bei der Produktion von /t/. Die Einbeziehung der zeitlichen Domäne ermöglicht im Gegensatz zu segmentalen Ansätzen die Abbildung natürlicher Variabilität. So kann beispielsweise im Falle von /t/ der Grad der Aspiration direkt aus der zeitlichen Anordnung der glottalen und oralen Geste abgeleitet werden: Ist die glottale Geste länger als die Zungenspitzengeste aktiviert, so entsteht auf akustischer Oberfläche Aspiration. Artikulatorische Gesten enkodieren darüber hinaus den kontextuellen Einfluss (Koartikulation in Form von Synergien zwischen Organgruppen) und können direkt den Einfluss höhere linguistischer Strukturen wie der prosodischen Hierarchie abbilden. Das vorliegende Buch stellt eine Einführung in die Artikulatorische Phonologie dar. Es richtet sich an Leserinnen und Leser, die phonetische Grundkenntnisse besitzen und sich mit der Artikulatorischen Phonologie beschäftigen. Darüber hinaus werden neben einer Einführung in das Model auch neuere Arbeiten und aktuelle Weiterentwicklungen aufgezeigt, insbesondere die Implementierung prosodischer Aspekte in die Artikulatorische Phonologie. Somit eignet sich das Buch auch für Leserinnen und Leser, die bereits mit der Artikulatorischen Phonologie in Kontakt gekommen sind, aber ihr Wissen vertiefen möchten. Zur Veranschaulichung werden Beispiele aus verschiedenen Sprachen gegeben, darunter Deutsch, Katalanisch, Italienisch, Polnisch, Mandarin und Tashlhiyt Berber.   This book is an introduction to Articulatory Phonology with a special focus on the interplay of articulation and prosody. Articulatory Phonology (Catherine Browman and Louis Goldstein) is a dynamic approach that fully integrates phonetics and phonology. It assumes that the basic units of speech production are dynamically defined articulatory gestures, which can be modelled as a constellation of invariant functional units of vocal tract constriction actions. Articulatory gestures do not directly correspond to traditional segments or features. Moreover, they are movements which extend over time and can temporally overlap with one another. Within this model, the continuous variation of a self-organised speech system can be modelled, constantly mediating between the demands of the physical control system and linguistic structure. The present book gives an introduction in German to the basic concepts of articulatory phonology for a German readership (e.g. task dynamics, definition of articulatory gestures, gestural scores, coupling graphs and parameter manipulation in mass-spring models). Furthermore, it discusses the implementation of prosodic structure in Articulatory Phonology (e.g. self-organisation of prosodic constituents, head and edge marking in the prosodic hierarchy and implementation of prosodic gestures and tone gestures in Articulatory Phonology). In every chapter, examples from different languages are given, such as German, Catalan, Italian, Polish, Mandarin und Tashlhiyt Berber. The book is written in the spirit that dynamic approaches offer a crucial alternative to the traditional symbol-based theories. The natural process of human communication constantly triggers and constrains variation in speech, often reaching deeply into human physiology, cognition and grammar. This variation is more than just noise in experimental data: It is a window to linguistic structure, which can be best modelled in terms of a dynamical system. Der Preis dieses Buches in Deutschland ist auf 40 EUR festgelegt. As per legal requirement, we state that this book is available in Germany for 40 EUR

Multi‐speaker experimental designs: Methodological considerations

Research on language use has become increasingly interested in the multimodal and interactional aspects of language – theoretical models of dialogue, such as the Communication Accommodation Theory and the Interactive Alignment Model are examples of this. In addition, researchers have started to give more consideration to the relationship between physiological processes and language use. This article aims to contribute to the advancement in studies of physiological and/or multimodal language use in naturalistic settings. It does so by providing methodological recommendations for such multi-speaker experimental designs. It covers the topics of (a) speaker preparation and logistics, (b) experimental tasks and (c) data synchronisation and post-processing. The types of data that will be considered in further detail include audio and video, electroencephalography, respiratory data and electromagnetic articulography. This overview with recommendations is based on the answers to a questionnaire that was sent amongst the members of the Horizon 2020 research network ‘Conversational Brains’, several researchers in the field and interviews with three additional experts.H2020 Marie Skłodowska‐Curie Actions http://dx.doi.org/10.13039/100010665Peer Reviewe

Dynamische Modellierung von Artikulation und prosodischer Struktur: Eine Einführung in die Artikulatorische Phonologie

Die Artikulatorische Phonologie (Catherine Browman und Louis Goldstein) wurde als Alternative zu segmentalen Ansätzen entwickelt. So nimmt die segmentale Phonologie an, dass nur distinkte Information gespeichert wird, die dann mit Hilfe von Regeln und Rechenprinzipien von der kategorialen Welt der Symbole in die kontinuierliche Welt der physikalischen Repräsentation übersetzt wird. Die Artikulatorische Phonologie hingegen nimmt an, dass auch kontinuierliche Information wie beispielsweise sprecher- oder situationsbedingte Variationen als Teil des Sprachsystems gespeichert werden. Variabilität wird hier als Teil des linguistischen Systems betrachtet, das konkret Aufschluss über zugrundeliegende Strukturen gibt. Im Modell der Artikulatorischen Phonologie wird Sprache als dynamisches System betrachtet und somit phonetische und phonologische Information integriert. Die Grundeinheiten der Artikulatorischen Phonologie sind nicht Segmente oder Merkmale, sondern artikulatorische Gesten. Diese legen linguistische relevante Konstriktionen wie beispielsweise einen Vollverschluss der Zungenspitze an den Alveolen sowie eine glottale Öffnungsgeste für Stimmlosigkeit bei der Produktion von /t/. Die Einbeziehung der zeitlichen Domäne ermöglicht im Gegensatz zu segmentalen Ansätzen die Abbildung natürlicher Variabilität. So kann beispielsweise im Falle von /t/ der Grad der Aspiration direkt aus der zeitlichen Anordnung der glottalen und oralen Geste abgeleitet werden: Ist die glottale Geste länger als die Zungenspitzengeste aktiviert, so entsteht auf akustischer Oberfläche Aspiration. Artikulatorische Gesten enkodieren darüber hinaus den kontextuellen Einfluss (Koartikulation in Form von Synergien zwischen Organgruppen) und können direkt den Einfluss höhere linguistischer Strukturen wie der prosodischen Hierarchie abbilden. Das vorliegende Buch stellt eine Einführung in die Artikulatorische Phonologie dar. Es richtet sich an Leserinnen und Leser, die phonetische Grundkenntnisse besitzen und sich mit der Artikulatorischen Phonologie beschäftigen. Darüber hinaus werden neben einer Einführung in das Model auch neuere Arbeiten und aktuelle Weiterentwicklungen aufgezeigt, insbesondere die Implementierung prosodischer Aspekte in die Artikulatorische Phonologie. Somit eignet sich das Buch auch für Leserinnen und Leser, die bereits mit der Artikulatorischen Phonologie in Kontakt gekommen sind, aber ihr Wissen vertiefen möchten. Zur Veranschaulichung werden Beispiele aus verschiedenen Sprachen gegeben, darunter Deutsch, Katalanisch, Italienisch, Polnisch, Mandarin und Tashlhiyt Berber.   This book is an introduction to Articulatory Phonology with a special focus on the interplay of articulation and prosody. Articulatory Phonology (Catherine Browman and Louis Goldstein) is a dynamic approach that fully integrates phonetics and phonology. It assumes that the basic units of speech production are dynamically defined articulatory gestures, which can be modelled as a constellation of invariant functional units of vocal tract constriction actions. Articulatory gestures do not directly correspond to traditional segments or features. Moreover, they are movements which extend over time and can temporally overlap with one another. Within this model, the continuous variation of a self-organised speech system can be modelled, constantly mediating between the demands of the physical control system and linguistic structure. The present book gives an introduction in German to the basic concepts of articulatory phonology for a German readership (e.g. task dynamics, definition of articulatory gestures, gestural scores, coupling graphs and parameter manipulation in mass-spring models). Furthermore, it discusses the implementation of prosodic structure in Articulatory Phonology (e.g. self-organisation of prosodic constituents, head and edge marking in the prosodic hierarchy and implementation of prosodic gestures and tone gestures in Articulatory Phonology). In every chapter, examples from different languages are given, such as German, Catalan, Italian, Polish, Mandarin und Tashlhiyt Berber. The book is written in the spirit that dynamic approaches offer a crucial alternative to the traditional symbol-based theories. The natural process of human communication constantly triggers and constrains variation in speech, often reaching deeply into human physiology, cognition and grammar. This variation is more than just noise in experimental data: It is a window to linguistic structure, which can be best modelled in terms of a dynamical system. Der Preis dieses Buches in Deutschland ist auf 40 EUR festgelegt. As per legal requirement, we state that this book is available in Germany for 40 EUR

Dynamische Modellierung von Artikulation und prosodischer Struktur: Eine Einführung in die Artikulatorische Phonologie

Die Artikulatorische Phonologie (Catherine Browman und Louis Goldstein) wurde als Alternative zu segmentalen Ansätzen entwickelt. So nimmt die segmentale Phonologie an, dass nur distinkte Information gespeichert wird, die dann mit Hilfe von Regeln und Rechenprinzipien von der kategorialen Welt der Symbole in die kontinuierliche Welt der physikalischen Repräsentation übersetzt wird. Die Artikulatorische Phonologie hingegen nimmt an, dass auch kontinuierliche Information wie beispielsweise sprecher- oder situationsbedingte Variationen als Teil des Sprachsystems gespeichert werden. Variabilität wird hier als Teil des linguistischen Systems betrachtet, das konkret Aufschluss über zugrundeliegende Strukturen gibt. Im Modell der Artikulatorischen Phonologie wird Sprache als dynamisches System betrachtet und somit phonetische und phonologische Information integriert. Die Grundeinheiten der Artikulatorischen Phonologie sind nicht Segmente oder Merkmale, sondern artikulatorische Gesten. Diese legen linguistische relevante Konstriktionen wie beispielsweise einen Vollverschluss der Zungenspitze an den Alveolen sowie eine glottale Öffnungsgeste für Stimmlosigkeit bei der Produktion von /t/. Die Einbeziehung der zeitlichen Domäne ermöglicht im Gegensatz zu segmentalen Ansätzen die Abbildung natürlicher Variabilität. So kann beispielsweise im Falle von /t/ der Grad der Aspiration direkt aus der zeitlichen Anordnung der glottalen und oralen Geste abgeleitet werden: Ist die glottale Geste länger als die Zungenspitzengeste aktiviert, so entsteht auf akustischer Oberfläche Aspiration. Artikulatorische Gesten enkodieren darüber hinaus den kontextuellen Einfluss (Koartikulation in Form von Synergien zwischen Organgruppen) und können direkt den Einfluss höhere linguistischer Strukturen wie der prosodischen Hierarchie abbilden. Das vorliegende Buch stellt eine Einführung in die Artikulatorische Phonologie dar. Es richtet sich an Leserinnen und Leser, die phonetische Grundkenntnisse besitzen und sich mit der Artikulatorischen Phonologie beschäftigen. Darüber hinaus werden neben einer Einführung in das Model auch neuere Arbeiten und aktuelle Weiterentwicklungen aufgezeigt, insbesondere die Implementierung prosodischer Aspekte in die Artikulatorische Phonologie. Somit eignet sich das Buch auch für Leserinnen und Leser, die bereits mit der Artikulatorischen Phonologie in Kontakt gekommen sind, aber ihr Wissen vertiefen möchten. Zur Veranschaulichung werden Beispiele aus verschiedenen Sprachen gegeben, darunter Deutsch, Katalanisch, Italienisch, Polnisch, Mandarin und Tashlhiyt Berber.   This book is an introduction to Articulatory Phonology with a special focus on the interplay of articulation and prosody. Articulatory Phonology (Catherine Browman and Louis Goldstein) is a dynamic approach that fully integrates phonetics and phonology. It assumes that the basic units of speech production are dynamically defined articulatory gestures, which can be modelled as a constellation of invariant functional units of vocal tract constriction actions. Articulatory gestures do not directly correspond to traditional segments or features. Moreover, they are movements which extend over time and can temporally overlap with one another. Within this model, the continuous variation of a self-organised speech system can be modelled, constantly mediating between the demands of the physical control system and linguistic structure. The present book gives an introduction in German to the basic concepts of articulatory phonology for a German readership (e.g. task dynamics, definition of articulatory gestures, gestural scores, coupling graphs and parameter manipulation in mass-spring models). Furthermore, it discusses the implementation of prosodic structure in Articulatory Phonology (e.g. self-organisation of prosodic constituents, head and edge marking in the prosodic hierarchy and implementation of prosodic gestures and tone gestures in Articulatory Phonology). In every chapter, examples from different languages are given, such as German, Catalan, Italian, Polish, Mandarin und Tashlhiyt Berber. The book is written in the spirit that dynamic approaches offer a crucial alternative to the traditional symbol-based theories. The natural process of human communication constantly triggers and constrains variation in speech, often reaching deeply into human physiology, cognition and grammar. This variation is more than just noise in experimental data: It is a window to linguistic structure, which can be best modelled in terms of a dynamical system. Der Preis dieses Buches in Deutschland ist auf 40 EUR festgelegt. As per legal requirement, we state that this book is available in Germany for 40 EUR