Signaling and detecting uncertainty in audiovisual speech by children and adults

We describe two experiments on signaling and detecting uncertainty in audiovisual speech by adults and children. In the first study, ut-terances from adult speakers and child speakers (aged 7-8) were elicitated and annotated with a set of six audiovisual features. It was found that when adult speakers are uncertain about their answer they are more likely to produce filled pauses, delays, high intonation, eyebrow movements, smiles and funny faces. The basic picture for the child speakers is similar, in that the presence of an audiovisual cue in an answer correlates with uncertainty, but the differences are relatively small and only significant for the features delay, eyebrow and funny face. In the second study both adult and child judges watched answers from adult and child speakers selected from the first study to find out whether they were able to correctly estimate a speakers ’ level of uncertainty. It was found that both child and adult judges give more accurate scores for answers from adult speakers than from child speakers and that child judges overall provide less accurate scores than adult judges. 1

Audiovisual cues to uncertainty

This paper presents research on the use of audiovisual prosody to signal a speaker’s level of uncertainty. The first study con-sists of an experiment, in which subjects are asked factual ques-tions in a conversational setting, while they are being filmed. Statistical analyses bring to light that the speakers ’ Feeling-of-Knowing (FOK) correlate significantly with a number of vi-sual and verbal properties. Interestingly, it appears that an-swers tend to have a higher number of marked feature settings (i.e., divergences of the neutral audiovisual expression) when the FOK score is low, while the reverse is true for non-answers. The second study is a perception experiment, in which a selec-tion of the utterances from the first study is presented to sub-jects in one of three conditions: vision only, sound only or vi-sion+sound. Results reveal that human observers can reliably distinguish HighFOK responses from LowFOK responses in all three conditions, be it that answers are easier than non-answers, and that a bimodal presentation of the stimuli is easier than their unimodal counterparts. Results of these two experiments are potentially relevant for improving the communication style in human-machine interaction. 1

An integrated theory of language production and comprehension

Currently, production and comprehension are regarded as quite distinct in accounts of language processing. In rejecting this dichotomy, we instead assert that producing and understanding are interwoven, and that this interweaving is what enables people to predict themselves and each other. We start by noting that production and comprehension are forms of action and action perception. We then consider the evidence for interweaving in action, action perception, and joint action, and explain such evidence in terms of prediction. Specifically, we assume that actors construct forward models of their actions before they execute those actions, and that perceivers of others' actions covertly imitate those actions, then construct forward models of those actions. We use these accounts of action, action perception, and joint action to develop accounts of production, comprehension, and interactive language. Importantly, they incorporate well-defined levels of linguistic representation (such as semantics, syntax, and phonology). We show (a) how speakers and comprehenders use covert imitation and forward modeling to make predictions at these levels of representation, (b) how they interweave production and comprehension processes, and (c) how they use these predictions to monitor the upcoming utterances. We show how these accounts explain a range of behavioral and neuroscientific data on language processing and discuss some of the implications of our proposal

Towards a complete multiple-mechanism account of predictive language processing [Commentary on Pickering & Garrod]

Although we agree with Pickering & Garrod (P&G) that prediction-by-simulation and prediction-by-association are important mechanisms of anticipatory language processing, this commentary suggests that they: (1) overlook other potential mechanisms that might underlie prediction in language processing, (2) overestimate the importance of prediction-by-association in early childhood, and (3) underestimate the complexity and significance of several factors that might mediate prediction during language processing

Electrophysiological markers of predictive coding in multisensory integration and autism spectrum disorder

Publiekssamenvatting De manier waarop we de wereld om ons heen waarnemen is niet alleen gebaseerd op informatie die we via onze zintuigen ontvangen, maar wordt ook gevormd door onze ervaringen uit het verleden. Een recent geïntroduceerde theorie over de verwerking en integratie van sensorische informatie en eerdere ervaringen, de zogeheten predictive coding theorie, gaat ervan uit dat ons brein continu een intern predictiemodel van de wereld om ons heen genereert op basis van informatie die we ontvangen via onze zintuigen en gebeurtenissen die we in het verleden hebben meegemaakt. Het kunnen voorspellen wat we in bepaalde situaties zullen gaan zien, horen, voelen, ruiken en proeven, stelt ons in staat om te anticiperen op sensorische prikkels. Om deze reden reageren we vaak sneller en accurater op voorspelbare sensorische signalen. Op neuraal niveau zijn er ook aanwijzingen gevonden voor de aanwezigheid van een intern predictiemodel. Na het horen van een geluid, bijvoorbeeld van de claxon van een auto, genereert ons brein automatisch elektrische activiteit die met behulp van elektro-encefalografie (EEG) te meten is. Wanneer we datzelfde geluid zelf initiëren, door bijvoorbeeld zelf op de claxon te drukken, kunnen we beter voorspellen wanneer het geluid optreedt en hoe dit ongeveer zal klinken. Deze toename in voorspelbaarheid van het geluid is terug te zien in een vermindering van het EEG signaal. Wanneer we luisteren naar een reeks voorspelbare geluiden waarin onverwacht een geluid wordt weggelaten genereert het brein ook een duidelijk elektrisch signaal, een zogeheten predictie error, dat kan worden gemeten met behulp van EEG. De sterkte van dit signaal wordt verondersteld samen te hangen met de hoeveelheid cognitieve vermogens die aan de onverwachtse verstoring van de voorspelling worden toegewezen. De bevindingen beschreven in dit proefschrift laten zien dat het zelf initiëren van een geluid bij mensen met autisme spectrum stoornis (ASS) niet automatisch resulteert in een afname in elektrische hersenactiviteit. Ook is gevonden dat een plotselinge verstoring in sensorische stimulatie bij mensen met ASS kan resulteren in verhoogde elektrische hersenactiviteit. Deze bevindingen suggereren dat mensen met ASS minder goed in staat lijken te zijn om te anticiperen op sensorische prikkels, en mogelijk meer moeite hebben met de verwerking van onverwachtse verstoringen in sensorische stimulatie. Een verminderd vermogen om te kunnen anticiperen op sensorische prikkels en omgaan met onverwachtse verstoringen in sensorische stimulatie kan niet alleen leiden tot atypische gedragsreacties, waaronder onder- en overgevoeligheid voor sensorische prikkels (symptomen die veel voorkomen bij ASS), maar heeft mogelijk ook gevolgen voor de sociale cognitieve vaardigheden. In sociale situaties is het kunnen anticiperen op hetgeen een ander zegt of doet van cruciaal belang. Het begrijpen van sarcasme vereist bijvoorbeeld de integratie van subtiele verschillen in auditieve (toonhoogte en prosodie) en visuele informatie (gezichtsuitdrukkingen, lichaamstaal). Het juist interpreteren van dergelijke dubbelzinnige sociale signalen is vaak lastig voor mensen met ASS. De bevindingen beschreven in dit proefschrift suggereren dat de oorzaak hiervoor mogelijk ligt in verstoringen in het vermogen om te kunnen anticiperen op sensorische prikkels. Toekomstig onderzoek moet uitwijzen of mensen met ASS ook meer moeite hebben met het anticiperen op sensorische prikkels en verwerken van onverwachtse verstoringen in andere sensorische domeinen. Naast het vergroten van wetenschappelijke kennis over de sensorische informatieverwerking in ASS kan verder onderzoek naar de neurale mechanismen van sensorische anticipatie potentieel leiden tot een elektrofysiologische marker voor ASS die kan worden toegepast als diagnostisch hulpmiddel. Met name voor mensen waarbij de gedragskenmerken niet altijd goed te beoordelen zijn kan een dergelijke biomarker mogelijk als objectief meetinstrument worden ingezet in de klinische praktijk

Timing and Time Perception: Procedures, Measures, and Applications

Timing and Time Perception: Procedures, Measures, and Applications is a one-of-a-kind, collective effort to present the most utilized and known methods on timing and time perception. Specifically, it covers methods and analysis on circadian timing, synchrony perception, reaction/response time, time estimation, and alternative methods for clinical/developmental research. The book includes experimental protocols, programming code, and sample results and the content ranges from very introductory to more advanced so as to cover the needs of both junior and senior researchers. We hope that this will be the first step in future efforts to document experimental methods and analysis both in a theoretical and in a practical manner

Time Distortions in Mind

Time Distortions in Mind brings together current research on temporal processing in clinical populations to elucidate the interdependence between perturbations in timing and disturbances in the mind and brain. For the student, the scientist, and the stepping-stone for further research

Time Distortions in Mind

Time Distortions in Mind brings together current research on temporal processing in clinical populations to elucidate the interdependence between perturbations in timing and disturbances in the mind and brain. For the student, the scientist, and the stepping-stone for further research. Readership: An excellent reference for the student and the scientist interested in aspects of temporal processing and abnormal psychology