Impact of annotation modality on label quality and model performance in the automatic assessment of laughter in-the-wild

Laughter is considered one of the most overt signals of joy. Laughter is well-recognized as a multimodal phenomenon but is most commonly detected by sensing the sound of laughter. It is unclear how perception and annotation of laughter differ when annotated from other modalities like video, via the body movements of laughter. In this paper we take a first step in this direction by asking if and how well laughter can be annotated when only audio, only video (containing full body movement information) or audiovisual modalities are available to annotators. We ask whether annotations of laughter are congruent across modalities, and compare the effect that labeling modality has on machine learning model performance. We compare annotations and models for laughter detection, intensity estimation, and segmentation, three tasks common in previous studies of laughter. Our analysis of more than 4000 annotations acquired from 48 annotators revealed evidence for incongruity in the perception of laughter, and its intensity between modalities. Further analysis of annotations against consolidated audiovisual reference annotations revealed that recall was lower on average for video when compared to the audio condition, but tended to increase with the intensity of the laughter samples. Our machine learning experiments compared the performance of state-of-the-art unimodal (audio-based, video-based and acceleration-based) and multi-modal models for different combinations of input modalities, training label modality, and testing label modality. Models with video and acceleration inputs had similar performance regardless of training label modality, suggesting that it may be entirely appropriate to train models for laughter detection from body movements using video-acquired labels, despite their lower inter-rater agreement

Data-driven Communicative Behaviour Generation: A Survey

The development of data-driven behaviour generating systems has recently become the focus of considerable attention in the fields of human–agent interaction and human–robot interaction. Although rule-based approaches were dominant for years, these proved inflexible and expensive to develop. The difficulty of developing production rules, as well as the need for manual configuration to generate artificial behaviours, places a limit on how complex and diverse rule-based behaviours can be. In contrast, actual human–human interaction data collected using tracking and recording devices makes humanlike multimodal co-speech behaviour generation possible using machine learning and specifically, in recent years, deep learning. This survey provides an overview of the state of the art of deep learning-based co-speech behaviour generation models and offers an outlook for future research in this area.</jats:p

Bewegungssynchronie zwischen Patienten mit Sozialer Angststörung und ihren Psychotherapeuten: Testung, Weiterentwicklung und Anwendung linearer zeitreihenanalytischer Verfahren

Bewegungssynchronie zwischen Patient und Psychotherapeut beschreibt das Aufeinander-Bezug-nehmen von deren Bewegungen und ist mit Outcome-Maßen der Psychotherapie assoziiert. Diese Zusammenhänge wurden meist in störungsheterogenen Stichproben verschiedener Behandlungskonzepte gefunden. Der Einfluss der Störung und des Behandlungskonzeptes kann nicht ausgeschlossen werden. Die Untersuchungen wurden mittels zeitreihenanalytischen Methoden durchgeführt. Aktuell fehlt eine umfassende Prüfung der Methoden anhand verschiedener Validitätskriterien. Innerhalb dieser Arbeit wurde die Bewegungssynchronie zu verschiedenen Zeitpunkten dreier verschiedener Kurzzeit-/Langzeittherapien (manualisierte kognitive Verhaltenstherapie, manualisierte psychodynamisch-orientierte Therapie und naturalistische kognitive Verhaltenstherapie) von Patienten mit Sozialer Angststörung in Zusammenhang zu verschiedenen Outcome-Maßen (Therapieabbruch, Symptomatik, Bindung) untersucht. Dabei wurde die Bewegungssynchronie automatisiert aus Videosequenzen mittels Motion Energy Analysis und Windowed Cross-Lagged Correlation gewonnen. Bei den Validitätsuntersuchungen stellte sich heraus, dass verschiedene Synchronie-Maße kein eindimensionales Konstrukt sondern verschiedene Facetten von Synchronie messen: die Häufigkeit der Synchronie, die Stärke der Synchronie in Synchronisationsintervallen und die Stärke der Synchronie in der Gesamtinteraktion, die auch unterschiedlich mit Outcome-Maßen assoziiert waren. Die Untersuchung der Synchronie-Outcome-Assoziation zeigte einen Zusammenhang von höherer Synchronie zu Beginn der Therapie mit einer geringeren Abbruchrate, reduzierten interpersonellen Problemen und Bindungsängsten des Patienten zum Ende der Therapie sowie eine verbesserte therapeutische Allianz. Die Ergebnisse verdeutlichen, dass Bewegungssynchronie einen differentiellen Effekt in Abhängigkeit des Outcomes, Zeitgebers, Therapieverfahrens, Inhalt der Sitzungen und der verwendeten Methodik hat