ELAN as flexible annotation framework for sound and image processing detectors

Annotation of digital recordings in humanities research still is, to a largeextend, a process that is performed manually. This paper describes the firstpattern recognition based software components developed in the AVATecH projectand their integration in the annotation tool ELAN. AVATecH (AdvancingVideo/Audio Technology in Humanities Research) is a project that involves twoMax Planck Institutes (Max Planck Institute for Psycholinguistics, Nijmegen,Max Planck Institute for Social Anthropology, Halle) and two FraunhoferInstitutes (Fraunhofer-Institut für Intelligente Analyse- undInformationssysteme IAIS, Sankt Augustin, Fraunhofer Heinrich-Hertz-Institute,Berlin) and that aims to develop and implement audio and video technology forsemi-automatic annotation of heterogeneous media collections as they occur inmultimedia based research. The highly diverse nature of the digital recordingsstored in the archives of both Max Planck Institutes, poses a huge challenge tomost of the existing pattern recognition solutions and is a motivation to makesuch technology available to researchers in the humanities

ELAN development, keeping pace with communities' needs

ELAN is a versatile multimedia annotation tool that is being developed at the Max Planck Institute for Psycholinguistics. About a decade ago it emerged out of a number of corpus tools and utilities and it has been extended ever since. This paper focuses on the efforts made to ensure that the application keeps up with the growing needs of that era in linguistics and multimodality research; growing needs in terms of length and resolution of recordings, the number of recordings made and transcribed and the number of levels of annotation per transcription

The CAMOMILE collaborative annotation platform for multi-modal, multi-lingual and multi-media documents

In this paper, we describe the organization and the implementation of the CAMOMILE collaborative annotation framework for multimodal, multimedia, multilingual (3M) data. Given the versatile nature of the analysis which can be performed on 3M data, the structure of the server was kept intentionally simple in order to preserve its genericity, relying on standard Web technologies. Layers of annotations, defined as data associated to a media fragment from the corpus, are stored in a database and can be managed through standard interfaces with authentication. Interfaces tailored specifically to the needed task can then be developed in an agile way, relying on simple but reliable services for the management of the centralized annotations. We then present our implementation of an active learning scenario for person annotation in video, relying on the CAMOMILE server; during a dry run experiment, the manual annotation of 716 speech segments was thus propagated to 3504 labeled tracks. The code of the CAMOMILE framework is distributed in open source.Peer ReviewedPostprint (author's final draft

PELATIHAN CARA MENGGUNAKAN ALAT TRANSKRIPSI ELAN

Human voice can be preserved and analysed through realised sound waves with the help of ELAN software. This ELAN software supports language or language analysis segment sound into tangibles and saves them in a file in the ELAN feature itself. The method used in this training is triangulation, with the umbrella being descriptive qualitative. Observation technique to find out what the participants’ desire. The interview technique used by the servant to determine the representation of the respondent's mind after attending this training. Finally, the documentation used to document the movement that has been carried out is by taking photos along with the activity. The results and discussion obtained from the observation are that respondents, especially students and language activists, are enthusiastic about learning more deeply about the operation of this ELAN device. Meanwhile, based on the results of interviews, it is known that the ELAN software is a new thing and can be integrated into matters relating to language documentation in the Balongsari area itself. Documentation of this training is photos during the training event. After this training, the devotee observed that the respondents were interested in learning language transcription technologies such as ELAN

Improving the exploitation of linguistic annotations in ELAN

This paper discusses some improvements in recent and planned versions of the multimodal annotation tool ELAN, which are targeted at improving the usability of annotated files. Increased support for multilingual documents is provided, by allowing for multilingual vocabularies and by specifying a language per document, annotation layer (tier) or annotation. In addition, improvements in the search possibilities and the display of the results have been implemented, which are especially relevant in the interpretation of the results of complex multi-tier searches

Coming to terms with risk-factors for obesity and eating disorders in childhood and early adulthood: a contribution to the bio-psycho-social etiology model of pathological eating behavior

This thesis incorporates three studies addressing different bio-psycho-social correlates of eating pathology. Each of the presented publications is reflecting a new development in the corresponding research field, as it employs novel methodological approaches and provides enhancements to the already existing etiological models. In the Publication 1, psychosocial factors such as familial role modeling and social network were investigated on the background of peer selection using an immersive virtual reality environment. School-aged children were confronted with normal weight and overweight avatars that were either eating or playing. As a main result, parental BMI was the strongest predictor for the children’s minimal distance to the avatars. In the Publication 2, body dissatisfaction (BD), emotion dysregulation, and a specific type of food-related cognitive distortion (Thought-Shape Fusion, TSF) were integrated in a model of disturbed eating and compensatory behavior (DECB). Using cross-sectional data from an online-survey, the model was tested on a subpopulation of healthy young male university students. The results of this study indicated the susceptibility to body-related cognitive distortions (TSF) as a potential mediator in the relationship between BD and disturbed eating in men. In the study presented in the Publication 3, impulsivity impairments occurring within clinical symptoms of Attention-Deficit/Hyperactivity Disorder (ADHD) and Binge Eating Disorder (BED) as well as the two nonverbal self-control strategies, attentional deployment and self-touch movement were examined as psychological factors affecting the ability to delay food-related gratification (DOG). The findings suggest that besides attentional deployment, the left-handed self-touch constitutes an effective strategy that might enhance the ability to resist snacking during the DOG

PAMOCAT: Kombination von qualitativen und quantitativen Methoden zur automatischen Analyse von menschlichen Verhaltensweisen in der Kommunikation basierend auf Bewegungsdaten

Brüning B-A. PAMOCAT: Kombination von qualitativen und quantitativen Methoden zur automatischen Analyse von menschlichen Verhaltensweisen in der Kommunikation basierend auf Bewegungsdaten. Bielefeld: Universität Bielefeld; 2015.In der Biologie, Linguistik, Psychologie und Soziologie wird versucht, (menschliches) Interaktionsverhalten zu verstehen und zu beschreiben. In der Robotik ist ein Schwerpunkt, dieses (menschliche) Interaktionsverhalten zu modellieren, damit eine natürliche Interaktion mit Robotern möglich ist. Ein Bestandteil der natürlichen Interaktion ist unter anderem, zu erkennen, wann ein Interaktionspartner die Sprecherrolle übernehmen darf, ohne unfreundlich zu wirken und den anderen Interaktionspartner zu unterbrechen. Ein weiterer Schwerpunkt ist die Analyse, wie verschiedene Menschen beim Sprechen gestikulieren, um z. B. gleiche Sachinhalte mittels Sprache und sprachbezogener Gesten zu beschreiben. Sind aus solchen Analysen Verhaltensmuster erkannt worden und wurden diese Interaktionsverhaltensweisen implementiert, muss verifiziert werden, ob Menschen das z. B. von einem Roboter oder sozialen Agenten ausgeführte Verhalten als natürlich empfinden. Eine gängige Methode, ein solches Verhalten zu analysieren, ist die Aufzeichnung in verschiedenen multimedialen Daten wie Audio und Video, sodass diese anschließend im Detail analysiert werden können. Leider ist dieser Videoanalyseprozess sehr zeitintensiv, da er manuell durch Menschen durchgeführt werden muss. Um eine Bewegung in einem Video analysieren zu können, muss diese erst aus dem Video extrahiert werden, wobei dieses nicht immer genau durchgeführt werden kann. Dieses kann der Fall sein, wenn Gelenk- und andere Körperteilepositionen nicht genau bekannt sind, da diese Körperteile verdeckt sein können. Da diese Analyse ein zeitintensiver Prozess ist, der durch viele Arbeitsstunden teuer wird, gibt es Bemühungen, möglichst Mechanismen zu finden, durch die diese Arbeiten automatisch durchgeführt werden können. Als erstes Problem muss bei einer Analyse von Videodaten ermittelt werden, was Personen sind und in welcher Körperhaltung sie sich befinden. Allgemein funktioniert dieses, ist allerdings fehleranfällig. Um genauere Daten der Interaktionen zu erhalten und um auch automatische Analysen durchführen zu können, geht ein Trend dazu über, weitere modale Daten wie Motion-Capture-Daten zusätzlich aufzuzeichnen. Dadurch kann die Bewegung der interagierenden Personen viel genauer in räumlicher Relation zueinander analysiert werden. Um dieses durchführen zu können, stellen sich die Fragen, "wie die Motion-Capture-Daten sinnvoll mit angemessenem Arbeitsaufwand für die Untersuchungen genutzt werden können" und "wie die Interaktionen mehrerer Personen über eine längere Zeitspanne robust aufgezeichnet werden können". Beim Motion-Capturing ist eine lange Aufnahme mit einem Vielfachen dieser Zeit als Nachbearbeitungsphase verbunden. In dieser Nachbearbeitungsphase werden die Daten aufgearbeitet, damit einzelne Marker immer den zugehörigen Körperteilen zugeordnet werden können. Um einen deutlichen Nutzen aus dem Motion-Capturing ziehen zu können, darf die Zeit, die für das zusätzliche Motion-Capturing aufgewendet wird, nicht höher sein als die Zeit, die für das Annotieren der Video-Analyse aufgewendet würde. In dieser Arbeit wird gezeigt, wie das Motion-Capturing mit einem angemessenen Zeiteinsatz verwendet werden kann, um automatische Analysemöglichkeiten nutzbringend durchführen zu können. Dabei wird auf die Fragestellung eingegangen, "was die Motion-Capture-Daten für Möglichkeiten bei der Verhaltensforschung bei Interaktionen bieten". Dazu wird gezeigt, dass diese neuen Möglichkeiten in einer automatischen detaillierten Analyse liegen, die eine standardisierte Basis für Analysen mit einer immer gleichbleibend guten Qualität liefern. Um die Nützlichkeit der Motion-Capture-Daten hervorzuheben, wird gezeigt, wie diese im Forschungsalltag eingesetzt werden können. Die hierbei gesammelten Erfahrungen sind in die Entwicklung eines Annotationstools "PAMOCAT" eingegangen, bei dem verschiedene elementare Verhaltensbestandteile als abstrakte Kategorien (wie z.B. Bewegung in elementaren Gelenken, etwas angucken, Handbewegungen oder Posen) automatisch annotiert werden können. Dabei haben sich verschiedene elementare Kategorien herauskristallisiert, die ein breites Spektrum von möglichen Einsatzbereichen in der Verhaltensforschung bieten. Dazu wird eine Basis von elementaren Interaktionsphänomenen bereitgestellt, die durch Kombinationen mit anderen Interaktionsphänomenen als Suche nach Zeitpunkten, bei denen diese zusammen auftreten, angesetzt werden kann. Dadurch ist eine detailliertere Analyse komplexen Verhaltens einfacher und schneller möglich, als es zuvor möglich war. Um diese Analysefunktionalität einem möglichst großen Anwenderkreis bereitzustellen, ist ein Graphical User Interface - GUI entwickelt worden, welches in Zusammenarbeit mit Endnutzern optimiert wurde. Damit ergeben sich neue Möglichkeiten bei der Analyse großer Korpora und es kann viel Zeit eingespart werden, sodass die Aufmerksamkeit auf eine detaillierte Analyse fokussiert werden kann