Laughter and Body Movements as Communicative Actions in Encounters

Peer reviewe

Hur hamna du här? : Samtalsstarten, topiker och multimodal uppbackning i första samtal

Tämän tutkielman tavoitteena on tutkia ja vertailla, miten suomen- ja ruotsinkieliset keskustelevat tavatessaan keskustelukumppaninsa ensimmäistä kertaa. Analyysi keskittyy keskustelunaloitukseen, keskustelunaiheisiin sekä multimodaaliseen keskustelupalautteeseen. Multimodaalinen kommunikaatio on verbaalisen sekä ei-verbaalisen yhtäaikaista käyttöä ja tähän tutkielmaan olen valinnut analysoida nyökkäysten ja dialogipartikkelien yhtäaikaista esiintymistä. Tutkin syvemmin muun muassa sitä, millä tervehdyksillä keskustelijat aloittavat keskustelun, miten he esittelevät itsensä sekä sitä, onko keskustelunaiheilla tietty esiintymisjärjestys. Tutkimukseni taustalla on mielenkiinto kartoittaa tarkemmin ensimmäisiä keskusteluita vuorovaikutteisena ilmiönä. Tutkielmani aineisto koostuu yhteensä 24 videoidusta järjestetystä keskustelusta, joista 12 on suomen- ja 12 ruotsinkielisiä. Analyysini perustuu näiden keskusteluiden viiteen ensimmäiseen minuuttiin. Suomenkieliset keskustelut nauhoitettiin Tampereella ja ruotsinkieliset Göteborgissa, Ruotsissa. Aineisto kerättiin alun perin pohjoismaisen NOMCO-projektin aikana, jonka tavoitteena oli kehittää ja analysoida multimodaalisen kommunikaation korpus sekä vertailla erilaisia kommunikatiivisia toimintoja suomalaisissa, ruotsalaisissa sekä tanskalaisissa keskusteluissa. Metodini perustuu keskustelunanalyysiin, tarkemmin sanottuna vuorovaikutteiseen lingvistiikkaan (engl. interactional linguistics), jonka mukaan tärkeintä keskusteluissa on se, miten vuorovaikutus ja kieli vaikuttavat toisiinsa. Keskustelupalautteita analysoin kvantitatiivisesti laskemalla nyökkäysten, dialogipartikkeleiden ja näiden yhteisen käytön frekvenssit. Analyysistä käy ilmi, että vaikka suomen- ja ruotsinkieliset keskustelut rakentuvat suurimmilta osin samalla tavalla, niistä löytyy myös selkeitä eroja. Kiinnostavimpia löytöjä on se, että ruotsinkieliset keskustelijat kyselevät enemmän keskustelukumppaneiltaan heidän asuinpaikastaan ja alkuperästään. Suomenkieliset keskustelijat ottavat kyseiset aiheet esille vain kahdessa keskustelussa, kun taas ruotsalaiset tekevät niin jopa kuudessa keskustelussa. Toinen mielenkiintoinen havainto on se, että ruotsalaisille keskustelijoille on tavanomaista päättää keskustelun alussa tapahtuva esittelysekvenssi joko toistamalla keskustelukumppanin nimen tai lausumalla trevligt, jonka oletan olevan lyhennys fraasista trevligt att träffas (suomenkielinen vastine hauska tutustua). Suomenkielisissä esittelysekvensseistä ei löydy vastaavaa lopetusvuoroa. Edellä mainittujen lisäksi eroja löytyy suomalaisten ja ruotsalaisten keskustelijoiden palautteenannossa. Ruotsalaiset antavat enemmän multimodaalista palautetta, kun taas suomalaiset nyökkäilevät useammin sekä käyttävät enemmän dialogipartikkeleita (esim. joo, nii(n) tai okei). Kielten välisten erojen lisäksi myös puhujakohtaiset erot ovat ajoittain merkittäviä: osa antaa jatkuvasti palautetta kun taas osa tekee sitä huomattavasti harvemmin

Action Categorisation in Multimodal Instructions

We present an explorative study for the (semi-)automatic categorisation of actions in Dutch multimodal first aid instructions, where the actions needed to successfully execute the procedure in question are presented verbally and in pictures. We start with the categorisation of verbalised actions and expect that this will later facilitate the identification of those actions in the pictures, which is known to be hard. Comparisons of and user-based experimentation with the verbal and visual representations will allow us to determine the effectiveness of picture-text combinations and will eventually support the automatic generation of multimodal documents. We used Natural Language Processing tools to identify and categorise 2,388 verbs in a corpus of 78 multimodal instructions (MIs). We show that the main action structure of an instruction can be retrieved through verb identification using the Alpino parser followed by a manual election operation. The selected main action verbs were subsequently generalised and categorised with the use of Cornetto, a lexical resource that combines a Dutch Wordnet and a Dutch Reference Lexicon. Results show that these tools are useful but also have limitations which make human intervention essential to guide an accurate categorisation of actions in multimodal instructions

Reconnaissance automatique des dimensions affectives dans l'interaction orale homme-machine pour des personnes dépendantes

La majorité des systèmes de reconnaissance d'états affectifs est entrainée sur des données artificielles hors contexte applicatif et les évaluations sont effectuées sur des données pré-enregistrées de même qualité. Cette thèse porte sur les différents défis résultant de la confrontation de ces systèmes à des situations et des utilisateurs réels.Pour disposer de données émotionnelles spontanées au plus proche de la réalité, un système de collecte simulant une interaction naturelle et mettant en oeuvre un agent virtuel expressif a été développé. Il a été mis en oeuvre pour recueillir deux corpus émotionnels, avec la participation de près de 80 patients de centres médicaux de la région de Montpellier, dans le cadre du projet ANR ARMEN.Ces données ont été utilisées dans l'exploration d'approches pour la résolution du problème de la généralisation des performances des systèmes de détection des émotions à d'autres données. Dans cette optique, une grande partie des travaux menés a porté sur des stratégies cross-corpus ainsi que la sélection automatique des meilleurs paramètres. Un algorithme hybride combinant des techniques de sélection flottante avec des métriques de similitudes et des heuristiques multi-échelles a été proposé et appliqué notamment dans le cadre d'un challenge (InterSpeech 2012). Les résultats de l'application de cet algorithme offrent des pistes pour différencier des corpus émotionnels à partir des paramètres les plus pertinents pour les représenter.Un prototype du système de dialogue complet, incluant le module de détection des émotions et l'agent virtuel a également été implémenté.Most of the affective states recognition systems are trained on artificial data, without any realistic context. Moreover the evaluations are done with pre-recorded data of the same quality. This thesis seeks to tackle the various challenges resulting from the confrontation of these systems with real situations and users.In order to obtain close-to-reality spontaneous emotional data, a data-collection system simulating a natural interaction was developed. It uses an expressive virtual character to conduct the interaction. Two emotional corpora where gathered with this system, with almost 80 patients from medical centers of the region of Montpellier, France, participating in. This work was carried out as part of the French ANR ARMEN collaborative project.This data was used to explore approaches to solve the problem of performance generalization for emotion detection systems. Most of the work in this part deals with cross-corpus strategies and automatic selection of the best features. An hybrid algorithm combining floating selection techniques with similarity measures and multi-scale heuristics was proposed and used in the frame of the InterSpeech 2012 Emotino Challenge. The results and insights gained with the help of this algorithm suggest ways of distinguishing between emotional corpora using their most relevant features.A prototype of the complete dialog system, including the emotion detection module and the virtual agent was also implemented.PARIS11-SCD-Bib. électronique (914719901) / SudocSudocFranceF

Desarrollo de una App multimodal para la provisión de servicios bibliotecarios avanzados

En el presente Trabajo Fin de Grado se ha desarrollado una aplicación para tecnologías móviles, concretamente para dispositivos móviles Android, que consiste en un asistente multimodal cuya función es proporcionar ayuda e información en operaciones habituales que se llevan a cabo en la biblioteca de la Universidad Carlos III, Campus de Leganés. Estas funcionalidades se proporcionan a través de un sistema de diálogo y/o mediante la interacción por medio de interfaces tradicionales, como el teclado y la pantalla del dispositivo. La aplicación permite al usuario acceder, consultar y gestionar información y recursos que se encuentran en las instalaciones de la biblioteca, así como tener un sistema de localización automatizada por sus distintas ubicaciones. Entre los principales servicios que ofrece, se encuentran: la búsqueda de libros y recursos electrónicos, el guiado por todas las instalaciones de la biblioteca, la consulta de preguntas frecuentes y el contacto con la universidad por medio del correo electrónico. Con esta aplicación, se pretende facilitar el uso de la biblioteca tanto a nuevos como antiguos estudiantes que aún no se muevan con soltura en el uso de la biblioteca o que necesiten obtener información o resolver alguna duda y no tengan la posibilidad de personarse en la biblioteca. Las tecnologías empleadas en la aplicación proporcionan además una ayuda a personas con problemas de visión o con discapacidades motoras, o para su uso en situaciones en las que resulta imposible el uso de interfaces comunes. A su vez supone una mejora al reunir en un solo sistema un conjunto de funciones que, fuera de éste, se encuentran dispersas por distintas páginas web dificultando en muchas ocasiones la obtención cómoda y rápida de la información. Además, el proyecto realiza un análisis de las tecnologías móviles que existen actualmente así como los sistemas de reconocimiento automático del habla (en inglés ASR), los sistemas de síntesis de texto a voz (en inglés TTS) y sistemas que tengan funcionalidades similares a esta aplicación. La aplicación utiliza también otras tecnologías que se detallan en la memoria, como son un analizador sintáctico para el procesamiento del lenguaje natural, o una base de datos SQLite en Android que simula las fuentes de recursos de la biblioteca. Además, integra Twitter para mostrar información de las cuentas más relevantes de la universidad y hace uso de Gmail para el envío de correos electrónicos.In this bachelor degree project, it has been developed an application for mobile technologies, specifically for Android, consisting on a multimodal assistant, whose function is to provide help and information in common operations which are carried out in the library of the University Carlos III, Campus of Leganés. This is made through a dialogue system or by interacting through interfaces such as keyboard and display device. The application, developed for Android mobile devices, allows the user to access, sees and manages information and resources found on the library as well as having an automated guidance system by the different locations. The main services offered by application are: search of books and electronic resources, the navigation by all library facilities, viewing FAQs and contact to the university by email. This application is intended to facilitate the use of the library to new and old students who don’t use the library fluently or need to retrieve information or have questions and they can’t go to the library at that moment. The systems used in the application are a help to people with impaired vision or motor disabilities, or to use in situations where it’s impossible to use common interfaces. In addition, that suppose an improvement to bring together in a single system, a set of functions that, outside this, are dispersed across web pages hindering its comfortable and easy retrieval. Also, it will be performed an analysis of the actual mobile technologies as well as the automatic speech recognition systems, text to speech systems and other systems with similar capabilities. The application also uses other technologies that will be discussed in this project, such a parser for natural language processing, a SQLite database in Android that simulates the library resources, etc. The application also integrates Twitter service to display information of the most relevant Twitter accounts and it uses Gmail for sending emails.Ingeniería Informátic

El modelo cortical HTM y su aplicación al conocimiento lingüístico

El problema que aborda este trabajo de investigación es encontrar un modelo neurocomputacional de representación y comprensión del conocimiento léxico, utilizando para ello el algoritmo cortical HTM, que modela el mecanismo según el cual se procesa la información en el neocórtex humano. La comprensión automática del lenguaje natural implica que las máquinas tengan un conocimiento profundo del lenguaje natural, lo que, actualmente, está muy lejos de conseguirse. En general, los modelos computacionales para el Procesamiento del Lenguaje Natural (PLN), tanto en su vertiente de análisis y comprensión como en la de generación, utilizan algoritmos fundamentados en modelos matemáticos y lingüísticos que intentan emular la forma en la que tradicionalmente se ha procesado el lenguaje, por ejemplo, obteniendo la estructura jerárquica implícita de las frases o las desinencias de las palabras. Estos modelos son útiles porque sirven para construir aplicaciones concretas como la extracción de datos, la clasificación de textos o el análisis de opinión. Sin embargo, a pesar de su utilidad, las máquinas realmente no entienden lo que hacen con ninguno de estos modelos. Por tanto, la pregunta que se aborda en este trabajo es si, realmente, es posible modelar computacionalmente los procesos neocorticales humanos que regulan el tratamiento de la información de tipo semántico del léxico. Esta cuestión de investigación constituye el primer nivel para comprender el procesamiento del lenguaje natural a niveles lingüísticos superiores..