43 research outputs found

    MultiMediate'23: Engagement Estimation and Bodily Behaviour Recognition in Social Interactions

    Full text link
    Automatic analysis of human behaviour is a fundamental prerequisite for the creation of machines that can effectively interact with- and support humans in social interactions. In MultiMediate'23, we address two key human social behaviour analysis tasks for the first time in a controlled challenge: engagement estimation and bodily behaviour recognition in social interactions. This paper describes the MultiMediate'23 challenge and presents novel sets of annotations for both tasks. For engagement estimation we collected novel annotations on the NOvice eXpert Interaction (NOXI) database. For bodily behaviour recognition, we annotated test recordings of the MPIIGroupInteraction corpus with the BBSI annotation scheme. In addition, we present baseline results for both challenge tasks.Comment: ACM MultiMedia'2

    Non-Dyadic Human-Robot Interaction: Concepts and Interaction Techniques

    Get PDF

    Non-Dyadic Collaboration In Human-Robot Interaction

    Get PDF

    Whose Emotion Matters? Speaking Activity Localisation without Prior Knowledge

    Full text link
    The task of emotion recognition in conversations (ERC) benefits from the availability of multiple modalities, as provided, for example, in the video-based Multimodal EmotionLines Dataset (MELD). However, only a few research approaches use both acoustic and visual information from the MELD videos. There are two reasons for this: First, label-to-video alignments in MELD are noisy, making those videos an unreliable source of emotional speech data. Second, conversations can involve several people in the same scene, which requires the localisation of the utterance source. In this paper, we introduce MELD with Fixed Audiovisual Information via Realignment (MELD-FAIR) by using recent active speaker detection and automatic speech recognition models, we are able to realign the videos of MELD and capture the facial expressions from speakers in 96.92% of the utterances provided in MELD. Experiments with a self-supervised voice recognition model indicate that the realigned MELD-FAIR videos more closely match the transcribed utterances given in the MELD dataset. Finally, we devise a model for emotion recognition in conversations trained on the realigned MELD-FAIR videos, which outperforms state-of-the-art models for ERC based on vision alone. This indicates that localising the source of speaking activities is indeed effective for extracting facial expressions from the uttering speakers and that faces provide more informative visual cues than the visual features state-of-the-art models have been using so far. The MELD-FAIR realignment data, and the code of the realignment procedure and of the emotional recognition, are available at https://github.com/knowledgetechnologyuhh/MELD-FAIR.Comment: 17 pages, 8 figures, 7 tables, Published in Neurocomputin

    Care robots in residential homes for elderly people: an ethical examination of deception, care, and consent

    Get PDF
    We are facing a dire social problem: although life expectancy is increasing, time spent living independently is not, meaning that the eldercare sector is experiencing a worrying shortfall of nursing staff - a problem which is only getting worse. Robots designed for caring purposes – carebots – present a possible solution: they can perform some of the work which has been hitherto undertaken by human nurses. But their introduction is not without problems. This thesis examines some pertinent questions relating to the introduction of carebots into residential homes for elderly people. Chapter 1 examines what robots are, and provides a way in which we can differentiate between robots of different types, helping us to understand what ethical issues are at stake for different types of robot. Chapter 2 focuses on what deception consists of, and discusses why deception and lying are often seen as impermissible. Chapter 3 discusses different types of robo-deception, and analyses both the likelihood and the normative significance of their occurring. Chapter 4 is a study of a particular form of robo-deception, which I call fake compassion. This is when robots appear to care for patients when in fact they do not: I examine the extent to which this is morally problematic. Chapter 5 examines dignity: what it is, and why it is important. Chapter 6 focuses on consent: its importance in different spheres, and how consent-seeking can promote autonomy, bodily integrity, dignity, and trust. Chapter 7 builds on the previous two chapters, and demonstrates that it is ethically essential that carebots (and human nurses) obtain patients' consent prior to providing care, because failing to do so can reduce their dignity, and these reductions can be cumulative and devastating. This thesis is not merely an interesting thought experiment or a work of science fiction; rather, it is a real-world necessity that carebots take appropriate actions which promote the dignity and best interests of patients: our grandparents, parents, and in time, us and our descendants

    Evolution of a Field: Personal Histories in Conflict Resolution

    Get PDF
    This book features 23 chapters written by founders, thinkers, inventors, reformers, disrupters and transformers in the field of conflict resolution, thus allowing readers to explore the field’s real, on-the-ground reasons for being and evolving. The contributors include mediators, facilitators, arbitrators, ombuds, academics, system designers, entrepreneurs, leaders of conflict resolution organizations, researchers, advocates for conflict resolution, and critics of conflict resolution. They share their personal and professional stories as well as the values, aspirations and characteristics of the field that inspired them to become involved in conflict resolution, develop their careers, and both influence and wrestle with the field’s evolution. ContributorsPeter S. AdlerHoward BellmanLela Porter LoveIan MacduffLucy MooreGeetha RavindraNancy A. WelshJohnston BarkatChris HoneymanColin RuleAndrea Kupfer SchneiderThomas J. StipanowichLisa Blomgren AmslerJacqueline N. Font-GuzmánHoward GadlinDavid HoffmanCarol IzumiMarvin E. JohnsonHomer C. LaRueBernie MayerCarrie Menkel-MeadowChristopher W. MooreEllen Waldmanhttps://open.mitchellhamline.edu/dri_press/1011/thumbnail.jp

    Distant but Present : Rebuilding intersubjectivity in video-mediated interaction

    Get PDF
    Viimeisten vuosikymmenten aikana videovälitteisestä vuorovaikutuksesta ja tullut Skypen ja Teams-kokousten myötä erottamaton osa jälkiteollisen maailman arkea. Yleisyydestään huolimatta videovälitteinen vuorovaikutus koetaan usein vaillinaisena, ja sosiaalisten vihjeiden, kuten eleiden ja äänensävyn, merkitystä painottavat lähestymistavat korostavat, kuinka videovälitteinen vuorovaikutus on kasvokkaiseen verrattuna kylmää tai epäluonnollista. Vähemmän kuitenkin tiedetään videovälitteisen toiminnan vuorovaikutusdynamiikasta ja siitä, miten ilmeisistä rajoitteistaan huolimatta, tämä teknologinen alusta tarjoaa mahdollisuuksia jaetun ymmärryksen ylläpitoon ja korjaamiseen. Tässä neljästä tutkimusartikkelista ja yhteenvetoluvusta koostuvassa väitöskirjatutkimuksessa tarkastelen, miten tätä jaettua ymmärrystä meneillään olevasta toiminnasta, intersubjektiivisuutta, rakennetaan ja korjataan videovälitteisessä vuorovaikutuksessa ja miten kyseinen viestintäteknologia tulee toiminnan kannalta olennaiseksi näissä prosesseissa. Hyödynnän työssäni etnometodologista keskustelunanalyysia selvittääkseni, miten teknologian aiheuttamia yhteisymmärryksen ongelmia tunnistetaan ja korjataan sekä miten videovälitteisyys muokkaa näitä prosesseja. Käytän väitöskirjani tutkimusaineistona videotaltiointeja kolmenlaisista vuorovaikutustilanteista sosiaali- ja terveysalan todellisissa asiakastapaamisissa: 1) videovälitteisistä elintapaohjausryhmistä, jotka taltioitiin sekä ryhmän että ohjaajan näkökulmasta, 2) kotihoidon etäkäynneiltä, jotka taltioitiin joko hoitajien tai kotihoidon palveluja käyttävien ikäihmisten näkökulmasta sekä 3) etäkonsultaatioilta, joissa potilas ja yleislääkäri ovat yhteydessä erikoislääkäriin videoyhteyden kautta. Tämä monipuolinen aineisto mahdollistaa kahden aiemmassa tutkimuksessa tunnistetun videovälitteisen vuorovaikutuksen perusilmiön tutkimisen. Ensinnäkin, teknologiavälitteisyyteen liittyvä viive tuottaa jakamattomia vuorovaikutustodellisuuksia, joissa toimintojen ajoitukset suhteessa toisiinsa vääristyvät. Toiseksi, videovälitteisissä kohtaamisissa kehollisia toimintoja tuotetaan ja tulkitaan toisistaan irrallisissa pirstoutuneissa toimintaympäristöissä, mikä vaikuttaa näiden toimintojen tulkitsemiseen ja ymmärtämiseen. Analyysini osoittavat, että kuten kasvokkaisessa myös videovälitteisessä vuorovaikutuksessa yhteisymmärryksen ongelmia tunnistetaan edellisten vuorovaikutustekojen ja toimintojen luomia toiminnallisia odotuksia vasten: mikäli toinen osapuoli jättää tekemättä odotuksenmukaisen teon tai tekee jotain, mikä ei näyttäydy odotuksenmukaisena, voi toinen kohdella tätä yhteisymmärryksen hajoamisen merkkinä. Ratkoessaan näitä ongelmia, osallistujien pitää tuoda oma näkökulmansa toiselle tiettäväksi ja vastaavasti saada toisen näkökulma omaan tietoonsa. Tämän näkökulmien vastaavuuden aikaansaamiseksi osallistujat hyödyntävät kahdentyyppisiä yhteisymmärrystä korjaavia toimintoja, sanallisia eksplikointeja ja fyysisiä demonstraatioita. Koska videovälitteisyys irrottaa toiminnan tuottamisen ja tulkinnan ajallisesti ja tilallisesti toisistaan, sekä toimintojen odotuksenmukaisuuden tulkitsemisen että näkökulmien jakamisen edellytykset muuttuvat. Niinpä osallistujat sovittavat vuorovaikutustaan niihin toiminnallisiin mahdollisuuksiin, joita videoneuvotteluteknologia tarjoaa, saadakseen intersubjektiivisuuden palautettua. Väitöskirjatutkimukseni täydentää videovälitteistä vuorovaikutusta käsittelevää keskustelunanalyyttista tutkimuskirjallisuutta käsittelemällä sanallisten ekpslikointien ja fyysisten demosntraatioiden roolia intersubjektiivisuuden korjaamisen keinoina kolmessa erilaisessa palvelukontekstissa. Analyysini ja yleisen etnometdologisen teoretisoinnin pohjalta ehdotan, että laajempi teknologiavälitteisen vuorovaikutuksen tutkimuskenttä hyötyisi näiden lähestymistapojen tarjoamasta toimintojen kontekstisidonnaista merkitystä korostavasta lähestymistavasta kahdella tapaa: ensinnäkin, tutkimuksen huomio siirtyisi teknologioiden rajoittuneisuuden tarkastelusta ihmisten moninaisten ja luovien toimintatapojen tarkasteluun teknologiavälitteisissä ympäristöissä, ja toiseksi, tämä siirtymä tarjoaisi mahdollisuuden kestävämpien teoretisointien muotoilulle, ja siten ihmisen ja teknologian välisen suhteen tarkemmalle ymmärtämiselle.During the last few decades, video mediation has become ubiquitous in our social lives. This is due to accessible equipment and internet connections and societal changes that support the adoption of technologically mediated interaction. Research and theorising on video mediation have concentrated on measuring task performance and explaining it with the features of video mediation, often described as cold or poor compared to face-to-face interaction. Less is known about how interaction unfolds in video-mediated settings and how, despite the different possibilities for action compared to face-to-face settings, people are able to maintain and rebuild shared understandings in video mediation. In this doctoral dissertation, which is comprised of four empirical articles and an integrative chapter, I examine how the processes of intersubjectivity – that is, forming, maintaining and repairing a shared understanding of the ongoing action – are managed in interaction and how video mediation becomes consequential in these processes. I use ethnomethodological conversation analysis to examine how interactants recognise technology-generated ruptures of intersubjectivity, how they repair these ruptures, and how technical mediation becomes consequential for these practices in video-mediated interaction. I use data from three different settings: 1) video-mediated health counselling groups simultaneously video-recorded from both the group and the leader perspectives, 2) video-mediated tele-homecare visits between single home-dwelling older adults and professionals recorded in either the home environment or the professional’s office, and 3) hybrid tele-consultations recorded in a general practitioner’s office. The varied nature of the data in terms of institutional context, number of participants, technological settings and perspectives recorded enable analysing two recurring phenomena that have been recognised in ethnomethodological research on video-mediated interaction: a) how transmission delays produce non-mutual interactional realities where the timing of actions differ from different perspectives of action, and b) how limited video frames produce fractured ecologies which hinder the co-ordination of body movements and the use of artefacts. Based on the analyses of the data, I argue that as in face-to-face interactions, participants recognise the ruptures of intersubjectivity against the sequential relevance of actions. Whether or not the interactants recognise something as potential trouble for intersubjectivity is contingent on the distant participant’s ability to participate in an appropriate way in a given situation; that is, to produce sequentially relevant next actions. When resolving the ruptures of intersubjectivity, interactants need to make their perspectives available to others and have those others’ perspectives available to themselves. The interactants achieve this by two intertwined practices: verbal explications and physical demonstrations. When employing these practices, individuals orient themselves to the technological mediation as relevant by fitting their conduct to the media available to the other participants. Video mediation shapes the conditions of both evaluating sequential relevance and making perspectives salient, as it distorts both the timing of turns and the space in which bodily interactions are produced and received. Thus, when repairing intersubjectivity, interactants fit their repair practices to the affordances of the technological medium and the nature of a given misunderstanding. The study contributes to conversation analytic research on video-mediated interaction by examining the relationship of verbal explications and physical demonstrations with the more general topic of repairing intersubjectivity in video-mediated interaction. Based on these analyses, I suggest that the broader field of computer-mediated communication would benefit from the action-centred and context-sensitive mode of analysis offered by ethnomethodological conversation analysis, as this would highlight creative and diverse ways of using communication technologies and offer a more robust theoretical understanding of the relationship between human conduct and communication media
    corecore