On the Relationship between People, Objects, & Interactive Technologies: Transforming Digital & Physical experiences through the process of Realizing Empathy

La manera com les persones es relacionen amb el seu entorn, ja sigui físic o digital, és cada cop més complexa i fugaç, fent que la relació de l'usuari amb els seus objectes i eines digitals, de vegades, sigui extrema i de curta durada. Tanmateix, la propietat d'objectes i objectes tecnològics interactius no és buida de significat, són mostres de reflexió i representació per als altres i del seu paper a la societat. La clau per mantenir una relació i el significat amb aquests objectes rau en el disseny i la intenció de l'experiència interactiva creada. Inspirats en les disciplines de la psicologia, el procés de disseny, la interacció humà-ordinador i els models de negoci, aquesta tesi explora, analitza, crea i prova els fonaments teòrics sobre l'empatia i el concepte d'entaular una relació de llarga durada entre les persones i les tecnologies interactives.  Amb aquesta finalitat, aquesta tesi es divideix en 4 fases: (1) l’estudi en profunditat de les referències bibliogràfiques dins del sector HCI, amb especial atenció al rol del disseny i la psicologia amb la intenció de respondre preguntes com: “Com podem construir relacions de llarga durada entre persones i objectes intel·ligents?” (2) Recopilar i adoptar definicions, eines i terminologia de treballs relacionats que aportin a la construcció de la contribució principal d'aquesta tesi, (3) Crear i presentar un model d'interacció entre persones i tecnologia que aporti a una interacció de llarga durada, i (4) presentar un cas d’estudi on s’implementi el model proposat.  Després del treball bibliogràfic, al sector de l'HCI, s'ha identificat un buit, fruit de les principals preocupacions expressades: la manca de connexió entre la teoria i la pràctica del disseny, així com una mancança en l’àmbit de l'Empatia. El resultat fa que molts dels models d’interacció amb intenció empàtica i afectiva no se sustentin entre si. Això ens ha portat a la segona fase de la tesi on aprofitem les referències de múltiples disciplines per estudiar què és l'empatia, com s'implementa, com es percep i com evoluciona cap a l'objectiu d'una relació a llarg termini, com a punt focal cap a les principals contribucions de la tesi. .  Després de reunir i analitzar exhaustivament les referències al voltant de l'empatia, entrem a la tercera fase on presentem el model teòric d'interacció amb el potencial d'establir una interacció a llarg termini i l’anomenat Procés de realització de l'empatia (RE). Més que intentar definir què és l'empatia, aquesta proposta intenta oferir una perspectiva diferent de l'empatia i visualitza el seu abast com un procés influenciat per models de diàleg i col·laboració amb el propòsit de crear comprensió mútua i donar significat a aquest intercanvi.  Amb un model clar i una sòlida base teòrica, la fase final de la tesi cerca provar el model proposat amb l'objectiu d'observar si es poden detectar indicadors d'afecció afectiva i confiança entre una persona i el seu objecte tecnològic. En aquest cas, vam tenir l'oportunitat de treballar amb robots socials com el nostre “altre actor” per dissenyar les proves del model. Aquestes proves pretenien capturar els indicadors d'empatia entre un humà i un robot que abraça: l'aferrament afectiu, la confiança, la regulació de les expectatives i la reflexió sobre la perspectiva de l'altre dins un conjunt d'estratègies de col·laboració. Plantegem la hipòtesi que una estratègia de col·laboració activa condueix a un compromís més significatiu de generar empatia entre un humà i un robot en comparació amb una estratègia passiva. Els resultats són encoratjadors i clarament estableixen un camí per a futures investigacions sobre el disseny d'aquest model. La forma en que las personas se relacionan con su entorno, ya sea físico o digital, se vuelve cada vez más compleja y fugaz, haciendo que la relación del usuario con sus objetos y herramientas digitales, en ocasiones, sea extrema y de corta duración. Sin embargo, la propiedad de objetos y objetos tecnológicos interactivos no es vacía de significado, son muestras de reflexión y representación para los demás y de su papel en la sociedad. La clave para mantener una relación y significado con estos objetos radica en el diseño y la intención de la experiencia interactiva creada. Inspirados en las disciplinas de la psicología, el proceso de diseño, la interacción humano-ordenador y los modelos de negocio, esta tesis explora, analiza, crea y prueba los fundamentos teóricos sobre la empatía y el concepto de entablar una relación de larga duración entre las personas y las tecnologías interactivas.  Con este fin, esta tesis se divide en 4 fases: (1) estudio en profundidad de las referencias bibliográficas dentro del sector HCI, con especial atención al rol del diseño y la psicología con la intención de responder a preguntas como: “¿Cómo podemos construir relaciones de larga duración entre personas y objetos inteligentes?”(2) Recopilar y adoptar definiciones, herramientas y terminología de trabajos relacionados que aporten a la construcción de la contribución principal de esta tesis, (3) Crear y presentar un modelo de interacción entre personas y tecnología que aporte a una interacción de larga duración, y (4) presentar un caso de estudio donde se implemente el modelo propuesto.  Tras el trabajo bibliográfico en el sector del HCI se ha identificado un vacío, fruto de las principales preocupaciones expresadas: la falta de conexión entre la teoría y la práctica del diseño, así como una falta en el tema de la Empatía. El resultado hace que muchos de los modelos de interacción con intención empática y afectiva no se sustenten entre sí. Esto nos ha llevado a la segunda fase de la tesis en la que aprovechamos las referencias de múltiples disciplinas para estudiar qué es la empatía, cómo se implementa, cómo se percibe y cómo evoluciona hacia el objetivo de una relación a largo plazo, como punto focal hacia las principales contribuciones de la tesis. .  Después de una reunir y analizar exhaustivamente las referencias en torno a la empatía, entramos en la tercera fase donde presentamos el modelo teórico de interacción con el potencial de entablar una interacción a largo plazo y denominado Proceso de realización de la empatía (RE). Más que intentar definir qué es la empatía, esta propuesta trata de ofrecer una perspectiva diferente a la empatía y visualiza su alcance como un proceso influenciado por modelos de diálogo y colaboración con el propósito de crear comprensión mutua y dar significado a ese intercambio.  Con un modelo claro y una sólida base teórica, la fase final de la tesis busca probar el modelo propuesto con el objetivo de observar si el modelo puede detectar indicadores de Apego Afectivo y Confianza entre una persona y su objeto tecnológico. En el caso de este trabajo, tuvimos la oportunidad de trabajar con robots sociales como nuestro “otro actor” para diseñar las pruebas del modelo. Estas pruebas pretendían capturar los indicadores de de empatía entre un humano y un robot que abarca: el apego afectivo, la confianza, la regulación de las expectativas y la reflexión sobre la perspectiva del otro dentro de un conjunto de estrategias de colaboración. Planteamos la hipótesis de que una estrategia de colaboración activa conduce a un compromiso más significativo de generar empatía entre un humano y un robot en comparación con una estrategia pasiva. Los resultados son alentadores y claramente establecen un camino para futuras investigaciones sobre el diseño de este modelo. How people engage with their surroundings, whether physical or digital, becomes increasingly complex and rapid, making the user’s relationship with their objects and digital tools, at times, extreme and short-lived. Yet, there is still meaning in ownership of objects and interactive technological objects, they are tokens of reflection and representation to others and their role in society. The key to sustaining a relationship and sense of meaning with these objects lies in the design and intention of the interactive experience created. Inspired by disciplines of psychology, design, Human-computer interaction, and business modeling, this thesis explored, analyzed, created, and tested theoretical foundations on Empathy and the concept of initiating a long-term relationship between people and their interactive technologies.  To that end, the thesis book was managed in 4 main stages: (1) presenting a deeper dive into bibliographic references within HCI and the role of both design and psychology in the attempt to tackle questions like: “How can we build long-term relationships between people and their smart objects?” (2) Collect and adopt from related works that helped build the main contributions of the thesis book, (3) Create an interaction model between humans and their technology that lent itself for potential long-term engagement, and (4) a case study that implemented and instantiated the model designed.     After mapping the HCI bibliographical works in the first phase, a gap was revealed indicative of the main concerns expressed: a lack of connection between theory and design practice as well as a lack in the topic of Empathy. The result makes many of the models of interaction with empathetic and affective intention unsupported between each other. This has led us to the second phase of the thesis where we leveraged references across multiple disciplines to survey what empathy is, how it is implemented, perceived and evolved toward the goal of long-term relationship, as a focal point toward the main thesis contributions.   After an exhaustive gathering and analysis of the work around Empathy, we entered the third phase where we present the proposed theoretical model of interaction with the potential for long-term engagement named the Process of Realizing Empathy (RE). Rather than attempting to further define empathy, this proposal is about offering a different perspective to empathy that visualizes its scope as a process influenced by dialogue and collaborative models with the goal to reach meaning between the actors involved.  With a clear model in place and a strong theoretical foundation, the final phase of the thesis looked to test the proposed model with the goal of observing if the model can provoke its indicators of Affective Attachment and Trust between a person and their technological object. In the case of this thesis work, we had the opportunity to work with social robots as our “other actor” to design the tests for the model. This testbed meant to capture the indicators of early empathy realization between a human and a robot encompassing affective attachment, trust, expectation regulation, and reflecting on the other’s perspective within a set of collaborative strategies. We hypothesized that an active collaboration strategy is conducive to a more meaningful and purposeful engagement of realizing empathy between a human and a robot compared to a passive one. The results are encouraging and clearly establish a path for further research on this model’s design.

Technologies and educational activities for supporting and implementing challenge- based learning

Our Challenge-Based Learning (CBL) method can be described as a special form of problem-based learning, in which the problems are of realistic, open-ended nature. Additionally, CBL contains features of experiential and project-based learning approaches. CBL is supported by the provision of Digital Experimentation Toolkits (DExTs) which comprise materials, initial instructions, references to web resources and specific software tools. Technological challenges lie in the ease of use in accessing these data and in communicating the learners' requests and specifications to the remote sites. Within this article we describe several classroom scenarios for the usage of DexTs in schools. Examples are the calculation of the epicenter of an earthquake, the calculation of lunar heights and the definition of strategies for navigation in a maze. The activities described in this paper were conducted within the framework of our COLDEX project (Collaborative Learning and Distributed Experimentation, http://www.coldex.info).Education for the 21 st century - impact of ICT and Digital Resources ConferenceRed de Universidades con Carreras en Informática (RedUNCI

Mobile Robotics

The book is a collection of ten scholarly articles and reports of experiences and perceptions concerning pedagogical practices with mobile robotics.“This work is funded by CIEd – Research Centre on Education, project UID/CED/01661/2019, Institute of Education, University of Minho, through national funds of FCT/MCTES-PT.

Virtual Reality Games for Motor Rehabilitation

This paper presents a fuzzy logic based method to track user satisfaction without the need for devices to monitor users physiological conditions. User satisfaction is the key to any product’s acceptance; computer applications and video games provide a unique opportunity to provide a tailored environment for each user to better suit their needs. We have implemented a non-adaptive fuzzy logic model of emotion, based on the emotional component of the Fuzzy Logic Adaptive Model of Emotion (FLAME) proposed by El-Nasr, to estimate player emotion in UnrealTournament 2004. In this paper we describe the implementation of this system and present the results of one of several play tests. Our research contradicts the current literature that suggests physiological measurements are needed. We show that it is possible to use a software only method to estimate user emotion

Interactive robots in experimental biology

Interactive robots have the potential to revolutionise the study of social behaviour because they provide several methodological advances. In interactions with live animals, the behaviour of robots can be standardised, morphology and behaviour can be decoupled (so that different morphologies and behavioural strategies can be combined), behaviour can be manipulated in complex interaction sequences and models of behaviour can be embodied by the robot and thereby be tested. Furthermore, robots can be used as demonstrators in experiments on social learning. As we discuss here, the opportunities that robots create for new experimental approaches have far-reaching consequences for research in fields such as mate choice, cooperation, social learning, personality studies and collective behaviour. © 2011 Elsevier Ltd

Seven Years after the Manifesto: Literature Review and Research Directions for Technologies in Animal Computer Interaction

As technologies diversify and become embedded in everyday lives, the technologies we expose to animals, and the new technologies being developed for animals within the field of Animal Computer Interaction (ACI) are increasing. As we approach seven years since the ACI manifesto, which grounded the field within Human Computer Interaction and Computer Science, this thematic literature review looks at the technologies developed for (non-human) animals. Technologies that are analysed include tangible and physical, haptic and wearable, olfactory, screen technology and tracking systems. The conversation explores what exactly ACI is whilst questioning what it means to be animal by considering the impact and loop between machine and animal interactivity. The findings of this review are expected to form the first grounding foundation of ACI technologies informing future research in animal computing as well as suggesting future areas for exploratio

Social Robots to enhance therapy and interaction for children: From the design to the implementation "in the wild"

En les últimes dues dècades els robots socials s'han convertit en un camp emergent en el qual encara hi ha molt per fer. Aquest camp requereix coneixements en mecànica, control, intel·ligència artificial, sistemes, etc., però també en psicologia, disseny, ètica, etc. El nostre grup de recerca de perfil interdisciplinari ha estat treballant en el disseny de robots socials en diferents aplicacions per a nens amb necessitats especials. L'objectiu d'aquesta tesi és investigar diferents escenaris en teràpia o educació on els robots socials podrien ser una eina útil per als nens. Es van realitzar 4 estudis amb diferents propòsits: (1) dissenyar activitats amb robòtica de LEGO per avaluar el comportament social dels nens amb trastorn de l'espectre autista (TEA) (entre companys i amb adults) i analitzar la seva efectivitat, (2) dissenyar un robot social per recuperar les funcionalitats més afectades a causa de traumatismes cranioencefàlics (TCE) en nens i veure l'eficàcia del tractament, (3) proporcionar un robot mascota per alleujar els sentiments d'ansietat, solitud i estrès en nens hospitalitzats, i (4) comprovar com un robot amb comportament social i amb una personalització versus robots sense aquestes característiques mostra diferències en termes d'interacció amb nens i, per tant, pot ajudar en l'efectivitat de diferents tractaments com hem esmentat anteriorment. Els resultats van revelar diferents resultats depenent de l'aplicació: (1) efectivitat amb la plataforma robòtica social que vam dissenyar en el tractament neuropsicològic per a aquells nens afectats per TCE, (2) eficàcia amb les activitats de robòtica de LEGO dissenyades per un grup de terapeutes en termes de millora d'habilitats socials (3) un efecte positiu entre els mediadors i facilitadors de la interacció i les relacions entre els diferents agents involucrats en el procés de la cura: pacients hospitalitzats, familiars, voluntaris i personal clínic, i (4) una interacció diferent, en termes de temps, entre els dos grups durant període de dues setmanes.En las últimas dos décadas los robots sociales se han convertido en un campo emergente en el que todavía hay mucho por hacer. Este campo requiere conocimientos en mecánica, control, inteligencia artificial, sistemas, etc., pero también en psicología, diseño, ética, etc. Nuestro grupo de investigación de perfil interdisciplinar ha estado trabajando en el diseño de robots sociales en diferentes aplicaciones para niños con necesidades especiales. El objetivo de esta tesis es investigar diferentes escenarios en terapia o educación donde los robots sociales podrían ser una herramienta útil para los niños. Se realizaron 4 estudios con diferentes propósitos: (1) diseñar actividades con robótica de LEGO para evaluar el comportamiento social de los niños con trastorno del espectro autista (TEA) (entre compañeros y con adultos) y analizar su efectividad, (2) diseñar un robot social para recuperar las funcionalidades más afectadas a causa de traumatismos craneoencefálicos (TCE) en niños y ver la eficacia del tratamiento, (3) proporcionar un robot mascota para aliviar los sentimientos de ansiedad, soledad y estrés en niños hospitalizados, y (4) comprobar como un robot con comportamiento social y con una personalización versus robots sin esas características muestra diferencias en términos de interacción con niños y, por tanto, puede ayudar en la efectividad de diferentes tratamientos como mencionamos anteriormente. Los resultados revelaron diferentes resultados dependiendo de la aplicación: (1) efectividad con la plataforma robótica social que diseñamos en el tratamiento neuropsicológico para aquellos niños afectadas por TCE, (2) eficacia con las actividades de robótica de LEGO diseñadas por un grupo de terapeutas en términos de mejora de habilidades sociales (3) un efecto positivo entre los mediadores y facilitadores de la interacción y las relaciones entre los diferentes agentes involucrados en el proceso del cuidado: pacientes hospitalizados, familiares, voluntarios y personal clínico, y (4) una interacción diferente, en términos de tiempo, entre ambos grupos en el promedio de un período de dos semanas.Over the past two decades social robots have become an emerging field where there are many things still to work on. This field not only requires knowledge in mechanics, control, artificial intelligence, systems, etc., but also in psychology, design, ethics, etc. Our multidisciplinary research group has been working on designing social robotic platforms in different applications for children with special needs. The aim of this thesis is to investigate different scenarios in therapy or education where social robots could be a useful tool for children. We ran 4 studies with different purposes: (1) to design activities with LEGO robotics to assess children with autism spectrum disorder (ASD) social behaviour (between peers and with adults) and to analyze the effectiveness, (2) to design a social robotic platform to recover the functionalities most affected by traumatic brain injuries (TBI) in children and see the effectiveness of the treatment, (3) to provide a pet robot to alleviate feelings of anxiety, loneliness and stress of long-term children inpatient and their bystanders, and (4) to verify how a robot with social behaviour and personalization verses those robots without, shows differences in terms of interaction with children and thus, helps the effectiveness of different treatments as we mention above. The results revealed different outcomes depending on the application: (1) effectiveness with the social robotic platform that we designed in neuropsychological treatment in those areas affected by TBI, (2) effectiveness with the LEGO robotics activities designed by a group of therapists in terms of improvement of the social skills and engagement, (3) a positive effect within mediators and facilitators of interaction and relationships between the different agents involved in the caring process: in-patients, relatives, volunteers and clinical staff (4) slight evidence towards a different interaction, in terms of time, between both groups in the average of a two-week period

PickCells: A Physically Reconfigurable Cell-composed Touchscreen

Touchscreens are the predominant medium for interactions with digital services; however, their current fixed form factor narrows the scope for rich physical interactions by limiting interaction possibilities to a single, planar surface. In this paper we introduce the concept of PickCells, a fully reconfigurable device concept composed of cells, that breaks the mould of rigid screens and explores a modular system that affords rich sets of tangible interactions and novel acrossdevice relationships. Through a series of co-design activities – involving HCI experts and potential end-users of such systems – we synthesised a design space aimed at inspiring future research, giving researchers and designers a framework in which to explore modular screen interactions. The design space we propose unifies existing works on modular touch surfaces under a general framework and broadens horizons by opening up unexplored spaces providing new interaction possibilities. In this paper, we present the PickCells concept, a design space of modular touch surfaces, and propose a toolkit for quick scenario prototyping