Design Fiction Diegetic Prototyping: A Research Framework for Visualizing Service Innovations

The file attached to this record is the author's final peer reviewed version. The Publisher's final version can be found by following the DOI link.Purpose: This paper presents a design fiction diegetic prototyping methodology and research framework for investigating service innovations that reflect future uses of new and emerging technologies. Design/methodology/approach: Drawing on speculative fiction, we propose a methodology that positions service innovations within a six-stage research development framework. We begin by reviewing and critiquing designerly approaches that have traditionally been associated with service innovations and futures literature. In presenting our framework, we provide an example of its application to the Internet of Things (IoT), illustrating the central tenets proposed and key issues identified. Findings: The research framework advances a methodology for visualizing future experiential service innovations, considering how realism may be integrated into a designerly approach. Research limitations/implications: Design fiction diegetic prototyping enables researchers to express a range of ‘what if’ or ‘what can it be’ research questions within service innovation contexts. However, the process encompasses degrees of subjectivity and relies on knowledge, judgment and projection. Practical implications: The paper presents an approach to devising future service scenarios incorporating new and emergent technologies in service contexts. The proposed framework may be used as part of a range of research designs, including qualitative, quantitative and mixed method investigations. Originality: Operationalizing an approach that generates and visualizes service futures from an experiential perspective contributes to the advancement of techniques that enables the exploration of new possibilities for service innovation research

Cultural dialects of real and synthetic emotional facial expressions

In this article we discuss the aspects of designing facial expressions for virtual humans (VHs) with a specific culture. First we explore the notion of cultures and its relevance for applications with a VH. Then we give a general scheme of designing emotional facial expressions, and identify the stages where a human is involved, either as a real person with some specific role, or as a VH displaying facial expressions. We discuss how the display and the emotional meaning of facial expressions may be measured in objective ways, and how the culture of displayers and the judges may influence the process of analyzing human facial expressions and evaluating synthesized ones. We review psychological experiments on cross-cultural perception of emotional facial expressions. By identifying the culturally critical issues of data collection and interpretation with both real and VHs, we aim at providing a methodological reference and inspiration for further research

Global software development : the next RE frontier?

Requirements Engineers face an emerging set of challenges, which compound the traditional Requirements Engineering (RE) challenges (stakeholder identification, domain expertise, communication, analytic skills, problem solving, ...) that have arguably still not been fully addressed. This is the challenge of RE in the world of global software development, with requirements teams working in virtual mode (possibly on different continents), with the software having to operate in multiple contexts, addressing the needs of different cultures and legal jurisdictions, and having to build sales in different marketplaces. Further the need arises to specify software that is progressively enhanced through regular releases, rather than the &ldquo;green field&rdquo; specification of products.This theoretical paper introduces these challenges, and presents an initial selection of theoretical models, drawn from many and varied source disciplines, which might be employed to gain insight into various features of RE in support of global software development. To illustrate the potential relevance of this selection of models, a longitudinal case study with a recently identified software developer, to follow the specification and subsequent roll-out of a future release of a software product for sale globally, is introduced. Features of the situation faced by that organisation are highlighted, to illustrate the potential relevance of the diverse models that have been identified.<br /

A BDI Empathic Agent Model Based on a Multidimensional Cross-Cultural Emotion Representation

Tesis por compendio[ES] Los seres humanos somos por naturaleza seres afectivos, las emociones, el estado de ánimo, nuestra personalidad, o nuestras relaciones con los demás guían nuestras motivaciones y nuestras decisiones. Una de las principales habilidades cognitivas relacionadas con el afecto es la empatía. La empatía es un constructo psicológico cuya definición ha ido evolucionando a lo largo de los años y cuyo significado hace referencia a un amplio abanico de competencias afectivas y cognitivas que son fundamentales en el desarrollo del ser humano como ser social. El uso de la empatía en el ámbito de la inteligencia artificial puede revolucionar la forma en la que interactuamos con las máquinas así como la forma en la que simulamos el comportamiento humano. Por otro lado, hay que tener en cuenta que los seres humanos habitualmente acudimos al uso de distintas palabras como ``triste'' o ``contento'' para expresar o verbalizar el estado afectivo. Sin embargo, estas palabras son simplificaciones que abarcan un amplio espectro de procesos cognitivos y estados mentales. Además, hay que considerar que estas palabras tienen una alta dependencia del idioma y la cultura en la que se utilizan. Por tanto, los modelos de representación computacional de los estados afectivos deben se capaces de adaptarse a distintos entornos culturales y de permitir que un agente exprese o represente, mediante palabras, un determinado estado afectivo. En esta tesis se propone un nuevo modelo de agente empático capaz de adaptar su comportamiento a distintos entornos culturales. Para ello, en primer lugar, se presenta una nueva metodología basada en la experimentación para adaptar un espacio de representación de emociones basado en las dimensiones del placer y la activación para la simulación y el reconocimiento computacional afectivo a diferentes entornos culturales. Los resultados del experimento realizado con hispanohablantes europeos se utilizan para proporcionar un nuevo modelo basado en la lógica difusa para representar estados afectivos en las dimensiones de placer y activación utilizando un enfoque de coordenadas polares. Para demostrar que las diferencias culturales afectan a los valores de placer y activación asociados a cada emoción, el experimento se repitió con participantes portugueses y suecos. En segundo lugar, se presenta un nuevo modelo de elicitación de emociones en agentes afectivos que utiliza lógica difusa. Las emociones generadas en el agente por las reglas de valoración difusa se expresan en el modelo de representación del afecto resultante de los experimentos previamente descritos. Además, se propone un nuevo proceso de regulación del afecto que adapta el estado de ánimo del agente, representado mediante un vector en el espacio placer-activación, cada vez que una emoción es elicitada. En tercer lugar, se propone una formalización de la sintaxis, la semántica y el ciclo de razonamiento de AgentSpeak para permitir el desarrollo de agentes afectivos con capacidades empáticas. Partiendo de las teorías de valoración empática y regulación empática, se modifica la estructura de razonamiento del agente para permitir que la empatía afecte al proceso de toma de decisiones. Finalmente, se presenta un modelo de agente pedagógico empático para la educación sobre buenas prácticas en el uso de las redes sociales. El agente es capaz de reconocer la emoción del usuario cuando interactúa con la red social. En base a la emoción del usuario y su comportamiento en la red social, el agente estima un plan para educar al usuario en el uso correcto y seguro de las redes sociales.[CA] Els éssers humans som per naturalesa éssers afectius, les emocions, l'estat d'ànim, la nostra personalitat o les nostres relacions amb els altres guien les nostres motivacions i les nostres decisions. Una de les habilitats cognitives principals relacionades amb l'afecte és l'empatia. L'empatia és un constructe psicològic la definició del qual ha anat evolucionant al llarg dels anys i el significat del qual fa referència a un ampli ventall de competències afectives i cognitives que són fonamentals en el desenvolupament de l'ésser humà com a ésser social. L'ús de l'empatia en l'àmbit de la intel·ligència artificial pot revolucionar la forma en la qual interactuem amb les màquines així com la forma en què simulem el comportament humà. D'altra banda, cal tenir en compte que els éssers humans habitualment acudim a l'ús de diferents paraules com ``trist'' o ``content'' per expressar o verbalitzar l'estat afectiu. Tot i això, aquestes paraules són simplificacions que abasten un ampli espectre de processos cognitius i estats mentals. A més, cal considerar que aquestes paraules tenen una alta dependència de l'idioma i la cultura en què s'utilitzen. Per tant, els models de representació computacional dels estats afectius han de ser capaços d'adaptar-se a diferents entorns culturals i de permetre que un agent expresse o represente, mitjançant paraules, un estat afectiu determinat. En aquesta tesi es proposa un nou model d'agent empàtic capaç d'adaptar el seu comportament a diferents entorns culturals. Per això, en primer lloc, es presenta una metodologia nova basada en l'experimentació per adaptar un espai de representació d'emocions basat en les dimensions del plaer i l'activació per a la simulació i el reconeixement computacional afectiu a diferents entorns culturals. Els resultats de l'experiment realitzat amb hispanoparlants europeus es fan servir per proporcionar un nou model basat en la lògica difusa per representar estats afectius en les dimensions de plaer i activació mitjançant un enfocament de coordenades polars. Per demostrar que les diferències culturals afecten els valors de plaer i activació associats a cada emoció, l'experiment es va repetir amb participants portuguesos i suecs. En segon lloc, es presenta un nou model d'elicitació d'emocions en agents afectius que fa servir lògica difusa. Les emocions generades a l'agent per les regles de valoració difusa s'expressen en el model de representació de l'afecte resultant dels experiments descrits prèviament. A més, es proposa un nou procés de regulació de l'afecte que adapta l'estat d'ànim de l'agent, representat mitjançant un vector a l'espai plaer-activació, cada cop que una emoció és elicitada. En tercer lloc, es proposa una formalització de la sintaxi, semàntica i cicle de raonament d'AgentSpeak per permetre el desenvolupament d'agents afectius amb capacitats empàtiques. Partint de les teories de valoració empàtica i regulació empàtica, es modifica l'estructura de raonament de l'agent per permetre que l'empatia afecti el procés de presa de decisions. Finalment, es presenta un model d'agent pedagògic empàtic per a l'educació sobre bones pràctiques en l'ús de les xarxes socials. L'agent és capaç de reconèixer l'emoció de l'usuari quan interactua amb la xarxa social. En base a l'emoció de l'usuari i el seu comportament a la xarxa social, l'agent estima un pla per educar l'usuari en l'ús correcte i segur de les xarxes socials.[EN] Human beings are, by nature, affective beings; our emotions, moods, personality, or relationships with others guide our motivations and our decisions. One of the main cognitive abilities related to affect is empathy. Empathy is a psychological construct whose definition has evolved over the years and whose meaning refers to a wide range of affective and cognitive competencies that are fundamental in the development of human beings as social beings. The use of empathy in the field of artificial intelligence can revolutionize the way we interact with machines as well as the way we simulate human behavior. On the other hand, it must be considered that human beings usually resort to the use of different words such as ``sad'' or ``happy'' to express or verbalize our affective state. However, these words are simplifications that cover a wide spectrum of cognitive processes and mental states. Moreover, it should be considered that these words have a high dependence on the language and culture in which they are used. Therefore, computational representation models of affective states must adaptable to different cultural environments and to allow an agent to express or represent, by means of words, a given affective state. In this thesis, a new model of empathic agent capable of adapting its behavior to different cultural environments is proposed. To this end, first, a new experiment-based methodology to adapt an emotion representation space based on the dimensions of pleasure and arousal for simulation and affective computational recognition to different cultural environments is presented. The results of an experiment conducted with European Spanish speakers are used to provide a new fuzzy logic-based model for representing affective states in the dimensions of pleasure and arousal using a polar coordinate approach. To prove that cultural differences affect the pleasure and arousal values associated with each emotion, the experiment was replicated with Portuguese and Swedish participants. Secondly, a new model of emotion elicitation in affective agents using fuzzy logic is presented. The emotions generated in the agent by the fuzzy appraisal rules are expressed in the model of affect representation resulting from the previously described experiments. In addition, a new affect regulation process is proposed to adapt the agent's mood, represented by a vector in the pleasure-arousal space, when an emotion is elicited. Third, a formalization of the syntax, semantics and reasoning cycle of AgentSpeak to enable the development of affective agents with empathic capabilities is presented. Drawing on the theories of empathic appraisal and empathic regulation, the agent's reasoning structure is modified to allow empathy to affect the decision-making process. Finally, a model of an empathic pedagogical agent for education on good practices in the use of social networks is introduced. The agent is able to recognize the user's emotion when interacting with the social network. Based on the user's emotion and behavior in the social network, the agent estimates a plan to educate the user in the correct and secure use of social networks.This thesis has been partially supported by the Generalitat Valenciana and European Social Fund by the FPI grant ACIF/2017/085 and by the Spanish Government project PID2020- 113416RB-I00.Taverner Aparicio, JJ. (2022). A BDI Empathic Agent Model Based on a Multidimensional Cross-Cultural Emotion Representation [Tesis doctoral]. Universitat Politècnica de València. https://doi.org/10.4995/Thesis/10251/181181TESISCompendi

Environmental Impacts on the Occupations of Non-binary Individuals

Understanding the link between occupations, gender identity, and the environment is fundamental to the comprehension of the occupational participation of non-binary individuals. Occupations are used to express an individual’s personal and social identity and serve as a modality for identity “growth and reconstruction” (Laliberte-Rudman, 2002). Beagan et al. (2012) reveal that transgender individuals use occupations to shape and project their identity; the inability to engage in occupations that align with an individual’s identity (particularly gender identity) resulted in distress, a sense of emptiness, and occupational deprivation. Current research addresses the transgender population but fails to distinguish between the binary and non-binary experience. This study focuses on non-binary individuals and acknowledges them as unique individuals while simultaneously addressing the gap in the literature of occupational science. A case study design was selected with a two-step semi-structured interview process where the initial interview focused on environments that supported or hindered occupations, while the second interview was guided by photo-elicitation (Clark-Ibanez, 2004). Data from four participants over eight interviews resulted in three themes: gated world, navigating binary spaces, and undoing gender

Toward A New Framework for Presence Evaluation: A Representational Design Perspective

Although researchers suggest that presence is a multi-dimensional concept, little research is available to explain the underlying relationships among the dimensions and variables. A new framework with four components for presence evaluation is introduced. It argues that investigating how media content affects presence is the solution to achieving a more complete understanding of presence and to taking individual characteristics and contexts as important factors in presence study

A Framework For Abstracting, Designing And Building Tangible Gesture Interactive Systems

This thesis discusses tangible gesture interaction, a novel paradigm for interacting with computer that blends concepts from the more popular fields of tangible interaction and gesture interaction. Taking advantage of the human innate abilities to manipulate physical objects and to communicate through gestures, tangible gesture interaction is particularly interesting for interacting in smart environments, bringing the interaction with computer beyond the screen, back to the real world. Since tangible gesture interaction is a relatively new field of research, this thesis presents a conceptual framework that aims at supporting future work in this field. The Tangible Gesture Interaction Framework provides support on three levels. First, it helps reflecting from a theoretical point of view on the different types of tangible gestures that can be designed, physically, through a taxonomy based on three components (move, hold and touch) and additional attributes, and semantically, through a taxonomy of the semantic constructs that can be used to associate meaning to tangible gestures. Second, it helps conceiving new tangible gesture interactive systems and designing new interactions based on gestures with objects, through dedicated guidelines for tangible gesture definition and common practices for different application domains. Third, it helps building new tangible gesture interactive systems supporting the choice between four different technological approaches (embedded and embodied, wearable, environmental or hybrid) and providing general guidance for the different approaches. As an application of this framework, this thesis presents also seven tangible gesture interactive systems for three different application domains, i.e., interacting with the In-Vehicle Infotainment System (IVIS) of the car, the emotional and interpersonal communication, and the interaction in a smart home. For the first application domain, four different systems that use gestures on the steering wheel as interaction means with the IVIS have been designed, developed and evaluated. For the second application domain, an anthropomorphic lamp able to recognize gestures that humans typically perform for interpersonal communication has been conceived and developed. A second system, based on smart t-shirts, recognizes when two people hug and reward the gesture with an exchange of digital information. Finally, a smart watch for recognizing gestures performed with objects held in the hand in the context of the smart home has been investigated. The analysis of existing systems found in literature and of the system developed during this thesis shows that the framework has a good descriptive and evaluative power. The applications developed during this thesis show that the proposed framework has also a good generative power.Questa tesi discute l’interazione gestuale tangibile, un nuovo paradigma per interagire con il computer che unisce i principi dei più comuni campi di studio dell’interazione tangibile e dell’interazione gestuale. Sfruttando le abilità innate dell’uomo di manipolare oggetti fisici e di comunicare con i gesti, l’interazione gestuale tangibile si rivela particolarmente interessante per interagire negli ambienti intelligenti, riportando l’attenzione sul nostro mondo reale, al di là dello schermo dei computer o degli smartphone. Poiché l’interazione gestuale tangibile è un campo di studio relativamente recente, questa tesi presenta un framework (quadro teorico) che ha lo scopo di assistere lavori futuri in questo campo. Il Framework per l’Interazione Gestuale Tangibile fornisce supporto su tre livelli. Per prima cosa, aiuta a riflettere da un punto di vista teorico sui diversi tipi di gesti tangibili che possono essere eseguiti fisicamente, grazie a una tassonomia basata su tre componenti (muovere, tenere, toccare) e attributi addizionali, e che possono essere concepiti semanticamente, grazie a una tassonomia di tutti i costrutti semantici che permettono di associare dei significati ai gesti tangibili. In secondo luogo, il framework proposto aiuta a concepire nuovi sistemi interattivi basati su gesti tangibili e a ideare nuove interazioni basate su gesti con gli oggetti, attraverso linee guida per la definizione di gesti tangibili e una selezione delle migliore pratiche per i differenti campi di applicazione. Infine, il framework aiuta a implementare nuovi sistemi interattivi basati su gesti tangibili, permettendo di scegliere tra quattro differenti approcci tecnologici (incarnato e integrato negli oggetti, indossabile, distribuito nell’ambiente, o ibrido) e fornendo una guida generale per la scelta tra questi differenti approcci. Come applicazione di questo framework, questa tesi presenta anche sette sistemi interattivi basati su gesti tangibili, realizzati per tre differenti campi di applicazione: l’interazione con i sistemi di infotainment degli autoveicoli, la comunicazione interpersonale delle emozioni, e l’interazione nella casa intelligente. Per il primo campo di applicazione, sono stati progettati, sviluppati e testati quattro differenti sistemi che usano gesti tangibili effettuati sul volante come modalità di interazione con il sistema di infotainment. Per il secondo campo di applicazione, è stata concepita e sviluppata una lampada antropomorfica in grado di riconoscere i gesti tipici dell’interazione interpersonale. Per lo stesso campo di applicazione, un secondo sistema, basato su una maglietta intelligente, riconosce quando due persone si abbracciano e ricompensa questo gesto con uno scambio di informazioni digitali. Infine, per l’interazione nella casa intelligente, è stata investigata la realizzazione di uno smart watch per il riconoscimento di gesti eseguiti con oggetti tenuti nella mano. L’analisi dei sistemi interattivi esistenti basati su gesti tangibili permette di dimostrare che il framework ha un buon potere descrittivo e valutativo. Le applicazioni sviluppate durante la tesi mostrano che il framework proposto ha anche un valido potere generativo

ABC-EBDI: A cognitive-affective framework to support the modeling of believable intelligent agents.

El Grupo de Investigación de Interfaces Avanzadas (AffectiveLab), es un grupo reconocido por el Gobierno de Aragón (T60-20R) cuya actividad se enmarca en el área de la Interacción Humano-Computadora (IHC). Su actividad investigadora se ha centrado, en los últimos años, en cuatro temas principales: interacción natural, informática afectiva, accesibilidad e interfaces basadas en agentes inteligentes, siendo esta última en la que se enmarca esta tesis doctoral. Más concretamente, la realización de esta tesis doctoral se enmarca dentro de los proyectos de investigación nacionales JUGUEMOS (TIN2015-67149-C3-1R) y PERGAMEX (RTI2018-096986-B-C31). Una de sus líneas de investigación se centra en el desarrollo de arquitecturas cognitivo-afectivas para apoyar el modelado afectivo de los agentes inteligentes. El AffectiveLab tiene una sólida experiencia en el uso de agentes de interfaz incorporados que exhiben expresiones afectivas corporales y faciales (Baldassarri et al., 2008). En los últimos años, se han centrado en el modelado del comportamiento de los agentes inteligentes (Pérez et al., 2017).La definición de agente inteligente es un tema controvertido, pero se puede decir que es una entidad autónoma que recibe información dinámica del entorno a través de sensores y actúa sobre el medio ambiente a través de actuadores, mostrando un comportamiento dirigido a un objetivo (Russell et al., 2003). El modelado de los procesos cognitivos en los agentes inteligentes se basa en diferentes teorías (Moore, 1980; Newell, 1994; Bratman, 1987) que explican, desde diferentes puntos de vista, el funcionamiento de la mente humana. Los agentes inteligentes implementados sobre la base de una teoría cognitiva se conocen como agentes cognitivos. Los más desarrollados son los que se basan en arquitecturas cognitivas, como Soar (Laird et al., 1987), ACT-R (Anderson, 1993) y BDI (Rao and Georgeff, 1995). Comparado con Soar y otras arquitecturas complejas, BDI se destaca por su simplicidad y versatilidad. BDI ofrece varias características que la hacen popular, como su capacidad para explicar el comportamiento del agente en cada momento, haciendo posible una interacción dinámica con el entorno. Debido a la creciente popularidad del marco BDI se ha utilizado para apoyar el modelado de agentes inteligentes (Larsen, 2019; (Cranefield and Dignum, 2019). En los últimos años, también han aparecido propuestas de BDI que integran aspectos afectivos. Los agentes inteligentes construidos en base a la arquitectura BDI que también incorporan capacidades afectivas, se conocen como agentes EBDI (Emotional BDI) y son el foco de esta tesis. El objetivo principal de esta tesis ha sido proponer un marco cognitivo-afectivo basado en el BDI que sustente el modelado cognitivo-afectivo de los agentes inteligentes. La finalidad es ser capaz de reproducir un comportamiento humano creíble en situaciones complejas donde el comportamiento humano es variado y bastante impredecible. El objetivo propuesto se ha logrado con éxito en los términos descritos a continuación:• Se ha elaborado un exhaustivo estado del arte relacionado con los modelos afectivos más utilizados para modelar los aspectos afectivos en los agentes inteligentes.• Se han estudiado las arquitecturas de BDI y las propuestas previas de EBDI. El estudio, que dio lugar a una publicación (Sánchez-López and Cerezo, 2019), permitió detectar las cuestiones abiertas en el área, y la necesidad de considerar todos los aspectos de la afectividad (emociones, estado de ánimo, personalidad) y su influencia en todas las etapas cognitivas. El marco resultante de este trabajo doctoral incluye también el modelado de la conducta y el comportamiento comunicativo, que no habían sido considerados hasta ahora en el modelado de los agentes inteligentes. Estos aspectos colocan al marco resultante entre EBDI los más avanzados de la literatura. • Se ha diseñado e implementado un marco basado en el BDI para soportar el modelado cognitivo, afectivo y conductual de los agentes inteligentes, denominado ABC-EBDI (Sanchez et al., 2020) (Sánchez et al., 2019). Se trata de la primera aplicación de un modelo psicológico muy conocido, el modelo ABC de Ellis, a la simulación de agentes inteligentes humanos realistas. Esta aplicación implica:o La ampliación del concepto de creencias. En el marco se consideran tres tipos de creencias: creencias básicas, creencias de contexto y comportamientos operantes. Las creencias básicas representan la información general que el agente tiene sobre sí mismo y el entorno. Las conductas operantes permiten modelar la conducta reactiva del agente a través de las conductas aprendidas. Las creencias de contexto, que se representan en forma de cogniciones frías y calientes, se procesan para clasificarlas en creencias irracionales y racionales siguiendo las ideas de Ellis. Es la consideración de creencias irracionales/racionales porque abre la puerta a la simulación de reacciones humanas realistas.o La posibilidad de gestionar de forma unificada las consecuencias de los acontecimientos en términos de consecuencias afectivas y de comportamiento (conducta). Las creencias de contexto racionales conducen a emociones funcionales y a una conducta adaptativa, mientras que las creencias de contexto irracionales conducen a emociones disfuncionales y a una conducta maladaptativa. Este carácter funcional/disfuncional de las emociones no se había utilizado nunca antes en el contexto del BDI. Además, el modelado conductual se ha ampliado con el modelado de estilos comunicativos, basado en el modelo Satir, tampoco aplicado previamente al modelado de agentes inteligentes. El modelo de Satir considera gestos corporales, expresiones faciales, voz, entonación y estructuras lingüísticas.• Se ha elegido un caso de uso, "I wish a had better news" para la aplicación del marco propuesto y se han realizado dos tipos de evaluaciones, por parte de expertos y de usuarios. La evaluación ha confirmado el gran potencial del marco propuesto para reproducir un comportamiento humano realista y creíble en situaciones complejas.<br /