Emotions in archetypal media content

Emotion is an intriguing and mysterious psychological phenomenon. While everyone seems to know what it is, researchers have not yet come to consensus on its definition, and many questions still remain unanswered. While the nature of emotion is yet to discover, the design community has noticed is importance, and poses the challenge of how emotion could inform design. We see the necessity to follow the state of the art in psychology and initiate the undertaking by exploring the emotional qualities in various types of media content. The first part of this thesis aims at constructing a theoretical framework. Recent years have seen empirical studies suggest that emotion could be unconscious. While this is to be further justified, scientists are motivated to reconsider current theories of emotion to account for this phenomenon. In light of this, we integrate these studies about unconscious emotion into our literature review. An overview from theory to practice is illustrated to provide a reference for viewing the current states in application domains, such as affective computing and emotional design. This review offers a holistic understanding about emotion from various perspectives, which allow us to look for new directions in future studies. Based on our review, we see a promising direction by applying psychoanalysis methods to analyze the media content as affective stimuli, and these stimuli can be evaluated by using quantitative measures to investigate the connection between the content and the corresponding emotions. The analysis on the media content is based on a psychoanalysis theory¿the theory of archetypes¿proposed by Carl Jung. He argues that there exists a universal pattern in humans¿ unconscious thoughts, which can be manifested as symbolic content in various forms of narratives, such as myth and fairy tales. Today, this archetypal symbolic content can be seen in modern media, particularly in movies. By applying the Jungian approach, we analyzed the symbolic meaning in movie scenes and edit these feature scenes into a collection of archetypal media content, which serve as the experimental materials for later explorations. In the second part of this thesis, we present three experimental studies that aim at determining if archetypal media content can be differentiated based on emotional responses. We adopted the psychoanalytical approach described earlier to collect feature scenes in movies as archetypal media content. Meanwhile, affective stimuli of explicit emotions are also included as benchmarks for comparison, such as sadness and joy. Self-reports and physiological signals are both adopted for measuring emotional responses. These three studies follow similar experimental design: presenting stimuli and measuring emotion concurrently. The results of these studies confirm that emotions induced by archetypal content are different from explicit emotions, and the statistical analysis further indicate that the predictive model obtained from physiological signals outperforms the model generated from self-reports while viewing archetypal media content. These results, however, are opposite to the results gained from affective stimuli of explicit emotions, leading us to the conclusion that archetypal media content might induce unconscious emotions, and physiological signals are more effective than self-reports for recognizing emotions induced by archetypal media content.La emoción es un fenómeno psicológico intrigante y misterioso. Aunque todo el mundo parece saber lo que es, los investigadores aún no han llegado a un consenso sobre su definición, y todavía quedan muchas preguntas sin respuesta. Si bien la naturaleza de las emociones está aún por descubrir, la comunidad de profesionales del diseño ha entendido su importancia, y se plantea el desafío de interrelacionar ambos mundos, explorando de las cualidades emocionales en diversos tipos de contenido en medios de comunicación. La primera parte de esta tesis tiene como objetivo la construcción de un marco teórico. Recientemente se han realizado estudios empíricos que sugieren que las emociones puede ser inconscientes. Si bien esto debe justificarse mejor, los científicos están motivados a reconsiderar las teorías actuales de la emoción para explicar este fenómeno. En vista de ello, integramos estos estudios sobre las emociones inconscientes en nuestra revisión de referencias bibliográficas incluyendo dominios de aplicación recientes, tales como la Computación Afectiva y el Diseño Emocional. Una dirección prometedora de investigación se basa en la aplicación de métodos del psicoanálisis para analizar contenidos multimedia como estímulos afectivos, y estos estímulos pueden ser evaluados mediante el uso de medidas cuantitativas para investigar la conexión entre el contenido y las emociones correspondientes. Este análisis se basa en la teoría de los arquetipos propuesto por el psicólogo Carl Jung. El autor sostiene que existe una patrón universal en los pensamientos inconscientes de los personas, que puede manifestarse como un símbolo contenido en las diversas formas de narrativas, como en los mitos y los cuentos de hadas. Hoy en día, estos arquetipos de contenido simbólico se puede ver frecuentemente en los contenidos multimedia modernos, sobre todo en las películas. Mediante la aplicación del enfoque de Jung, analizamos el significado simbólico en escenas de películas seleccionando las correspondientes a diversos arquetipos, que servirá como material experimental para exploraciones posteriores. En la segunda parte de esta tesis, se presentan tres estudios experimentales que apuntan a determinar si el contenido multimedia arquetípico puede diferenciarse en base a respuestas emocionales. Con el enfoque psicoanalítico descrito anteriormente para los arquetipos, también se incluye los estímulos afectivos de emociones explícitas son como puntos de referencia para la comparación, como la tristeza y la alegría. Se realizan auto-informes y se miden señales fisiológicas para la determinación de las respuestas emocionales en todos los experimentos realizados. Los resultados de estos estudios confirman que las emociones inducidas por arquetipos son diferentes de las emociones explícitas, y el análisis estadístico indica además que el modelo predictivo obtenido a partir de señales fisiológicas supera el modelo generado por los auto-informes durante la visualización de contenidos multimedia arquetípicos. Estos resultados, sin embargo, son opuestos a los resultados obtenidos a partir de los estímulos afectivos de emociones explícitas, llevándonos a la conclusión de que los contenidos de los medios arquetípicos podría inducir emociones inconscientes, y que las señales fisiológicas son más eficaces que los auto informes para el reconocimiento de las emociones inducidas por el contenido de medios arquetípico. En la tercera parte de esta tesis, exploramos cómo los contenidos arquetípicos podrían utilizarse para diseñar contenido multimedia mediante "mood boards". Se realizaron dos estudios con diseñadores para responder a la pregunta de investigación de si es posible generar contenido emocionalmente rico a través de la generación automática de contenido arquetípico por "mood boards" en comparación con el contenido multimedia no arquetípico

Narrative and Performance : Components and Attributes of Conceptual Paradigm of Interaction Form

학위논문(박사) -- 서울대학교대학원 : 미술대학 디자인학부 디자인전공, 2022.2. 정의철.컴퓨터와 관련 기술이 폭발적으로 발전하고 편재화, 일상화되면서 그 상호작용에 대한 논의는 다각화되었다. 그 중 사용성에 대한 논의는 태동에서부터 이슈를 바꿔가며 지속적으로 중심에 있었고 현재도 유효하다. 반면 인터랙션의 디자인에 있어서 기존 디자인의 조형 개념들과는 차별화된 확장적 고려가 필요함에도 불구하고 집중된 연구가 이루어지지 못했다. 본 연구는 인터랙션의 미적 조형을 개념적으로 구조화하고 그 구성 요소들이 미적 경험의 발현에 작용하는 속성을 도출하여 체계화하는 것을 목표로 한다. 이를 위해 인터랙션 조형을 개념 정의한 후 모형의 형태로 제시하고, 이를 구성하는 핵심 요소로서 ‘내러티브’와 ‘퍼포먼스’의 차원을 유관 미학의 논의를 차용하고, 그 세부적인 구성 메커니즘과 속성을 발견하여 제시하고 사례를 중심으로 관계성을 예증하였다. 이어, 실험과 응용 연구를 통해 제시된 개념 모형과 내러티브, 퍼포먼스의 요소, 속성을 중심으로 심화된 이해를 도모하였다. 우선, 본 연구는 ‘인터랙션 조형’을 디자인 대상으로서의 인터랙션를 미적으로 조직하는 행위와 과정 혹은 그 결과로 정의하고, 그 개념적 구조를 모형화하여 ‘AID(Aesthetic Interaction Design) 모형’으로 제시하였다. 이 모형은 크게 ‘형태(Form)’, ‘내러티브(Narrative)’, ‘퍼포먼스(Performance)’의 차원으로 구성되고, 각각의 차원은 하위 구성 요소를 가진다고 보았다. 그 중 인터랙션 조형을 차별화하는 내러티브와 퍼포먼스의 2개 차원에 집중하여 세부적인 구성 요소와 속성을 도출하였다. 인터랙션 내러티브는 인터랙션의 서사적 특성을 통해 미적 경험을 자극하는 차원으로서, 서사 미학의 기존 이해를 바탕으로, 인터랙션의 이벤트를 유기적으로 조직하고 배치한 결과인 ‘플롯(plot)’, 인터랙션의 에이전트들이 드러내는 성격인 ‘캐릭터(character)’, 인터랙션 내러티브가 벌어지는 배경과 맥락인 ‘시간과 공간’으로 이루어진다. 인터랙션 퍼포먼스는 인터랙션의 수행적 미감을 자극하는 차원으로서, 수행 미학을 바탕으로, 인터랙션을 이루고 있는 동적인 표현인 ‘키네틱스(kinetics)’, 인터랙션의 감각적 심미성을 전달하는 매개인 ‘센서빌리아(sensibilia)’, 인터랙션의 역동성이 표현되는 ‘시간과 공간’으로 이루어진다. 이와 같이 제시된 하위 구성 요소들에 대해 그 미적 속성을 도출하여 정의하고 인터랙션 사례를 통해 예시하였다. 플롯은 핵/위성 이벤트, 선별성, 개연성, 핍진성, 의외성, 특이성을, 캐릭터는 ‘주목성, 흥미성, 정체성, 입체성을, 키네틱스는 흐름, 힘, 속도, 방향/범위를, 센서빌리아는 기억성, 협력성, 전이성, 확장성을 가진다. 시간과 공간은 내러티브와 퍼포먼스가 공유하는 요소로서 내러티브적인 순차성, 지속성, 확장성과 퍼포먼스적인 즉흥성, 맥락성, 가상성의 속성을 가진다. 위와 같은 이해를 심화하기 위해 3개의 실험 및 응용 연구를 진행하였다. 내러티브의 플롯에 관한 실험을 통해 순차성, 특이성, 핵 이벤트의 미적 작용을 세부적으로 탐색하였고, 퍼포먼스의 키네틱스에 관한 실험을 통해 키네틱스 속성들의 패턴 조합들이 가지는 미적 감성과의 상관성을 알아보았다. 퍼포먼스의 센서빌리아의 응용 연구를 위해 인터랙티브 인스톨레이션을 개발하였고, ‘숨은 감각’이라는 감각 전이의 미적 경험을 탐색할 수 있었다. 본 연구는 인터랙션 조형의 개념을 정립하고 그 개념적 구조를 체계적으로 제시함으로써 인터랙션 조형의 구성과 미적 경험의 발현에 대한 이해를 심화하였다. 내러티브와 퍼포먼스의 차원을 심층적으로 탐구하여 제시함으로써 인터랙션의 차별적 미감을 해석하고 속성적 원리를 이해할 수 있는 근거를 제시하였다. 또한 실험 및 응용 연구를 통해 인터랙션 조형의 개념과 구조를 기반으로 인터랙션의 미적 경험에 대한 이해를 심화하고 인터랙션 조형의 프로세스에 응용할 수 있는 가능성을 제시하였다.As computers and related technologies explosively developed and became ubiquitous, discussions of their interactions have diversified. Among them, the discussion about usability has been at the center changing its issues from the beginning, and is still valid. On the other hand, despite the need for extended consideration differentiated from the existing formative concepts of design, the design of interaction does not seem to have been paid enough attention to. The study aims to structure the concept of aesthetic form of interaction, and to systematize the attributes that its components act on the expression of aesthetic experience. To this end, the study defined the concept of ‘interaction form’ and presented in the form of a model. The dimensions of ‘narrative’ and ‘performance’ which are the core components of the model were borrowed from related aesthetics studies to discover the properties and mechanisms, and exemplified the relationship based on cases. The study extended it with experimental and applied researches to in-depth understanding of the model and its components and attributes. First of all, the study defined ‘Interaction Form’ as the act and procedure of organizing aesthetic interaction, or the results of it. The study modeled the conceptual structure and suggested ‘AID(Aesthetic Interaction Design) paradigm’ which is composed of ‘Form’, ‘Narrative’ and ‘Performance’ as higher dimensions and each dimension has its sub-components. Among them, the study concentrated on the dimensions of ‘Narrative’ and ‘Performance’ which differentiated the interaction form to derive detailed components and attributes of them. Interaction Narrative is the dimension that stimulates aesthetic experience through narrative features of interaction. Based on and borrowed from the narrative aesthetics, it consists of ‘plot’, a result of organizing the events in interaction, ‘character’, characteristics of agents in interaction, and ‘time and space’ in which the interaction takes place. On the other hand, Interaction Performance is the dimension that stimulates performative aesthetics. Based on performative aesthetics, it consists of ‘kinetics’ , a dynamic expression of interaction, 'sensibilia', a medium that conveys the sensory aesthetics of interaction, and 'time and space' in which dynamics of interaction takes place. Aesthetic attributes of the above components were derived and defined with examples of interaction cases. As results, the study found that plot has nucleus/satellite events, selectivity, probability, plausibility, unexpectedness, and particularity, character has attractiveness, excitement, identity and multi-dimensionality, kinetics has flow, force, speed and direction/range, sensibilia has memorability, cooperativity, transferability and extendability. Time and space are the components that Narrative and Performance dimensions share, and have narrative attributes of sequentiality, durability and extendability, and performative attributes of improvisationality, contextuality and virtuality. In order to deepen the above understanding, experimental and applied research were conducted. Through an experiment on the plot components of Narrative dimension, detailed aesthetic effects of sequentiality, particularity and nuclei events were explored, and on kinetics of Performance, the correlation between the patterns of kinetics attributes and aesthetic emotions. A series of interactive installations were developed to apply the sensibilia of Performance, in which the aesthetic experience of sensory transfer was explored. The study deepened the understanding about the structure of interaction forms and the manifestation of aesthetic experience from them by establishing the concept of interaction form and presenting the conceptual structure of it. The study explored the dimensions of Narrative and Performance in-depth to provide the basis for interpreting differentiated aesthetics of interaction and understanding principles of its aesthetic attributes. In addition, with the concept and structure, the study deepened the understanding of aesthetic experience of interaction, and suggested the possibility of applying in the process of interaction design through experimental and applied researches.1. 서론 1 1.1 배경 1 1.2 연구의 목표, 범위, 방법 6 2. 인터랙션 미학과 인터랙션 조형 10 2.1 사용성에서 심미성으로 10 2.2 인터랙션의 조형 16 2.3 특질(qualities), 속성(attributes), 요소(elements) 20 2.4 한계와 방향성 26 3. AID(Aesthetic Interaction Design) 모형 29 3.1 추론의 과정 29 3.2 인터랙션 설계의 층위 30 3.3 인터랙션 조형의 층위 35 3.4 상관성과 전체성 43 4. 인터랙션 내러티브(Interaction Narrative) 46 4.1 내러티브 46 4.1.1 일상의 내러티브 46 4.1.2 내러티브의 메커니즘 48 4.2 인터랙션 내러티브 51 4.3 플롯(Plot) 54 4.3.1 핵과 위성(nucleus and satellite) 55 4.3.2 선별성(selectivity) 58 4.3.3 개연성(probability) 60 4.3.4 핍진성(plausibility) 62 4.3.5 의외성(unexpectedness) 64 4.3.6 특이성(particularity) 66 4.4 시간과 공간(Time & Space) 68 4.4.1 순차성(sequentiality) 69 4.4.2 지속성(durability) 71 4.4.3 확장성(extendability) 72 4.5 캐릭터(Character) 74 4.5.1 주목성(attractiveness) 78 4.5.2 흥미성(excitement) 81 4.5.3 정체성(identity) 84 4.5.4 입체성(multi-dimensionality) 87 4.6 요약 89 5. 인터랙션 퍼포먼스(Interaction Performance) 93 5.1 퍼포먼스 93 5.1.1 일상의 퍼포먼스 93 5.1.2 퍼포먼스란 무엇인가 95 5.2 인터랙션 퍼포먼스 101 5.2.1 퍼포먼스로서 인터랙션 : 매크로-마이크로 퍼포먼스 101 5.2.2 인터랙션 퍼포먼스의 구성 109 5.3 키네틱스(kinetics) 112 5.3.1 흐름(flow) 116 5.3.2 힘(force) 122 5.3.3 속도(speed) 126 5.3.4 방향(direction)/범위(range) 130 5.4 시간과 공간 133 5.4.1 즉흥성(improvisationality) 135 5.4.2 맥락성(contextuality) 138 5.4.3 가상성(virtuality) 141 5.5 센서빌리아(sensibilia) 145 5.5.1 기억성(memorability) 150 5.5.2 협력성(cooperativity) 154 5.5.3 전이성(transferability) 159 5.5.4 확장성(extendability) 166 5.6 요약 171 6. 심화 및 응용 174 6.1 내러티브의 플롯과 상호작용성 175 6.1.1 실험 175 6.1.2 평가 177 6.1.3 결과 178 6.1.4 분석 179 6.1.5 소결 184 6.2 퍼포먼스의 키네틱스와 상호작용성 185 6.2.1 실험 187 6.2.2 결과 188 6.2.3 분석 190 6.2.4 그 외 발견점 195 6.2.5 소결 197 6.3 퍼포먼스의 센서빌리아와 상호작용성 198 6.3.1 컨셉 199 6.3.2 초기 디자인 200 6.3.3 Numb 202 6.3.4 kam 204 6.3.5 결과 및 토의 206 6.3.6 소결 208 7. 결론 210 7.1 결과 및 의의 210 7.2 한계 및 과제 214 참고문헌 217 부록 1 : 내러티브 속성 실험 전체 결과물 234박