4 research outputs found
Leveraging eXtented Reality & Human-Computer Interaction for User Experi- ence in 360â—¦ Video
EXtended Reality systems have resurged as a medium for work and entertainment. While
360o video has been characterized as less immersive than computer-generated VR, its
realism, ease of use and affordability mean it is in widespread commercial use. Based
on the prevalence and potential of the 360o video format, this research is focused on
improving and augmenting the user experience of watching 360o video. By leveraging
knowledge from Extented Reality (XR) systems and Human-Computer Interaction (HCI),
this research addresses two issues affecting user experience in 360o video: Attention
Guidance and Visually Induced Motion Sickness (VIMS).
This research work relies on the construction of multiple artifacts to answer the de-
fined research questions: (1) IVRUX, a tool for analysis of immersive VR narrative expe-
riences; (2) Cue Control, a tool for creation of spatial audio soundtracks for 360o video, as
well as enabling the collection and analysis of captured metrics emerging from the user
experience; and (3) VIMS mitigation pipeline, a linear sequence of modules (including
optical flow and visual SLAM among others) that control parameters for visual modi-
fications such as a restricted Field of View (FoV). These artifacts are accompanied by
evaluation studies targeting the defined research questions. Through Cue Control, this
research shows that non-diegetic music can be spatialized to act as orientation for users.
A partial spatialization of music was deemed ineffective when used for orientation. Addi-
tionally, our results also demonstrate that diegetic sounds are used for notification rather
than orientation. Through VIMS mitigation pipeline, this research shows that dynamic
restricted FoV is statistically significant in mitigating VIMS, while mantaining desired
levels of Presence. Both Cue Control and the VIMS mitigation pipeline emerged from a
Research through Design (RtD) approach, where the IVRUX artifact is the product of de-
sign knowledge and gave direction to research. The research presented in this thesis is
of interest to practitioners and researchers working on 360o video and helps delineate
future directions in making 360o video a rich design space for interaction and narrative.Sistemas de Realidade EXtendida ressurgiram como um meio de comunicação para o tra-
balho e entretenimento. Enquanto que o vÃdeo 360o tem sido caracterizado como sendo
menos imersivo que a Realidade Virtual gerada por computador, o seu realismo, facili-
dade de uso e acessibilidade significa que tem uso comercial generalizado. Baseado na
prevalência e potencial do formato de vÃdeo 360o, esta pesquisa está focada em melhorar e
aumentar a experiência de utilizador ao ver vÃdeos 360o. Impulsionado por conhecimento
de sistemas de Realidade eXtendida (XR) e Interacção Humano-Computador (HCI), esta
pesquisa aborda dois problemas que afetam a experiência de utilizador em vÃdeo 360o:
Orientação de Atenção e Enjoo de Movimento Induzido Visualmente (VIMS).
Este trabalho de pesquisa é apoiado na construção de múltiplos artefactos para res-
ponder as perguntas de pesquisa definidas: (1) IVRUX, uma ferramenta para análise de
experiências narrativas imersivas em VR; (2) Cue Control, uma ferramenta para a criação
de bandas sonoras de áudio espacial, enquanto permite a recolha e análise de métricas
capturadas emergentes da experiencia de utilizador; e (3) canal para a mitigação de VIMS,
uma sequência linear de módulos (incluindo fluxo ótico e SLAM visual entre outros) que
controla parâmetros para modificações visuais como o campo de visão restringido. Estes
artefactos estão acompanhados por estudos de avaliação direcionados para às perguntas
de pesquisa definidas. Através do Cue Control, esta pesquisa mostra que música não-
diegética pode ser espacializada para servir como orientação para os utilizadores. Uma
espacialização parcial da música foi considerada ineficaz quando usada para a orientação.
Adicionalmente, os nossos resultados demonstram que sons diegéticos são usados para
notificação em vez de orientação. Através do canal para a mitigação de VIMS, esta pesquisa
mostra que o campo de visão restrito e dinâmico é estatisticamente significante ao mitigar
VIMS, enquanto mantem nÃveis desejados de Presença. Ambos Cue Control e o canal para
a mitigação de VIMS emergiram de uma abordagem de Pesquisa através do Design (RtD),
onde o artefacto IVRUX é o produto de conhecimento de design e deu direcção à pesquisa.
A pesquisa apresentada nesta tese é de interesse para profissionais e investigadores tra-
balhando em vÃdeo 360o e ajuda a delinear futuras direções em tornar o vÃdeo 360o um
espaço de design rico para a interação e narrativa
Multimodality in VR: A survey
Virtual reality (VR) is rapidly growing, with the potential to change the way we create and consume content. In VR, users integrate multimodal sensory information they receive, to create a unified perception of the virtual world. In this survey, we review the body of work addressing multimodality in VR, and its role and benefits in user experience, together with different applications that leverage multimodality in many disciplines. These works thus encompass several fields of research, and demonstrate that multimodality plays a fundamental role in VR; enhancing the experience, improving overall performance, and yielding unprecedented abilities in skill and knowledge transfer
Interactive Sound in Performance Ecologies: Studying Connections among Actors and Artifacts
This thesis’s primary goal is to investigate performance ecologies, that is the compound
of humans, artifacts and environmental elements that contribute to the result of a per-
formance. In particular, this thesis focuses on designing new interactive technologies for
sound and music. The goal of this thesis leads to the following Research Questions (RQs):
• RQ1 How can the design of interactive sonic artifacts support a joint expression
across different actors (composers, choreographers, and performers, musicians, and
dancers) in a given performance ecology?
• RQ2 How does each different actor influence the design of different artifacts, and
what impact does this have on the overall artwork?
• RQ3 How do the different actors in the same ecology interact, and appropriate an
interactive artifact?
To reply to these questions, a new framework named ARCAA has been created. In this
framework, all the Actors of a given ecology are connected to all the Artifacts throughout
three layers: Role, Context and Activity. This framework is then applied to one systematic
literature review, two case studies on music performance and one case study in dance
performance. The studies help to better understand the shaded roles of composers, per-
formers, instrumentalists, dancers, and choreographers, which is relevant to better design
interactive technologies for performances. Finally, this thesis proposes a new reflection on
the blurred distinction between composing and designing a new instrument in a context
that involves a multitude of actors.
Overall, this work introduces the following contributions to the field of interaction
design applied to music technology: 1) ARCAA, a framework to analyse the set of inter-
connected relationship in interactive (music) performances, validated through 2 music
studies, 1 dance study and 1 systematic literature analysis; 2) Recommendations for de-
signing music interactive system for performance (music or dance), accounting for the
needs of the various actors and for the overlapping on music composition and design of in-
teractive technology; 3) A taxonomy of how scores have shaped performance ecologies in NIME, based on a systematic analysis of the literature on score in the NIME proceedings;
4) Proposal of a methodological approach combining autobiographical and idiographical
design approaches in interactive performances.O objetivo principal desta tese é investigar as ecologias performativas, conjunto formado
pelos participantes humanos, artefatos e elementos ambientais que contribuem para o
resultado de uma performance. Em particular, esta tese foca-se na conceção de novas
tecnologias interativas para som e música. O objetivo desta tese originou as seguintes
questões de investigação (Research Questions RQs):
• RQ1 Como o design de artefatos sonoros interativos pode apoiar a expressão con-
junta entre diferentes atores (compositores, coreógrafos e performers, músicos e
dançarinos) numa determinada ecologia performativa?
• RQ2 Como cada ator influencia o design de diferentes artefatos e que impacto isso
tem no trabalho artÃstico global?
• RQ3 Como os diferentes atores de uma mesma ecologia interagem e se apropriam
de um artefato interativo?
Para responder a essas perguntas, foi criado uma nova framework chamada ARCAA.
Nesta framework, todos os atores (Actores) de uma dada ecologia estão conectados a todos
os artefatos (Artefacts) através de três camadas: Role, Context e Activity. Esta framework
foi então aplicada a uma revisão sistemática da literatura, a dois estudos de caso sobre
performance musical e a um estudo de caso em performance de dança. Estes estudos aju-
daram a comprender melhor os papéis desempenhados pelos compositores, intérpretes,
instrumentistas, dançarinos e coreógrafos, o que é relevante para melhor projetar as tec-
nologias interativas para performances. Por fim, esta tese propõe uma nova reflexão sobre
a distinção entre compor e projetar um novo instrumento num contexto que envolve uma
multiplicidade de atores.
Este trabalho apresenta as seguintes contribuições principais para o campo do design
de interação aplicado à tecnologia musical: 1) ARCAA, uma framework para analisar o
conjunto de relações interconectadas em performances interativas, validado através de
dois estudos de caso relacionados com a música, um estudo de caso relacionado com
a dança e uma análise sistemática da literatura; 2) Recomendações para o design de sistemas interativos musicais para performance (música ou dança), tendo em conta as
necessidades dos vários atores e a sobreposição entre a composição musical e o design de
tecnologia interactiva; 3) Uma taxonomia sobre como as partituras musicais moldaram
as ecologias performativas no NIME, com base numa análise sistemática da literatura
dos artigos apresentados e publicados nestas conferência; 4) Proposta de uma aborda-
gem metodológica combinando abordagens de design autobiográfico e idiográfico em
performances interativas
PROCEEDINGS 5th PLATE Conference
The 5th international PLATE conference (Product Lifetimes and the Environment) addressed product lifetimes in the context of sustainability. The PLATE conference, which has been running since 2015, has successfully been able to establish a solid network of researchers around its core theme. The topic has come to the forefront of current (political, scientific & societal) debates due to its interconnectedness with a number of recent prominent movements, such as the circular economy, eco-design and collaborative consumption. For the 2023 edition of the conference, we encouraged researchers to propose how to extend, widen or critically re-construct thematic sessions for the PLATE conference, and the paper call was constructed based on these proposals. In this 5th PLATE conference, we had 171 paper presentations and 238 participants from 14 different countries. Beside of paper sessions we organized workshops and REPAIR exhibitions