U2XECS : avaliação de usabilidade e experiência de usuário de sistemas conversacionais

Orientadora: Natasha Malveira Costa ValentimDissertação (mestrado) - Universidade Federal do Paraná, Setor de Ciências Exatas, Programa de Pós-Graduação em Informática. Defesa : Curitiba, 26/11/2020Inclui referências: p. 111-121Área de concentração: Ciência da ComputaçãoResumo: Devido ao aumento do uso das tecnologias nos ultimos anos, novas formas de interacao estao presentes no cotidiano da sociedade. A interacao baseada em voz, caracteristica dos Sistemas Conversacionais (SC), e um exemplo dessas novas formas de interagir. Amazon Alexa, Siri, Google Assistant, Amazon Frame, dispostivos Amazon Echo e Google Home sao exemplos de SCs que utilizam a voz do usuario para desempenhar tarefas. Os SCs tem despertado interesse tanto da industria como da academia, recebendo investimentos e fazendo parte de pesquisa em Interacao Humano-Computador (IHC) e Engenharia de Software (ES). Como qualquer outro sistema, e necessario que os SCs fornecam uma boa experiencia e que atendam as necessidades de seus usuarios. Nesse sentido, a avaliacao de Usabilidade e de Experiencia do Usuario (User eXperience - UX) e vista como etapa importante que contribui com a verificacao da qualidade dos SCs. Na avaliacao da Usabilidade, geralmente sao verificados atributos referentes as metas comportamentais do sistema, como a eficacia, eficiencia e satisfacao do usuario. Ja na avaliacao da UX, geralmente sao considerados os atributos ligados ao sentimento do usuarios, como emocao e motivacao. No entanto, atraves de dois Mapeamentos Sistematicos da Literatura (MSL), foi identificado que as tecnologias de avaliacao utilizadas para avaliar a Usabilidade e/ou UX dos SCs eram genericas, e poderiam avaliar qualquer tipo software. Alem disso, foram identificados alguns questionarios de avaliacao de Usabilidade ou UX de interfaces conversacionais. Entretanto, estas tecnologias consideram apenas um aspecto de qualidade, Usabilidade, ou UX. Os MSLs tambem identificaram que alguns pesquisadores utilizam questionarios que desenvolveram para seus proprios estudos, sem passar por um processo de avaliacao empirica. Sendo assim, o objetivo deste trabalho e fornecer uma tecnologia de avaliacao conjunta de Usabilidade e UX especifica para SCs, a U2XECS (Usability and User eXperience Evaluation of Conversational Systems). A U2XECS e uma tecnologia de avaliacao baseada em questionario que fornece afirmacoes de Usabilidade e UX especificas para avaliar SCs. O objetivo do U2XECS e orientar pesquisadores e desenvolvedores para identificar melhorias e percepcoes dos usuarios nestes sistemas. Alem dos MSLs e da proposicao da tecnologia, sao apresentados tambem tres estudos que foram realizados no processo de elaboracao e refinamento da tecnologia: um estudo exploratorio, um survey e um estudo de viabilidade. Os resultados evidenciaram pontos positivos da U2XECS relacionados a facilidade de uso, utilidade e intencoes de uso. Alem disso, foram identificadas oportunidades de melhoria, tais como afirmacoes ambiguas, mudanca na estrutura e no tamanho do questionario. Palavras-chave: Avaliacao de Usabilidade. Avaliacao de Experiencia de Usuario. Interacao Baseada em Voz. Sistemas Conversacionais.Abstract: Due to the increased use of technologies in recent years, new forms of interaction are present in society. The voice-based interaction, characteristic of Conversational Systems (CSs), is an example of these new interaction forms. Amazon Alexa, Siri, Google Assistant, Amazon Frame, Amazon Echo devices, and Google Home are examples of CSs that use the voice to perform tasks. The CSs have aroused interest from both industry and academia, receiving investments and being part of research in Human-Computer Interaction (HCI) and Software Engineering (SE). Like any other system, CSs must provide a good experience and meet the needs of their users. In this sense, the evaluation of Usability and User eXperience (UX) is seen as an essential step that contributes to verifying the quality of the CSs. In the Usability evaluation, attributes regarding the system's behavioral goals, such as effectiveness, efficiency, and user satisfaction, are usually verified. In the UX evaluation, attributes related to the user's feelings, such as emotion and motivation, are usually considered. However, through two Systematic Mapping Studies (SMS), it was identified that the evaluation technologies used to evaluate the Usability and/or UX of the CSs were generic and could evaluate any software. Besides, some Usability or UX evaluation questionnaires of conversational interfaces were identified. However, these technologies consider only one aspect of quality, Usability, or UX. SMSs also identified that some researchers use questionnaires that they developed for their studies without going through an empirical evaluation process. Therefore, this work aims to provide a CS-specific joint Usability and UX evaluation technology, the U2XECS (Usability and User eXperience Evaluation of Conversational Systems). U2XECS is a questionnaire-based evaluation technology that provides Usability and UX specific statements to evaluate CSs. The goal of U2XECS is to guide researchers and developers to identify improvements and user perceptions in these systems. Besides the SMSs and the technology proposition, three studies that were carried out in the process of elaboration and refinement of the technology are presented: an exploratory study, a survey, and a feasibility study. The results showed positive points of U2XECS related to ease of use, utility, and intentions of use. Besides, opportunities for improvement were identified, such as ambiguous statements, change in the structure and size of the questionnaire. Keywords: Usability Evaluation. User Experience Evaluation. Voice-Based Interaction. Conversational Systems

Usability Study of Multi-Modal Interfaces using Eye-Tracking

International audienceThe promises of multimodal interaction to make interaction more natural, less error-prone and more enjoyable have been controversially discussed in the HCI community. On the one hand multimodal interaction is being adopted in fields ranging from entertainment to safety-critical applications, on the other hand new forms of interaction techniques (including two-handed interaction and speech) are still not in widespread use. In this paper we present results from a usability evaluation study including eye-tracking on how two mice and speech interaction is adopted by the users. Our results show evidence that two mice and speech can be adopted naturally by the users. In addition, we discuss how eye-tracking data helps to understand advantages of two-handed interaction and speech