"Hey Model!" -- Natural User Interactions and Agency in Accessible Interactive 3D Models

While developments in 3D printing have opened up opportunities for improved access to graphical information for people who are blind or have low vision (BLV), they can provide only limited detailed and contextual information. Interactive 3D printed models (I3Ms) that provide audio labels and/or a conversational agent interface potentially overcome this limitation. We conducted a Wizard-of-Oz exploratory study to uncover the multi-modal interaction techniques that BLV people would like to use when exploring I3Ms, and investigated their attitudes towards different levels of model agency. These findings informed the creation of an I3M prototype of the solar system. A second user study with this model revealed a hierarchy of interaction, with BLV users preferring tactile exploration, followed by touch gestures to trigger audio labels, and then natural language to fill in knowledge gaps and confirm understanding.Comment: Paper presented at ACM CHI 2020: Proceedings of the 2020 CHI Conference on Human Factors in Computing Systems, ACM, New York, April 2020; Replacement: typos correcte

Artefato de auxílio ao design de imagens audiotáteis impressas em 3D para a educação inclusiva de cegos

Orientadora: Profa. Dra. Maria Lucia Leite Ribeiro Okimoto.Coorientadora: Profa. Dra. Juliana Bueno.Tese (doutorado) - Universidade Federal do Paraná, Setor de Artes, Comunicação e Design, Programa de Pós-Graduação em Design. Defesa : Curitiba, 08/02/2023Inclui referências: 202-213Resumo: A impressão 3D vem ganhando espaço como uma ferramenta no desenvolvimento de Tecnologia Assistiva e no apoio à educação de pessoas com deficiência. Dentre as vantagens no uso da impressão 3D, estão as possibilidades de imprimir réplicas ou modelos mais fiéis ao objeto real, maior liberdade de modelagem, compartilhamento digital, personalização ou, ainda, o uso combinado com eletrônicos. Para estudantes cegos, vem sendo explorada na fabricação de imagens táteis e audiotáteis. Apesar de satisfatórias, imagens somente táteis demandam uma alta carga cognitiva, já que requer que o estudante utilize somente um canal sensorial para compreender informações textuais e gráficas. Neste contexto e, apoiando-se na premissa de que utilizar dois canais sensoriais é benéfico para a aprendizagem, é possível aumentar a interação das imagens acrescentando pontos de resposta em áudio, transformando-as em imagens audiotáteis. Observada a lacuna da complexidade e da falta de sistematização do conhecimento sobre o assunto e, pautando-se numa pesquisa centrada no humano e no design inclusivo, o objetivo desta tese foi propor um artefato informacional de auxílio ao design de imagens audiotáteis impressas em 3D acessíveis às pessoas cegas, voltado ao ambiente escolar inclusivo. Para isso, o método da Design Science Research foi adotado e adaptado em quatro fases: (1) Exploração do problema; (2) Proposição do artefato; (3) Avaliação do artefato e; (4) Conclusões. Na primeira fase, buscou-se compreender o problema e coletar recomendações para o design de imagens audiotáteis impressas em 3D, através de Revisão Bibliográfica Sistemática e cinco entrevistas. No total, o conjunto continha 62 recomendações. Em seguida, a validação deste conjunto de recomendações foi feita através da técnica Delphi, com dez especialistas, passando a conter 60 recomendações. Na fase dois, com o conjunto avaliado, este passou por um processo de reescrita utilizando linguagem simples. Ao final do processo, o conjunto continha 45 recomendações. Em seguida, propôs-se a organização das informações através de card sorting, com dezesseis especialistas – como resultado, as recomendações foram divididas em 3 categorias e 8 subcategorias. O design do artefato, seguindo princípios do design da informação, design inclusivo e acessibilidade, foi desenvolvido durante período de doutorado sanduíche. Já na fase três, este artefato foi avaliado através de um workshop de design, envolvendo nove participantes, dentre especialistas, designers e professores, finalizando com os ajustes necessários. Por fim, na fase quatro, os resultados foram analisados e comunicados em artigos e nesta tese. Como resultado final, o artefato foi divulgado gratuitamente na internet, com licença Creative Commons. Espera-se que este seja um material de apoio para qualquer pessoa interessada em desenvolver imagens audiotáteis impressas em 3D, em especial, educadores, designers, makers e produtores de materiais didáticos acessíveis.Abstract: 3D printing has been gaining ground as a tool in the development of Assistive Technology and in supporting the education of people with disabilities. Among the advantages of using 3D printing are the possibilities of printing replicas or models that are more faithful to the real object, greater freedom of modeling, digital sharing, personalization or, even, the combined use with electronics. For blind students, it has been explored in the fabrication of tactile and audio-tactile graphics. Despite being satisfactory, tactile-only graphics demand a high cognitive load, as it requires the student to use only one sensory channel to understand textual and graphical information. In this context, and based on the premise that using two sensory channels is beneficial for learning, it is possible to increase the interaction of these graphics by adding audio feedback, transforming them into audio-tactile graphics. Observing the gap in complexity and lack of systematization of knowledge on the subject and, based on human-centered research and inclusive design, the objective of this thesis was to propose an informational artifact to aid the design of accessible 3D-printed audio-tactile graphics for blind people, aimed at an inclusive school environment. For this, the Design Science Research method was adopted and adapted in four phases: (1) Problem exploration; (2) Artifact proposition; (3) Artifact evaluation and; (4) Conclusions. In the first phase, it was sought to understand the problem and collect recommendations for the design of 3D-printed audio-tactile graphics, through a Systematic Bibliographic Review and five interviews. In total, the set contained 62 recommendations. Then, the validation of this set of recommendations was carried out using the Delphi technique, with ten specialists, resulting in 60 recommendations. In phase two, with the set evaluated, it went through a rewriting process using plain language. At the end of the process, the set contained 45 recommendations. Then, the information was organized through the card sorting technique, with sixteen specialists – as a result, the recommendations were divided into 3 categories and 8 subcategories. The artifact design, following principles of information design, inclusive design and accessibility, was developed during an exchange period as a visiting scholar. In phase three, this artifact was evaluated through a design workshop, involving nine participants, including specialists, designers and teachers, ending with the necessary adjustments. Finally, in phase four, the results were analyzed and communicated in articles and in this thesis. As a final result, the artifact was shared for free on the internet, under a Creative Commons license. It is hoped that this will be a support material for anyone interested in developing 3D printed audio-tactile graphics, especially educators, designers, makers and producers of accessible teaching materials

Proposta de diretrizes de imagens audiotáteis : uma aplicação acessível para o ensino de artes

Orientadora: Prof.ª. Dra. Maria Lúcia Leite Ribeiro OkimotoCoorientador: Profº. Dr. Rodrigo Antonio Marques BragaDissertação (mestrado) - Universidade Federal do Paraná, Setor de Artes, Comunicação e Design, Programa de Pós-Graduação em Design. Defesa : Curitiba, 16/09/2022Inclui referências: p. 205-222Resumo: Dentro da área da educação artística, muitas vezes a comunicação é baseada em um domínio da imagem visual, onde os estudantes cegos muitas vezes não possuem acesso informacional aos conteúdos propostos pelos professores. Justamente pela relevância da imagem como geradora de novos códigos e linguagens, devem-se utilizar outros sentidos para suprimir esta lacuna informacional, como é o caso do tato e do áudio. É dentro deste contexto que as imagens audiotáteis, com estímulos táteis e auditivos, permitem o acesso de estudantes cegos a imagens bidimensionais. Sendo assim, esta pesquisa tem como objetivo estabelecer diretrizes de tradução de imagens bidimensionais a imagens audiotáteis para a acessibilidade de estudantes cegos no ensino de Artes. Para que o objetivo fosse alcançado, o método proposto é uma adaptação da Design Science Research e é caracterizado como sendo de natureza aplicada, objetivo descritivo e abordagem qualitativa e foi dividido em cinco fases de execução: (1) compreensão do problema; (2) diretrizes de tradução; (3) tradução audiotátil; (4) avaliação; e (5) resultados. Como resultado, foram obtidas 72 diretrizes, divididas em quatro categorias: (1) Contexto e Uso; (2) Tátil; (3) Áudio; (4) Fabricação. Espera-se que o resultado obtido seja um material de auxílio ao desenvolvimento de imagens audiotáteis por profissionais das áreas de acessibilidade e educação.Abstract: Within the area of arts education, communication is often based on a visual image domain, where blind students often do not have informational access to the contents proposed by teachers. Precisely because of image relevance as a generator of new codes and languages, other senses must be used to suppress this informational gap, as is the case of touch and audio. It is within this context that audio-tactile images, with tactile and auditory stimuli, allow blind students to access two-dimensional images. Therefore, this research aims to establish guidelines for translating twodimensional images into audio-tactile images for the accessibility of blind students in arts education. In order for the objective to be achieved, the proposed method is a Design Science Research adaptation and is characterized as having an applied nature, a descriptive objective and a qualitative approach. It was divided into five execution phases: (1) understanding the problem; (2) translation guidelines; (3) audio-tactile translation; (4) evaluation; and (5) results. As a result, 72 guidelines were obtained, divided into four categories: (1) Context and Use; (2) Tactile; (3) Audio; (4) Manufacturing. It is expected that this result will be a material to aid the development of audio-tactile images by accessibility and education professionals