"Hey Model!" -- Natural User Interactions and Agency in Accessible Interactive 3D Models

While developments in 3D printing have opened up opportunities for improved access to graphical information for people who are blind or have low vision (BLV), they can provide only limited detailed and contextual information. Interactive 3D printed models (I3Ms) that provide audio labels and/or a conversational agent interface potentially overcome this limitation. We conducted a Wizard-of-Oz exploratory study to uncover the multi-modal interaction techniques that BLV people would like to use when exploring I3Ms, and investigated their attitudes towards different levels of model agency. These findings informed the creation of an I3M prototype of the solar system. A second user study with this model revealed a hierarchy of interaction, with BLV users preferring tactile exploration, followed by touch gestures to trigger audio labels, and then natural language to fill in knowledge gaps and confirm understanding.Comment: Paper presented at ACM CHI 2020: Proceedings of the 2020 CHI Conference on Human Factors in Computing Systems, ACM, New York, April 2020; Replacement: typos correcte

Framework para a produção de gráficos instrucionais táteis nas Instituições Federais de Ensino Superior

Nas Instituições Federais de Ensino Superior, os Núcleos de Acessibilidade são responsáveis pela produção de materiais instrucionais adaptados, incluindo a produção de Gráficos Instrucionais Táteis (GIT) para Pessoas com Deficiência Visual (PCDV). A produção nesses núcleos realiza-se de forma empírica e utilizando métodos de produção artesanais, aspectos que podem comprometer a autonomia das equipes e a qualidade dos GIT gerados. O campo do Design conta com abordagens projetuais, métodos, técnicas, ferramentas e tecnologias de produção que, apoiados pelo conhecimento específico em GIT, podem ser aproveitados no projeto de GIT. Assim, questiona-se: como os conhecimentos projetuais e metodológicos do design podem contribuir para o processo de projeto e desenvolvimento de GIT para PCDV? O objetivo deste trabalho é propor um framework que contribua para o processo de projeto e desenvolvimento de GIT, considerando os Núcleos de Acessibilidade. O quadro teórico está estruturado em três eixos temáticos – produto, contexto e processo - explorando os GIT; a acessibilidade nas IFES; e o projeto de GIT. A metodologia da pesquisa é desenvolvida em quatro fases. No conhecimento do contexto de projeto (i), ocorre o mapeamento do processo projetual de GIT nas IFES do RS, além das entrevistas com professores de PCDV. Como resultado desta fase, obtêm-se os critérios para a criação do framework. Na sistematização do framework (ii), desenvolve-se a versão preliminar do framework a partir do relacionamento entre os métodos, técnicas e ferramentas projetuais e sua estrutura e formatos, com base nos critérios definidos. O desenvolvimento de GIT e observação (iii) engloba a criação de GIT utilizando o processo de projeto usual do núcleo de acessibilidade e a observação indireta desse processo; a criação e observação indireta ocorrem de maneira simulada utilizando o framework preliminar. Na fase de verificação e revisão (iv) verifica-se a aplicabilidade do framework proposto através de análises e interpretações e realizam-se os ajustes necessários. O principal resultado da pesquisa é o GIT+, é um framework sistematizado que traz uma estrutura projetual acessível e de fácil aprendizado, contendo métodos, técnicas e ferramentas que auxiliam a equipe na tomada de decisões de projeto e no processo de criação de GIT. O GIT+ foi elaborado com base nos processos existentes nas IFES e em processos presentes no quadro teórico, sendo disponibilizado em 3 formatos que variam em nível de aprofundamento e concisão: visão geral, visão em detalhe e Guia de Uso. Assim, o GIT+ traz melhorias aos processos usuais de desenvolvimento de GIT observados, proporcionando maior autonomia e apoio à equipe projetual, com o uso de métodos, técnicas e ferramentas, além do uso de métodos de fabricação digital. Nesse sentido, projetistas, alunos e professores se beneficiam de maneira direta com a realização da pesquisa; de maneira indireta, fomenta-se a inclusão educacional e no mundo de trabalho de PCDV. A presente pesquisa contribui para o desenvolvimento do campo teórico do projeto de GIT e à promoção da acessibilidade nas IFES.In federal institutions of university education, the accessibility centers are responsible for the production of adapted instructional materials, including the production of Tactile Instructional Graphics (GIT) for Visually Impaired People (PCDV). The production in these centers is carried out empirically and using artisanal production methods, aspects that can compromise the autonomy of the teams and the quality of the resulting GIT. The field of Design has design approaches, methods, techniques, tools and production technologies that, supported by specific knowledge in GIT, can be used in GIT design. Thus, the question is: how can projectual and methodological knowledge of design contribute to the design and development process of GIT for PCDV? The objective of this work is to propose a framework that contributes to the design and development process of GIT, considering the Accessibility Cores. The theoretical framework is structured in three thematic axes – product, context and process – exploring the GIT; accessibility in IFES; and the GIT project. The research methodology is developed in four phases. In the knowledge of the project context (i), the mapping of the design process of GIT in the IFES of RS occurs, in addition to the interviews with teachers of PCDV. As a result of this phase, the criteria for creating the framework are obtained. In the systematization of the framework (ii), the preliminary version of the framework is developed from the relationship between the methods, techniques and design tools and its structure and formats, based on the defined criteria. GIT development and observation (iii) encompasses the creation of GIT using the usual accessibility core design process and indirect observation of this process; creation and indirect observation occur in a simulated way using the preliminary framework. In the verification and review phase (iv) the applicability of the proposed framework is verified through analyzes and interpretations and the necessary adjustments are made. The main result of the research is the GIT+, it is a systematized framework that brings an accessible and easy-to-learn design structure, containing methods, techniques and tools that help the team in making project decisions and in the process of creating GIT. The GIT+ was prepared based on the existing processes in the IFES and on processes present in the theoretical framework, being available in 3 formats that vary in depth and brevity: overview, detailed view and User Guide. Thus, GIT+ brings improvements to the usual GIT development processes observed, providing greater autonomy and support to the design team, with the use of methods, techniques and tools, in addition to the use of digital fabrication methods. In this sense, designers, students and teachers benefit directly from carrying out the research; indirectly, it promotes the educational and working world inclusion of PCDV. This research contributes to the development of the theoretical field of the GIT project and to the promotion of accessibility in IFES