2,969 research outputs found

    Designing wearable interfaces for blind people

    Get PDF
    Tese de mestrado, Engenharia Informática (Arquitectura, Sistemas e Redes de Computadores), Universidade de Lisboa, faculdade de Ciências, 2015Hoje em dia os dispositivos com ecrã táctil, estão cada vez mais onipresentes. Até recentemente, a maioria dos ecrãs sensíveis ao toque forneciam poucos recursos de acessibilidade para deficientes visuais, deixando-os inutilizáveis. Sendo uma tecnologia tão presente no nosso quotidiano, como em telemóveis e tablets. Estes dispositivos são cada vez mais essenciais para a nossa vida, uma vez que, guardam muita informação pessoal, por exemplo, o pagamento através carteiras eletrónicas. A falta de acessibilidade deste tipo de ecrãs devem-se ao facto de estas interfaces serem baseadas no que os utilizadores veem no ecrã e em tocar no conteúdo apresentado neste. Isso torna-se num grande problema quando uma pessoa deficiente visual tenta usar estas interfaces. No mercado existem algumas soluções mas são quase todas baseadas em retorno áudio. Esta solução não é a melhor quando se trata de informação pessoal que a pessoa deseja manter privada. Por exemplo quando um utilizador está num autocarro e recebe uma mensagem, esta é lida por um leitor de ecrã através das colunas do dispositivo. Esta solução é prejudicial para a privacidade do utilizador, pois todas a pessoas `a sua volta irão ouvir o conteúdo da mensagem. Uma solução para este problema, poderá ser a utilização de vibração e de teclas físicas, que retiram a necessidade da utilização de leitores de ecrã. Contudo, para a navegação em menus a problemática mantém-se. Uma maneira de resolver este problema é através da utilização de uma interface baseada em gestos. Este tipo de interface é uma forma flexível e intuitiva de interação com este dispositivos. Até hoje, muitas abordagens têm vindo a apresentar soluções, no entanto não resolvem todos os pontos referidos. De uma maneira ou de outra estas abordagens terão de ser complementadas com outros dispositivos. Guerreiro e colegas (2012), apresentaram um protótipo que possibilita a leitura texto através de vibração, mas todo o impacto de uma utilização no dia a dia não é tido em conta. Um outro estudo realizado por Myung-Chul Cho (2002) apresenta um par de luvas para escrita codificada pelo alfabeto Braile, contudo não é testado para uma utilização com integração de uma componente de leitura, sem ser o retorno áudio. Dois outros estudos destacam-se, relativamente à utilização de gestos para navegação no dispositivo. Ruiz (2011), efetuou uma elicitação de gestos no ar, no entanto, eles não incluem pessoas invisuais no estudo, o que poderá levar à exclusão de tais utilizadores. Outro estudo apresentado por Kane (2011), inclui pessoas invisuais e destina-se a interações com gestos mas exigindo contacto físico com os ecrãs tácteis. A abordagem apresentada neste estudo integra as melhores soluções apresentadas num único dispositivo. O nosso objectivo principal é tornar os dispositivos de telemóveis mais acessíveis a pessoas invisuais, de forma serem integrados no seu quotidiano. Para isso, desenvolvemos uma interface baseada num par de luvas. O utilizador pode usá-las e com elas ler e escrever mensagens e ainda fazer gestos para outras tarefas. Este par de luvas aproveita o conhecimento sobre Braille por parte dos utilizadores para ler e escrever informação textual. Para a característica de leitura instalámos seis motores de vibração nos dedos da luva, no dedo indicador, no dedo do meio e no dedo anelar, de ambas as mãos. Estes motores simulam a configuração das teclas de uma máquina de escrever Braille, por exemplo, a Perkins Brailler. Para a parte de escrita, instalámos botões de pressão na ponta destes mesmos dedos, sendo cada um representante de um ponto de uma célula de Braille. Para a detecção de gestos optámos por uma abordagem através de um acelerómetro. Este encontra-se colocado nas costas da mão da luva. Para uma melhor utilização a luva é composta por duas camadas, e desta forma é possível instalar todos os componente entre as duas camadas de tecido, permitindo ao utilizador calçar e descalçar as luvas sem se ter que preocupar com os componentes eletrónicos. A construção das luvas assim como todos os testes realizados tiveram a participação de um grupo de pessoas invisuais, alunos e professores, da Fundação Raquel e Martin Sain. Para avaliarmos o desempenho do nosso dispositivo por invisuais realizámos alguns teste de recepcão (leitura) e de envio de mensagens (escrita). No teste de leitura foi realizado com um grupo apenas de pessoas invisuais. O teste consistiu em, receber letras em Braille, onde o utilizador replicava as vibrações sentidas, com os botões das luvas. Para isso avaliámos as taxas de reconhecimento de caracteres. Obtivemos uma média de 31 %, embora estes resultados sejam altamente dependentes das habilidades dos utilizadores. No teste de escrita, foi pedido uma letra ao utilizador e este escrevia em braille utilizando as luvas. O desempenho nesta componente foi em média 74 % de taxa de precisão. A maioria dos erros durante este teste estão ligados a erros, onde a diferença entre a palavra inicial e a escrita pelo utilizador, é de apenas um dedo. Estes testes foram bastante reveladores, relativamente à possível utilização destas luvas por pessoas invisuais. Indicaram-nos que os utilizadores devem ser treinados previamente para serem maximizados os resultados, e que pode ser necessário um pouco de experiencia com o dispositivo. O reconhecimento de gestos permite ao utilizador executar várias tarefas com um smartphone, tais como, atender/rejeitar uma chamada e navegar em menus. Para avaliar que gestos os utilizadores invisuais e normovisuais sugerem para a execução de tarefas em smartphones, realizámos um estudo de elicitação. Este estudo consiste em pedir aos utilizadores que sugiram gestos para a realização de tarefas. Descobrimos que a maioria dos gestos inventados pelos participantes tendem a ser físicos, em contexto, discreto e simples, e que utilizam apenas um ´unico eixo espacial. Concluímos também que existe um consenso, entre utilizadores, para todas as tarefas propostas. Além disso, o estudo de elicitação revelou que as pessoas invisuais preferem gestos mais simples, opondo-se a uma preferência por gestos mais complexos por parte de pessoas normovisuais. Sendo este um dispositivo que necessita de treino para reconhecimento de gestos, procurámos saber qual o tipo de treino é mais indicado para a sua utilização. Com os resultados obtidos no estudo de elicitação, comparámos treinos dos utilizadores individuais, treinos entre as das populações (invisuais e normovisuais) e um treino com ambas as populações (global). Descobrimos que um treino personalizado, ou seja, feito pelo próprio utilizador, é muito mais eficaz que um treino da população e um treino global. O facto de o utilizador poder enviar e receber mensagens, sem estar dependente de vários dispositivos e/ou aplicações contorna, as tão levantadas, questões de privacidade. Com o mesmo dispositivo o utilizador pode, ainda, navegar nos menus do seu smartphone, através de gestos simples e intuitivos. Os nossos resultados sugerem que será possível a utilização de um dispositivo wearable, no seio da comunidade invisual. Com o crescimento exponencial do mercado wearable e o esforço que a comunidade académica está a colocar nas tecnologias de acessibilidade, ainda existe uma grande margem para melhorar. Com este projeto, espera-se que os dispositivos portáteis de apoio irão desempenhar um papel importante na integração social das pessoas com deficiência, criando com isto uma sociedade mais igualitária e justa.Nowadays touch screens are ubiquitous, present in almost all modern devices. Most touch screens provide few accessibility features for blind people, leaving them partly unusable. There are some solutions, based on audio feedback, that help blind people to use touch screens in their daily tasks. The problem with those solutions raises privacy issues, since the content on screen is transmitted through the device speakers. Also, these screen readers make the interaction slow, and they are not easy to use. The main goal of this project is to develop a new wearable interface that allows blind people to interact with smartphones. We developed a pair of gloves that is capable to recognise mid-air gestures, and also allows the input and output of text. To evaluate the usability of input and output, we conducted a user study to assess character recognition and writing performance. Character recognition rates were highly user-dependent, and writing performance showed some problems, mostly related to one-finger issues. Then, we conducted an elicitation study to assess what type of gestures blind and sighted people suggest. Sighted people suggested more complex gestures, compared with blind people. However, all the gestures tend to be physical, in-context, discrete and simple, and use only a single axis. We also found that a training based on the user’s gestures is better for recognition accuracy. Nevertheless, the input and output text components still require new approaches to improve users performance. Still, this wearable interface seems promising for simple actions that do not require cognitive load. Overall, our results suggest that we are on track to make possible blind people interact with mobile devices in daily life

    Near Eyes-Free Chauffeur Computer Interaction with Chording and Visual Text Mnemonics

    Get PDF
    Modern cars are equipped with advanced technology requiring cognitively complex operation that is reliant on the user’s visual attention. It is therefore hazardous for drivers to operate such devices while driving. In this paper a user interface interaction style for in-car user interfaces are proposed. Users interact with the in-car computer using three chording keys and chording pattern sequences are derived based on visual mnemonics. Cases are illustrated for an in-car multimedia system, a mobile phone and a GPS-navigation system. Experimental results demonstrate that the technique is easy to learn, efficient to use and require low visual attention

    Interactive Spaces: Model for Motion-based Music Applications

    Get PDF
    With the extensive utilization of touch screens, smartphones and various reactive surfaces, reality- based and intuitive interaction styles have now become customary. The employment of larger interactive areas, like floors or peripersonal three-dimensional spaces, further increase the reality- based interaction affordances, allowing full-body involvement and the development of a co- located, shared user experience. Embodied and spatial cognition play a fundamental role for the interaction in this kind of spaces, where users act in the reality with no device in the hands and obtain an audio and graphical output depending on their movements. Starting from the early experiments of Myron Krueger in 1971, responsive floors have been developed through various technologies including sensorized tiles and computer vision systems, to be employed in learn- ing environments, entertainment, games and rehabilitation. Responsive floors allow the spatial representation of concepts and for this reason are suitable for immediate communication and engagement. As many musical features have meaningful spatial representations, they can easily be reproduced in the physical space through a conceptual blending approach and be made available to a great number of users. This is the key idea for the design of the original music applications presented in this thesis. The applications, devoted to music learning, production and active listening, introduce a novel creative approach to music, which can be further assumed as a general paradigm for the design of motion-based learning environments. Application assessment with upper elementary and high school students has proved that users engagement and bodily inter- action have a high learning power, which can be a valid resource for deeper music knowledge and more creative learning processes. Although further interface tests showed that touch screen interaction performs better than full-body interaction, some important guidelines for the design of reactive floors applications have been obtained on the basis of these test results. Moreover, the conceptual framework developed for the design of music applications can represent a valid paradigm also in the general field of human-computer interaction

    Musical composing on pitch time table based tangible tabletop interface

    Get PDF
    Master'sMASTER OF ENGINEERIN

    Creating music in the classroom with tablet computers: An activity system analysis of two secondary school communities.

    Get PDF
    Tablet computers are becoming inextricably linked with innovation and change in schools. Increasingly therefore, music teachers must consider how tablet computers might influence creative musical development in their own classroom. This qualitative research into two secondary school communities aims to develop understandings about what really happens when students and a music teacher-researcher compose music in partnership with a tablet computer. A sociocultural definition of creativity, theories of Activity, and the musicking argument inform a new systemic framework which guides fieldwork. This framework becomes the unit of analysis from which the research questions and a multi-case, multimodal methodology emerge. The methodology developed here honours the situated nature of those meanings which emerge in each of the two school communities. Consequently, research findings are presented as two separate case reports. Five mixed-ability pairs are purposively sampled from each community to represent the broad range of musical experience present in that setting. A Video-enhanced, participant-observation method ensures that systemic, multimodal musicking behaviours are captured as they emerge overtime. Naturalistic group interviewing at the end of the project reveals how students’ broader musical cultures, interests and experiences influence their tablet-mediated classroom behaviour. Findings develop new understandings about how tablet-mediated creative musical action champions inclusive musicking (musical experience notwithstanding) and better connects the music classroom and its institutional requirements with students’ informal music-making practices. The systems of classroom Activity which emerge also compensate for those moments when the tablet attempts to overtly determine creative behaviour or conversely, does not do enough to ensure a creative outcome. In fact, all system dimensions (e.g. student partner/teacher/student/tablet) influence tablet- mediated action by feeding the system with musical and technological knowledge, which was also pedagogically conditioned. This musical, technological and pedagogical conditioning is mashed-up, influencing action just-in-time, according to cultural, local and personal need. A new method of visual charting is developed to ‘peer inside’ these classroom-situated systems. Colour-coded charts evidence how classroom musicians make use of and synthesize different system dimensions to find, focus and fix their creative musical ideas over time. There are also implications for research, policy and practice going forward. In terms of researching digitally-mediated creativity, a new social-cultural Activity framework is presented which encourages researchers to revise their definition of creativity itself. Such a definition would emphasise the role of cultural, local and personal constraint in creative musical development. With reference to classroom practice, this research discovers that when students partner with tablet computers, their own musical interests, experiences and desires are forwarded. Even though these desires become fused with institutional requirements, students take ownership of their learning and are found rightfully proud of their creative products. This naturalistic, community-driven form of tablet- mediated creative musical development encourages policy makers and teachers to reposition the music classroom: to reconnect it with the local community it serves

    Learning about harmony with Harmony Space: an overview

    Get PDF
    Recent developments are presented in the evolution of Harmony Space, an interface that exploits theories of tonal harmony. The design of the interface draws on Balzano's and Longuet-Higgins' theories of tonal harmony. The interface allows entities of interest (notes, chords, chord progressions, key areas, modulations) to be manipulated via direct manipulation techniques using a single principled spatial metaphor to make a wide range of musical tasks accessible for novices to perform. The interface can also be used by experienced musicians to make a range of expert tasks more tractable than by using conventional tools and notations. The interface is highly interactive and multi-modal, using two pointing devices and spatial, aural and kinaesthetic cues that all map uniformly into the underlying theory. Some recent implementations of Harmony Space are discussed, together with some of the musical tasks which they make tractable for beginners and experienced musicians. Aspects of the simple, consistent, principled framework behind the interface are outlined

    Leveraging finger identification to integrate multi-touch command selection and parameter manipulation

    Get PDF
    International audienceIdentifying which fingers are touching a multi-touch surface provides a very large input space. We describe FingerCuts, an interaction technique inspired by desktop keyboard shortcuts to exploit this potential. FingerCuts enables integrated command selection and parameter manipulation, it uses feed-forward and feedback to increase discoverability, it is backward compatible with current touch input techniques, and it is adaptable for different touch device form factors. We implemented three variations of FingerCuts, each tailored to a different device form factor: tabletop, tablet, and smartphone. Qualitative and quantitative studies conducted on the tabletop suggests that with some practice, FingerCuts is expressive, easy-to-use, and increases a sense of continuous interaction flow and that interaction with FingerCuts is as fast, or faster than using a graphical user interface. A theoretical analysis of FingerCuts using the Fingerstroke-Level Model (FLM) matches our quantitative study results, justifying our use of FLM to analyse and validate the performance for the other device form factors
    corecore