Desenvolvimento de uma interface computacional natural para pessoas com deficiência motora baseada em visão computacional

Abstract

O desenvolvimento de novas formas de interação com o computador, como telas touchscreen e óculos de realidade virtual, tornaram mais intuitiva e natural a sua utilização. O presente trabalho apresenta conceitos e técnicas utilizados para o desenvolvimento de um sistema que permite aos usuários utilizarem o computador pessoal de maneira simples e eficiente por meio dos movimentos da face. Foram utilizadas técnicas de visão computacional como segmentação, detecção facial e detecção dos pontos da face, bem como técnicas de programação e matemáticas para o desenvolvimento desse sistema. Trata-se de uma interface humano-computador do tipo natural que utiliza os movimentos da face, dos olhos e da boca para executar funções de controle como movimentação do cursor do mouse e acionamento de cliques e teclas. Diversos testes mostraram que o sistema desenvolvido apresentou desempenho superior em relação a sistemas similares, desempenho de processamento de 100 fps, throughput de 1; 20 bits=s para movimentações com o cursor do mouse e 1,15 teclas acionadas pela face por segundo, é de fácil utilização, rápido aprendizado e pode ser utilizado em um grande número de aplicações, como navegação na internet, redes sociais e jogos. O sistema desenvolvido pode ser utilizado por pessoas com deficiências motoras como uma tecnologia assistiva, promovendo a inclusão social, além de proporcionar maiores oportunidades educacionais e profissionais para esse público.New interaction devices such as touchscreens and virtual reality googles has made human computer interaction more intuitive and natural. This work presents concepts and techniques used for the development of a system that allows users to interact with personal computer in a simple and e cient way through face movements. Computer vision techniques such as segmentation, facial detection and landmarks detection were used, as well as programming and mathematical techniques for the development of this system. It is a natural human-computer interface that uses face, eye and mouth movements to perform control functions such as mouse cursor movement and triggering of clicks and keys. Several tests have shown that the developed system has superior performance compared to similar systems, 100 fps processing performance, throughput of 1:20 bits=s for mouse cursor movements, and 1.15 keystrokes with the face per second, it easy to use, fast learning and it can be used in a large number of applications such as internet browsing, social networking and games. The developed system can be used by people with motor disabilities as an assistive technology, promoting social inclusion, as well as providing greater educational and professional opportunities for this public.Coordenação de Aperfeiçoamento de Pessoal de Nível Superio

    Similar works