Reconhecimento do alfabeto de Libras usando sensor Kinect e marcadores visuais

Monografia (graduação)—Universidade de Brasília, Faculdade de Tecnologia, Curso de Graduação em Engenharia de Controle e Automação, 2014.Este trabalho tem como intuito apresentar o desenvolvimento de uma solução para o reconhecimento do alfabeto manual da Língua Brasileira de Sinais (Libras). Devido à grande complexidade e semelhança dos sinais, é alta a exigência por precisão e eficiência no sistema de reconhecimento baseado em processamento de vídeo. Para conseguir o desempenho desejado foi utilizada a combinação do sensor Kinect para análise de profundidade e segmentação das imagens e uma câmera RGB de alta resolução que, juntamente a uma luva com marcadores visuais, possibilitam o rastreamento das posições dos dedos da mão durante a execução dos sinais. Tal configuração permite extrair as características morfológicas que descrevem um sinal com as mãos e o representando em um vetor 12-dimensional baseado nas distâncias e ângulos relativos entre os marcadores. Para o reconhecimento criou-se para cada uma das 26 letras do alfabeto um vetor 12-dimensional representando o seu sinal.This work has as purpose to present the development of a solution to the hand alphabet recognition of the Brazilian Sign Language (Libras). Due to the high complexity and similarity of the signs, it has a high demand for precision and efficiency in the recognition system. To achieve the desired performance, the Kinect sensor, used for analysis of depth and segmentation of images, is combined with a high resolution camera works together a glove with visual markers enable the tracking of finger position during the execution of the signs. Thereby, achieving the extraction of morphological features that describe a hand posture sign and representing in a 12-dimensional vector based on relative distances and angles between the markers. For recognition it is created for each one of the 26 letters of the hand alphabet a 12-dimensional vector representing its signal