Portuguese sign language recognition via computer vision and depth sensor

Sign languages are used worldwide by a multitude of individuals. They are mostly used by the deaf communities and their teachers, or people associated with them by ties of friendship or family. Speakers are a minority of citizens, often segregated, and over the years not much attention has been given to this form of communication, even by the scientific community. In fact, in Computer Science there is some, but limited, research and development in this area. In the particular case of sign Portuguese Sign Language-PSL that fact is more evident and, to our knowledge there isn’t yet an efficient system to perform the automatic recognition of PSL signs. With the advent and wide spreading of devices such as depth sensors, there are new possibilities to address this problem. In this thesis, we have specified, developed, tested and preliminary evaluated, solutions that we think will bring valuable contributions to the problem of Automatic Gesture Recognition, applied to Sign Languages, such as the case of Portuguese Sign Language. In the context of this work, Computer Vision techniques were adapted to the case of Depth Sensors. A proper gesture taxonomy for this problem was proposed, and techniques for feature extraction, representation, storing and classification were presented. Two novel algorithms to solve the problem of real-time recognition of isolated static poses were specified, developed, tested and evaluated. Two other algorithms for isolated dynamic movements for gesture recognition (one of them novel), have been also specified, developed, tested and evaluated. Analyzed results compare well with the literature.As Línguas Gestuais são utilizadas em todo o Mundo por uma imensidão de indivíduos. Trata-se na sua grande maioria de surdos e/ou mudos, ou pessoas a eles associados por laços familiares de amizade ou professores de Língua Gestual. Tratando-se de uma minoria, muitas vezes segregada, não tem vindo a ser dada ao longo dos anos pela comunidade científica, a devida atenção a esta forma de comunicação. Na área das Ciências da Computação existem alguns, mas poucos trabalhos de investigação e desenvolvimento. No caso particular da Língua Gestual Portuguesa - LGP esse facto é ainda mais evidente não sendo nosso conhecimento a existência de um sistema eficaz e efetivo para fazer o reconhecimento automático de gestos da LGP. Com o aparecimento ou massificação de dispositivos, tais como sensores de profundidade, surgem novas possibilidades para abordar este problema. Nesta tese, foram especificadas, desenvolvidas, testadas e efectuada a avaliação preliminar de soluções que acreditamos que trarão valiosas contribuições para o problema do Reconhecimento Automático de Gestos, aplicado às Línguas Gestuais, como é o caso da Língua Gestual Portuguesa. Foram adaptadas técnicas de Visão por Computador ao caso dos Sensores de Profundidade. Foi proposta uma taxonomia adequada ao problema, e apresentadas técnicas para a extração, representação e armazenamento de características. Foram especificados, desenvolvidos, testados e avaliados dois algoritmos para resolver o problema do reconhecimento em tempo real de poses estáticas isoladas. Foram também especificados, desenvolvidos, testados e avaliados outros dois algoritmos para o Reconhecimento de Movimentos Dinâmicos Isolados de Gestos(um deles novo).Os resultados analisados são comparáveis à literatura.Las lenguas de Signos se utilizan en todo el Mundo por una multitud de personas. En su mayoría son personas sordas y/o mudas, o personas asociadas con ellos por vínculos de amistad o familiares y profesores de Lengua de Signos. Es una minoría de personas, a menudo segregadas, y no se ha dado en los últimos años por la comunidad científica, la atención debida a esta forma de comunicación. En el área de Ciencias de la Computación hay alguna pero poca investigación y desarrollo. En el caso particular de la Lengua de Signos Portuguesa - LSP, no es de nuestro conocimiento la existencia de un sistema eficiente y eficaz para el reconocimiento automático. Con la llegada en masa de dispositivos tales como Sensores de Profundidad, hay nuevas posibilidades para abordar el problema del Reconocimiento de Gestos. En esta tesis se han especificado, desarrollado, probado y hecha una evaluación preliminar de soluciones, aplicada a las Lenguas de Signos como el caso de la Lengua de Signos Portuguesa - LSP. Se han adaptado las técnicas de Visión por Ordenador para el caso de los Sensores de Profundidad. Se propone una taxonomía apropiada para el problema y se presentan técnicas para la extracción, representación y el almacenamiento de características. Se desarrollaran, probaran, compararan y analizan los resultados de dos nuevos algoritmos para resolver el problema del Reconocimiento Aislado y Estático de Posturas. Otros dos algoritmos (uno de ellos nuevo) fueran también desarrollados, probados, comparados y analizados los resultados, para el Reconocimiento de Movimientos Dinámicos Aislados de los Gestos

Reconhecimento de língua gestual

Trabalho Final de Mestrado para obtenção do grau de Mestre em Engenharia Informática e ComputadoresAs Línguas Gestuais são o canal privilegiado para a comunicação de quem sofre de incapacidade auditiva total ou parcial. Devido ao facto destas Línguas Gestuais terem surgido por força da necessidade de comunicação de grupos de indivíduos por todo o mundo levou a que pessoas de regiões distintas utilizassem gestos diferentes para as mesmas palavras. Ao longo dos anos a comunidade científica tem tentado desenvolver sistemas que tentam automatizar o reconhecimento destas línguas. Devido à complexidade intrínseca das línguas, pela diversidade física dos executores ou pelas limitações tecnológicas, até aos dias de hoje, não é conhecida nenhuma solução óptima ou que resolva o problema na íntegra. Com o surgir e o aperfeiçoamento de dispositivos sensoriais de profundidade, surgem novas possibilidades para abordar o problema. Nesta tese, foram definidas, desenvolvidas e testadas propostas de soluções que se acredita serem uma mais-valia para o problema do reconhecimento automático de gestos aplicado à Língua Gestual Portuguesa. Para o efeito, foi adoptado um sensor de profundidade para a aquisição de gestos naturais do ser humano, adoptadas técnicas de extracção de características e implementados algoritmos de classificação para resolver o problema do reconhecimento de gestos estáticos e dinâmicos de forma contínua em tempo real.Abstract: The sign languages are a privileged channel for communication for those who suffer from total or partial hearing loss. Because these signs languages were developed by the need of communication of groups of individuals throughout the world, people from different regions use different gestures for the same words. Over the years the scientific community has tried to develop systems that attempt to automate the recognition of these languages. Due to the intrinsic complexity of the language, the physical diversity of the users or technological limitations, to this day, it is not known an optimal solution that totally solves this problem. With the rise and improvement of depth sensory devices, new possibilities emerge to address the problem. In this thesis, proposals were defined, developed and tested for solutions that we believe will be an asset to the problem of automatic recognition gestures for the Portuguese Sign Language. To this end, a depth sensor device for acquiring natural stimuli of the human being has been adapted, featuring extraction techniques and classification algorithms were implemented to solve the problem of the recognition of static and dynamic gestures in a continuous form and in real time

Metodologia Scrum e força de vendas no turismo: Ubiwhere

Mestrado em Línguas e Relações EmpresariaisO presente trabalho descreve a aplicação da metodologia Scrum à Força de Vendas direcionada para o mercado de Turismo. A metodologia Scrum é habitualmente usada nas empresas de desenvolvimento de software e pressupõe um conjunto de práticas que agilizam os métodos de criação de projetos, permitindo uma maior adaptabilidade aos fatores externos e imprevisíveis. A versatilidade desta metodologia é demonstrada pela sua aplicação a contextos tão distintos como marketing e vendas. É nesta perspetiva que surge a ideia de criação de uma nova Força de Vendas, adaptada aos princípios de metodologia ágil Scrum.This paper discusses the application of Scrum methodology to a Sales Force focused on the tourism market. Scrum methodology is usually introduced in software development companies´ processes and presupposes a set of practices that streamline the project´s creation methods. This allows for greater adaptability to external and unpredictable factors. When its application is considered appropriate in a different context such as marketing or sales, the versatility of this methodology is undeniable. From this perspective there arises the idea of creating a new Sales Force, adapted to the agile Scrum principles

Alinhamento de imagens de profundidade com aplicação no reconhecimento da língua de sinais

Dissertação (mestrado)—Universidade de Brasília, Instituto de Ciências Exatas, Departamento de Ciência da Computação, 2014.Gestos são utilizados desde tempos remotos como um mecanismo natural de comunicação.Como elemento de exteriorização da cultura surda, as línguas de sinais (línguas gestuais) possuemum importante papel na formação de uma unidade social. Neste contexto, sistemas dereconhecimento automático das línguas de sinais podem ser valiosos instrumentos de integração,ao passo que atenuam as barreiras impostas e estreitam os laços culturais entre surdos e ouvintes.Recentemente, surgiram novas pesquisas nesta linha que utilizam os chamados sensores RGB-D.Estes sensores caracterizam-se por serem de baixo custo e fácil uso, além de permitirem aaquisição de imagens de profundidade em tempo-real. Por sua vez, estas imagens carregam informaçõesda localização espacial dos objetos da cena, simplificam tarefas de pré-processamentoe contribuem para a proposição de novas metodologias de reconhecimento. Este trabalho propõeum sistema de reconhecimento automático das 26 posturas estáticas representantes das letrasdos alfabetos manuais: da Língua de Sinais Americana (ASL), e da Língua Brasileira de Sinais(Libras). Para alcançar este objetivo, a metodologia do sistema emprega um sensor RGB-D nafase de aquisição de dados; e, de posse das imagens de profundidade, aplica a combinação da estratégia de Casamento de Modelos com o algoritmo de alinhamento Iterative Closest Point(ICP) na fase de reconhecimento. Como contribuição deste trabalho, a técnica ICP é aprimoradade forma a verificar possíveis parâmetros de entrada e saída no alinhamento de instâncias deteste com a base de modelos. Em seguida, utiliza estes parâmetros como determinantes daacurácia e eficiência do reconhecimento. Além disto, a estratégia de Casamento de Modelos é aperfeiçoada de forma a considerar partições de imagens aleatoriamente escolhidas das classes de modelos, visando reduzir o tempo de reconhecimento e aproximando a metodologia aos contextos de tempo-real. Os resultados apresentados mostram que o algoritmo ICP pode ser utilizado para produzir casamentos corretos entre as classes do alfabeto, mesmo quando um conjunto próximo (ambíguo) de posturas gestuais é aplicado. Quanto à acurácia da metodologia implementada, estes resultados indicam um desempenho máximo obtido de 99;04% de taxa de acerto no reconhecimento da ASL e de 99;62% para a Libras. Verificou-se ainda que o sistema atingiu seu melhor desempenho em eficiência com frequência média de processamento de 7;41FPS, utilizando uma máquina de processador único de 2,4 GHz. ________________________________________________________________________________ ABSTRACTGestures are used since ancient times as a natural mechanism of communication. As anelement of externalisation of the deaf culture, sign languages (gestural languages) have animportant role in forming a social unit. In this context, automatic sign language recognitionsystems can be valuable tools of integration, while mitigating the barriers and strengtheningcultural ties between deaf and hearing people. Recently, new research has emerged in this areawhich uses the so called RGB-D sensors. These devices are characterized by the low cost andease of use, also allowing the depth image acquisition in real-time. In turn, these images carryinformation of the spatial location of the objects in the scene, simplify preprocessing tasks andcontribute to propose new recognition methodologies. This work proposes a system for automaticrecognition of the 26 static postures representatives of the letters in the manual alphabets of:the American Sign Language (ASL), and the Brazilian Sign Language (Libras). To achieve thisobjective, the system methodology employs an RGB-D sensor in the phase of data acquisition;and, once in possession of the depth images, applies the combination of the Template Matchingstrategy with the Iterative Closest Point (ICP) alignment algorithm in the recognition phase.As contributions of this work, the ICP technique is improved in order to verify possible inputand output parameters in the alignment of test instances with the model database. Then, it usesthese parameters as accuracy and efficiency determinants of the recognition. Moreover, theTemplate Matching strategy is enhanced to consider image partitions randomly chosen fromthe model classes, aiming time reduction of recognition and approaching the methodology toreal-time contexts. The presented results show that the ICP algorithm can be used to producecorrect matches between the alphabet classes, even when a close (ambiguous) set of sign posturesis applied. Regarding the accuracy of the implemented methodology, these results indicate amaximum performance of 99:04% of success rate in the ASL recognition and of 99:62% forLibras. It was also verified that the system reach its best efficiency performance with an averageprocessing frame frequency of 7:41 FPS, using a 2:4 GHz single processor based machine

Avaliação das técnicas de segmentação, modelagem e classificação para o reconhecimento automático de gestos e proposta de uma solução para classificar gestos da libras em tempo real

Multimodal interfaces are becoming popular and trying to enhance user experience through the use of natural forms of interaction. Among these forms we have speech and gestures inputs. Speech recognition is already a common feature in our daily basis but gesture recognition has just now being widely used as a new form of interaction. The Brazilian Sign Language (Libras) was recently recognized as a legal way of communication since the Brazilian Government enacted the law N˚10.436 on 04/24/2002, and also has recently became an obligatory subject in teachers education and an elective subject in undergraduate courses through the enactment N˚5.626 on 12/22/2005. In this context, this dissertation presents a study of all the steps that are necessary to achieve a complete system to recognize Static and Dynamic gestures of Libras, being these steps: Segmentation; Modeling and Interpretation; and Classification. Results and proposed solutions will be presented for each one of these steps, and the system will be evaluated in the task of real-time recognition of static and dyamic gestures within a finite set of Libras gestures. All the solutions presented in this dissertation were embedded in the software GestureUI, in which the main goal is to simplify the research in the field of gesture recognition allowing the communication with multimodal interfaces through a TCP/IP protocol.Universidade Federal de Sao CarlosInterfaces multimodais estão cada vez mais populares e buscam a interação natural como recurso para enriquecer a experiência do usuário. Dentre as formas de interação natural, estão a fala e os gestos. O reconhecimento de fala já está presente em nosso dia a dia em variadas aplicações, porém o reconhecimento de gestos apareceu recentemente como uma nova forma de interação. A Linguagem Brasileira de Sinais (Libras) foi recentemente reconhecida como meio de comunicação e expressão através da Lei N˚10.436 de 24/04/2002, e também foi incluída como disciplina obrigatória em cursos de formação de professores e optativa em cursos de graduação através do Decreto N˚5.626 de 22/12/2005. Neste contexto, esta dissertação apresenta um estudo sobre todas as etapas necessárias para a construção de um sistema para reconhecimento de Gestos Estáticos e Dinâmicos da Libras, sendo estas: Segmentação; Modelagem e Identificação; e Reconhecimento. Resultados e soluções propostas serão apresentados para cada uma destas etapas, e o sistema será avaliado no reconhecimento em tempo real utilizando um conjunto finito de gestos estáticos e dinâmicos. Todas as soluções apresentadas nesta dissertação foram encapsuladas no Software GestureUI, que tem por objetivo simplificar as pesquisas na área de reconhecimento de gestos permitindo a comunicação com interfaces multimodais através de um protocolo TCP/IP