Reconhecimento de expressões faciais na língua de sinais brasileira por meio do sistema de códigos de ação facial

Orientadores: Paula Dornhofer Paro Costa, Kate Mamhy Oliveira KumadaTese (doutorado) - Universidade Estadual de Campinas, Faculdade de Engenharia Elétrica e de ComputaçãoResumo: Surdos ao redor do mundo usam a língua de sinais para se comunicarem, porém, apesar da ampla disseminação dessas línguas, os surdos ou indivíduos com deficiência auditiva ainda enfrentam dificuldades na comunicação com ouvintes, na ausência de um intérprete. Tais dificuldades impactam negativamente o acesso dos surdos à educação, ao mercado de trabalho e aos serviços públicos em geral. As tecnologias assistivas, como o Reconhecimento Automático de Língua de Sinais, do inglês Automatic Sign Language Recognition (ASLR), visam superar esses obstáculos de comunicação. No entanto, o desenvolvimento de sistemas ASLR confiáveis apresenta vários desafios devido à complexidade linguística das línguas de sinais. As línguas de sinais (LSs) são sistemas linguísticos visuoespaciais que, como qualquer outra língua humana, apresentam variações linguísticas globais e regionais, além de um sistema gramatical. Além disso, as línguas de sinais não se baseiam apenas em gestos manuais, mas também em marcadores não-manuais, como expressões faciais. Nas línguas de sinais, as expressões faciais podem diferenciar itens lexicais, participar da construção sintática e contribuir para processos de intensificação, entre outras funções gramaticais e afetivas. Associado aos modelos de reconhecimento de gestos, o reconhecimento da expressões faciais é um componente essencial da tecnologia ASLR. Neste trabalho, propomos um sistema automático de reconhecimento de expressões faciais para Libras, a língua brasileira de sinais. A partir de uma pesquisa bibliográfica, apresentamos um estudo da linguagem e uma taxonomia diferente para expressões faciais de Libras associadas ao sistema de codificação de ações faciais. Além disso, um conjunto de dados de expressões faciais em Libras foi criado. Com base em experimentos, a decisão sobre a construção do nosso sistema foi através de pré-processamento e modelos de reconhecimento. Os recursos obtidos para a classificação das ações faciais são resultado da aplicação combinada de uma região de interesse, e informações geométricas da face dado embasamento teórico e a obtenção de desempenho melhor do que outras etapas testadas. Quanto aos classificadores, o SqueezeNet apresentou melhores taxas de precisão. Com isso, o potencial do modelo proposto vem da análise de 77% da acurácia média de reconhecimento das expressões faciais de Libras. Este trabalho contribui para o crescimento dos estudos que envolvem a visão computacional e os aspectos de reconhecimento da estrutura das expressões faciais da língua de sinais, e tem como foco principal a importância da anotação da ação facial de forma automatizadaAbstract: Deaf people around the world use sign languages to communicate but, despite the wide dissemination of such languages, deaf or hard of hearing individuals still face difficulties in communicating with hearing individuals, in the absence of an interpreter. Such difficulties negatively impact the access of deaf individuals to education, to the job market, and to public services in general. Assistive technologies, such as Automatic Sign Language Recognition (ASLR), aim at overcoming such communication obstacles. However, the development of reliable ASLR systems imposes numerous challenges due the linguistic complexity of sign languages. Sign languages (SLs) are visuospatial linguistic systems that, like any other human language, present global and regional linguistic variations, and a grammatical system. Also, sign languages do not rely only on manual gestures but also non-manual markers, such as facial expressions. In SL, facial expressions may differentiate lexical items, participate in syntactic construction, and contribute to change the intensity of a sentence, among other grammatical and affective functions. Associated with the gesture recognition models, facial expression recognition (FER) is an essential component of ASLR technology. In this work, we propose an automatic facial expression recognition (FER) system for Brazilian Sign Language (Libras). Derived from a literature survey, we present a language study and a different taxonomy for facial expressions of Libras associated with the Facial Action Coding System (FACS). Also, a dataset of facial expressions in Libras was created. An experimental setting was done for the construction of our framework for a preprocessing stage and recognizer model. The features for the classification of the facial actions resulted from the application of a combined region of interest and geometric information given a theoretical basis and better performance than other tested steps. As for classifiers, SqueezeNet returned better accuracy rates. With this, the potential of the proposed model comes from the analysis of 77% of the average accuracy of recognition of Libras' facial expressions. This work contributes to the growth of studies that involve the computational vision and recognition aspects of the structure of sign language facial expressions, and its main focus is the importance of facial action annotation in an automated wayDoutoradoEngenharia de ComputaçãoDoutora em Engenharia Elétrica001CAPE

Review on Classification Methods used in Image based Sign Language Recognition System

Sign language is the way of communication among the Deaf-Dumb people by expressing signs. This paper is present review on Sign language Recognition system that aims to provide communication way for Deaf and Dumb pople. This paper describes review of Image based sign language recognition system. Signs are in the form of hand gestures and these gestures are identified from images as well as videos. Gestures are identified and classified according to features of Gesture image. Features are like shape, rotation, angle, pixels, hand movement etc. Features are finding by various Features Extraction methods and classified by various machine learning methods. Main pupose of this paper is to review on classification methods of similar systems used in Image based hand gesture recognition . This paper also describe comarison of various system on the base of classification methods and accuracy rate

Accessible options for deaf people in e-Learning platforms: technology solutions for sign language translation

AbstractThis paper presents a study on potential technology solutions for enhancing the communication process for deaf people on e-learning platforms through translation of Sign Language (SL). Considering SL in its global scope as a spatial-visual language not limited to gestures or hand/forearm movement, but also to other non-dexterity markers such as facial expressions, it is necessary to ascertain whether the existing technology solutions can be effective options for the SL integration on e-learning platforms. Thus, we aim to present a list of potential technology options for the recognition, translation and presentation of SL (and potential problems) through the analysis of assistive technologies, methods and techniques, and ultimately to contribute for the development of the state of the art and ensure digital inclusion of the deaf people in e-learning platforms. The analysis show that some interesting technology solutions are under research and development to be available for digital platforms in general, but yet some critical challenges must solved and an effective integration of these technologies in e-learning platforms in particular is still missing

Automatic segmentation of grammatical facial expressions in sign language: towards an inclusive communication experience

Nowadays, natural language processing techniques enable the development of applications that promote communication between humans and between humans and machines. Although the technology related to automated oral communication is mature and affordable, there are currently no appropriate solutions for visual-spatial languages. In the scarce efforts to automatically process sign languages, studies on non-manual gestures are rare, making it difficult to properly interpret the speeches uttered in those languages. In this paper, we present a solution for the automatic segmentation of grammatical facial expressions in sign language. This is a low-cost computational solution designed to integrate a sign language processing framework that supports the development of simple but high value-added applications for the context of universal communication. Moreover, we present a discussion of the difficulties faced by this solution to guide future research in this area

A Survey of Applications and Human Motion Recognition with Microsoft Kinect

Microsoft Kinect, a low-cost motion sensing device, enables users to interact with computers or game consoles naturally through gestures and spoken commands without any other peripheral equipment. As such, it has commanded intense interests in research and development on the Kinect technology. In this paper, we present, a comprehensive survey on Kinect applications, and the latest research and development on motion recognition using data captured by the Kinect sensor. On the applications front, we review the applications of the Kinect technology in a variety of areas, including healthcare, education and performing arts, robotics, sign language recognition, retail services, workplace safety training, as well as 3D reconstructions. On the technology front, we provide an overview of the main features of both versions of the Kinect sensor together with the depth sensing technologies used, and review literatures on human motion recognition techniques used in Kinect applications. We provide a classification of motion recognition techniques to highlight the different approaches used in human motion recognition. Furthermore, we compile a list of publicly available Kinect datasets. These datasets are valuable resources for researchers to investigate better methods for human motion recognition and lower-level computer vision tasks such as segmentation, object detection and human pose estimation

The disambiguation of homonymous words in sentences by Brazilian Portuguese-Libras automatic translation applications

Este estudo analisa a Tradução Automática (TA) de palavras homônimas isoladas e inseridas em sentenças, realizada pelos aplicativos Hand Talk (HT) e ProDeaf Móvel (PDM), ambos tradutores automáticos do Português Brasileiro (PB) para Língua Brasileira de Sinais (Libras), uma vez que estudos anteriores têm apontado para a ausência de estratégias de desambiguação, uso de datilologia e erros de tradução. Esta é uma pesquisa qualitativa exploratória fundamentada em estudos sobre o léxico da Libras, Tradução Automática, Processamento de Línguas Naturais e Desambiguação, que tem por finalidade aprofundar achados iniciais, sob o mesmo viés teórico, com vistas a propor melhorias para a TA de PB-Libras. Assim, esta pesquisa analisou a TA de 38 palavras homônimas isoladas e contextualizadas em 38 pares de sentenças (dois significados em cada par de sentença). Os resultados revelaram que na TA de palavras isoladas os aplicativos geram a tradução de apenas um dos significados das palavras homônimas (HT: 89% e PDM: 63%). Nas sentenças, o percentual de acerto do significado das palavras, em ambos os aplicativos, é menor (HT: 82% e PDM: 60%) do que na TA por palavra isolada e ainda mais reduzido (HT: 13% e PDM: 11%) na desambiguação de palavras homônimas. Os achados desta pesquisa indicam a necessidade de aperfeiçoamento do sistema de Processamento de Línguas Naturais dos aplicativos quanto à desambiguação de palavras homônimas. Infere-se que uma TA mais adequada em nível de palavra isolada e de sentença pode oferecer aos usuários traduções mais análogas à Libras em níveis semântico e sintático, enquanto língua natural e oficial da comunidade surda no Brasil.This study analyzes the Automatic Translation (AT) of homonymous words isolated and inserted in sentences, produced by Hand Talk and ProDeaf Mobile applications, both automatic translators from Brazilian Portuguese to Brazilian Sign Language (Libras), once previous studies have pointed to the absence of disambiguation strategies, use of fingerspelling and translation errors. This is an exploratory qualitative research based on studies of the lexicon of Libras, Automatic Translation, Natural Language Processing and Disambiguation, whose purpose is to deepen initial findings, under the same theoretical bias, in order to propose improvements on the AT of Portuguese Language-Libras. Thus, this study analyzed the AT of 38 homonymous words isolated and contextualized in 38 sentence pairs (two distinct meanings in each sentence pair). The results revealed that in AT of isolated words the applications generate the translation of only one of the meanings of the homonymous words (HT: 89% and PDM: 63%). In sentences, the percentage of correct word meanings, in both applications, is lower (HT: 82% and PDM: 60%) than in AT per isolated word and even lower (HT: 13% and PDM: 11 %) in the disambiguation of homonymous words. The findings of this research indicate the need to improve the Natural Language Processing system of the applications for the disambiguation of homonymous words. It is inferred that a more adequate AT at the level of isolated word and sentence can offer users more analogous translations to Libras, as the natural and official language of the deaf community in Brazil

A desambiguação de palavras homônimas em sentenças por aplicativos de Tradução Automática Português Brasileiro-Libras

Este estudo analisa a Tradução Automática (TA) de palavras homônimas isoladas e inseridas em sentenças, realizada pelos aplicativos Hand Talk (HT) e ProDeaf Móvel (PDM), ambos tradutores automáticos do Português Brasileiro (PB) para Língua Brasileira de Sinais (Libras), uma vez que estudos anteriores têm apontado para a ausência de estratégias de desambiguação, uso de datilologia, regionalismos e erros de tradução. Esta é uma pesquisa qualitativa exploratória fundamentada em estudos sobre o léxico da Libras, Tradução Automática, Processamento de Línguas Naturais e Desambiguação, que tem por finalidade aprofundar achados iniciais, sob o mesmo viés teórico, com vista a gerar construtos teóricos sobre TA de PB-Libras. Assim, esta pesquisa analisou a TA de 38 palavras homônimas isoladas e contextualizadas em 38 pares de sentenças (dois significados em cada par de sentença). Os resultados revelaram que na TA de palavras isoladas os aplicativos geram a tradução de apenas um dos significados das palavras homônimas (HT: 89% e PDM: 63%). Nas sentenças, o percentual de acerto do significado das palavras, em ambos os aplicativos, é menor (HT: 82% e PDM: 60%) do que na TA por palavra isolada e ainda mais reduzido (HT: 13% e PDM: 11%) na desambiguação de palavras homônimas. Os achados desta pesquisa indicam a necessidade de aperfeiçoamento do sistema de Processamento de Línguas Naturais dos aplicativos quanto à desambiguação de palavras homônimas. Infere-se que uma TA mais adequada em nível de palavra isolada e de sentença pode oferecer aos usuários traduções mais análogas à Libras em níveis semântico e sintático, enquanto língua natural e oficial da comunidade surda no Brasil

A Systematic Mapping of Translation-Enabling Technologies for Sign Languages

Sign languages (SL) are the first language for most deaf people. Consequently, bidirectional communication among deaf and non-deaf people has always been a challenging issue. Sign language usage has increased due to inclusion policies and general public agreement, which must then become evident in information technologies, in the many facets that comprise sign language understanding and its computational treatment. In this study, we conduct a thorough systematic mapping of translation-enabling technologies for sign languages. This mapping has considered the most recommended guidelines for systematic reviews, i.e., those pertaining software engineering, since there is a need to account for interdisciplinary areas of accessibility, human computer interaction, natural language processing, and education, all of them part of ACM (Association for Computing Machinery) computing classification system directly related to software engineering. An ongoing development of a software tool called SYMPLE (SYstematic Mapping and Parallel Loading Engine) facilitated the querying and construction of a base set of candidate studies. A great diversity of topics has been studied over the last 25 years or so, but this systematic mapping allows for comfortable visualization of predominant areas, venues, top authors, and different measures of concentration and dispersion. The systematic review clearly shows a large number of classifications and subclassifications interspersed over time. This is an area of study in which there is much interest, with a basically steady level of scientific publications over the last decade, concentrated mainly in the European continent. The publications by country, nevertheless, usually favor their local sign language.The authors thank the School of Computing and the Computer Research Center of the Technological Institute of Costa Rica for the financial support, as well as CONICIT (Consejo Nacional para Investigaciones Científicas y Tecnológicas), Costa Rica, under grant 290-2006. This work was partly supported by the Spanish Ministry of Science, Innovation, and Universities through the Project ECLIPSE-UA under Grant RTI2018-094283-B-C32 and the Project INTEGER under Grant RTI2018-094649-B-I00, and partly by the Conselleria de Educación, Investigación, Cultura y Deporte of the Community of Valencia, Spain, within the Project PROMETEO/2018/089

Tradutor bidirecional de língua gestual portuguesa

Uma das maiores preocupações da Sociedade é promover a igualdade de oportunidades e a inclusão social. Este é um tópico chave na agenda Europeia, em particular ao nível do Ensino. Apesar do esforço que tem vindo a ser realizado por inúmeros investigadores e instituições, as dificuldades inerentes à comunicação entre ouvintes e surdos continua a ser uma barreira significativa para a inclusão. O elevado ritmo de desenvolvimento da tecnologia assistiva possibilitou o aparecimento recente de várias soluções para promover a inclusão da comunidade surda um pouco por todo o mundo. No entanto, no que respeita à língua gestual portuguesa, as soluções atualmente disponíveis são ineficientes e não cobrem as necessidades da comunidade. A criação de um tradutor bidirecional entre português escrito e língua gestual portuguesa permitirá uma comunicação mais fluída e eficiente entre ouvintes e surdos, gerando igualdade de oportunidades e promovendo a inclusão da comunidade surda na sociedade. O objetivo desta tese consiste na promoção da inclusão social da comunidade surda, tornando a comunicação entre surdos e ouvintes mais eficaz. O tradutor automático desenvolvido neste trabalho, denominado VirtualSign, tem capacidade para traduzir gestos em texto e texto em gestos usando um modelo de tradução desenvolvido especificamente para o efeito. O tradutor de gestos para texto utiliza um par de luvas de dados com 14 sensores para reconhecimento da configuração manual e o Kinect para reconhecer os movimentos corporais efetuados pelo utilizador. Os sinais recebidos destes dispositivos são convertidos num modelo de tradução que alimenta um componente de aprendizagem automática para identificar os gestos que estão a ser produzidos. A tradução de texto para gestos utiliza um avatar 3D criado para reproduzir as animações que representam o texto a traduzir. Estas animações representam palavras e expressões da língua portuguesa de sinais que são armazenadas numa base de dados. Um dos aspetos inovadores deste trabalho consiste no facto destas animações serem modeladas com recurso a uma linguagem de scripting o que reduz significativamente o espaço. Esta característica torna possível a utilização do sistema de tradução em dispositivos móveis e em outros contextos em que o espaço de armazenamento seja um aspeto crítico. Para apoiar os surdos e intérpretes de língua gestual a carregar a base de dados de gestos com animações for desenvolvido o VirtualSign Studio; uma aplicação de apoio à configuração de gestos em quaisquer línguas ou dialeto e a geração automática dos scripts correspondentes através da manipulação direta do avatar, ou seja, sem necessidade de conhecimentos técnicos da área informática. Este sistema de configuração está a ser utilizado por uma equipa de surdos e intérpretes de vários países incluindo: Portugal, Brasil, Alemanha, Reino Unido, Eslovénia, Grécia e Chipre. O sistema de tradução VirtualSign está em fase de pré-produção estando a ser desenvolvidas várias aplicações para o dia-a-dia que a breve trecho estarão disponíveis para o público.One of the modern society’s main concerns is promoting equal opportunities to everyone andsocial inclusion is a key topic in the agenda of the European Higher Education. Despite the efforts being made there is still not enough support for the deaf community. The technology has been growing very fast, with this some new applications start to appear, but the Portuguese sign language area is still lacking. This thesis main objective is the creation of bidirectional translator of Portuguese sign language. To be capable of making this translator it was necessary to create two different applications with the capacity of translating gesture into text and text into gesture. The gesture to text translator needs to have two different devices besides the computer, this two devices are a pair of gloves called 5DT gloves that contains 14 different sensors to be capable of recognizing the configurations made by the hand of the user. The second device is the Kinect that is a camera with sensors that has the capacity of recognizing movements made by the user. The text to gesture translator uses one avatar 3D that has been created to reproduce gestores that represents the transcribed text. To perform the gestures the avatar 3D uses an animation parameterization system to make the correct gestures. Translating sign language requires a vast set of parameters that need to be taken into consideration such as hand configuration, arms movement and facial expression. Those characteristics are the components of the translation moments. So, to store all the information required for the translation of words to signs, considering the large number of existing words, the creation of the VirtualSign Studio (VSS) was necessary. The VSS application allows the users to create gestures that represent words. All this development has been possible after an extensive study about sign language and after a study made about the state of art of applications that use sign language. This dissertation was realized on the Instituto Superior de Engenharia do Porto in the TMDEI discipline. This project goal is to obtain a major social inclusion of the deaf community in society, making the communication between deaf people and non-deaf much easier