Glossifica : tradutor automático de português para a Glosa da língua gestual portuguesa

Abstract

Mestrado em Engenharia Informática na Escola Superior de Tecnologia e Gestão do Instituto Politécnico de Viana do CasteloA Língua Gestual Portuguesa (LGP) é uma das três línguas oficiais de Portugal, sendo a utilizada pela comunidade surda. No entanto, apesar de ser uma língua oficial nacional, verifica-se que os cerca de 30 mil indivíduos que utilizam esta língua como sua língua materna demonstram uma enorme dificuldade de comunicação com a população em geral já que, dos cerca de 11 milhões de pessoas em Portugal, apenas cerca de 110 mil são utilizadores da LGP, ou seja, apenas 1% da população. Acresce ainda que a LGP segue uma estrutura e uma gramática muito diferentes da língua portuguesa, não permitindo que a grande maioria dos surdos consiga ler e interpretar texto em português. Existem diversas tecnologias que permitem a tradução entre línguas naturais diferentes, disponíveis a qualquer pessoa. No entanto, é muito inferior o número de tradutores disponíveis para a tradução entre uma língua natural e uma língua gestual, dificultando imenso a comunicação entre utilizadores e não utilizadores da LGP. Neste contexto, o principal objetivo do trabalho, que surge no âmbito do projeto IVLinG – Intérprete Virtual de Língua Gestual, que aqui se descreve foi o de projetar e desenvolver um tradutor capaz de traduzir texto em português para uma representação textual escrita de uma frase da língua gestual (denominada por “glosa da LGP”). Para tal, foram realizados estudos acerca da estrutura e gramática da LGP e experimentados diversos métodos, anteriormente desenvolvidos e utilizados com diversas outras línguas. Seguidamente, foi desenvolvido um tradutor, suportado numa arquitetura híbrida, que articula a utilização de regras gramaticais e a utilização de uma rede neuronal. A ferramenta desenvolvida foi testada com traduções, obtidas da parte de uma intérprete e de um formador de LGP, cuja língua materna deste último é a própria LGP. Os testes realizados com o tradutor demonstraram tratar-se de uma ferramenta capaz de realizar boas traduções entre as duas línguas, tendo sido alcançados resultados BLEU e METEOR de 0.722405 e 0.795578 respetivamente numa tradução baseada em regras, e BLEU e METEOR de 0.698358 e 0.752246 respetivamente para uma tradução baseada em rede neuronal. Paralelamente ao desenvolvimento do tradutor, foi também construído um dataset (“corpus”) de traduções entre a língua portuguesa e a glosa da LGP, corpus utilizado para o treino da rede neuronal do tradutor.The Portuguese Sign Language (LGP) is one of three Portugal’s official languages, being the one used by the deaf community. However, despite being an official language of Portugal, it appears that the 30.000 individuals (approximately) who use this language as their mother tongue will have a lot of difficulty in communicating with the general population, since, of the approximately 11 million people in Portugal, only about 110.000 are LGP users, that is, only about 1% of the population. Furthermore, the LGP follows a very different structure and grammar from the Portuguese language, preventing most deaf people from being able to read and interpret texts written in Portuguese correctly. There are several technologies that allow the translation between different natural languages, available to anyone. However, the number of translators available for translating between a natural language and a sign language is much smaller, making communication between LGP users and non-users immensely difficult. In this context, the main objective the work, that arises within the scope of the IVLinG project - Intérprete Virtual de Língua Gestual, described here was to design and develop a translator capable of translating Portuguese into LGP gloss. For this, studies were carried out on the structure and grammar of LGP and various methods, previously developed and used with other languages, were tested. Next, a translator was developed, supported by a hybrid architecture, which articulates the use of grammatical rules and the use of a neural network. The developed tool was tested with translations, obtained from and interpreter and an LGP trainer, whose native language of the latter is LGP itself. The tests carried out showed that it is a tool capable of carrying out good translations between the two languages, archiving BLEU and METEOR scores of 0.722405 and 0.795578 respectively for a rule-based approach, and BLEU and METEOR scores of 0.698358 and 0.752246 for a neural-translation approach. Parallel to the development of the translator, a corpus of translations between the Portuguese language and the LGP gloss was also built, corpus used to train the translator’s neural network