Core-SL-SW-generator : gerador automático da escrita da libras a partir de um modelo de especificação formal dos sinais

Orientadora: Laura Sánchez GarcíaCoorientadora: Tanya Amara FelipeTese (doutorado) - Universidade Federal do Paraná, Setor de Ciências Exatas, Programa de Pós-Graduação em Informática . Defesa : Curitiba, 10/12/2018Inclui referências: p. 79-82Resumo: Os seres humanos são capazes de interagir com outras pessoas, acessar o conhecimento e desenvolver seu intelecto por meio da sua língua preferencial. Sendo assim, as pessoas que não utilizam essa forma de comunicação estão às margens da própria sociedade.Os usuários que usam como forma de comunicação um tipo diferente da língua oral de seu país, acabam sendo privados de direitos e do pleno exercício da cidadania. Mais do que o convívio social, não utilizar a língua preferencial para uma comunidade também tem outros reflexos. Um dos exemplos de comunidade que sofre com estas barreiras é a Comunidade Surda. A escrita na língua natural ou preferencial é um pré-requisito para a formação do ser humano, pois quem pouco lê, pouco escreve e isso atinge diretamente os Surdos. Apesar das Línguas de Sinais (LS) já estarem consolidadas na sociedade há um certo tempo e no Brasil, e a Língua Brasileira de Sinais (Libras) ser lei desde 2002, é escasso o fornecimento de qualquer material na forma escrita das Línguas de Sinais, ou seja, na língua preferencial dos membros dessa comunidade. Isso tem distintas consequências para os surdos, incluindo cultural, social e de letramento. Esta tese está inserida no contexto de uma Arquitetura de Interação Humano-Computador em Língua de Sinais (HCI-SL) que tem o intuito de dar suporte à criação de ferramentas e de aplicações para o usuário final que ofereçam uma interação de qualidade por meio das Línguas de Sinais e no Modelo Computacional para a representação de sinais das LS (CORE-SL), seu módulo principal, que permite a resolução de questões como armazenamento, indexação, recuperação, reconhecimento, reprodução, síntese, entre outras. SignWriting é um sistema de escrita que tem a capacidade de representar graficamente qualquer LS. Essa propriedade leva à sua complexidade intrínseca, que, consequentemente, faz com que seu uso não alcance uma ampla aceitação. Na literatura relacionada, são encontradas diversas ferramentas que têm intuito de fornecer apoio aos Surdos que desejam utilizar o SignWriting, mas essas ferramentas apresentam diversos problemas que levam ao baixo uso das mesmas. A geração automática dos Sinais em SignWriting é uma alternativa de solução apropriada capaz de para proporcionar o acesso à informação e ao conhecimento, assim como a sua apropriação para a produção textual, na língua preferencial de forma escrita para as comunidades Surdas. Palavras-chave: SignWriting, Libras, Geração Automática.Abstract: Human beings are able to interact with other people, access knowledge and develop their intellect through their preferred language. Thus, people who do not use this form of communication are left on the edge of society. Users of a different form of communication than the official oral language of their country end up being deprived of rights and of full exercise of citizenship. More than social interaction, not using the preferred language for a community also has other reflexes. One example of a community that suffers from these barriers is the Deaf Community. Writing in the natural or preferential language is a prerequisite for the formation of the human being, for whoever reads little, writes little and this directly affects the Deaf. Although Sign Languages (LS) have been consolidated in society for some time and in Brazil, the Brazilian Sign Language (Libras) has been a law since 2002, there is a scarcity of material in the written form of Sign Language, that is, in the preferred language of the members of that community. This has distinct consequences for the deaf, including cultural, social and literacy implications. This PhD Thesis belongs in the context of a Human-Computer Interaction Architecture in Sign Language (HCI-SL) that aims to support the creation of tools and end-user applications that offer proper interaction through Sign Language (SL). It also belongs in the Computational Model for the representation of the signs of Sign Language (CORE-SL), its main module, which allows the resolution of issues such as signs storage, indexing, retrieval, recognition, reproduction, synthesis, among others. SignWriting is a writing system that has the ability to represent, in graphical form, any SL. This property leads to its intrinsic complexity, which consequently makes its use not to be wide accepted. There are several tools, in related literature, that intend to provide support to Deaf people who wish to use SignWriting, but these tools present several problems, which lead to their low usage. We believe that the automatic generation of SignWriting signs is an appropriate solution, capable of providing access to information and knowledge, as well as its appropriation for textual production, in the preferred written form of language for the Deaf communities. Keywords: SignWriting, Libras, Automatic Generation

Proposta de um modelo computacional para representação de sinais em uma arquitetura de serviços HCI-SL para línguas de sinais

Orientador : Dr. André Luiz Pires GuedesCo-orientadora : Drª. Laura Sánchez GarciaTese (doutorado) - Universidade Federal do Paraná, Setor de Ciências Exatas, Programa de Pós-Graduação em Informática. Defesa: Curitiba, 23/09/2015Inclui referências : f. 196-206Resumo: A falta de acesso à informação e ao conhecimento científico tem sido um grande obstáculo enfrentado por algumas comunidades minoritárias. Este é o caso das comunidades de Surdos que, historicamente, têm sofrido isolamento e exclusão social. Os surdos, no contexto desta pesquisa, têm sua identidade e sua cultura definidas pelo universo gestual-visual das Línguas de Sinais (LS), ferramentas poderosas utilizadas para as suas relações comunicacionais e para a construção de conhecimento. Neste contexto, esta tese explora as necessidades reais dos surdos e investiga as LS, sua estrutura e a forma de utilizá-las para a construção de ferramentas computacionais que auxiliem estes usuários no acesso à informação e ao conhecimento. Esta tese está inserida no contexto de uma Arquitetura de Interação Humano-Computador em Língua de Sinais (HCI-SL), que tem o intuito de criar ferramentas para o usuário final que proporcionem acessibilidade e ofereçam uma interação satisfatória por meio das LS. Um dos principais problemas que permeia todas as camadas da Arquitetura HCI-SL e seus serviços é a falta de uma estrutura formal para a representação computacional desses sinais, ou seja, uma estrutura que forneça suporte para a resolução de questões como armazenamento, indexação, recuperação, reconhecimento, reprodução, síntese, entre outras propriedades capazes de facilitar a resolução dos demais problemas computacionais associados à arquitetura. Neste contexto, esta tese apresenta a proposta de um modelo computacional para a representação de sinais das LS (CORE-SL) que considera um conjunto de propriedades formais e de condições de uso para sua aplicabilidade na HCI-SL, visando um suporte à arquitetura de hipótese para o desenvolvimento de seus contextos de usos potenciais. Adicionalmente, um estudo exploratório em relação ao uso do CORE-SL em alguns contextos de processamento computacional das LS é apresentado, gerando hipóteses de pesquisa, metodologias, frameworks e novas abordagens que constituem uma base para o desenvolvimento de serviços da HCI-SL, tais como o reconhecimento e a síntese automática de sinais, o processamento de linguagem natural para tradução, um banco de dados para armazenamento de sinais, entre outros. Palavras-chave: Modelo Computacional, Comunidades de Surdos, Línguas de Sinais, Design de Interação Natural, Arquitetura de Serviços para Internet, Usabilidade.Abstract: The lack of access to information and scientific knowledge has been a major obstacle faced by some minority communities. This is the case of the Deaf Communities that, historically, have experienced isolation and social exclusion. Deaf people, in the context of this research, have their identity and their culture defined by the gestural-visual universe of Sign Languages (SL), powerful tools used for their communicational relationships and to building of knowledge. In this context, this thesis explores the real Deaf's needs and research the SL, its structure and the manner of use to building computational tools that assist Deaf people in the access to information and knowledge. This thesis fits into the context of a Human-Computer Interaction Architecture by Sign Language (HCI-SL), which aims to create tools for the end-user to provide accessibility and a satisfactory interaction via the SL. A key problem that have intersection with all layers of the HCI-SL Architecture and their services is the lack of a formal structure for the computational representation of signs, i.e., a structure that provides support to solve some problems like storage, indexing, retrieval, recognition, reproduction, synthesis, among other properties able to facilitate the resolution of other computational problems associated with this architecture. In this context, this thesis presents a proposal of a computational model for the representation of SL signs (CORE-SL), which considers a set of formal properties and conditions of use for their applicability in the HCI-SL, aiming a support for the architecture hypothesis to develop their potential contexts of uses. Additionally, an exploratory study regarding the use of the CORE-SL in some contexts related to SL computer processing is presented, generating research hypothesis, methodologies, frameworks and new approaches that provide a basis for the development of HCI-SL services, such as automatic sign recognition and synthesis, natural language processing for translation, databases for sign storage, among others. Keywords: Computational Model, Deaf Communities, Sign Languages, Design of Natural Interaction, Services Architecture for Internet, Usability

The Role of Emotional and Facial Expression in Synthesised Sign Language Avatars

This thesis explores the role that underlying emotional facial expressions might have in regards to understandability in sign language avatars. Focusing specifically on Irish Sign Language (ISL), we examine the Deaf community’s requirement for a visual-gestural language as well as some linguistic attributes of ISL which we consider fundamental to this research. Unlike spoken language, visual-gestural languages such as ISL have no standard written representation. Given this, we compare current methods of written representation for signed languages as we consider: which, if any, is the most suitable transcription method for the medical receptionist dialogue corpus. A growing body of work is emerging from the field of sign language avatar synthesis. These works are now at a point where they can benefit greatly from introducing methods currently used in the field of humanoid animation and, more specifically, the application of morphs to represent facial expression. The hypothesis underpinning this research is: augmenting an existing avatar (eSIGN) with various combinations of the 7 widely accepted universal emotions identified by Ekman (1999) to deliver underlying facial expressions, will make that avatar more human-like. This research accepts as true that this is a factor in improving usability and understandability for ISL users. Using human evaluation methods (Huenerfauth, et al., 2008) the research compares an augmented set of avatar utterances against a baseline set with regards to 2 key areas: comprehension and naturalness of facial configuration. We outline our approach to the evaluation including our choice of ISL participants, interview environment, and evaluation methodology. Remarkably, the results of this manual evaluation show that there was very little difference between the comprehension scores of the baseline avatars and those augmented withEFEs. However, after comparing the comprehension results for the synthetic human avatar “Anna” against the caricature type avatar “Luna”, the synthetic human avatar Anna was the clear winner. The qualitative feedback allowed us an insight into why comprehension scores were not higher in each avatar and we feel that this feedback will be invaluable to the research community in the future development of sign language avatars. Other questions asked in the evaluation focused on sign language avatar technology in a more general manner. Significantly, participant feedback in regard to these questions indicates a rise in the level of literacy amongst Deaf adults as a result of mobile technology

Spatio-temporal centroid based sign language facial expressions for animation synthesis in virtual environment

Orientador: Eduardo TodtTese (doutorado) - Universidade Federal do Paraná, Setor de Ciências Exatas, Programa de Pós-Graduação em Informática. Defesa : Curitiba, 20/02/2019Inclui referências: p.86-97Área de concentração: Ciência da ComputaçãoResumo: Formalmente reconhecida como segunda lingua oficial brasileira, a BSL, ou Libras, conta hoje com muitas aplicacoes computacionais que integram a comunidade surda nas atividades cotidianas, oferecendo interpretes virtuais representados por avatares 3D construidos utilizando modelos formais que parametrizam as caracteristicas especificas das linguas de sinais. Estas aplicacoes, contudo, ainda consideram expressoes faciais como recurso de segundo plano em uma lingua primariamente gestual, ignorando a importancia que expressoes faciais e emocoes imprimem no contexto da mensagem transmitida. Neste trabalho, a fim de definir um modelo facial parametrizado para uso em linguas de sinais, um sistema de sintese de expressoes faciais atraves de um avatar 3D e proposto e um prototipo implementado. Neste sentido, um modelo de landmarks faciais separado por regioes e definido assim como uma modelagem de expressoes base utilizando as bases faciais AKDEF e JAFEE como referencia. Com este sistema e possivel representar expressoes complexas utilizando interpolacao dos valores de intensidade na animacao geometrica, de forma simplificada utilizando controle por centroides e deslocamento de regioes independentes no modelo 3D. E proposto ainda uma aplicacao de modelo espaco-temporal para os landmarks faciais, com o objetivo de observar o comportamento e relacao dos centroides na sintese das expressoes base definindo quais pontos geometricos sao relevantes no processo de interpolacao e animacao das expressoes. Um sistema de exportacao dos dados faciais seguindo o formato hierarquico utilizado na maioria dos avatares 3D interpretes de linguas de sinais e desenvolvido, incentivando a integracao em modelos formais computacionais ja existentes na literatura, permitindo ainda a adaptacao e alteracao de valores e intensidades na representacao das emocoes. Assim, os modelos e conceitos apresentados propoe a integracao de um modeo facial para representacao de expressoes na sintese de sinais oferecendo uma proposta simplificada e otimizada para aplicacao dos recursos em avatares 3D. Palavras-chave: Avatar 3D, Dados Espaco-Temporal, Libras, Lingua de sinais, Expressoes Faciais.Abstract: Formally recognized as the second official Brazilian language, BSL, or Libras, today has many computational applications that integrate the deaf community into daily activities, offering virtual interpreters represented by 3D avatars built using formal models that parameterize the specific characteristics of sign languages. These applications, however, still consider facial expressions as a background feature in a primarily gestural language, ignoring the importance that facial expressions and emotions imprint on the context of the transmitted message. In this work, in order to define a parametrized facial model for use in sign languages, a system of synthesis of facial expressions through a 3D avatar is proposed and a prototype implemented. In this way, a model of facial landmarks separated by regions is defined as a modeling of base expressions using the AKDEF and JAFEE facial bases as a reference. With this system it is possible to represent complex expressions using interpolation of the intensity values in the geometric animation, in a simplified way using control by centroids and displacement of independent regions in the 3D model. A spatial-temporal model is proposed for the facial landmarks, with the objective of define the behavior and relation of the centroids in the synthesis of the basic expressions, pointing out which geometric landmark are relevant in the process of interpolation and animation of the expressions. A system for exporting facial data following the hierarchical format used in most avatars 3D sign language interpreters is developed, encouraging the integration in formal computer models already existent in the literature, also allowing the adaptation and change of values and intensities in the representation of the emotions. Thus, the models and concepts presented propose the integration of a facial model to represent expressions in the synthesis of signals offering a simplified and optimized proposal for the application of the resources in 3D avatars. Keywords: 3D Avatar, Spatio-Temporal Data, BSL, Sign Language, Facial Expression

A Bibliography of Sign Languages, 2008-2017

This concise bibliography on Sign Languages was compiled on the occasion of the 20th international Congress of Linguists in Cape Town, South Africa, in July 2018. The selection of titles is drawn from the Linguistic Bibliography and gives an overview of scholarship on Sign language over the past 10 years. The introduction is by Myriam Vermeerbergen (KU Leuven & Stellenbosch University) and Anna-Lena Nilsson (NTNU – Norwegian University of Science and Technology) gives an overview of the most recent developments in the field

Visualización del lenguaje a través de corpus

Digital version of the print publication, published in A Coruña: Universidade da Coruña, Servizo de Publicacións, 2010 (ISBN 978-84-9749-401-4)This book contains the papers presented at the Second International Conference on Corpus Linguistics held at the University of A Coruña in 2010 and organised by the MuStE group. The essays deal with different aspects of corpus linguistics both as a methodology and as a branch of Linguistics.[Abstract] The collection of essays we are presenting here are just a mere sample of the interest the topics relating to Corpus Linguistics have arisen everywhere. Such different topics as those related to Computational Linguistics found in “Obtaining computational resources for languages with scarce resources from closely related computationally-developed languages. The Galician and Portuguese case“ or “Corpus-Based Modelling of Lexical Changes in Manic Depression Disorders: The Case of Edgar Allan Poe” belonging to the field of Corpus and Literary Studies can be found in the ensuing pages. Almost all research areas can nowadays be investigated using Corpus Linguistics as a valid methodology. This is reason why Language Windowing through Corpora gathers papers dealing with discourse, variation and change, grammatical studies, lexicology and lexicography, corpus design, contrastive analyses, language acquisition and learning or translation. This work’s title aims at reflecting not only the great variety of topics gathered in it but also the worldwide interest awaken by the computer processing of language. In fact, researchers from many different institutions all over the world have contributed to this book. Apart from the twenty-two Spanish Universities, people from other Higher Education Institutions have authored and co-authored the essays contained here, namely, Russia, Venezuela, Brazil, UK, Finland, Portugal, Poland, Austria, Mexico, Thailand, Iran, the Netherlands, Belgium, Japan, Turkey, China, Italy, Malaysia, Romania and Sweden. All these essays have been alphabetically arranged, by the names of their authors, in two parts. Part 1 contains the papers by authors from A to K and Part 2, those of authors from L to Z

Core-SL-SW-generator : gerador automático da escrita da libras a partir de um modelo de especificação formal dos sinais

Orientadora: Laura Sánchez GarcíaCoorientadora: Tanya Amara FelipeTese (doutorado) - Universidade Federal do Paraná, Setor de Ciências Exatas, Programa de Pós-Graduação em Informática . Defesa : Curitiba, 10/12/2018Inclui referências: p. 79-82Resumo: Os seres humanos são capazes de interagir com outras pessoas, acessar o conhecimento e desenvolver seu intelecto por meio da sua língua preferencial. Sendo assim, as pessoas que não utilizam essa forma de comunicação estão às margens da própria sociedade.Os usuários que usam como forma de comunicação um tipo diferente da língua oral de seu país, acabam sendo privados de direitos e do pleno exercício da cidadania. Mais do que o convívio social, não utilizar a língua preferencial para uma comunidade também tem outros reflexos. Um dos exemplos de comunidade que sofre com estas barreiras é a Comunidade Surda. A escrita na língua natural ou preferencial é um pré-requisito para a formação do ser humano, pois quem pouco lê, pouco escreve e isso atinge diretamente os Surdos. Apesar das Línguas de Sinais (LS) já estarem consolidadas na sociedade há um certo tempo e no Brasil, e a Língua Brasileira de Sinais (Libras) ser lei desde 2002, é escasso o fornecimento de qualquer material na forma escrita das Línguas de Sinais, ou seja, na língua preferencial dos membros dessa comunidade. Isso tem distintas consequências para os surdos, incluindo cultural, social e de letramento. Esta tese está inserida no contexto de uma Arquitetura de Interação Humano-Computador em Língua de Sinais (HCI-SL) que tem o intuito de dar suporte à criação de ferramentas e de aplicações para o usuário final que ofereçam uma interação de qualidade por meio das Línguas de Sinais e no Modelo Computacional para a representação de sinais das LS (CORE-SL), seu módulo principal, que permite a resolução de questões como armazenamento, indexação, recuperação, reconhecimento, reprodução, síntese, entre outras. SignWriting é um sistema de escrita que tem a capacidade de representar graficamente qualquer LS. Essa propriedade leva à sua complexidade intrínseca, que, consequentemente, faz com que seu uso não alcance uma ampla aceitação. Na literatura relacionada, são encontradas diversas ferramentas que têm intuito de fornecer apoio aos Surdos que desejam utilizar o SignWriting, mas essas ferramentas apresentam diversos problemas que levam ao baixo uso das mesmas. A geração automática dos Sinais em SignWriting é uma alternativa de solução apropriada capaz de para proporcionar o acesso à informação e ao conhecimento, assim como a sua apropriação para a produção textual, na língua preferencial de forma escrita para as comunidades Surdas. Palavras-chave: SignWriting, Libras, Geração Automática.Abstract: Human beings are able to interact with other people, access knowledge and develop their intellect through their preferred language. Thus, people who do not use this form of communication are left on the edge of society. Users of a different form of communication than the official oral language of their country end up being deprived of rights and of full exercise of citizenship. More than social interaction, not using the preferred language for a community also has other reflexes. One example of a community that suffers from these barriers is the Deaf Community. Writing in the natural or preferential language is a prerequisite for the formation of the human being, for whoever reads little, writes little and this directly affects the Deaf. Although Sign Languages (LS) have been consolidated in society for some time and in Brazil, the Brazilian Sign Language (Libras) has been a law since 2002, there is a scarcity of material in the written form of Sign Language, that is, in the preferred language of the members of that community. This has distinct consequences for the deaf, including cultural, social and literacy implications. This PhD Thesis belongs in the context of a Human-Computer Interaction Architecture in Sign Language (HCI-SL) that aims to support the creation of tools and end-user applications that offer proper interaction through Sign Language (SL). It also belongs in the Computational Model for the representation of the signs of Sign Language (CORE-SL), its main module, which allows the resolution of issues such as signs storage, indexing, retrieval, recognition, reproduction, synthesis, among others. SignWriting is a writing system that has the ability to represent, in graphical form, any SL. This property leads to its intrinsic complexity, which consequently makes its use not to be wide accepted. There are several tools, in related literature, that intend to provide support to Deaf people who wish to use SignWriting, but these tools present several problems, which lead to their low usage. We believe that the automatic generation of SignWriting signs is an appropriate solution, capable of providing access to information and knowledge, as well as its appropriation for textual production, in the preferred written form of language for the Deaf communities. Keywords: SignWriting, Libras, Automatic Generation