Data and methods for a visual understanding of sign languages

Signed languages are complete and natural languages used as the first or preferred mode of communication by millions of people worldwide. However, they, unfortunately, continue to be marginalized languages. Designing, building, and evaluating models that work on sign languages presents compelling research challenges and requires interdisciplinary and collaborative efforts. The recent advances in Machine Learning (ML) and Artificial Intelligence (AI) has the power to enable better accessibility to sign language users and narrow down the existing communication barrier between the Deaf community and non-sign language users. However, recent AI-powered technologies still do not account for sign language in their pipelines. This is mainly because sign languages are visual languages, that use manual and non-manual features to convey information, and do not have a standard written form. Thus, the goal of this thesis is to contribute to the development of new technologies that account for sign language by creating large-scale multimodal resources suitable for training modern data-hungry machine learning models and developing automatic systems that focus on computer vision tasks related to sign language that aims at learning better visual understanding of sign languages. Thus, in Part I, we introduce the How2Sign dataset, which is a large-scale collection of multimodal and multiview sign language videos in American Sign Language. In Part II, we contribute to the development of technologies that account for sign languages by presenting in Chapter 4 a framework called Spot-Align, based on sign spotting methods, to automatically annotate sign instances in continuous sign language. We further present the benefits of this framework and establish a baseline for the sign language recognition task on the How2Sign dataset. In addition to that, in Chapter 5 we benefit from the different annotations and modalities of the How2Sign to explore sign language video retrieval by learning cross-modal embeddings. Later in Chapter 6, we explore sign language video generation by applying Generative Adversarial Networks to the sign language domain and assess if and how well sign language users can understand automatically generated sign language videos by proposing an evaluation protocol based on How2Sign topics and English translationLes llengües de signes són llengües completes i naturals que utilitzen milions de persones de tot el món com mode de comunicació primer o preferit. Tanmateix, malauradament, continuen essent llengües marginades. Dissenyar, construir i avaluar tecnologies que funcionin amb les llengües de signes presenta reptes de recerca que requereixen d’esforços interdisciplinaris i col·laboratius. Els avenços recents en l’aprenentatge automàtic i la intel·ligència artificial (IA) poden millorar l’accessibilitat tecnològica dels signants, i alhora reduir la barrera de comunicació existent entre la comunitat sorda i les persones no-signants. Tanmateix, les tecnologies més modernes en IA encara no consideren les llengües de signes en les seves interfícies amb l’usuari. Això es deu principalment a que les llengües de signes són llenguatges visuals, que utilitzen característiques manuals i no manuals per transmetre informació, i no tenen una forma escrita estàndard. Els objectius principals d’aquesta tesi són la creació de recursos multimodals a gran escala adequats per entrenar models d’aprenentatge automàtic per a llengües de signes, i desenvolupar sistemes de visió per computador adreçats a una millor comprensió automàtica de les llengües de signes. Així, a la Part I presentem la base de dades How2Sign, una gran col·lecció multimodal i multivista de vídeos de la llengua de signes nord-americana. A la Part II, contribuïm al desenvolupament de tecnologia per a llengües de signes, presentant al capítol 4 una solució per anotar signes automàticament anomenada Spot-Align, basada en mètodes de localització de signes en seqüències contínues de signes. Després, presentem els avantatges d’aquesta solució i proporcionem uns primers resultats per la tasca de reconeixement de la llengua de signes a la base de dades How2Sign. A continuació, al capítol 5 aprofitem de les anotacions i diverses modalitats de How2Sign per explorar la cerca de vídeos en llengua de signes a partir de l’entrenament d’incrustacions multimodals. Finalment, al capítol 6, explorem la generació de vídeos en llengua de signes aplicant xarxes adversàries generatives al domini de la llengua de signes. Avaluem fins a quin punt els signants poden entendre els vídeos generats automàticament, proposant un nou protocol d’avaluació basat en les categories dins de How2Sign i la traducció dels vídeos a l’anglès escritLas lenguas de signos son lenguas completas y naturales que utilizan millones de personas de todo el mundo como modo de comunicación primero o preferido. Sin embargo, desgraciadamente, siguen siendo lenguas marginadas. Diseñar, construir y evaluar tecnologías que funcionen con las lenguas de signos presenta retos de investigación que requieren esfuerzos interdisciplinares y colaborativos. Los avances recientes en el aprendizaje automático y la inteligencia artificial (IA) pueden mejorar la accesibilidad tecnológica de los signantes, al tiempo que reducir la barrera de comunicación existente entre la comunidad sorda y las personas no signantes. Sin embargo, las tecnologías más modernas en IA todavía no consideran las lenguas de signos en sus interfaces con el usuario. Esto se debe principalmente a que las lenguas de signos son lenguajes visuales, que utilizan características manuales y no manuales para transmitir información, y carecen de una forma escrita estándar. Los principales objetivos de esta tesis son la creación de recursos multimodales a gran escala adecuados para entrenar modelos de aprendizaje automático para lenguas de signos, y desarrollar sistemas de visión por computador dirigidos a una mejor comprensión automática de las lenguas de signos. Así, en la Parte I presentamos la base de datos How2Sign, una gran colección multimodal y multivista de vídeos de lenguaje la lengua de signos estadounidense. En la Part II, contribuimos al desarrollo de tecnología para lenguas de signos, presentando en el capítulo 4 una solución para anotar signos automáticamente llamada Spot-Align, basada en métodos de localización de signos en secuencias continuas de signos. Después, presentamos las ventajas de esta solución y proporcionamos unos primeros resultados por la tarea de reconocimiento de la lengua de signos en la base de datos How2Sign. A continuación, en el capítulo 5 aprovechamos de las anotaciones y diversas modalidades de How2Sign para explorar la búsqueda de vídeos en lengua de signos a partir del entrenamiento de incrustaciones multimodales. Finalmente, en el capítulo 6, exploramos la generación de vídeos en lengua de signos aplicando redes adversarias generativas al dominio de la lengua de signos. Evaluamos hasta qué punto los signantes pueden entender los vídeos generados automáticamente, proponiendo un nuevo protocolo de evaluación basado en las categorías dentro de How2Sign y la traducción de los vídeos al inglés escrito.Teoria del Senyal i Comunicacion

Data and methods for a visual understanding of sign languages

Signed languages are complete and natural languages used as the first or preferred mode of communication by millions of people worldwide. However, they, unfortunately, continue to be marginalized languages. Designing, building, and evaluating models that work on sign languages presents compelling research challenges and requires interdisciplinary and collaborative efforts. The recent advances in Machine Learning (ML) and Artificial Intelligence (AI) has the power to enable better accessibility to sign language users and narrow down the existing communication barrier between the Deaf community and non-sign language users. However, recent AI-powered technologies still do not account for sign language in their pipelines. This is mainly because sign languages are visual languages, that use manual and non-manual features to convey information, and do not have a standard written form. Thus, the goal of this thesis is to contribute to the development of new technologies that account for sign language by creating large-scale multimodal resources suitable for training modern data-hungry machine learning models and developing automatic systems that focus on computer vision tasks related to sign language that aims at learning better visual understanding of sign languages. Thus, in Part I, we introduce the How2Sign dataset, which is a large-scale collection of multimodal and multiview sign language videos in American Sign Language. In Part II, we contribute to the development of technologies that account for sign languages by presenting in Chapter 4 a framework called Spot-Align, based on sign spotting methods, to automatically annotate sign instances in continuous sign language. We further present the benefits of this framework and establish a baseline for the sign language recognition task on the How2Sign dataset. In addition to that, in Chapter 5 we benefit from the different annotations and modalities of the How2Sign to explore sign language video retrieval by learning cross-modal embeddings. Later in Chapter 6, we explore sign language video generation by applying Generative Adversarial Networks to the sign language domain and assess if and how well sign language users can understand automatically generated sign language videos by proposing an evaluation protocol based on How2Sign topics and English translationLes llengües de signes són llengües completes i naturals que utilitzen milions de persones de tot el món com mode de comunicació primer o preferit. Tanmateix, malauradament, continuen essent llengües marginades. Dissenyar, construir i avaluar tecnologies que funcionin amb les llengües de signes presenta reptes de recerca que requereixen d’esforços interdisciplinaris i col·laboratius. Els avenços recents en l’aprenentatge automàtic i la intel·ligència artificial (IA) poden millorar l’accessibilitat tecnològica dels signants, i alhora reduir la barrera de comunicació existent entre la comunitat sorda i les persones no-signants. Tanmateix, les tecnologies més modernes en IA encara no consideren les llengües de signes en les seves interfícies amb l’usuari. Això es deu principalment a que les llengües de signes són llenguatges visuals, que utilitzen característiques manuals i no manuals per transmetre informació, i no tenen una forma escrita estàndard. Els objectius principals d’aquesta tesi són la creació de recursos multimodals a gran escala adequats per entrenar models d’aprenentatge automàtic per a llengües de signes, i desenvolupar sistemes de visió per computador adreçats a una millor comprensió automàtica de les llengües de signes. Així, a la Part I presentem la base de dades How2Sign, una gran col·lecció multimodal i multivista de vídeos de la llengua de signes nord-americana. A la Part II, contribuïm al desenvolupament de tecnologia per a llengües de signes, presentant al capítol 4 una solució per anotar signes automàticament anomenada Spot-Align, basada en mètodes de localització de signes en seqüències contínues de signes. Després, presentem els avantatges d’aquesta solució i proporcionem uns primers resultats per la tasca de reconeixement de la llengua de signes a la base de dades How2Sign. A continuació, al capítol 5 aprofitem de les anotacions i diverses modalitats de How2Sign per explorar la cerca de vídeos en llengua de signes a partir de l’entrenament d’incrustacions multimodals. Finalment, al capítol 6, explorem la generació de vídeos en llengua de signes aplicant xarxes adversàries generatives al domini de la llengua de signes. Avaluem fins a quin punt els signants poden entendre els vídeos generats automàticament, proposant un nou protocol d’avaluació basat en les categories dins de How2Sign i la traducció dels vídeos a l’anglès escritLas lenguas de signos son lenguas completas y naturales que utilizan millones de personas de todo el mundo como modo de comunicación primero o preferido. Sin embargo, desgraciadamente, siguen siendo lenguas marginadas. Diseñar, construir y evaluar tecnologías que funcionen con las lenguas de signos presenta retos de investigación que requieren esfuerzos interdisciplinares y colaborativos. Los avances recientes en el aprendizaje automático y la inteligencia artificial (IA) pueden mejorar la accesibilidad tecnológica de los signantes, al tiempo que reducir la barrera de comunicación existente entre la comunidad sorda y las personas no signantes. Sin embargo, las tecnologías más modernas en IA todavía no consideran las lenguas de signos en sus interfaces con el usuario. Esto se debe principalmente a que las lenguas de signos son lenguajes visuales, que utilizan características manuales y no manuales para transmitir información, y carecen de una forma escrita estándar. Los principales objetivos de esta tesis son la creación de recursos multimodales a gran escala adecuados para entrenar modelos de aprendizaje automático para lenguas de signos, y desarrollar sistemas de visión por computador dirigidos a una mejor comprensión automática de las lenguas de signos. Así, en la Parte I presentamos la base de datos How2Sign, una gran colección multimodal y multivista de vídeos de lenguaje la lengua de signos estadounidense. En la Part II, contribuimos al desarrollo de tecnología para lenguas de signos, presentando en el capítulo 4 una solución para anotar signos automáticamente llamada Spot-Align, basada en métodos de localización de signos en secuencias continuas de signos. Después, presentamos las ventajas de esta solución y proporcionamos unos primeros resultados por la tarea de reconocimiento de la lengua de signos en la base de datos How2Sign. A continuación, en el capítulo 5 aprovechamos de las anotaciones y diversas modalidades de How2Sign para explorar la búsqueda de vídeos en lengua de signos a partir del entrenamiento de incrustaciones multimodales. Finalmente, en el capítulo 6, exploramos la generación de vídeos en lengua de signos aplicando redes adversarias generativas al dominio de la lengua de signos. Evaluamos hasta qué punto los signantes pueden entender los vídeos generados automáticamente, proponiendo un nuevo protocolo de evaluación basado en las categorías dentro de How2Sign y la traducción de los vídeos al inglés escrito.Postprint (published version

Jogos de linguagem matemáticos de mulheres rendeiras de Florianópolis-SC-Brasil

Essa comunicação é resultado de uma pesquisa de mestrado que está sendo realizada no Programa de Pós-graduação em Educação Científica e Tecnológica da Universidade Federal de Santa Catarina com mulheres rendeiras de Florianópolis–SC-Brasil. O objetivo é descrever os jogos de linguagem matemáticos dessa forma de vida e as possíveis semelhanças de família com os jogos de linguagem praticados na forma de vida escolar. A pesquisa analisa, de forma específica, a tessitura da renda de bilro e com o propósito de apreender em seus ínfimos detalhes o “fazer renda” utilizamos entrevistas semiestruturadas, observações e filmagens realizadas em uma comunidade no norte da ilha de Florianópolis, localizada na Praia do Forte, litoral Catarinense, no sul do Brasil. As lentes teóricas que servirão para compor a análise advêm da Etnomatemática e das contribuições de Michel Foucault e Ludwig Wittgenstein, em sua segunda fase caracterizada pela obra Investigações Filosóficas

Identificação de ferramentas digitais para o planejamento de químicos conduzidos nos ensaios de campo dos times de Teste/Melhoramento Genético da empresa Bayer

O estágio foi realizado na Estação Experimental de Melhoramento Genético (Breeding) da empresa da Bayer, localizada no município de Coxilha (RS). As atividades foram desenvolvidas de 17 de fevereiro de 2020 a 10 de abril de 2021, totalizando 2.400 horas de trabalho. O principal projeto foi conduzido com o apoio da equipe de Inteligência Tecnológica (IT) da empresa, que tinha o objetivo de identificar uma ferramenta capaz de realizar o planejamento do volume total de agroquímicos manejados nos ensaios de soja e milho da equipe de Testagem/Melhoramento (Testing/Breeding). As atividades realizadas foram avaliar a existência desta ferramenta nos sistemas da empresa e a estruturação de um projeto para a sua implementação. Além dessas atividades, foi possível acompanhar operações de campo, como colheita e coleta de dados, e participar de outros projetos em parceria com a equipe de IT. O projeto principal não foi concluído durante o período de estágio, porém foi possível documentar a experiência obtida com a ferramenta identificada como potencial. Foi possível compreender o contexto e as operações de Testagem/Melhoramento e de outras equipes da companhia

Estructuras sintagmáticas en tesauros : aproximación cualitativa-cuantitativa

De los sistemas organizadores del conocimiento, los tesauros se reconocen por ser los construidos bajo pautas más refinadas y elaboradas. Los descriptores y no descriptores de un tesauro se dividen, considerando su estructura morfosintáctica, en dos tipos: términos simples (una sola palabra) y términos compuestos (sintagmas terminológicos). Estas formas compuestas pueden ser definidas como términos que tienen una estructura compuesta por dos o más palabras, y representan preferentemente a un solo concepto. La sintagmación es uno de los recursos más comúnmente utilizados para la creación de nuevas unidades terminológicas. Se aventuran algunas explicaciones de esta recurrencia. Por su naturaleza, los sintagmas terminológicos plantean diversos problemas metodológicos: ofrecen dificultades para su reconocimiento formal y su delimitación dentro de un texto especializado; tienden a presentar variaciones lexicales, en especial cuando todavía no están suficientemente consolidadas en una lengua; y, obligan al desarrollo de herramientas complementarias para facilitar la indización o la recuperación temática. Investigaciones precedentes en áreas diferentes del saber determinan que entre el 50 y el 70de los términos de un dominio especializado adoptan formas sintagmáticas en la lengua española. Se propone una clasificación de las estructuras formales adoptadas por las unidades terminológicas en cinco categorías, y se plantea un estudio de los sintagmas conforme a esa categorización y a su extensión. Se analizan dos tesauros de las Ciencias Sociales en las dos dimensiones mencionadas. Se analizan los resultados, se establecen conclusiones y se sugieren, a partir de los mismos, tres líneas de investigación complementarias en la materi

Unidades terminológicas complejas de base deverbal: una propuesta de análisis de su proceso de formación

Con miras a contribuir a los estudios gramaticales de las unidades terminológicas complejas (UTC), la investigación doctoral cuyos resultados parciales se presentan en este trabajo tuvo por objetivo analizar el proceso de formación de UTC vehiculadas en el glosario de la Asociación Latinoamericana de Integración (ALADI). Partimos del presupuesto de que las UTC se originan a partir de oraciones reducidas por apagamientos, siguiendo los lineamientos de Auger (1978), y tuvimos como base la Teoría de la Gramátic a Funcional (TGF) de Dik (1989), destinada al análisis de estructuras oracionales de la lengua general, y la propuesta de adaptación de ese modelo presentada por Café (1999) para el reconocimiento de UTC. En este artículo, presentamos los resultados de los análisis de UTC de base deverbal obtenidos de una estructura subyacente oracional deducida de la definición propuesta en el glosario de la ALADI y del contrapunto de ese análisis con las reglas de reconocimiento de Café (1999). Los datos señalan que existe una inclinación a mantener el marco predicativo dikiano oracional en la estructura sintagmática, además de una tendencia a transformar los satélites oracionales en estructuras argumentales sintagmáticas

ASSOCIAÇÃO ENTRE ENDOMETRIOSE E INFERTILIDADE FEMININA: UMA REVISÃO DE LITERATURA

Endometriose é uma doença crônica que afeta cerca de 20% das mulheres em idade fértil causada por implantes de tecido endometrial localizados fora da cavidade uterina, principalmente em locais como ovários e cavidade peritoneal. A origem dessa condição ainda permanece desconhecida, existindo na literatura diversas teorias que objetivam explicar a fisiopatologia envolvida, como por exemplo a Teoria de Sampson, conhecida como teoria da menstruação retrógrada. A doença apresenta dois desfechos principais, sendo eles: dor pélvica e infertilidade. A dificuldade de concepção espontânea está relacionada à resposta inflamatória local gerada pelas células endometriais ectópicas, o que leva a aumento nos níveis de citocinas, interleucinas, fatores de crescimento, fatores angiogênicos e células de defesa. Esse ambiente pode alterar mecanismos fisiológicos envolvidos na ovulação, fecundação e implantação, além de prejudicar a qualidade dos espermatozoides e promover alterações anatômicas do trato genital feminino. O presente estudo teve como objetivo reunir os dados existentes na literatura contemporânea para compreender os mecanismos envolvidos na infertilidade gerada pela endometriose. Assim, concluiu-se que a inflamação é o evento base para todos os processos envolvidos que podem influenciar na fertilidade e que os estudos acerca do tema elevam a expectativa para o desenvolvimento de novas abordagens dessas pacientes

A acentuação de palavras lexicais acrescidas de enclíticas em latim

01