Analyse de vidéos en langue des signes : méthodes et stratégies

National audienceLes langues des signes (LS) sont les formes les plus abouties de communication gestuelle. Leur analyse automatique constitue donc un réel défi qui implique de prendre en compte leur organisation aux niveaux lexical et syntaxique. Cet article présente dans un premier temps les spécificités des langues des signes pour montrer la difficulté d'un traitement automatique de vidéos en LS. Nous montrons comment des contraintes propres aux LS peuvent etre intégrées à un système de suivi des mains et de la tete dans les vidéos pour le rendre plus robuste et comment les résultats du suivi peuvent etre intégrés dans un modèle de plus haut niveau rendant compte de l'organisation spatiale des LS

Traitement automatique de vidéos en LSF. Modélisation et exploitation des contraintes phonologiques du mouvement

Dans le domaine du Traitement automatique des langues naturelles, l'exploitation d'énoncés en langues des signes occupe une place à part. En raison des spécificités propres à la Langue des Signes Française (LSF) comme la simultanéité de plusieurs paramètres, le fort rôle de l'expression du visage, le recours massif à des unités gestuelles iconiques et l'utilisation de l'espace pour structurer l'énoncé, de nouvelles méthodes de traitement doivent êtres adaptées à cette langue. Nous exposons d'abord une méthode de suivi basée sur un filtre particulaire, permettant de déterminer à tout moment la position de la tête, des coudes, du buste et des mains d'un signeur dans une vidéo monovue. Cette méthode a été adaptée à la LSF pour la rendre plus robuste aux occultations, aux sorties de cadre et aux inversions des mains du signeur. Ensuite, l'analyse de données issues de capture de mouvements nous permet d'aboutir à une catégorisation de différents mouvements fréquemment utilisés dans la production de signes. Nous en proposons un modèle paramétrique que nous utilisons dans le cadre de la recherche de signes dans une vidéo, à partir d'un exemple vidéo de signe. Ces modèles de mouvement sont enfin réutilisés dans des applications permettant d'assister un utilisateur dans la création d'images de signe et la segmentation d'une vidéo en signes.There are a lot of differences between sign languages and vocal languages. Among them, we can underline the simultaneity of several parameters, the important role of the face expression, the recurrent use of iconic gestures and the use of signing space to structure utterances. As a consequence, new methods have to be developed and adapted to those languages. At first, we detail a method based on a particle filter to estimate at any time, the position of the signer's head, hands, elbows and shoulders in a monoview video. This method has been adapted to the French Sign Language in order to make it more robust to occlusion, inversion of the signer's hands or disappearance of hands from the video frame. Then, we propose a classification of the motion patterns that are frequently involved in the sign of production, thanks to the analysis of motion capture data. The parametric models associated to each sign pattern are used in the frame of automatic signe retrieval in a video from a filmed sign example. We finally include those models in two applications. The first one helps an user in creating sign pictures. The second one is dedicated to computer aided sign segmentation

Traitement des corpus en Langue des Signes en recherches sociolinguistiques

Les recherches sociolinguistiques sur des sujets sourds mettent en jeu des entretiens et divers documents en langue des signes, enregistrés sur supports vidéo, les langues des signes n’ayant pas d’écriture. Nous expliquons pourquoi il est important de conserver la langue des échanges sans passer par une traduction en français. L’exploitation de ces corpus nécessite des outils informatiques permettant de naviguer dans ces vidéos et d’analyser leur contenu en rendant compte de ce qui est dit et des manières de dire en langue des signes. Nous présentons les premiers outils spécifiques, logiciels d’annotation en langue des signes, logiciels de schématisation d’un signe ou d’un énoncé en langue des signes. Nous montrons les pratiques sociologiques qu’ils permettent mais aussi les nouveaux besoins qu’ils suscitent, pour annoter ces vidéos de manière plus riche, pour accéder à leur contenu à partir de requêtes exprimées directement en langue des signes et pour être capables de traiter des vidéos enregistrées dans les conditions naturelles et non contraintes d’un entretien.The sociolinguistic researches on deaf subjects involve interviews and various documents in sign language. As sign languages don’t have graphical form, those documents are recorded on video media. We explain why studying the interviews directly in sign language, without any translation, is so important. The analysis of these corpora requires computer tools to navigate through these videos and to analyze their content along two points of view : what is said and how this is said in sign language. We present the first specific tools, tools to annotate in sign language, tools to produce a schematic form of a sign or of an utterance. We present the sociological practices they allow, but also new needs they generate, for more complete annotations, for direct access to the content from requests expressed in sign language, and for processing videos which were recorded in natural and unconstrained conditions

Interactive Editing in French Sign Language Dedicated to Virtual Signers: Requirements and Challenges

International audienceSigning avatars are increasingly used as an interface for communication to the deaf community. In recent years, an emerging approach uses captured data to edit and generate sign language (SL) gestures. Thanks to motion editing operations (e.g., concatenation, mixing), this method offers the possibility to compose new utterances, thus facilitating the enrichment of the original corpus, enhancing the natural look of the animation, and promoting the avatar’s acceptability. However, designing such an editing system raises many questions. In particular, manipulating existing movements does not guarantee the semantic consistency of the reconstructed actions. A solution is to insert the human operator in a loop for constructing new utterances and to incorporate within the utterance’s structure constraints that are derived from linguistic patterns. This article discusses the main requirements for the whole pipeline design of interactive virtual signers, including: (1) the creation of corpora, (2) the needed resources for motion recording, (3) the annotation process as the heart of the SL editing process, (4) the building, indexing, and querying of a motion database, (5) the virtual avatar animation by editing and composing motion segments, and (6) the conception of a dedicated user interface according to user’ knowledge and abilities. Each step is illustrated by the authors’ recent work and results from the project Sign3D, i.e., an editing system of French Sign Language (LSF) content

Les documents scientifiques informels: un patrimoine peu exploré, témoin de la construction des savoirs

L'objectif du projet ECRITO était de contribuer à préserver et à valoriser les documents scientifiques produits quotidiennement par les chercheurs de Midi-Pyrénées, en amont des publications formelles : non seulement les articles, communications ou monographies, qui constituent la partie visible de la recherche, mais aussi tous les matériaux et informations accumulés par les chercheurs, et sur la base desquels se construit leur travail. Ces matériaux sont de types très divers : littérature " grise " (rapports, mémoires, documentation techniques...), documents textuels " informels " (carnets, notes, brouillons, correspondances, cahiers de laboratoires), corpus visuels, sonores ou multimédia (campagnes photographiques, campagnes d'enquêtes, enregistrements audio ou vidéo), données électroniques (bases de données, fichiers informatiques), etc. Le projet visait également à prolonger, de manière exploratoire, le questionnement sur le patrimoine scientifique à partir des traces matérielles produites quotidiennement par les chercheurs dans leurs activités de recherche. Ces traces représentent en effet une fenêtre irremplaçable sur la science en train de se construire : elles permettent de rendre visible et compréhensible le processus habituellement dissimulé de production de la science, ce qui constitue un enjeu scientifique et pédagogique fondamental

Traitement automatique de vidéos en LSF (modélisation et exploitation des contraintes phonologiques du mouvement)

TOULOUSE3-BU Sciences (315552104) / SudocSudocFranceF

Relais téléphonique, aphasie et médiation communicationnelle. Un encastrement d’innovations

L’essor d’internet et des technologies vidéo permet le développement dans plusieurs pays de services d’accessibilité dits de relais téléphonique. Ils consistent à solliciter un opérateur à distance, assurant la médiation entre deux interlocuteurs dont l’un ne peut utiliser la téléphonie classique. Ces services ont été portés par les personnes sourdes, avec des services de transcription écrite et d’interprétation entre langue orale et langue des signes. Cette étude porte sur l’expérimentation française en 2014-2015 de ce dispositif pour des personnes aphasiques, et sur le travail de construction d’un nouveau service de médiation linguistique spécifique à ce public. L’aphasie est une difficulté à s’exprimer et/ou à comprendre le langage, oral et/ou écrit, suite à un AVC (75%) ou un traumatisme crânien (5%). Utiliser de manière combinée la voix, le texte, la gestuelle co-verbale et des images est un moyen de communication adapté à l’aphasie. Ceci suppose aussi un ajustement dans la manière de s’exprimer. Cette étude présente les ajustements ergonomiques de ce service, dont l’introduction d’images, ainsi que le travail de médiation communicationnelle de ces opérateurs et les différentes postures de relais. Elle pointe la diversité des défis et l’enjeu de la formation. Elle ouvre sur d’autres accessibilités comme celle des urgences.El crecimiento de Internet y de las tecnologías de vídeo ha llevado al desarrollo de los llamados servicios de accesibilidad por retransmisión telefónica. Estos servicios consisten en que un operador a distancia medie entre dos interlocutores, uno de los cuales no puede utilizar la telefonía convencional. Estos servicios han sido llevados a cabo por personas sordas, con transcripción escrita y servicios de interpretación entre las lenguas orales y las de signos. Este estudio se centra en la experimentación francesa, en 2014-2015, de este dispositivo para personas con afasia, y en el trabajo de construcción de un nuevo servicio de mediación lingüística específico para este público. La afasia es una dificultad para expresarse y/o comprender el lenguaje, oral y/o escrito, tras un accidente cerebrovascular (75%) o un traumatismo craneal (5%). El uso combinado de voz, texto, gestos co-verbales e imágenes es un medio de comunicación adaptado a la afasia. Esto implica también un ajuste en la forma de expresarse. Este estudio presenta los ajustes ergonómicos de este servicio, incluyendo la introducción de imágenes, así como el trabajo de mediación comunicativa de estos operadores y las diferentes posturas de relevo. Destaca la diversidad de los retos y la cuestión de la formación. Se abre a otras accesibilidades como la de las emergencias.A ascensão da Internet e das tecnologias de vídeo levou ao desenvolvimento dos chamados serviços de retransmissão telefônica em vários países. Consistem em recorrer a um operador remoto, assegurando a mediação entre dois interlocutores, um dos quais não pode utilizar a telefonia convencional. Estes serviços têm sido realizados por pessoas surdas, com transcrição escrita e serviços de interpretação entre línguas orais e gestuais. Este estudo centra-se na experimentação francesa em 2014-2015 deste dispositivo para pessoas com afasia, e no trabalho de construção de um novo serviço de mediação linguística específico para este público. A afasia é uma dificuldade de se expressar e/ou compreender a linguagem, oral e/ou escrita, após um AVC (75%) ou um traumatismo craniano (5%). O uso combinado de voz, texto, gestos co-verbais e imagens é um meio de comunicação adaptado à afasia. Isto também implica um ajustamento na forma de se expressar. Este estudo apresenta os ajustes ergonómicos deste serviço, incluindo a introdução de imagens, bem como o trabalho de mediação comunicativa destes operadores e as diferentes posturas de retransmissão. Destacam-se a diversidade dos desafios e a questão da formação. Abre-se a outras acessibilidades, tais como a de emergências.The rise of the Internet and video technologies has led to the development of accessibility services in several countries as the so-called video relay services. These services consist in requesting a remote operator, ensuring mediation between two interlocutors, one of whom cannot use traditional telephony. These services have been carried by deaf people, with written transcription and interpretation services between oral language and sign language. This study focuses on the French experimentation in 2014-2015 of this device for people with aphasia, and on the work of building a new linguistic mediation service specific to this public. Aphasia is a difficulty in expressing oneself and/or understanding language, oral and/or written, following a stroke (75%) or a cranial trauma (5%). Using both voice, text, co-verbal gestures and images is a means of communication adapted to aphasia. This also implies an adjustment in the way of expressing oneself. This study presents the ergonomic adjustments of this service, including the introduction of images, as well as the communicational mediation work of these operators and the different relay postures. It points out the diversity of the challenges and the issue of training. It opens up to other accessibility, as of emergency calls

Overview of the Sign3D Project High-fidelity 3D recording, indexing and editing of French Sign Language content

International audienceThe Sign3D project aims at creating a range of innovative tools to allow the recording and the processing of motion captured French Sign Language (LSF) content. The challenge is to design a complete workflow from the movement capture (including all upper body part articulations, facial expression and gaze direction) to their restitution using a 3D virtual signer. We present the main innovation challenges at each step of the project. As accessibility for Deaf people through Sign Language is one goal of this project, a project overview of the project in SL is accessible at the following address : http://sign3d.websourd.org/slta

BLADE Flight Test Instrumentation for Transition Detection

'Clean Sky' is the biggest European research program that develops innovative breakthrough technologies for a future aircraft, which aim on CO2 reduction, decrease of emission and noise reduction. In the work package 'Natural Laminar Flow (NLF) Smart Wing with associated Advanced Flight Test Instrumentation' flight tests are performed on the 'Breakthrough Laminar Aircraft Demonstrator in Europe' (BLADE, Airbus A340), to pave the way for laminar wings on future commercial aircrafts. In order to measure the boundary layer status (laminar/turbulent) on the aircraft’s wing, the German Aerospace Center (DLR) used a planar imaging method (infra-red thermography) on the one hand, and a fast local measurement technique (hot-film anemometry) on the other hand. The technical challenges to use those measurement techniques were enormous and were realised by DLR in cooperation with Airbus on the A340 BLADE aircraft. During the pre-flight phase, ONERA has assessed the capability to use sun illumination for IR transition detection, based on an aerothermal model of the wing under flight conditions. An extensive flight test program helped to gather knowledge about the possibilities to establish a transport aircraft with laminar wings. The infra-red measurement system was able to detect the transition line on both wings with a remarkable spatial resolution. The presentation will describe how the IR-setup was engineered for the special situation of two vertical tail mounted IR-cameras together with a special calibration procedure and software development. The hot-film sensors measured the boundary layer status at the leading edge within smallest boundary layer thicknesses without biasing the transitional process. Moreover additional hot-film sensors were used to verify other transition measurement systems and gathered high frequency information from the boundary layer behind surface irregularities. The paper will describe the hot-film setup and installation for the special situation of thin boundary layers at the leading edge. Exemplary data from hot-film measurements as well as from transition measurements with the IR-system will be shown