Integrating Grammar-Based Language Models into Domain-Specific ASR Systems

Language Models (LMs) represent a crucial component in the architecture of Automatic Speech Recognition (ASR) systems. Current trends in this area point to the creation of high-performing and increasingly robust systems through the exploitation of large amounts of data. Even though the use of corpus-based models proves to be a dominant strategy for language modelling, it may not be the most suitable approach in some of today’s ASR applications. This is especially evident in domains where there is a strong interest in controlling the hypotheses generated by the system and producing only reliable outputs. Providing a deliberately constrained transcription can be more effectively achieved using a formal approach, and thus with the use of grammars, which ultimately contribute to better capturing the inherent structures of the target language. For these reasons, we present a tool that allows to efficiently integrate regular grammars as LMs in Kaldi, a widely used toolkit for speech recognition research. To the best of our knowledge, there is currently no existing tool that performs this task. We thus make it freely available along with some demo examples and crowdsourced evaluation corpora so that it can be used by researchers or developers in their own experiments and applications. </p

MeDiCo | A Medical Discourse Corpus in French

AbstractMeDiCo (Medical Discourse Corpus) was created with the aim of providing the scientific community with an artificial spoken dataset including utterances related to the medical consultation domain. This corpus was recorded by the Translation Technology Department (TIM) at the Faculty of Translation and Interpreting (FTI) of University of Geneva. The authors would like to express their gratitude to those who kindly accepted to take part in the experiments. The campaign was conducted as part of the BabelDr project, arising for the collaboration between the FTI and the Geneva University of Hospitals and aiming to provide a reliable speech-enabled translation device for medical emergency settings

Une chaîne de traitements pour la simplification automatique de la parole et sa traduction automatique vers des pictogrammes

La Communication Alternative et Augmentée (CAA) prend une place importante chez les personnes en situation de handicap ainsi que leurs proches à cause de la difficulté de son utilisation. Pour réduire ce poids, l’utilisation d’outils de traduction de la parole en pictogrammes est pertinente. De plus, ils peuvent être d’une grande aide pour l’accessibilité communicative dans le milieu hospitalier. Dans cet article, nous présentons un projet de recherche visant à développer un système de traduction de la parole vers des pictogrammes. Il met en jeu une chaîne de traitement comportant plusieurs axes relevant du traitement automatique des langues et de la parole, tels que la reconnaissance automatique de la parole, l’analyse syntaxique, la simplification de texte et la traduction automatique vers les pictogrammes. Nous présentons les difficultés liées à chacun de ces axes ainsi que, pour certains, les pistes de résolution

Une chaîne de traitements pour la simplification automatique de la parole et sa traduction automatique vers des pictogrammes

National audienceLa Communication Alternative et Augmentée (CAA) prend une place importante chez les personnes en situation de handicap ainsi que leurs proches à cause de la difficulté de son utilisation. Pour réduire ce poids, l’utilisation d’outils de traduction de la parole en pictogrammes est pertinente. De plus, ils peuvent être d’une grande aide pour l’accessibilité communicative dans le milieu hospitalier. Dans cet article, nous présentons un projet de recherche visant à développer un système de traduction de la parole vers des pictogrammes. Il met en jeu une chaîne de traitement comportant plusieurs axes relevant du traitement automatique des langues et de la parole, tels que la reconnaissance automatique de la parole, l’analyse syntaxique, la simplification de texte et la traduction automatique vers les pictogrammes. Nous présentons les difficultés liées à chacun de ces axes ainsi que, pour certains, les pistes de résolution

Une chaîne de traitements pour la simplification automatique de la parole et sa traduction automatique vers des pictogrammes

National audienceLa Communication Alternative et Augmentée (CAA) prend une place importante chez les personnes en situation de handicap ainsi que leurs proches à cause de la difficulté de son utilisation. Pour réduire ce poids, l’utilisation d’outils de traduction de la parole en pictogrammes est pertinente. De plus, ils peuvent être d’une grande aide pour l’accessibilité communicative dans le milieu hospitalier. Dans cet article, nous présentons un projet de recherche visant à développer un système de traduction de la parole vers des pictogrammes. Il met en jeu une chaîne de traitement comportant plusieurs axes relevant du traitement automatique des langues et de la parole, tels que la reconnaissance automatique de la parole, l’analyse syntaxique, la simplification de texte et la traduction automatique vers les pictogrammes. Nous présentons les difficultés liées à chacun de ces axes ainsi que, pour certains, les pistes de résolution

A Neural Machine Translation Approach to Translate Text to Pictographs in a Medical Speech Translation System - The BabelDr Use Case

The use of images has been shown to positively affect patient comprehension in medical settings, in particular to deliver specific medical instructions. However, tools that automatically translate sentences into pictographs are still scarce due to the lack of resources. Previous studies have focused on the translation of sentences into pictographs by using WordNet combined with rule-based approaches and deep learning methods. In this work, we showed how we leveraged the BabelDr system, a speech to speech translator for medical triage, to build a speech to pictograph translator using UMLS and neural machine translation approaches. We showed that the translation from French sentences to a UMLS gloss can be viewed as a machine translation task and that a Multilingual Neural Machine Translation system achieved the best results

Reconnaissance vocale du discours spontané pour le domaine médical

International audienceContexte-Dans le domaine médical, et plus particulièrement dans les services d'urgence, les barrières linguistiques constituent un problème important. Une mauvaise communication entre un médecin et un patient qui ne partagent aucune langue peut mettre en danger la santé et la sécurité du patient (Hacker et al., 2015). Pour faire face à cette situation, nous avons développé, pour le triage aux Hôpitaux Universitaires de Genève (HUG), le système de traduction BabelDr (FR vers ES, AR, TI, FA, PRS et LSF). Celui-ci repose sur un ensemble fini de phrases pré-traduites (mémoire de traduction, MT, environ 10 000 phrases canoniques), mais permet au spécialiste de s'exprimer oralement, pour en améliorer l'ergonomie (Boujon et al., 2018). Le système lie le résultat de la reconnaissance vocale avec l'une des phrases pré-traduites au moyen de techniques neuronales (Mutal et al., 2020)

PROPICTO: Developing Speech-to-Pictograph Translation Systems to Enhance Communication Accessibility

PROPICTO is a project funded by the French National Research Agency and the Swiss National Science Foundation, that aims at creating Speech-to-Pictograph translation systems, with a special focus on French as an input language. By developing such technologies, we intend to enhance communication access for non-French speaking patients and people with cognitive impairments

PROPICTO : Développer des systèmes de traduction de la parole vers des séquences de pictogrammes pour améliorer l’accessibilité de la communication

PROPICTO est un projet financé par l'Agence nationale de la recherche française et le Fonds national suisse de la recherche scientifique, qui vise à créer des systèmes de traduction de la parole vers des pictogrammes avec le français comme langue d'entrée. En développant de telles technologies, nous avons l'intention d’améliorer l'accès à la communication pour les patients non francophones et les personnes souffrant de troubles cognitifs