Novel statistical approaches to text classification, machine translation and computer-assisted translation

Esta tesis presenta diversas contribuciones en los campos de la clasificación automática de texto, traducción automática y traducción asistida por ordenador bajo el marco estadístico. En clasificación automática de texto, se propone una nueva aplicación llamada clasificación de texto bilingüe junto con una serie de modelos orientados a capturar dicha información bilingüe. Con tal fin se presentan dos aproximaciones a esta aplicación; la primera de ellas se basa en una asunción naive que contempla la independencia entre las dos lenguas involucradas, mientras que la segunda, más sofisticada, considera la existencia de una correlación entre palabras en diferentes lenguas. La primera aproximación dió lugar al desarrollo de cinco modelos basados en modelos de unigrama y modelos de n-gramas suavizados. Estos modelos fueron evaluados en tres tareas de complejidad creciente, siendo la más compleja de estas tareas analizada desde el punto de vista de un sistema de ayuda a la indexación de documentos. La segunda aproximación se caracteriza por modelos de traducción capaces de capturar correlación entre palabras en diferentes lenguas. En nuestro caso, el modelo de traducción elegido fue el modelo M1 junto con un modelo de unigramas. Este modelo fue evaluado en dos de las tareas más simples superando la aproximación naive, que asume la independencia entre palabras en differentes lenguas procedentes de textos bilingües. En traducción automática, los modelos estadísticos de traducción basados en palabras M1, M2 y HMM son extendidos bajo el marco de la modelización mediante mixturas, con el objetivo de definir modelos de traducción dependientes del contexto. Asimismo se extiende un algoritmo iterativo de búsqueda basado en programación dinámica, originalmente diseñado para el modelo M2, para el caso de mixturas de modelos M2. Este algoritmo de búsqueda nCivera Saiz, J. (2008). Novel statistical approaches to text classification, machine translation and computer-assisted translation [Tesis doctoral no publicada]. Universitat Politècnica de València. https://doi.org/10.4995/Thesis/10251/2502Palanci

From Simultaneous to Streaming Machine Translation by Leveraging Streaming History

Simultaneous Machine Translation is the task of incrementally translating an input sentence before it is fully available. Currently, simultaneous translation is carried out by translating each sentence independently of the previously translated text. More generally, Streaming MT can be understood as an extension of Simultaneous MT to the incremental translation of a continuous input text stream. In this work, a state-of-the-art simultaneous sentence-level MT system is extended to the streaming setup by leveraging the streaming history. Extensive empirical results are reported on IWSLT Translation Tasks, showing that leveraging the streaming history leads to significant quality gains. In particular, the proposed system proves to compare favorably to the best performing systems.Comment: ACL 2022 - Camera ready; v3: expanded data pre-processin

Influencia de la economía en la gastronomía y cultura festiva de un pueblo: Alcublas

La comarca de La Serranía, compuesta por 19 municipios, está rodeada por Castilla La Mancha y Aragón. Lo que supone un enclave territorial singular del arco mediterráneo, entre antiguos reinos, que han dejado impronta en la constitución de su idiosincrasia, su habla, su indumentaria, su gastronomía y sus fiestas. En definitiva, en su cultura. A través de estos elementos veremos cómo la actividad económica principal de esta comarca, la agricultura, ha dejado huella en estas manifestaciones culturales y para ello tomaremos como cuerpo de análisis uno de esos municipios: AlcublasThe region of La Serranía, made up of 19 municipalities, is surrounded by Castilla La Mancha and Aragón. What is a unique territorial enclave of the Mediterranean arch, between ancient kingdoms, which have left their mark on the constitution of their idiosyncrasy, their speech, their clothing, their gastronomy and their festivals. In short, in their culture. Through these elements we will see how the main economic activity of this region, agriculture, has left its mark on these cultural manifestations and for this we will take as a body of analysis one of those municipalities: Alcubla

Stream-level Latency Evaluation for Simultaneous Machine Translation

[EN] Simultaneous machine translation has recently gained traction thanks to significant quality improvements and the advent of streaming applications. Simultaneous translation systems need to find a trade-off between translation quality and response time, and with this purpose multiple latency measures have been proposed. However, latency evaluations for simultaneous translation are estimated at the sentence level, not taking into account the sequential nature of a streaming scenario. Indeed, these sentence-level latency measures are not well suited for continuous stream translation, resulting in figures that are not coherent with the simultaneous translation policy of the system being assessed. This work proposes a stream-level adaptation of the current latency measures based on a re-segmentation approach applied to the output translation, that is successfully evaluated on streaming conditions for a reference IWSLT task.The research leading to these results has received funding from the European Union's Horizon 2020 research and innovation program under grant agreement no. 761758 (X5Gon) and 952215 (TAILOR) and Erasmus+ Education program under grant agreement no. 20-226-093604-SCH; the Government of Spain's research project Multisub, ref. RTI2018-094879-B-I00 (MCIU/AEI/FEDER,EU) and FPU scholarships FPU18/04135; and the Generalitat Valenciana's research project Classroom Activity Recognition, ref. PROMETEO/2019/111.Iranzo-Sánchez, J.; Civera Saiz, J.; Juan, A. (2021). Stream-level Latency Evaluation for Simultaneous Machine Translation. The Association for Computational Linguistics. 664-670. http://hdl.handle.net/10251/182203S66467

Segmentation-Free Streaming Machine Translation

Streaming Machine Translation (MT) is the task of translating an unbounded input text stream in real-time. The traditional cascade approach, which combines an Automatic Speech Recognition (ASR) and an MT system, relies on an intermediate segmentation step which splits the transcription stream into sentence-like units. However, the incorporation of a hard segmentation constrains the MT system and is a source of errors. This paper proposes a Segmentation-Free framework that enables the model to translate an unsegmented source stream by delaying the segmentation decision until the translation has been generated. Extensive experiments show how the proposed Segmentation-Free framework has better quality-latency trade-off than competing approaches that use an independent segmentation model. Software, data and models will be released upon paper acceptance.Comment: 11 pages, 5 figure

The MLLP-UPV Spanish-Portuguese and Portuguese-Spanish Machine Translation Systems for WMT19 Similar Language Translation Task

[EN] This paper describes the participation of the MLLP research group of the Universitat Politècnica de València in the WMT 2019 Similar Language Translation Shared Task. We have submitted systems for the Portuguese ↔ Spanish language pair, in both directions. We have submitted systems based on the Transformer architecture as well as an in development novel architecture which we have called 2D alternating RNN. We have carried out domain adaptation through fine-tuning.The research leading to these results has received funding from the European Union's Horizon 2020 research and innovation programme under grant agreement no. 761758 (X5gon); the Government of Spain's research project Multisub, ref. RTI2018-094879-B-I00 (MCIU/AEI/FEDER, EU) and the Generalitat Valenciana's predoctoral research scholarship ACIF/2017/055.Baquero-Arnal, P.; Iranzo-Sánchez, J.; Civera Saiz, J.; Juan, A. (2019). The MLLP-UPV Spanish-Portuguese and Portuguese-Spanish Machine Translation Systems for WMT19 Similar Language Translation Task. The Association for Computational Linguistics. 179-184. http://hdl.handle.net/10251/180621S17918

Inicialización del estado de un sistema visual-inercial

Inicialización del estado de un sistema visual-inercial. Resumen. En la tecnología SLAM, “Simultaneous location and mapping”, encontramos una de las tecnologías más útiles y punteras del momento. Lo innovador de esta tecnología reside en su capacidad de dar a una máquina el conocimiento, de manera instantánea, de su posición. Este conocimiento lo obtiene mediante la estimación de mapas 3D que le permiten conocer el entorno por el que se mueve con elevada precisión, sin la necesidad de dispositivos GPS, evitando los problemas de localización que aparecen dentro de edificios cerrados. Uno de los sistemas utilizados, para el conocimiento de la posición y el mapeo del entorno, es el de los sistemas visuales-inerciales. Estos sistemas se basan en la combinación de señales visuales, captadas por una, o varias, cámaras con señales inerciales recogidas por un sensor inercial IMU. En este TFG se va abordar uno de los principales problemas que afrontan este tipo de sistemas, la inicialización. Se vana a estudiar las soluciones al problema propuestas en [1] y en [2] y se van a implementar las ecuaciones planteadas en dichos trabajos. El algoritmo creado busca que el sistema conozca, con el menor error posible, su posición a través de una recreación del entorno. A diferencia de la mayoría de sistemas actuales se requiere que se haga sin una semilla inicial previa, es decir, se busca una inicialización correcta del sistema sin la utilización de un estado inicial dado. Para evaluar el algoritmo implementado se ha utilizado el dataset EuRoC ¬[6]. Este dataset contiene por un lado las imágenes tomadas por dos cámaras y, por otro, las señales inerciales recogidas por un sensor IMU durante el vuelo de un dron a través de una habitación. Además, incluye unas medidas ground truth que permiten comparar los resultados obtenidos con los resultados reales, pudiendo así estimar el error presentado por el algoritmo en la determinación de la posición. Con diferentes experimentos se ha querido comprobar si el sistema estudiado puede llevar a cabo una inicialización correcta, o muy cercana a la correcta. Para este análisis se ha obtenido el error obtenido con respecto al ground truth. Este estudio ha querido también analizar la robustez y la eficiencia del sistema planteado en [1] y [2]. Se ha estudiado su robustez, es decir, como reacciona el sistema ante situaciones cambiantes y se han hecho análisis de sensibilidad de las variables que más influyen en el resultado final

Supporting language diversity of European MOOCs with the EMMA platform

This paper introduces the cross-language support of the EMMA MOOC platform. Based on a discussion of language diversity in Europe we introduce the development and evaluation of automated translation of texts and subtitling of videos from Dutch into English. The development of an Automatic Speech Recognition (ASR) system and a Statistical Machine Translation (SMT) system is described. The resources employed and evaluation approach is introduced. Initial evaluation results are presented. Finally, we provide an outlook into future research and development.This work is partially funded by the EU under the Competitiveness and Innovation Framework Program 2007- 2017 (CIP) in the European Multiple MOOC Aggregator (EMMA) project. Grant Agreement no. 621030

Live Streaming Speech Recognition Using Deep Bidirectional LSTM Acoustic Models and Interpolated Language Models

[EN] Although Long-Short Term Memory (LSTM) networks and deep Transformers are now extensively used in offline ASR, it is unclear how best offline systems can be adapted to work with them under the streaming setup. After gaining considerable experience on this regard in recent years, in this paper we show how an optimized, low-latency streaming decoder can be built in which bidirectional LSTM acoustic models, together with general interpolated language models, can be nicely integrated with minimal performance degradation. In brief, our streaming decoder consists of a one-pass, real-time search engine relying on a limited-duration window sliding over time and a number of ad hoc acoustic and language model pruning techniques. Extensive empirical assessment is provided on truly streaming tasks derived from the well-known LibriSpeech and TED talks datasets, as well as from TV shows on a main Spanish broadcasting station.This work was supported in part by European Union's Horizon 2020 Research and Innovation Programme under Grant 761758 (X5gon), and 952215 (TAILOR) and Erasmus+ Education Program under Grant Agreement 20-226-093604-SCH, in part by MCIN/AEI/10.13039/501100011033 ERDF A way of making Europe under Grant RTI2018-094879-B-I00, and in part by Generalitat Valenciana's Research Project Classroom Activity Recognition under Grant PROMETEO/2019/111. Funding for open access charge: CRUE-Universitat Politecnica de Valencia. The associate editor coordinating the review of this manuscript and approving it for publication was Prof. Lei Xie.Jorge-Cano, J.; Giménez Pastor, A.; Silvestre Cerdà, JA.; Civera Saiz, J.; Sanchis Navarro, JA.; Juan, A. (2022). Live Streaming Speech Recognition Using Deep Bidirectional LSTM Acoustic Models and Interpolated Language Models. IEEE/ACM Transactions on Audio Speech and Language Processing. 30:148-161. https://doi.org/10.1109/TASLP.2021.3133216S1481613