Extending Word-Level Quality Estimation for Post-Editing Assistance

We define a novel concept called extended word alignment in order to improve post-editing assistance efficiency. Based on extended word alignment, we further propose a novel task called refined word-level QE that outputs refined tags and word-level correspondences. Compared to original word-level QE, the new task is able to directly point out editing operations, thus improves efficiency. To extract extended word alignment, we adopt a supervised method based on mBERT. To solve refined word-level QE, we firstly predict original QE tags by training a regression model for sequence tagging based on mBERT and XLM-R. Then, we refine original word tags with extended word alignment. In addition, we extract source-gap correspondences, meanwhile, obtaining gap tags. Experiments on two language pairs show the feasibility of our method and give us inspirations for further improvement

Kvaliteedi hindamine tähelepanu abil

Väitekirja elektrooniline versioon ei sisalda publikatsiooneMasintõlge on saanud osaks mitte ainult keeleteadlaste ja professionaalsete tõlkijate, vaid peaaegu kõigi elust. Enamik inimesi, kes on kasutanud masintõlget, on kohanud naljakaid ja kohati täiesti valesid tõlkeid, mis lause tähendust täielikult moonutavad. Seega peame peale masintõlke mudeli kasutama hindamismehhanismi, mis teavitab inimesi tõlgete kvaliteedist. Loomulikult saavad professionaalsed tõlkijad masintõlke väljundit hinnata ja vajadusel toimetada. Inimeste märkuste kasutamine veebipõhiste masintõlkesüsteemide tõlgete hindamiseks on aga äärmiselt kulukas ja ebapraktiline. Seetõttu on automatiseeritud tõlkekvaliteedi hindamise süsteemid masintõlke töövoo oluline osa. Kvaliteedihinnangu eesmärk on ennustada masintõlke väljundi kvaliteeti, ilma etalontõlgeteta. Selles töös keskendusime kvaliteedihinnangu mõõdikutele ja käsitleme tõlkekvaliteedi näitajana tähelepanumehhanismi ennustatud jaotusi, mis on üks kaasaegsete neuromasintõlke (NMT) süsteemide sisemistest parameetritest. Kõigepealt rakendasime seda rekurrentsetel närvivõrkudel (RNN) põhinevatele masintõlkemudelitele ja analüüsisime pakutud meetodite toimivust juhendamata ja juhendatud ülesannete jaoks. Kuna RNN-põhised MT-süsteemid on nüüdseks asendunud transformeritega, mis muutusid peamiseks tipptaseme masintõlke tehnoloogiaks, kohandasime oma lähenemisviisi ka transformeri arhitektuurile. Näitasime, et tähelepanupõhised meetodid sobivad nii juhendatud kui ka juhendamata ülesannete jaoks, kuigi teatud piirangutega. Kuna annotatsiooni andmete hankimine on üsna kulukas, uurisime, kui palju annoteeritud andmeid on vaja kvaliteedihinnangu mudeli treenimiseks.Machine translation has become a part of the life of not only linguists and professional translators, but almost everyone. Most people who have used machine translation have come across funny and sometimes completely incorrect translations that turn the meaning of a sentence upside down. Thus, apart from a machine translation model, we need to use a scoring mechanism that informs people about the quality of translations. Of course, professional translators can assess and, if necessary, edit the machine translation output. However, using human annotations to evaluate translations of online machine translation systems is extremely expensive and impractical. That is why automated systems for measuring translation quality are a crucial part of the machine translation pipeline. Quality Estimation aims to predict the quality of machine translation output at run-time without using any gold-standard human annotations. In this work, we focused on Quality Estimation methods and explored the distribution of attention—one of the internal parameters of modern neural machine translation systems—as an indicator of translation quality. We first applied it to machine translation models based on recurrent neural networks (RNNs) and analyzed the performance of proposed methods for unsupervised and supervised tasks. Since transformer-based machine translation models had supplanted RNN-based, we adapted our approach to the attention extracted from transformers. We demonstrated that attention-based methods are suitable for both supervised and unsupervised tasks, albeit with some limitations. Since getting annotation labels is quite expensive, we looked at how much annotated data is needed to train a quality estimation model.https://www.ester.ee/record=b549935

Exploring lifelong learning in neural machine translation

Lifelong learning is a technique defined as the ability to learn newor maintain older knowledge over time. This factor is very important for humans, as it is one of the keys to the ability to learn by humans, which artificial intelligence tries to replicate. Additionally, it supposes the possibility for the systems to adapt to new inputs without the necessity to train the models from scratch every time. This technique, although being already applied on autonomous agents or machine learning for computer vision, has not been evaluated in the field of Machine Translation (MT). In the case of MT, currently, the majority of processes are still using sets of static data or traditional techniques which force to train the model only once without taking into account the possible variation of the language in the context. This project will be carried out on the context of a system implemented on the BEAT platform and thought for the evaluation of a lifelong learning task, which uses two sets of data: one for training and the other to apply the learning without the translations, having a simulated person to whom we can request the translations for the sentences we think are necessary. The objective is to suggest and analyze the usage of an active learning technique: Quality Estimation (QE), and the following comparison with the results obtained using random selection. In this project, we work with the language pairs of English-French and English-German. As results with QEwe achieve a score of 26.7 and 15.9 points for EN-FR and EN-DE, respectively, using a penalizing n-grams precisions BLEU score. These means an improvement of 0,5 for ENFR and 0,7 for EN-DE over the results obtained using random selection. In conclusion, the usage of lifelong learning in machine translation is feasible, although still is in an initial phase. As future possible actions over QE would be interesting to make a more extensive search of parameters or using an adaptive QE model.Aprendizaje continuo es una técnica que se define como la habilidad de aprender nuevo conocimiento o mantener el ya obtenido previamente de forma continua en el tiempo. Este factor es muy importante por ser una de las claves en el aprendizaje humano el cual la inteligencia artificial intenta replicar. Además supone la posibilidad de los sistemas a adaptar-se a ciertos inputs nuevos sin la necesidad de entrenar los modelos desde cero cada vez. Esta técnica, aun ya estar aplicada en agentes autónomos o aprendizaje automático en visión por computador, no ha estado evaluada en el campo de Traducción Automática. En este caso, actualmente, en la mayoría de procesos se sigue usando conjuntos de dadas estáticas o técnicas tradicionales que obligan a entrenar una sola vez un modelo sin tener en cuenta la posible variación del lenguaje en el contexto. Así pues, este proyecto se llevará a cabo en el contexto de un sistema implementado en la plataforma BEAT y pensado para la evaluación de una tasca de aprendizaje continuo, en el cual se dispone de dos conjuntos de datos: uno para entrenamiento y uno para aplicar el aprendizaje sin las traducciones, disponiendo de una persona simulada a la cual le podemos solicitar las traducciones de las frases que creamos necesarias. El objetivo es proponer y analizar el uso de una técnica de aprendizaje activo: Estimación de Calidad (EC), i la comparación posterior con los resultados obtenidos delante el uso de una selección aleatoria de las frases a traducir. En este proyecto se trabaja con los pares de lenguajes de Ingles-Francés e Ingles-Alemán. Como resultados con EC hemos obtenido unos valores de 26.7 y 15.9 para EN-FR y EN-DE, respectivamente, usando una puntuación BLEU penalizadora con precisión n-gram. Esto supone una mejora de 0,5 puntos para EN-FR y 0,7 puntos para EN-DE sobre los resultados obtenidos con la selección aleatoria. En definitiva, el uso de aprendizaje continuo en traducción automático es factible, aunque aún se encuentra en una situación muy inicial. Como posibles acciones futuras para EC sería interesante hacer una cerca más extensiva de los parámetros o hacer uso de un modelo EC adaptativo.L’aprenentatge continu és una tècnica que es defineix com l’habilitat d’aprendre nou coneixement o mantenir el ja obtingut prèviament de forma contínua en el temps. Aquest factor és molt important per ser una de les claus en l’aprenentatge humà que la intel·ligència artificial intenta replicar. A més, suposa la possibilitat dels sistemes a adaptar-se a certs inputs nous sense la necessitat d’entrenar el model des de zero cada vegada. Aquesta tècnica, tot i ja estar aplicada en agents autònoms o aprenentatge automàtic en visió per computador, encara falta d’estar avaluada en el camp de Traducció Automàtica. En aquest cas, actualment, en la majoria de processos se segueix fent servir conjunts de dates estàtiques o tècniques tradicionals que obliguen a entrenar una sola vegada el model sense tenir en compte la possible variació del llenguatge en el context. Així doncs, aquest projecte es durà a terme en el context d’un sistema implementat en la plataforma BEAT i pensat per l’avaluació d’una tasca d’aprenentatge continu, en el qual es disposa de dos conjunts de dades: una per entrenament i una per aplicar l’aprenentatge sense les traduccions, disposant d’una persona simulada a la qual li podem sol·licitar les traduccions de les frases que creiem necessàries. L’objectiu és proposar i analitzar l’ús de una tècnica d’aprenentatge actiu: Estimació de Qualitat (EQ), i la comparació posterior amb els resultats obtinguts davant l’ús d’una selecció aleatòria de les frases a traduir. En aquest projecte es treballa amb els parells de llenguatges d’Angles- Francès i Angles-Alemany. Com a resultats amb EQ hem obtingut uns valors de 26.7 i 15.9 per EN-FR i EN-DE, respectivament, fent servir una puntuació BLEU penalitzadora amb precisió n-gram. Això suposa una millora de 0,5 punts per EN-FR i 0,7 punts per EN-DE sobre els resultats obtinguts fent servir selecció aleatòria. En definitiva, l’ús d’aprenentatge continu en traducció automàtica és factible, tot i que encara està en una situació molt inicial. Com a possibles accions futures en EQ seria interessant fer una cerca més extensiva dels paràmetres o fer ús d’un model EQ adaptatiu

As Little as Possible, as Much as Necessary: Detecting Over- and Undertranslations with Contrastive Conditioning

Omission and addition of content is a typical issue in neural machine translation. We propose a method for detecting such phenomena with off-the-shelf translation models. Using contrastive conditioning, we compare the likelihood of a full sequence under a translation model to the likelihood of its parts, given the corresponding source or target sequence. This allows to pinpoint superfluous words in the translation and untranslated words in the source even in the absence of a reference translation. The accuracy of our method is comparable to a supervised method that requires a custom quality estimation model.Comment: ACL 202