ILR-Based MT Comprehension Test with Multi-Level Questions

We present results from a new Interagency Language Roundtable (ILR) based comprehension test. This new test design presents questions at multiple ILR difficulty levels within each document. We incorporated Arabic machine translation (MT) output from three independent research sites, arbitrarily merging these materials into one MT condition. We contrast the MT condition, for both text and audio data types, with high quality human reference Gold Standard (GS) translations. Overall, subjects achieved 95 % comprehension for GS and 74 % for MT, across 4 genres and 3 difficulty levels. Surprisingly, comprehension rates do not correlate highly with translation error rates, suggesting that we are measuring an additional dimension of MT quality. We observed that it takes 15 % more time overall to read MT than GS

Developing Deployable Spoken Language Translation Systems given Limited Resources

Approaches are presented that support the deployment of spoken language translation systems. Newly developed methods allow low cost portability to new language pairs. Proposed translation model pruning techniques achieve a high translation performance even in low memory situations. The named entity and specialty vocabulary coverage, particularly on small and mobile devices, is targeted to an individual user by translation model personalization

Evaluación de la traducción automática para la asimilación

Este trabajo está orientado hacia la elaboración de una metodología de evaluación de la traducción automática para la asimilación, con el fin de analizar los resultados que ofrecen los sistemas de Google Translate y Systran para el par de lenguas francés-español. Además, se define qué es la traducción automática y se ofrece una breve descripción de su historia, se comentan los tipos de sistemas de traducción automática según la técnica que aplican en su funcionamiento y se discuten las dos aplicaciones principales de la traducción automática. Finalmente, se presentan algunas propuestas de evaluación anteriores y se discuten los resultados obtenidos tras la aplicación de nuestro método de evaluación

A quantitative study of translation difficulty based on an analysis of text features in japanese-to-english short-passage translation tests

Aquest estudi ha investigat si una característica pròpia dels fragments de lectura de nivell 3 ILR (Interagency Languae Roundtable) – seguir un argument que requereix cert grau d'inferència – era una dificultat de traducció i si es podia identificar i qualificar objectivament. La inferència es representava per cohesió textual aconseguida mitjançant temps verbal i resolució de cadenes de caracterització en el text final. Com el temps verbal s'usa de manera diferent en japonès i anglès, per aconseguir la cohesió en el text en anglès, el traductor havia de prendre decisions sobre el temps verbal que suposadament reflectirien si era capaç de seguir l'argument inferit en el text de partida. Se suposava també que la correcta reproducció de la caracterització dels modificadors separats del seu substantiu principal requerien inferència i eren per tant una possible dificultat de traducció. El temps verbal i la caracterització, que poden ser valorats objectivament com a acceptables o inacceptables, es van organitzar en seccions que poden ser qualificades dicotòmicament i aquestes qualificacions es van usar per calcular els índexs de facilitat que representen el grau de dificultat d'una població concreta. Els resultats suggereixen que la necessitat de seguir un argument que requereixi inferència és una característica que marca la dificultat del text de partida i que tant el temps verbal com la caracterització són elements de dificultat en la traducció del japonès a l'anglès. Les mostres de traducció van ser preses d'exàmens per a la certificació de traducció japonès-anglès. Els resultats tenen implicacions per a la selecció de fragments en els tests de traducció i per a la identificació de punts problemàtics que haurien de tractar-se durant la formació del traductor.Este estudio ha investigado si una característica propia de los fragmentos de lectura de nivel 3 ILR (Interagency Languae Roundtable) – seguir un argumento que requiere cierto grado de inferencia – era una dificultad de traducción y si se podía identificar y calificar objetivamente. La inferencia se representaba por cohesión textual lograda mediante tiempos verbal y resolución de cadenas de caracterización en el texto meta. Puesto que el tiempo verbal se usa de manera diferente en japonés e inglés, para lograr la cohesión en el texto en inglés, el traductor debía tomar decisiones sobre el tiempo verbal que supuestamente reflejarían si era capaz de seguir el argumento inferido en el texto de partida. Se suponía también que la correcta reproducción de la caracterización de los modificadores separados de su sustantivo principal requerían inferencia y eran por tanto una posible dificultad de traducción. El tiempo verbal y la caracterización, que pueden ser valorados objetivamente como aceptables o inaceptables, se organizaron en secciones que pueden ser calificadas dicotómicamente y dichas calificaciones se usaron para calcular los índices de facilidad que representan el grado de dificultad de una población concreta. Los resultados sugieren que la necesidad de seguir un argumento que requiera inferencia es una característica que marca la dificultad del texto de partida y que tanto el tiempo verbal como la caracterización son elementos de dificultad en la traducción del japonés al inglés. Las muestras de traducción fueron tomadas de exámenes para la certificación de traducción japonés-inglés. Los resultados tienen implicaciones para la selección de fragmentos en los tests de traducción y para la identificación de puntos problemáticos que deberían tratarse durante la formación del traductor.This study examined whether a feature characteristic of Interagency Language Roundtable reading level 3 passages—following an argument that requires a degree of inference—was a translation difficulty and whether this could be identified and objectively scored. Inference was represented by text cohesion achieved through verb tense and resolution of modification strings in the target text. Because tense is used very differently in Japanese and English, in order to create a cohesive English language text a translator must make tense decisions that were assumed to reflect whether an inferred argument in the source document is being followed. Reproduction of the correct modification links for modifiers separated from the head noun they modify was also assumed to require inference and so to be a possible translation difficulty. Tense and modification, which can be objectively rated as acceptable or unacceptable, were set as items to be dichotomously scored and the scores then used to calculate facility values representing the degree of difficulty in the specified population. The results suggested that the need to follow an argument requiring inference is a feature of source text difficulty and that both tense and modified nouns are items of difficulty in Japanese-to-English translation. The translation samples were taken from a Japanese-to-English certification examination. The findings have implications for improved passage selection in translation tests and for identifying problem points that may require attention in translator training