1 research outputs found
Error analysis in automatic speech recognition and machine translation
Automatic speech recognition and machine translation are well-known terms in
the translation world nowadays. Systems that carry out these processes are taking over the work
of humans more and more. Reasons for this are the speed at which the tasks are performed and
their costs. However, the quality of these systems is debatable. They are not yet capable of
delivering the same performance as human transcribers or translators. The lack of creativity,
the ability to interpret texts and the sense of language is often cited as the reason why the
performance of machines is not yet at the level of human translation or transcribing work.
Despite this, there are companies that use these machines in their production pipelines.
Unbabel, an online translation platform powered by artificial intelligence, is one of these
companies. Through a combination of human translators and machines, Unbabel tries to
provide its customers with a translation of good quality. This internship report was written with
the aim of gaining an overview of the performance of these systems and the errors they produce.
Based on this work, we try to get a picture of possible error patterns produced by both systems.
The present work consists of an extensive analysis of errors produced by automatic speech
recognition and machine translation systems after automatically transcribing and translating 10
English videos into Dutch. Different videos were deliberately chosen to see if there were
significant differences in the error patterns between videos. The generated data and results from
this work, aims at providing possible ways to improve the quality of the services already
mentioned.O reconhecimento automático de fala e a tradução automática são termos conhecidos
no mundo da tradução, hoje em dia. Os sistemas que realizam esses processos estão a assumir
cada vez mais o trabalho dos humanos. As razões para isso são a velocidade com que as tarefas
são realizadas e os seus custos. No entanto, a qualidade desses sistemas é discutível. As
máquinas ainda não são capazes de ter o mesmo desempenho dos transcritores ou tradutores
humanos. A falta de criatividade, de capacidade de interpretar textos e de sensibilidade
linguística são motivos frequentemente usados para justificar o facto de as máquinas ainda não
estarem suficientemente desenvolvidas para terem um desempenho comparável com o trabalho
de tradução ou transcrição humano. Mesmo assim, existem empresas que fazem uso dessas
máquinas. A Unbabel, uma plataforma de tradução online baseada em inteligência artificial, é
uma dessas empresas. Através de uma combinação de tradutores humanos e de máquinas, a
Unbabel procura oferecer aos seus clientes traduções de boa qualidade. O presente relatório de
estágio foi feito com o intuito de obter uma visão geral do desempenho desses sistemas e das
falhas que cometem, propondo delinear uma imagem dos possíveis padrões de erro existentes
nos mesmos. Para tal, fez-se uma análise extensa das falhas que os sistemas de reconhecimento
automático de fala e de tradução automática cometeram, após a transcrição e a tradução
automática de 10 vídeos. Foram deliberadamente escolhidos registos videográficos diversos,
de modo a verificar possíveis diferenças nos padrões de erro. Através dos dados gerados e dos
resultados obtidos, propõe-se encontrar uma forma de melhorar a qualidade dos serviços já
mencionados