1 research outputs found
Procjena kvalitete strojnog prijevoda govora: studija sluÄaja aplikacije ILA
Machine translation (MT) is becoming qualitatively more successful and quantitatively more productive at an unprecedented pace. It is becoming a widespread solution to the challenges of a constantly rising demand for quick and affordable translations of both text and speech, causing disruption and adjustments of the translation practice and profession, but at the same time making multilingual communication easier than ever before. This paper focuses on the speech-to-speech (S2S) translation app Instant Language Assistant (ILA), which brings together the state-of-the-art translation technology: automatic speech recognition, machine translation and text-to-speech synthesis, and allows for MT-mediated multilingual communication. The aim of the paper is to assess the quality of translations of conversational language produced by the S2S translation app ILA for en-de and en-hr language pairs. The research includes several levels of translation quality analysis: human translation quality assessment by translation experts using the Fluency/Adequacy Metrics, light-post editing, and automated MT evaluation (BLEU). Moreover, the translation output is assessed with respect to language pairs to get an insight into whether they affect the MT output quality and how. The results show a relatively high quality of translations produced by the S2S translation app ILA across all assessment models and a correlation between human and automated assessment results.Strojno je prevoÄenje sve kvalitetnije i sve je viÅ”e prisutno u svakodnevnom životu. Zbog porasta potražnje za brzim i pristupaÄnim prijevodima teksta i govora, strojno se prevoÄenje nameÄe kao opÄeprihvaÄeno rjeÅ”enje, Å”to dovodi do korjenitih promjena i prilagodbi u prevoditeljskoj struci i praksi te istodobno viÅ”ejeziÄnu komunikaciju Äini lakÅ”om nego ikada do sada. Ovaj se rad bavi aplikacijom Instant Language Assistant (ILA) za strojni prijevod govora. ILA omoguÄuje viÅ”ejeziÄnu komunikaciju posredovanu strojnim prevoÄenjem, a temelji se na najnovijim tehnoloÅ”kim dostignuÄima, i to na automatskom prepoznavanju govora, strojnom prevoÄenju i sintezi teksta u govor. Cilj je rada procijeniti kvalitetu prijevoda razgovornog jezika dobivenog pomoÄu aplikacije ILA i to za parove jezika engleski ā njemaÄki te engleski ā hrvatski. Kvaliteta prijevoda analizira se u nekoliko faza: kvalitetu prijevoda procjenjuju struÄnjaci pomoÄu metode procjene teÄnosti i toÄnosti (engl. Fluency/Adequacy Metrics), zatim se provodi ograniÄena redaktura strojno prevedenih govora (engl. light post-editing), nakon Äega slijedi automatsko vrednovanje strojnog prijevoda (BLEU). Strojno prevedeni govor procjenjuje se i uzevÅ”i u obzir o kojem je jeziÄnom paru rijeÄ kako bi se dobio uvid u to utjeÄu li jeziÄni parovi na strojni prijevod i na koji naÄin. Rezultati pokazuju da su prijevodi dobiveni pomoÄu aplikacije ILA za strojni prijevod govora procijenjeni kao razmjerno visokokvalitetni bez obzira na metodu procjene, kao i da se ljudske procjene kvalitete prijevoda poklapaju sa strojnima