Publication detail

The role of automated evaluation techniques in online professional translator training

Authors: Munkova Dasa | Munk Michal | Benko Lubomir | Hájek Petr

Year: 2021

Type of publication: článek v odborném periodiku

Name of source: PeerJ Computer Science

Publisher name: PEERJ INC

Place: LONDON

Page from-to: e706

Titles:

Language	Name	Abstract	Keywords
cze	Úloha automatizovaných hodnotících technik v online odborné přípravě překladatelů	Rychlá technologizace překladu ovlivnila směřování překladatelského průmyslu ke strojovému překladu, posteditaci, titulkovacím službám a překladu videoobsahu. Kromě toho pandemická situace spojená s COVID-19 rychle zvýšila přesun obchodu a vzdělávání do virtuálního světa. Tato situace nás motivovala nejen k hledání nových přístupů k online vzdělávání překladatelů, které vyžaduje jiné metody než výuka cizích jazyků, ale zejména k hledání nových přístupů k hodnocení výkonu překladatele v rámci online vzdělávacího prostředí. Hodnocení kvality překladu je klíčovým úkolem, neboť pojem kvality je úzce spjat s pojmem optimalizace. Automatické metriky jsou velmi dobrými ukazateli kvality, ale neposkytují dostatečné a podrobné lingvistické informace o překladech nebo strojových překladech po úpravě. Pomocí jejich reziduí však můžeme identifikovat segmenty s největšími vzdálenostmi mezi posteditovanými strojovými překlady a strojovými překlady, což nám umožní zaměřit se na podrobnější textovou analýzu podezřelých segmentů. Představujeme unikátní online výukový a učební systém, který je speciálně "ušitý" pro online školení překladatelů, a následně se zaměřujeme na nový přístup k hodnocení kompetencí překladatelů pomocí hodnotících technik - metrik automatického hodnocení a jejich reziduí. Ukazujeme, že rezidua metrik přesnosti (BLEU_n) a chybovosti (PER, WER, TER, CDER a HTER) pro post-editaci strojového překladu jsou platná pro hodnocení překladatelů. Pomocí reziduí metrik přesnosti a chybovosti můžeme identifikovat chyby v posteditaci (kritické, hlavní a menší) a následně je využít při podrobnější lingvistické analýze.
eng	The role of automated evaluation techniques in online professional translator training	The rapid technologisation of translation has influenced the translation industry's direction towards machine translation, post-editing, subtitling services and video content translation. Besides, the pandemic situation associated with COVID-19 has rapidly increased the transfer of business and education to the virtual world. This situation has motivated us not only to look for new approaches to online translator training, which requires a different method than learning foreign languages but in particular to look for new approaches to assess translator performance within online educational environments. Translation quality assessment is a key task, as the concept of quality is closely linked to the concept of optimization. Automatic metrics are very good indicators of quality, but they do not provide sufficient and detailed linguistic information about translations or post-edited machine translations. However, using their residuals, we can identify the segments with the largest distances between the post-edited machine translations and machine translations, which allow us to focus on a more detailed textual analysis of suspicious segments. We introduce a unique online teaching and learning system, which is specifically "tailored" for online translators' training and subsequently we focus on a new approach to assess translators' competences using evaluation techniques-the metrics of automatic evaluation and their residuals. We show that the residuals of the metrics of accuracy (BLEU_n) and error rate (PER, WER, TER, CDER, and HTER) for machine translation post-editing are valid for translator assessment. Using the residuals of the metrics of accuracy and error rate, we can identify errors in postediting (critical, major, and minor) and subsequently utilize them in more detailed linguistic analysis.	Online education; Automatic MT metrics; Residuals; Translator training; Post-editing; Formative assessment

Search

Login for students

Login for employees

Publication detail

Map

Services

Popular Links