Publikace detail

Identification of Relevant and Redundant Automatic Metrics for MT Evaluation

Autoři: Benko Ľubomír | Munk Michal | Munková Daša

Rok: 2016

Druh publikace: článek ve sborníku

Název zdroje: Lecture Notes in Computer Science

Název nakladatele: Springer

Místo vydání: Heidelberg

Strana od-do: 141-152

Tituly:

Jazyk	Název	Abstrakt	Klíčová slova
cze	Identifikace relevantních a redundantních automatických metrik pro MT evaluaci	Tento článek je zaměřen na automatické metriky pro hodnocení kvality překladu (TQA), konkrétně na výstup strojového překladu (MT) a metriky pro hodnocení MT výstupu (přesnost, vzpomínáte, F-opatření, BLEU, PER, WER a CDER). Zkoumáme jejich spolehlivost a určíme metriky, které ukazují klesající spolehlivost automatického hodnocení MT výstup. Kromě tradiční opatření (Cronbach si alfa a standardizované alfa) používáme entropie pro posuzování spolehlivosti automatické metriky MT výstupu. Výsledky byly získány na dataset pokrývající překlad z nedostatku prostředků jazyka (SK) do anglicky (EN). Hlavním přínosem je tvořena identifikace redundantní automatické MT hodnocení metriky.	Strojový překlad; Evaluace; Entropie
eng	Identification of Relevant and Redundant Automatic Metrics for MT Evaluation	The paper is aimed at automatic metrics for translation quality assessment (TQA), specifically at machine translation (MT) output and the metrics for the evaluation of MT output (Precision, Recall, F-measure, BLEU, PER, WER and CDER). We examine their reliability and we determine the metrics which show decreasing reliability of the automatic evaluation of MT output. Besides the traditional measures (Cronbach’s alpha and standardized alpha) we use entropy for assessing the reliability of the automatic metrics of MT output. The results were obtained on a dataset covering translation from a low resource language (SK) into English (EN). The main contribution consists of the identification of the redundant automatic MT evaluation metrics.	Machine translation; Evaluation; Automatic metrics; Reliability; Entropy; Redundancy

Search

Přihlášení pro studenty

Přihlášení pro zaměstnance

Publikace detail

Ústavy

Pracoviště

Jak nás najdete?

Služby

Často hledáte