Login for students

Login for employees

Publication detail

Identification of Relevant and Redundant Automatic Metrics for MT Evaluation
Authors: Benko Ľubomír | Munk Michal | Munková Daša
Year: 2016
Type of publication: článek ve sborníku
Name of source: Lecture Notes in Computer Science
Publisher name: Springer
Place: Heidelberg
Page from-to: 141-152
Titles:
Language Name Abstract Keywords
cze Identifikace relevantních a redundantních automatických metrik pro MT evaluaci Tento článek je zaměřen na automatické metriky pro hodnocení kvality překladu (TQA), konkrétně na výstup strojového překladu (MT) a metriky pro hodnocení MT výstupu (přesnost, vzpomínáte, F-opatření, BLEU, PER, WER a CDER). Zkoumáme jejich spolehlivost a určíme metriky, které ukazují klesající spolehlivost automatického hodnocení MT výstup. Kromě tradiční opatření (Cronbach si alfa a standardizované alfa) používáme entropie pro posuzování spolehlivosti automatické metriky MT výstupu. Výsledky byly získány na dataset pokrývající překlad z nedostatku prostředků jazyka (SK) do anglicky (EN). Hlavním přínosem je tvořena identifikace redundantní automatické MT hodnocení metriky. Strojový překlad; Evaluace; Entropie
eng Identification of Relevant and Redundant Automatic Metrics for MT Evaluation The paper is aimed at automatic metrics for translation quality assessment (TQA), specifically at machine translation (MT) output and the metrics for the evaluation of MT output (Precision, Recall, F-measure, BLEU, PER, WER and CDER). We examine their reliability and we determine the metrics which show decreasing reliability of the automatic evaluation of MT output. Besides the traditional measures (Cronbach’s alpha and standardized alpha) we use entropy for assessing the reliability of the automatic metrics of MT output. The results were obtained on a dataset covering translation from a low resource language (SK) into English (EN). The main contribution consists of the identification of the redundant automatic MT evaluation metrics. Machine translation; Evaluation; Automatic metrics; Reliability; Entropy; Redundancy

Map

en.mapy.cz

Services

Popular Links

© 2023 University of Pardubice, Studentská 95, 532 10 Pardubice 2
Phone: +420 466 036 111, 466 036 112, 466 036 113
Webmaster, RSS
Data box ID: f5vj9hu
Accessibility Statement
CC BY-NC-ND 4.0Creative CommonsAttributionNonCommercialNoDerivatives