Login for students

Login for employees

Publication detail

Towards the use of entropy as a measure for the reliability of automatic MT evaluation metrics
Authors: Munk Michal | Munkova Dasa | Benko Ľubomír
Year: 2018
Type of publication: článek v odborném periodiku
Name of source: Journal of Intelligent & Fuzzy Systems
Publisher name: IOS Press
Place: Tokyo
Page from-to: 3225-3233
Titles:
Language Name Abstract Keywords
cze Směrem k použití entropie jako míry spolehlivosti metrických metod hodnocení MT Studie popisuje experiment s různými odhady spolehlivosti. Spolehlivost odráží technickou kvalitu postupu měření, jako například automatické hodnocení strojového překladu (MT). Spolehlivost je ukazatel přesnosti, spolehlivosti měření, v našem případě měření přesnosti a chybovosti výstupu MT na základě automatických metrik (accuracy, recall, f-messure, Bleu-n, WER, PER a CDER). Experiment ukázal metriky (Bleu-4 a WER), které snižují celkovou spolehlivost automatického hodnocení přesnosti a chybovosti pomocí entropie. Na základě výsledků můžeme říci, že použití entropie na odhad spolehlivosti přináší přesnější výsledky než běžné odhady spolehlivosti (Cronbachove alfa a korelace). Hodnocení MT, založené na n-gramech nebo úpravě vzdálenosti, pomocí entropie by mohlo nabídnout nový pohled na lexikální metriky ve srovnání s běžně používanými. entropie; strojový překlad; odhad spolehlivosti; kvalita; automatická evaluace MT
eng Towards the use of entropy as a measure for the reliability of automatic MT evaluation metrics The study describes an experiment with different estimations of reliability. Reliability reflects the technical quality of the measurement procedure such as an automatic evaluation of Machine Translation (MT). Reliability is an indicator of accuracy, the reliability of measuring, in our case, measuring the accuracy and error rate of MT output based on automatic metrics (precision, recall, f-measure, Bleu-n, WER, PER, and CDER). The experiment showed metrics (Bleu-4 and WER) that reduce the overall reliability of the automatic evaluation of accuracy and error rate using entropy. Based on the results we can say, that the use of entropy for the estimation of reliability brings more accurate results than conventional estimations of reliability (Cronbach's alpha and correlation). MT evaluation, based on n-grams or edit distance, using entropy could offer a new view on lexicon-based metrics in comparison to commonly used ones. Entropy; machine translation; reliability estimation; quality; automatic MT evaluation

Map

en.mapy.cz

Services

Popular Links

© 2023 University of Pardubice, Studentská 95, 532 10 Pardubice 2
Phone: +420 466 036 111, 466 036 112, 466 036 113
Webmaster, RSS
Data box ID: f5vj9hu
Accessibility Statement
CC BY-NC-ND 4.0Creative CommonsAttributionNonCommercialNoDerivatives