Publikace detail

Towards the use of entropy as a measure for the reliability of automatic MT evaluation metrics

Autoři: Munk Michal | Munkova Dasa | Benko Ľubomír

Rok: 2018

Druh publikace: článek v odborném periodiku

Název zdroje: Journal of Intelligent & Fuzzy Systems

Název nakladatele: IOS Press

Místo vydání: Tokyo

Strana od-do: 3225-3233

Tituly:

Jazyk	Název	Abstrakt	Klíčová slova
cze	Směrem k použití entropie jako míry spolehlivosti metrických metod hodnocení MT	Studie popisuje experiment s různými odhady spolehlivosti. Spolehlivost odráží technickou kvalitu postupu měření, jako například automatické hodnocení strojového překladu (MT). Spolehlivost je ukazatel přesnosti, spolehlivosti měření, v našem případě měření přesnosti a chybovosti výstupu MT na základě automatických metrik (accuracy, recall, f-messure, Bleu-n, WER, PER a CDER). Experiment ukázal metriky (Bleu-4 a WER), které snižují celkovou spolehlivost automatického hodnocení přesnosti a chybovosti pomocí entropie. Na základě výsledků můžeme říci, že použití entropie na odhad spolehlivosti přináší přesnější výsledky než běžné odhady spolehlivosti (Cronbachove alfa a korelace). Hodnocení MT, založené na n-gramech nebo úpravě vzdálenosti, pomocí entropie by mohlo nabídnout nový pohled na lexikální metriky ve srovnání s běžně používanými.	entropie; strojový překlad; odhad spolehlivosti; kvalita; automatická evaluace MT
eng	Towards the use of entropy as a measure for the reliability of automatic MT evaluation metrics	The study describes an experiment with different estimations of reliability. Reliability reflects the technical quality of the measurement procedure such as an automatic evaluation of Machine Translation (MT). Reliability is an indicator of accuracy, the reliability of measuring, in our case, measuring the accuracy and error rate of MT output based on automatic metrics (precision, recall, f-measure, Bleu-n, WER, PER, and CDER). The experiment showed metrics (Bleu-4 and WER) that reduce the overall reliability of the automatic evaluation of accuracy and error rate using entropy. Based on the results we can say, that the use of entropy for the estimation of reliability brings more accurate results than conventional estimations of reliability (Cronbach's alpha and correlation). MT evaluation, based on n-grams or edit distance, using entropy could offer a new view on lexicon-based metrics in comparison to commonly used ones.	Entropy; machine translation; reliability estimation; quality; automatic MT evaluation

Vyhledávání

Přihlášení pro studenty

Přihlášení pro zaměstnance

Publikace detail

Ústavy

Pracoviště

Jak nás najdete?

Služby

Často hledáte