Publication detail

From scores to insights: Predicting MT errors using reliable metrics and linguistic typology in slavic languages

Authors: Munkova Dasa | Benkova Lucia | Munk Michal | Benko Lubomir | Hájek Petr

Year: 2025

Type of publication: článek v odborném periodiku

Name of source: MethodsX

Publisher name: Elsevier B.V.

Place: Amsterdam

Page from-to: '103613'

Titles:

Language	Name	Abstract	Keywords
cze	Od skóre k poznatkům: Predikce chyb strojového překladu pomocí spolehlivých metrik a lingvistické typologie ve slovanských jazycích	Hodnocení strojového překladu (Machine Translation, MT) hraje klíčovou roli v rozvoji systémů překládajících do morfologicky bohatých jazyků s omezenými zdroji, jako je slovenština. Stávající automatické metody hodnocení obvykle poskytují pouze jedno celkové skóre kvality, aniž by nabízely vhled do konkrétních typů chyb. Proto je navržena nová lingvisticky informovaná metodologie, která predikuje pravděpodobnost výskytu kategorií chyb strojového překladu integrací manuální anotace s automatickými hodnoticími metrikami. Metoda vychází z modifikovaného rámce MQM přizpůsobeného pro slovenštinu a využívá datový soubor anglicko-slovenských překladů, jenž kombinuje výstupy statistických a neuronových systémů strojového překladu s referenčními překlady vytvořenými lidmi. Manuální anotace identifikovaly pět lingvisticky motivovaných kategorií chyb. Spolehlivost 68 automatických metrik byla hodnocena pomocí Cronbachova alfa, korelačních koeficientů, koeficientu determinace (R²) a entropie. Následně byly vytvořeny bootstrapované logistické regresní modely pro predikci pravděpodobnosti výskytu jednotlivých chyb. Navrhovaná metodologie zvyšuje vysvětlitelnost a spolehlivost automatického hodnocení strojového překladu tím, že překonává propast mezi celkovým hodnocením kvality a detailní kategorizací chyb. Výrazně snižuje potřebu lidského úsilí při hodnocení kvality při zachování vysoké míry lingvistické relevance, zejména u komplexních cílových jazyků, jako je slovenština.	Strojový překlad; Hodnocení strojového překladu; Predikce chyb strojového překladu; Analýza chyb; Typy chyb strojového překladu
eng	From scores to insights: Predicting MT errors using reliable metrics and linguistic typology in slavic languages	Machine Translation (MT) evaluation plays a crucial role in advancing systems translating into morphologically rich, low-resource languages such as Slovak. Existing automatic evaluation methods typically offer a single quality score, lacking insight into specific error types. A novel linguistically informed methodology that predicts the probability of MT error categories by integrating manual annotation with automatic evaluation metrics is proposed. The method builds on a modified MQM framework adapted for Slovak and employs a dataset of English-to-Slovak translations, combining outputs from statistical and neural MT systems with human reference translations. Manual annotations identified five linguistically motivated error categories. Reli-ability of 68 automatic metrics was assessed using Cronbach's alpha, correlation coefficients, coefficient of determination (R2), and entropy. Bootstrapped logistic regression models were then developed to predict error occurrence probabilities. The proposed methodology improves the explainability and reliability of automatic MT evaluation by bridging the gap between holistic scoring and detailed error categorization. It significantly reduces the human effort required for quality assessment while maintaining a high degree of linguistic relevance, particularly for complex target languages like Slovak.	Machine translation; Machine translation evaluation; Machine translation error prediction; Error analysis; Machine Translation error types

Search

Login for students

Login for employees

Publication detail

Map

Services

Popular Links