Login for students

Login for employees

Publication detail

Evaluating automatic sentence alignment approaches on English-Slovak sentences
Authors: Forgac Frantisek | Munkova Dasa | Munk Michal | Kelebercova Livia
Year: 2023
Type of publication: článek v odborném periodiku
Name of source: Scientific Reports
Page from-to: 20123
Titles:
Language Name Abstract Keywords
cze Vyhodnocování přístupů automatického zarovnání vět na anglicko-slovenských větách Paralelní texty představují velmi cenný zdroj v mnoha aplikacích zpracování přirozeného jazyka. Základním krokem při vytváření paralelního korpusu je zarovnání. Zarovnání vět je problém nalezení korespondence mezi zdrojovými větami a jejich ekvivalentními překlady v cílovém textu. Byla navržena řada přístupů k automatickému zarovnání vět, včetně neuronových sítí, které lze rozdělit na založené na délce, na lexikonu a na překladu. V naší studii jsme použili pět různých zarovnávačů, jmenovitě zarovnávač dvojjazyčných vět (BSA), Hunalign, Bleualign, Vecalign a Bertalign. Hodnotili jsme oba, výkon Bertalignu z hlediska přesnosti vůči dosud používaným zarovnávačům i mezi sebou navzájem v jazykovém páru angličtina-Sovak. Vytvořili jsme náš vlastní korpus složený z textů sesbíraných v letech 2021 a 2022. Statisticky významně nejlépe si vedly Vecalign a Bertalign a nejhůře BSA. Hunalign a Bleualign dosáhli stejného výkonu, pokud jde o skóre F1. Bleualign však dosáhl nejrozmanitějších výsledků z hlediska výkonu. Jazyk; Zpracování přirozeného jazyka; Neuronové sítě, počítače; Slovensko
eng Evaluating automatic sentence alignment approaches on English-Slovak sentences Parallel texts represent a very valuable resource in many applications of natural language processing. The fundamental step in creating parallel corpus is the alignment. Sentence alignment is the issue of finding correspondence between source sentences and their equivalent translations in the target text. A number of automatic sentence alignment approaches were proposed including neural networks, which can be divided into length-based, lexicon-based, and translation-based. In our study, we used five different aligners, namely Bilingual sentence aligner (BSA), Hunalign, Bleualign, Vecalign, and Bertalign. We evaluated both, the performance of the Bertalign in terms of accuracy against the up to now employed aligners as well as among each other in the language pair English-Sovak. We created our custom corpus consisting of texts collected in 2021 and 2022. Vecalign and Bertalign performed statistically significantly best and BSA the worst. Hunalign and Bleualign achieved the same performance in terms of F1 score. However, Bleualign achieved the most diverse results in terms of performance. Language; Natural Language Processing; Neural Networks, Computer; Slovakia

Map

en.mapy.cz

Services

Popular Links

© 2023 University of Pardubice, Studentská 95, 532 10 Pardubice 2
Phone: +420 466 036 111, 466 036 112, 466 036 113
Webmaster, RSS
Data box ID: f5vj9hu
Accessibility Statement
CC BY-NC-ND 4.0Creative CommonsAttributionNonCommercialNoDerivatives