เป€เบŸเบชเบšเบธเบเป€เบœเบตเบเปเบœเปˆเบฎเบนเบšเปเบšเบšเบเบฒเบ™เปเบ›เบžเบฒเบชเบฒเป€เบ„เบทเปˆเบญเบ‡เบ—เบตเปˆเบฎเบญเบ‡เบฎเบฑเบš 200 เบžเบฒเบชเบฒ

เป€เบŸเบชเบšเบธเบ (เบ–เบทเบเบซเป‰เบฒเบกเปƒเบ™เบชเบฐเบซเบฐเบžเบฑเบ™เบฅเบฑเบ”เป€เบŠเบ) เป„เบ”เป‰เป€เบœเบตเบเปเบœเปˆเบเบฒเบ™เบžเบฑเบ”เบ—เบฐเบ™เบฒเบ‚เบญเบ‡เป‚เบ„เบ‡เบเบฒเบ™ NLLB (เบšเปเปˆเบกเบตเบžเบฒเบชเบฒเบŠเป‰เบฒเบเบซเบฅเบฑเบ‡), เบกเบตเบˆเบธเบ”เบ›เบฐเบชเบปเบ‡เป€เบžเบทเปˆเบญเบชเป‰เบฒเบ‡เบฎเบนเบšเปเบšเบšเบเบฒเบ™เบฎเบฝเบ™เบฎเบนเป‰เป€เบ„เบทเปˆเบญเบ‡เบˆเบฑเบเบ—เบปเปˆเบงเป„เบ›เบชเปเบฒเบฅเบฑเบšเบเบฒเบ™เปเบ›เบžเบฒเบชเบฒเป‚เบ”เบเบเบปเบ‡เบˆเบฒเบเบžเบฒเบชเบฒเบซเบ™เบถเปˆเบ‡เป„เบ›เบซเบฒเบญเบตเบ, เบ‚เป‰เบฒเบกเบเบฒเบ™เปเบ›เบžเบฒเบชเบฒเบฅเบฐเบ”เบฑเบšเบ›เบฒเบ™เบเบฒเบ‡เป€เบ›เบฑเบ™เบžเบฒเบชเบฒเบญเบฑเบ‡เบเบดเบ”. เบฎเบนเบšเปเบšเบšเบ—เบตเปˆเบชเบฐเป€เบซเบ™เบตเบเบงเบกเป€เบญเบปเบฒเบซเบผเบฒเบเบเบงเปˆเบฒ 200 เบžเบฒเบชเบฒ, เบฅเบงเบกเบ—เบฑเบ‡เบžเบฒเบชเบฒเบ—เบตเปˆเบซเบฒเบเบฒเบเบ‚เบญเบ‡เบ›เบฐเบŠเบฒเบŠเบปเบ™เบญเบฒเบŸเบฃเบดเบเบฒเปเบฅเบฐเบญเบปเบ”เบชเบฐเบ•เบฒเบฅเบต. เป€เบ›เบปเป‰เบฒเปเบฒเบเบชเบนเบ‡เบชเบธเบ”เบ‚เบญเบ‡เป‚เบ„เบ‡เบเบฒเบ™เปเบกเปˆเบ™เป€เบžเบทเปˆเบญเบชเบฐเปœเบญเบ‡เบงเบดเบ—เบตเบเบฒเบ™เบชเบทเปˆเบชเบฒเบ™เปƒเบซเป‰เปเบเปˆเบ„เบปเบ™เบ—เบธเบ, เบšเปเปˆเบงเปˆเบฒเป€เบ‚เบปเบฒเป€เบˆเบปเป‰เบฒเป€เบงเบปเป‰เบฒเบžเบฒเบชเบฒเปƒเบ”เบเปเปˆเบ•เบฒเบก.

เบฎเบนเบšเปเบšเบšเบ”เบฑเปˆเบ‡เบเปˆเบฒเบงเป„เบ”เป‰เบฎเบฑเบšเบญเบฐเบ™เบธเบเบฒเบ”เบžเบฒเบเปƒเบ•เป‰เปƒเบšเบญเบฐเบ™เบธเบเบฒเบ” Creative Commons BY-NC 4.0, เป€เบŠเบดเปˆเบ‡เบญเบฐเบ™เบธเบเบฒเบ”เปƒเบซเป‰เป€เบฎเบฑเบ”เบชเบณเป€เบ™เบปเบฒ, เปเบˆเบเบขเบฒเบเบ„เบทเบ™, เบเบฒเบ™เบ›เบฑเบšเปเบ•เปˆเบ‡, เปเบฅเบฐเบเบฒเบ™เบชเป‰เบฒเบ‡เบ•เบปเบงเปเบšเบš, เป‚เบ”เบเปƒเบซเป‰เป€เบˆเบปเป‰เบฒเบฅเบฐเบšเบธเปเบซเบผเปˆเบ‡เบ—เบตเปˆเบกเบฒ, เบฎเบฑเบเบชเบฒเปƒเบšเบญเบฐเบ™เบธเบเบฒเบ” เปเบฅเบฐเปƒเบŠเป‰เบกเบฑเบ™เป€เบžเบทเปˆเบญเบˆเบธเบ”เบ›เบฐเบชเบปเบ‡เบ—เบตเปˆเบšเปเปˆเปเบกเปˆเบ™เบเบฒเบ™เบ„เป‰เบฒเป€เบ—เบปเปˆเบฒเบ™เบฑเป‰เบ™. เป€เบ„เบทเปˆเบญเบ‡เบกเบทเบชเปเบฒเบฅเบฑเบšเบเบฒเบ™เป€เบฎเบฑเบ”เบงเบฝเบเบเบฑเบšเปเบšเบšเบˆเปเบฒเบฅเบญเบ‡เปเบกเปˆเบ™เบชเบฐเบซเบ™เบญเบ‡เปƒเบซเป‰เบžเบฒเบเปƒเบ•เป‰เปƒเบšเบญเบฐเบ™เบธเบเบฒเบ” MIT. เป€เบžเบทเปˆเบญเบเบฐเบ•เบธเป‰เบ™เบเบฒเบ™เบžเบฑเบ”เบ—เบฐเบ™เบฒเป‚เบ”เบเปƒเบŠเป‰เบฎเบนเบšเปเบšเบš NLLB, เบกเบฑเบ™เป„เบ”เป‰เบ–เบทเบเบ•เบฑเบ”เบชเบดเบ™เปƒเบˆเบˆเบฑเบ”เบชเบฑเบ™ 200 เป‚เบ”เบฅเบฒเป€เบžเบทเปˆเบญเบชเบฐเบซเบ™เบญเบ‡เบ—เบถเบ™เบŠเปˆเบงเบเป€เบซเบผเบทเบญเบฅเป‰เบฒเปƒเบซเป‰เปเบเปˆเบ™เบฑเบเบ„เบปเป‰เบ™เบ„เบงเป‰เบฒ.

เป€เบžเบทเปˆเบญเบ‡เปˆเบฒเบเปƒเบ™เบเบฒเบ™เบชเป‰เบฒเบ‡เป‚เบ„เบ‡เบเบฒเบ™เป‚เบ”เบเปƒเบŠเป‰เบฎเบนเบšเปเบšเบšเบ—เบตเปˆเบชเบฐเป€เบซเบ™เบต, เบฅเบฐเบซเบฑเบ”เบ‚เบญเบ‡เบ„เปเบฒเบฎเป‰เบญเบ‡เบชเบฐเบซเบกเบฑเบเบ—เบตเปˆเปƒเบŠเป‰เปƒเบ™เบเบฒเบ™เบ—เบปเบ”เบชเบญเบšเปเบฅเบฐเบเบฒเบ™เบ›เบฐเป€เบกเบตเบ™เบ„เบธเบ™เบ™เบฐเบžเบฒเบšเบ‚เบญเบ‡เบ•เบปเบงเปเบšเบš (FLORES-200, NLLB-MD, Toxicity-200), เบฅเบฐเบซเบฑเบ”เบชเปเบฒเบฅเบฑเบšเปเบšเบšเบˆเปเบฒเบฅเบญเบ‡เบเบฒเบ™เบเบถเบเบญเบปเบšเบฎเบปเบกเปเบฅเบฐเบ•เบปเบงเป€เบ‚เบปเป‰เบฒเบฅเบฐเบซเบฑเบ”เป‚เบ”เบเบญเบตเบ‡เปƒเบชเปˆเบซเป‰เบญเบ‡เบชเบฐเบซเบกเบธเบ” LASER3 ( Language-Agnostic SEntence) เบ™เบญเบโ€‹เบˆเบฒเบโ€‹เบ™เบฑเป‰เบ™โ€‹เปเบกเปˆเบ™โ€‹เปเบซเบผเปˆเบ‡โ€‹เป€เบ›เบตเบ”. เบเบฒเบ™โ€‹เป€เบ›เบฑเบ™โ€‹เบ•เบปเบงโ€‹เปเบ—เบ™). เบฎเบนเบšเปเบšเบšเบชเบธเบ”เบ—เป‰เบฒเบเปเบกเปˆเบ™เบชเบฐเป€เบซเบ™เบตเปƒเบ™เบชเบญเบ‡เบฎเบธเปˆเบ™ - เป€เบ•เบฑเบกเปเบฅเบฐเบชเบฑเป‰เบ™. เบชเบฐเบšเบฑเบšเบซเบเปเป‰เบฎเบฝเบเบฎเป‰เบญเบ‡เปƒเบซเป‰เบกเบตเบŠเบฑเบšเบžเบฐเบเบฒเบเบญเบ™เบซเบ™เป‰เบญเบเปเบฅเบฐเป€เบซเบกเบฒเบฐเบชเบปเบกเบชเปเบฒเบฅเบฑเบšเบเบฒเบ™เบ—เบปเบ”เบชเบญเบšเปเบฅเบฐเบ™เปเบฒเปƒเบŠเป‰เปƒเบ™เป‚เบ„เบ‡เบเบฒเบ™เบ„เบปเป‰เบ™เบ„เป‰เบงเบฒ.

เบšเปเปˆเป€เบซเบกเบทเบญเบ™เบเบฑเบšเบฅเบฐเบšเบปเบšเบเบฒเบ™เปเบ›เบžเบฒเบชเบฒเบญเบทเปˆเบ™เป†เป‚เบ”เบเบญเบตเบ‡เปƒเบชเปˆเบฅเบฐเบšเบปเบšเบเบฒเบ™เบฎเบฝเบ™เบฎเบนเป‰เป€เบ„เบทเปˆเบญเบ‡เบˆเบฑเบ, เบเบฒเบ™เปเบเป‰เป„เบ‚เบ‚เบญเบ‡เป€เบŸเบชเบšเบธเบเปเบกเปˆเบ™เบซเบ™เป‰เบฒเบชเบฑเบ‡เป€เบเบ”เบ—เบตเปˆเบกเบฑเบ™เบชเบฐเบซเบ™เบญเบ‡เบฎเบนเบšเปเบšเบšเบ—เบปเปˆเบงเป„เบ›เบซเบ™เบถเปˆเบ‡เบชเปเบฒเบฅเบฑเบš 200 เบžเบฒเบชเบฒ, เบเบงเบกเป€เบญเบปเบฒเบ—เบธเบเบžเบฒเบชเบฒเปเบฅเบฐเบšเปเปˆเบฎเบฝเบเบฎเป‰เบญเบ‡เปƒเบซเป‰เบกเบตเบเบฒเบ™เบ™เปเบฒเปƒเบŠเป‰เบ•เบปเบงเปเบšเบšเปเบเบเบ•เปˆเบฒเบ‡เบซเบฒเบเบชเปเบฒเบฅเบฑเบšเปเบ•เปˆเบฅเบฐเบžเบฒเบชเบฒ. เบเบฒเบ™เปเบ›เปเบกเปˆเบ™เบ”เปเบฒเป€เบ™เบตเบ™เบเบฒเบ™เป‚เบ”เบเบเบปเบ‡เบˆเบฒเบเบžเบฒเบชเบฒเบ•เบปเป‰เบ™เบชเบฐเบšเบฑเบšเป„เบ›เบซเบฒเบžเบฒเบชเบฒเป€เบ›เบปเป‰เบฒเบซเบกเบฒเบ, เป‚เบ”เบเบšเปเปˆเบกเบตเบเบฒเบ™เปเบ›เบฅเบฐเบ”เบฑเบšเบ›เบฒเบ™เบเบฒเบ‡เป€เบ›เบฑเบ™เบžเบฒเบชเบฒเบญเบฑเบ‡เบเบดเบ”. เป€เบžเบทเปˆเบญเบชเป‰เบฒเบ‡เบฅเบฐเบšเบปเบšเบเบฒเบ™เปเบ›เบžเบฒเบชเบฒเบ—เบปเปˆเบงเป„เบ›, เบฎเบนเบšเปเบšเบš LID (เบเบฒเบ™เบฅเบฐเบšเบธเบžเบฒเบชเบฒ) เป„เบ”เป‰เบ–เบทเบเบชเบฐเป€เบซเบ™เบตเป€เบžเบตเปˆเบกเป€เบ•เบตเบก, เป€เบŠเบดเปˆเบ‡เป€เบฎเบฑเบ”เปƒเบซเป‰เบกเบฑเบ™เป€เบ›เบฑเบ™เป„เบ›เป„เบ”เป‰เบ—เบตเปˆเบˆเบฐเบเปเบฒเบ™เบปเบ”เบžเบฒเบชเบฒเบ—เบตเปˆเปƒเบŠเป‰. เป€เบซเบผเบปเปˆเบฒเบ™เบฑเป‰เบ™. เบฅเบฐเบšเบปเบšเบชเบฒเบกเบฒเบ”เบฎเบฑเบšเบฎเบนเป‰เป‚เบ”เบเบญเบฑเบ”เบ•เบฐเป‚เบ™เบกเบฑเบ”เปƒเบ™เบžเบฒเบชเบฒเปƒเบ”เบ—เบตเปˆเบ‚เปเป‰เบกเบนเบ™เป„เบ”เป‰เบ–เบทเบเบชเบฐเบซเบ™เบญเบ‡เปƒเบซเป‰เปเบฅเบฐเปเบ›เป€เบ›เบฑเบ™เบžเบฒเบชเบฒเบ‚เบญเบ‡เบœเบนเป‰เปƒเบŠเป‰.

เบเบฒเบ™โ€‹เปเบ›โ€‹เบžเบฒโ€‹เบชเบฒโ€‹เปเบกเปˆเบ™โ€‹เบชเบฐโ€‹เบซเบ™เบฑเบšโ€‹เบชเบฐโ€‹เบซเบ™เบนเบ™โ€‹เปƒเบ™โ€‹เบ—เบดเบ”โ€‹เบ—เบฒเบ‡โ€‹เปƒเบ”โ€‹เบซเบ™เบถเปˆเบ‡โ€‹, เบฅเบฐโ€‹เบซเบงเปˆเบฒเบ‡ 200 เบžเบฒโ€‹เบชเบฒโ€‹เบ—เบตเปˆโ€‹เบชเบฐโ€‹เบซเบ™เบฑเบšโ€‹เบชเบฐโ€‹เบซเบ™เบนเบ™โ€‹. เป€เบžเบทเปˆเบญเบขเบทเบ™เบขเบฑเบ™เบ„เบธเบ™เบ™เบฐเบžเบฒเบšเบเบฒเบ™เปเบ›เบฅเบฐเบซเบงเปˆเบฒเบ‡เบžเบฒเบชเบฒเบ•เปˆเบฒเบ‡เป†, เบŠเบธเบ”เบเบฒเบ™เบ—เบปเบ”เบชเบญเบšเบเบฒเบ™เบญเป‰เบฒเบ‡เบญเบดเบ‡ FLORES-200 เป„เบ”เป‰เบ–เบทเบเบเบฐเบเบฝเบก, เป€เบŠเบดเปˆเบ‡เบชเบฐเปเบ”เบ‡เปƒเบซเป‰เป€เบซเบฑเบ™เบงเปˆเบฒเปเบšเบšเบˆเปเบฒเบฅเบญเบ‡ NLLB-200 เปƒเบ™เบ”เป‰เบฒเบ™เบ„เบธเบ™เบ™เบฐเบžเบฒเบšเบเบฒเบ™เปเบ›เปเบกเปˆเบ™เป‚เบ”เบเบชเบฐเป€เบฅเปˆเบ 44% เบ”เบตเบเบงเปˆเบฒเบฅเบฐเบšเบปเบšเบเบฒเบ™เบ„เบปเป‰เบ™เบ„เบงเป‰เบฒเบเบฒเบ™เบฎเบฝเบ™เบฎเบนเป‰เป€เบ„เบทเปˆเบญเบ‡เบˆเบฑเบเบ—เบตเปˆเบชเบฐเป€เปœเบตเบกเบฒเปƒเบ™เป€เบกเบทเปˆเบญเบเปˆเบญเบ™เป€เบกเบทเปˆเบญเบ™เปเบฒเปƒเบŠเป‰. BLEU metrics เบ›เบฝเบšเบ—เบฝเบšเบเบฒเบ™เปเบ›เบ”เป‰เบงเบเป€เบ„เบทเปˆเบญเบ‡เบˆเบฑเบเบเบฑเบšเบเบฒเบ™เปเบ›เบžเบฒเบชเบฒเบ‚เบญเบ‡เบกเบฐเบ™เบธเบ”เบกเบฒเบ”เบ•เบฐเบ–เบฒเบ™. เบชเปเบฒเบฅเบฑเบšเบžเบฒเบชเบฒเบญเบฒเบŸเบฃเบดเบเบฒเบ—เบตเปˆเบซเบฒเบเบฒเบเปเบฅเบฐเบžเบฒเบชเบฒเบญเบดเบ™เป€เบ”เบ, เบ„เบธเบ™เบ™เบฐเบžเบฒเบšเบ—เบตเปˆเป€เบซเบ™เบทเบญเบเบงเปˆเบฒเป€เบ–เบดเบ‡ 70%. เบกเบฑเบ™เป€เบ›เบฑเบ™เป„เบ›เป„เบ”เป‰เบ—เบตเปˆเบˆเบฐเป€เบ›เบฑเบ™เบเบฒเบ™เบ›เบฐเป€เบกเบตเบ™เบ„เบธเบ™เบ™เบฐเบžเบฒเบšเบ‚เบญเบ‡เบเบฒเบ™เปเบ›เบ”เป‰เบงเบเบชเบฒเบเบ•เบฒเบขเบนเปˆเปƒเบ™เป€เบงเบฑเบšเป„เบŠเบ—เปŒเบชเบฒเบ—เบดเบ”เบ—เบตเปˆเบเบฐเบเบฝเบกเบžเบดเป€เบชเบ”.

เปเบซเบผเปˆเบ‡เบ‚เปเป‰เบกเบนเบ™: opennet.ru

เป€เบžเบตเปˆเบกเบ„เบงเบฒเบกเบ„เบดเบ”เป€เบซเบฑเบ™