Fa'asalalau e Facebook le fa'ata'ita'iga fa'aliliu masini e lagolagoina gagana e 200

Facebook (fa'asa i le Russian Federation) ua fa'asalalauina atina'e o le NLLB (No Language Left Behind), e fa'atatau i le fatuina o se fa'ata'ita'iga fa'aa'oa'oina o masini mo le fa'aliliu sa'o o tusitusiga mai le tasi gagana i le isi, fa'asaga i le fa'aliliuga vavalo i le Igilisi. O le faʻataʻitaʻiga faʻataʻitaʻiga e aofia ai le silia ma le 200 gagana, e aofia ai gagana e le masani ai a tagata Aferika ma Ausetalia. O le sini autu o le poloketi o le saunia lea o se auala mo fesootaiga mo soo se tagata, e tusa lava po o le a le gagana latou te tautatala ai.

O le fa'ata'ita'iga ua laiseneina i lalo o le laisene Creative Commons BY-NC 4.0, lea e fa'ataga ai le kopiina, toe tufatufaina atu, fa'apitoa, ma galuega fa'atupu, pe a e tu'uina atu le fa'ailoga, tausia le laisene, ma fa'aoga mo na'o mea e le fa'apisinisi. Meafaigaluega mo le galue ma faʻataʻitaʻiga o loʻo tuʻuina atu i lalo ole laisene MIT. Ina ia faʻaosofia le atinaʻe e faʻaaoga ai le NLLB faʻataʻitaʻiga, na tonu ai e tuʻuina atu le $ 200 afe e tuʻuina atu fesoasoani i tagata suʻesuʻe.

Ina ia faafaigofieina le fausiaina o galuega faatino e faʻaaoga ai le faʻataʻitaʻiga fuafuaina, o le code of applications faʻaaogaina mo le suʻeina ma le iloiloga o le lelei o faʻataʻitaʻiga (FLORES-200, NLLB-MD, Toxicity-200), faʻailoga mo aʻoaʻoga faʻataʻitaʻiga ma encoders faʻavae i luga o le LASER3 faletusi ( Language-Agnostic SEntence) o lo'o fa'aopoopoina fo'i fa'amatalaga matala. O le faʻataʻitaʻiga mulimuli e ofoina atu i ni faʻaaliga se lua - tumu ma faʻapuupuu. O le fa'apu'upu'u fa'ata'ita'iga e mana'omia ai le itiiti ifo o alagaoa ma e talafeagai mo su'ega ma fa'aoga i galuega su'esu'e.

E le pei o isi faiga fa'aliliuga e fa'avae i luga o masini a'oa'oga, e iloga le fofo a le Facebook ona o lo'o ofoina atu se fa'ata'ita'iga lautele mo gagana uma e 200, e aofia uma ai gagana ma e le mana'omia le fa'aogaina o fa'ata'ita'iga eseese mo gagana ta'itasi. O fa'aliliuga e fa'atino sa'o mai le gagana fa'apogai i le gagana fa'atatau, e aunoa ma se fa'aliliuga tu'ufa'atasi ile Igilisi. Mo le fa'atupuina o faiga fa'aliliuga lautele, o le fa'ata'ita'iga o le LID (Language IDentification) ua fa'aopoopoina fo'i ona fa'atūina, lea e mafai ai ona iloa le gagana o lo'o fa'aaogaina. O na. e mafai e le faiga ona otometi ona iloa po o fea le gagana o loʻo tuʻuina atu ai faʻamatalaga ma faʻaliliu i le gagana a le tagata faʻaoga.

Fa'aliliuga e lagolagoina i so'o se itu, i le va o so'o se 200 gagana lagolago. Ina ia faʻamaonia le lelei o le faʻaliliuga i le va o soʻo se gagana, na saunia ai le FLORES-200 faʻataʻitaʻiga seti suʻega, lea na faʻaalia ai o le NLLB-200 faʻataʻitaʻiga i tulaga o le faʻaliliuga lelei o loʻo i luga o le averesi 44% sili atu nai lo suʻesuʻega faʻavae masini suʻesuʻe muamua pe a faʻaaogaina. BLEU metric fa'atusatusaina fa'aliliuga masini ma fa'aliliuga masani a tagata. Mo gagana e le masani ai Aferika ma gagana Initia, o le maualuga maualuga e oʻo atu i le 70%. E mafai ona su'esu'eina va'ai le lelei o le fa'aliliuga i luga o se nofoaga fa'ata'ita'i ua saunia fa'apitoa.

puna: opennet.ru

Faaopoopo i ai se faamatalaga