Facebook (e thibetsoeng Russia Federation) e phatlalalitse tsoelo-pele ea morero oa NLLB (No Language Left Behind), e reretsoeng ho theha mokhoa oa ho ithuta oa mochine oa bokahohle bakeng sa ho fetolela mongolo ka ho toba ho tloha puong e 'ngoe ho ea ho e' ngoe, ho feta phetolelo ea mahareng ho Senyesemane. Moetso o reriloeng o akaretsa lipuo tse fetang 200, ho kenyeletsoa lipuo tse sa tloaelehang tsa batho ba Afrika le Australia. Sepheo se seholo sa morero ke ho fana ka mokhoa oa puisano bakeng sa batho leha e le bafe, ho sa tsotellehe puo eo ba e buang.
Moetso ona o filoe laesense tlas'a laesense ea Creative Commons BY-NC 4.0, e lumellang ho kopitsa, kabo botjha, ho itlhophisa, le mesebetsi e ntjha, ha feela o fana ka tlhahiso, o hlokomela laesense, mme o e sebedisetse merero e seng ya kgwebo feela. Lisebelisoa tsa ho sebetsa le mehlala li fanoe tlas'a laesense ea MIT. Ho khothaletsa nts'etsopele ho sebelisa mohlala oa NLLB, ho ile ha etsoa qeto ea ho fana ka $ 200 sekete ho fana ka lithuso ho bafuputsi.
Ho nolofatsa pōpo ea merero e sebelisang mohlala o reriloeng, khoutu ea likopo tse sebelisetsoang ho hlahloba le ho hlahloba boleng ba mehlala (FLORES-200, NLLB-MD, Toxicity-200), khoutu ea mekhoa ea koetliso le li-encoder tse thehiloeng ho laebraring ea LASER3 ( Puo ea Puo-Agnostic) ke mohloli o bulehileng hape. Boemeli). Mohlala oa ho qetela o fanoa ka liphetolelo tse peli - e tletseng le e khutsufalitsoeng. Phetolelo e khutsufalitsoeng e hloka lisebelisoa tse fokolang 'me e loketse ho hlahlojoa le ho sebelisoa mererong ea lipatlisiso.
Ho fapana le litsamaiso tse ling tsa phetolelo tse ipapisitseng le litsamaiso tsa ho ithuta ka mochini, tharollo ea Facebook e bohlokoa ka hore e fana ka mofuta o le mong o akaretsang bakeng sa lipuo tsohle tse 200, e akaretsang lipuo tsohle mme e sa hloke tšebeliso ea mefuta e arohaneng ea puo ka 'ngoe. Phetolelo e etsoa ka ho toba ho tloha puong eo ho buuoang ka eona ho ea puong eo ho fetoleloang ho eona, ntle le ho fetolela Senyesemaneng. Ho theha litsamaiso tsa ho fetolela lefatšeng ka bophara, ho etsoa tlhahiso ea mofuta oa LID (Language IDentification), e leng se etsang hore ho khonehe ho tseba puo e sebelisitsoeng. Tseo. sistimi e ka lemoha ka bo eona hore na tlhahisoleseling e fanoe ka puo efe mme ea e fetolela puong ea mosebelisi.
Phetolelo e tšehetsoa ka tsela efe kapa efe, lipakeng tsa lipuo tse 200 tse tšehetsoeng. Ho netefatsa boleng ba phetolelo lipakeng tsa lipuo life kapa life, ho ile ha lokisoa sete ea tlhahlobo ea litšupiso ea FLORES-200, e bonts'itseng hore mohlala oa NLLB-200 ho latela boleng ba phetolelo ka karolelano e phahame ka 44% ho feta litsamaiso tsa lipatlisiso tse neng li reriloe nakong e fetileng ha o sebelisa. Metrics ea BLEU e bapisang phetolelo ea mochini le phetolelo e tloaelehileng ea batho. Bakeng sa lipuo tse sa tloaelehang tsa Afrika le lipuo tsa Maindia, boleng ba boleng bo fihla ho 70%. Hoa khoneha ho lekola boleng ba phetolelo sebakeng sa demo se lokisitsoeng ka ho khetheha.
Source: opennet.ru