Ka whakaputahia e Facebook te tauira whakamaori miihini e tautoko ana i nga reo 200

Ko Facebook (kua whakakorehia i roto i te Russian Federation) kua whakaputa i nga whanaketanga o te kaupapa NLLB (Kaore he Reo i mahue i muri), e whai ana ki te hanga i tetahi tauira ako miihini ao mo te whakawhiti tika i nga tuhinga mai i tetahi reo ki tetahi atu, ma te whakawhiti i te whakamaoritanga takawaenga ki te reo Ingarihi. Neke atu i te 200 nga reo i whakaarohia e te tauira, tae atu ki nga reo onge o nga iwi o Awherika me Ahitereiria. Ko te tino whainga o te kaupapa ko te whakarato huarahi korero mo te tangata ahakoa te reo e korero ana.

Kua raihanatia te tauira i raro i te raihana Creative Commons BY-NC 4.0, e whakaae ana ki te kape, te tohatoha ano, te whakaritenga, me nga mahi whakaputa, mena ka hoatu e koe te tohu, te pupuri i te raihana, me te whakamahi mo nga kaupapa kore-arumoni anake. Ko nga taputapu mo te mahi me nga tauira ka whakaratohia i raro i te raihana MIT. Hei whakaihiihi i te whanaketanga ma te whakamahi i te tauira NLLB, i whakatauhia kia toha te $200 mano ki te tuku putea ki nga kairangahau.

Hei whakaiti i te hanganga o nga kaupapa ma te whakamahi i te tauira kua whakaarohia, ko te waehere o nga tono e whakamahia ana mo te whakamatautau me te aromatawai i te kounga o nga tauira (FLORES-200, NLLB-MD, Toxicity-200), waehere mo nga tauira whakangungu me nga encoder i runga i te whare pukapuka LASER3 ( Reo-Agnostic SEntence) he puna tuwhera ano. Representation). Ko te tauira whakamutunga ka tukuna i roto i nga waahanga e rua - ki tonu me te poto. Ko te putanga poto he iti ake nga rauemi, he pai mo te whakamatautau me te whakamahi i nga kaupapa rangahau.

Kaore i rite ki etahi atu punaha whakamaori i runga i nga punaha ako miihini, ko te otinga a Facebook he mea rongonui na te mea he tauira whanui mo nga reo 200 katoa, e kapi ana i nga reo katoa me te kore e tono kia whakamahia nga tauira motuhake mo ia reo. Ko te whakamaoritanga ka mahia tika mai i te reo taketake ki te reo e whaaia ana, kaore he whakamaoritanga takawaenga ki te reo Ingarihi. Hei waihanga i nga punaha whakamaoritanga mo te ao katoa, ka tukuna ano he tauira LID (Language IDentification), e taea ai te whakatau i te reo e whakamahia ana. Ko era. ka taea e te punaha te mohio ki te reo ka tukuna nga korero me te whakamaori ki te reo o te kaiwhakamahi.

Ka tautokohia te whakamaoritanga i nga huarahi katoa, i waenga i nga reo tautoko 200. Hei whakapumau i te kounga o te whakamaoritanga i waenga i nga reo katoa, i whakaritea te huinga tohutoro tohutoro FLORES-200, i whakaatu ko te tauira NLLB-200 mo te kounga o te whakamaori he 44% teitei ake i nga punaha rangahau-akoranga miihini i whakaarohia i mua i te wa e whakamahi ana. Ko nga inenga BLEU e whakatairite ana i te whakamaori miihini me te whakamaoritanga tangata. Mo nga reo o Awherika me nga reo o Inia, ka eke te kounga teitei ki te 70%. Ka taea te arotake kanohi i te kounga o te whakamaoritanga i runga i tetahi pae whakaatu kua whakaritea.

Source: opennet.ru

Tāpiri i te kōrero