Ua hoʻopuka ʻo Facebook (kāpae ʻia i ka Russian Federation) i nā hana hoʻomohala o ka papahana NLLB (No Language Left Behind), i manaʻo ʻia e hana i kahi kumu hoʻonaʻauao mīkini āpau no ka unuhi pololei ʻana i nā kikokikona mai kekahi ʻōlelo a i kekahi, e kaʻe ʻana i ka unuhi waena ma ka ʻōlelo Pelekania. ʻO ke kumu hoʻohālike i manaʻo ʻia e uhi ʻia ma mua o 200 mau ʻōlelo, me nā ʻōlelo laha ʻole o ka poʻe ʻApelika a me Australia. ʻO ka pahuhopu nui o ka papahana ʻo ia ka hoʻolako ʻana i kahi ala no ke kamaʻilio ʻana no kēlā me kēia poʻe, me ka nānā ʻole i ka ʻōlelo a lākou e ʻōlelo ai.
Ua laikini ʻia ke kumu hoʻohālike ma lalo o ka laikini Creative Commons BY-NC 4.0, e ʻae ana i ke kope, hoʻohele hou, hana maʻamau, a me nā hana derivative, inā hāʻawi ʻoe i ka hoʻohanohano, mālama i ka laikini, a hoʻohana ia no nā kumu kūʻai ʻole wale nō. Hāʻawi ʻia nā mea hana no ka hana ʻana me nā hiʻohiʻona ma lalo o ka laikini MIT. No ka hoʻoulu ʻana i ka hoʻomohala ʻana me ka hoʻohana ʻana i ke ʻano NLLB, ua hoʻoholo ʻia e hoʻokaʻawale i $200 tausani e hāʻawi i nā haʻawina i nā mea noiʻi.
No ka maʻalahi o ka hana ʻana i nā papahana me ka hoʻohana ʻana i ke kumu hoʻohālike i manaʻo ʻia, ke code o nā noi i hoʻohana ʻia no ka hoʻāʻo ʻana a me ka loiloi ʻana i ka maikaʻi o nā hiʻohiʻona (FLORES-200, NLLB-MD, Toxicity-200), code no nā kumu hoʻomaʻamaʻa a me nā encoders e pili ana i ka waihona LASER3 ( Language-Agnostic SEntence) he kumu wehe hou ia. Representation). Hāʻawi ʻia ka hiʻohiʻona hope i ʻelua mau mana - piha a pōkole. Pono ka mana pōkole i ka liʻiliʻi o nā kumuwaiwai a kūpono no ka hoʻāʻo ʻana a me ka hoʻohana ʻana i nā papahana noiʻi.
ʻAʻole like me nā ʻōnaehana unuhi ʻē aʻe e pili ana i nā ʻōnaehana aʻo mīkini, ʻike ʻia ka hopena o Facebook i ka hāʻawi ʻana i hoʻokahi kumu hoʻohālike maʻamau no nā ʻōlelo 200 āpau, e uhi ana i nā ʻōlelo āpau a ʻaʻole koi i ka hoʻohana ʻana i nā hiʻohiʻona kaʻawale no kēlā me kēia ʻōlelo. Lawe pololei ʻia ka unuhi ʻana mai ka ʻōlelo kumu i ka ʻōlelo i manaʻo ʻia, me ka ʻole o ka unuhi waena i ka ʻōlelo Pelekania. No ka hana ʻana i nā ʻōnaehana unuhi holoʻokoʻa, hāʻawi ʻia kahi ʻano LID (Language IDentification) i hiki ke hoʻoholo i ka ʻōlelo i hoʻohana ʻia. ʻO kēlā mau mea. hiki i ka ʻōnaehana ke hoʻomaopopo i ka ʻōlelo i hāʻawi ʻia ai ka ʻike a unuhi i ka ʻōlelo a ka mea hoʻohana.
Kākoʻo ʻia ka unuhi ʻana ma kekahi ʻaoʻao, ma waena o nā ʻōlelo i kākoʻo ʻia he 200. No ka hōʻoia ʻana i ka maikaʻi o ka unuhi ʻana ma waena o nā ʻōlelo, ua hoʻomākaukau ʻia ka FLORES-200 hōʻike hōʻike hōʻike, i hōʻike ʻia ʻo ka NLLB-200 ma ke ʻano o ka unuhi ʻana ma ka awelika 44% ʻoi aku ka maikaʻi ma mua o nā ʻōnaehana noiʻi e pili ana i ka mīkini aʻo i ka wā e hoʻohana ai. Nā anana BLEU e hoʻohālikelike ana i ka unuhi mīkini me ka unuhi kanaka maʻamau. No nā ʻōlelo ʻApelika liʻiliʻi a me nā ʻōlelo India, ʻoi aku ka maikaʻi o ka maikaʻi i 70%. Hiki ke nānā aku i ka maikaʻi o ka unuhi ʻana ma kahi kahua demo i hoʻomākaukau kūikawā ʻia.
Source: opennet.ru