Facebook (tseem txwv nyob rau hauv Lavxias teb sab Federation) tau tshaj tawm cov kev txhim kho ntawm NLLB (Tsis Muaj Lus Left Behind) qhov project, aimed ntawm tsim ib tug universal tshuab kev kawm qauv rau ncaj qha txhais cov ntawv ntawm ib hom lus mus rau lwm tus, bypassing intermediate txhais ua lus Askiv. Cov qauv tsim no suav nrog ntau dua 200 hom lus, suav nrog cov lus tsis tshua muaj neeg African thiab Australian. Lub hom phiaj kawg ntawm txoj haujlwm yog los muab txoj hauv kev rau kev sib txuas lus rau txhua tus neeg, tsis hais hom lus twg lawv hais.
Tus qauv muaj ntawv tso cai raws li Creative Commons BY-NC 4.0 daim ntawv tso cai, uas tso cai rau luam tawm, rov faib dua, kho kom haum, thiab ua haujlwm tau zoo, yog tias koj muab cov khoom siv, tuav daim ntawv tso cai, thiab siv rau cov hom phiaj tsis yog lag luam nkaus xwb. Cov cuab yeej rau kev ua hauj lwm nrog cov qauv yog muab nyob rau hauv daim ntawv tso cai MIT. Txhawm rau txhawb kev txhim kho siv NLLB qauv, nws tau txiav txim siab faib $ 200 txhiab los muab nyiaj pab rau cov kws tshawb fawb.
Txhawm rau ua kom yooj yim ntawm kev tsim cov haujlwm uas siv cov qauv npaj, cov cai ntawm cov ntawv thov siv rau kev sim thiab ntsuas cov qauv zoo (FLORES-200, NLLB-MD, Toxicity-200), code rau cov qauv kev cob qhia thiab encoders raws li LASER3 lub tsev qiv ntawv ( Lus-Agnostic SEntence) kuj yog qhib qhov chaw. Sawv cev). Cov qauv kawg yog muaj nyob rau hauv ob versions - tag nrho thiab luv luv. Cov ntawv luv luv yuav tsum muaj peev txheej tsawg dua thiab tsim nyog rau kev sim thiab siv hauv cov haujlwm tshawb fawb.
Tsis zoo li lwm cov kev txhais lus raws li cov tshuab kev kawm, Facebook qhov kev daws teeb meem tseem ceeb yog tias nws muaj ib qho qauv rau tag nrho 200 hom lus, suav nrog txhua hom lus thiab tsis tas yuav tsum siv cov qauv sib cais rau txhua hom lus. Kev txhais lus yog nqa tawm ncaj qha los ntawm lub hauv paus lus mus rau hom lus, yam tsis muaj kev txhais lus nruab nrab hauv lus Askiv. Txhawm rau tsim cov kev txhais lus thoob ntiaj teb, tus qauv LID (Language IDentification) yog ntxiv, uas tso cai rau ib tus los txiav txim seb hom lus siv. Cov. lub kaw lus tuaj yeem paub txog hom lus twg cov ntaub ntawv raug muab thiab txhais ua tus neeg siv hom lus.
Kev txhais lus tau txais kev txhawb nqa nyob rau hauv ib qho kev taw qhia, ntawm ib qho ntawm 200 hom lus txhawb nqa. Txhawm rau kom paub meej qhov zoo ntawm kev txhais lus ntawm txhua hom lus, FLORES-200 siv cov kev sim ntsuas tau npaj, uas pom tau tias tus qauv NLLB-200 hais txog kev txhais lus zoo yog qhov nruab nrab 44% zoo dua rau yav dhau los tau npaj siv tshuab kev kawm-raws li kev tshawb fawb tshuab thaum siv. BLEU metrics sib piv tshuab txhais lus nrog tus qauv neeg txhais lus. Rau cov lus tsis tshua muaj neeg African thiab cov lus Indian, qhov zoo tshaj plaws mus txog 70%. Nws yog qhov ua tau kom pom qhov ntsuas qhov zoo ntawm qhov kev txhais lus ntawm qhov chaw tshwj xeeb npaj demo.
Tau qhov twg los: opennet.ru