OpenAI, ib qhov project uas tsim cov project qhib rau pej xeem siv hauv kev txawj ntse ntawm lub hlwb, tau tshaj tawm nws txoj haujlwm ntawm Whisper speech recognition system. Nws hais tias rau cov lus Askiv, lub system no muab cov kev ntseeg siab thiab qhov tseeb ze li ntawm tib neeg paub. Cov code rau kev siv ua piv txwv, raws li PyTorch framework, thiab ib pawg ntawm cov qauv uas tau kawm ua ntej lawm uas npaj siv tau raug tso tawm. Cov code no yog qhib rau pej xeem siv raws li daim ntawv tso cai MIT.
Tus qauv tau cob qhia siv 680,000 teev ntawm cov ntaub ntawv hais lus uas tau sau los ntawm ntau cov khoom sau uas npog ntau hom lus thiab cov ntsiab lus kawm. Kwv yees li ib feem peb ntawm cov ntaub ntawv hais lus siv rau kev cob qhia yog los ntawm lwm hom lus tsis yog lus Askiv. Lub kaw lus uas tau tsim los daws cov xwm txheej xws li kev hais lus meej, suab nrov tom qab, thiab cov lus siv tshuab. Ntxiv nrog rau kev sau cov lus hais rau hauv cov ntawv nyeem, lub kaw lus kuj tseem tuaj yeem txhais cov lus hais los ntawm txhua hom lus mus rau lus Askiv thiab ntes qhov muaj cov lus hais hauv cov suab.
Cov qauv no tau tsim los ua ob qho kev sawv cev: ib qho qauv lus Askiv thiab ib qho qauv ntau hom lus, uas kuj txhawb nqa Lavxias, Ukrainian, thiab Belarusian. Txhua qhov kev sawv cev tau muab faib ua tsib qhov sib txawv, sib txawv ntawm qhov loj me thiab tus lej ntawm cov kev cai uas tus qauv them. Cov qauv loj dua ua rau muaj qhov tseeb dua thiab kev lees paub zoo dua, tab sis kuj tseem muaj qhov yuav tsum tau GPU nco ntau dua thiab kev ua haujlwm qis dua. Piv txwv li, tus qauv tsawg kawg nkaus suav nrog 39 lab cov kev cai thiab xav tau 1 GB ntawm lub cim xeeb video, thaum tus qauv siab tshaj plaws suav nrog 1550 lab cov kev cai thiab xav tau 10 GB ntawm lub cim xeeb video. Tus qauv tsawg kawg nkaus yog 32 npaug sai dua li tus qauv siab tshaj plaws.
Lub kaw lus siv lub "Transformer" neural network architecture, uas suav nrog lub encoder thiab decoder sib cuam tshuam. Lub suab raug faib ua 30-thib ob ntu, hloov mus ua log-Mel spectrogram, thiab pub rau lub encoder. Lub encoder cov zis raug xa mus rau lub decoder, uas kwv yees cov ntawv nyeem sib xyaw nrog cov cim tshwj xeeb, tso cai rau ib tus qauv los daws cov haujlwm xws li kev nrhiav lus, kev hais lus raws sijhawm, kev sau cov lus hais hauv ntau hom lus, thiab kev txhais lus ua lus Askiv.
Tau qhov twg los: opennet.ru
