Txoj haujlwm OpenAI, uas tsim cov phiaj xwm pej xeem hauv thaj chaw ntawm kev txawj ntse, tau tshaj tawm cov kev txhim kho ntsig txog Whisper hais lus lees paub. Nws tau thov tias kev hais lus hauv lus Askiv lub kaw lus muab qib kev ntseeg tau thiab qhov tseeb ntawm kev lees paub tsis siv neeg ze rau tib neeg kev lees paub. Txoj cai rau kev siv raws li PyTorch lub moj khaum thiab ib txheej ntawm cov qauv uas twb tau kawm lawm, npaj rau siv, tau qhib. Txoj cai qhib raws li daim ntawv tso cai MIT.
Txhawm rau cob qhia tus qauv, 680 txhiab teev cov ntaub ntawv hais lus tau siv, sau los ntawm ntau qhov kev sau uas suav nrog ntau hom lus thiab cov ncauj lus. Kwv yees li 1/3 ntawm cov ntaub ntawv hais lus koom nrog hauv kev cob qhia yog hom lus uas tsis yog lus Askiv. Cov txheej txheem tau hais kom raug tswj xyuas cov xwm txheej xws li kev hais tawm suab nrov, suab nrov tom qab, thiab kev siv cov jargon technical. Ntxiv nrog rau kev sau cov lus rau hauv cov ntawv nyeem, lub kaw lus tseem tuaj yeem txhais cov lus los ntawm txhua hom lus rau hauv lus Askiv thiab kuaj pom qhov tshwm sim ntawm kev hais lus hauv lub suab.
Cov qauv yog tsim nyob rau hauv ob qho kev sawv cev: tus qauv rau lus Askiv thiab ntau hom lus, uas kuj txhawb Lavxias, Ukrainian thiab Belarusian lus. Nyob rau hauv lem, txhua tus sawv cev tau muab faib ua 5 kev xaiv, txawv qhov loj thiab tus naj npawb ntawm cov tsis muaj nyob rau hauv tus qauv. Qhov loj dua qhov loj, qhov ntau dua qhov tseeb thiab qhov zoo ntawm kev lees paub, tab sis kuj yog qhov siab dua qhov yuav tsum tau ua rau qhov loj ntawm GPU video nco thiab qhov ua haujlwm qis dua. Piv txwv li, qhov kev xaiv yam tsawg kawg nkaus suav nrog 39 lab tsis tau thiab yuav tsum muaj 1 GB ntawm kev nco video, thiab qhov siab tshaj plaws suav nrog 1550 lab tsis tau thiab xav tau 10 GB ntawm kev nco video. Qhov kev xaiv tsawg kawg yog 32 lub sij hawm sai dua qhov siab tshaj plaws.
Lub kaw lus siv Transformer neural network architecture, uas suav nrog tus encoder thiab decoder uas cuam tshuam nrog ib leeg. Lub suab tau tawg mus rau hauv 30-thib ob chunks, uas yog hloov dua siab tshiab rau hauv lub cav-Mel spectrogram thiab xa mus rau lub encoder. Cov zis ntawm lub encoder yog xa mus rau lub decoder, uas kwv yees cov ntawv sawv cev sib xyaw nrog cov cim tshwj xeeb uas tso cai rau, nyob rau hauv ib qho qauv, los daws cov teeb meem xws li kev tshawb nrhiav lus, accounting rau chronology ntawm kev hais lus ntawm kab lus, transcription ntawm kev hais lus nyob rau hauv. ntau hom lus, thiab txhais ua lus Askiv.
Tau qhov twg los: opennet.ru