Morero oa OpenAI, o hlahisang merero e fumanehang phatlalatsa lefapheng la bohlale ba maiketsetso, o phatlalalitse tsoelo-pele e amanang le mokhoa oa ho lemoha puo ea Whisper. Ho boleloa hore bakeng sa puo ea Senyesemane, tsamaiso e fana ka maemo a ho tšepahala le ho nepahala ha kananelo e itekanetseng e haufi le ho elelloa batho. Khoutu ea ts'ebetsong ea litšupiso e thehiloeng ho moralo oa PyTorch le sete ea mefuta e seng e koetlisitsoe e seng e loketse ho sebelisoa e bulehile. Khoutu e butsoe tlasa laesense ea MIT.
Moetso ona o koetliselitsoe ho sebelisa lihora tse 680 tsa data ea puo e bokelletsoeng ho tsoa likolekeng tse 'maloa tse buang ka lipuo tse fapaneng le libaka tsa thuto. Hoo e ka bang 1/3 ea data ea puo e sebelisoang thupelong e tsoa lipuong tse ling ntle le Senyesemane. Sistimi e reriloeng e sebetsana ka nepo le maemo a kang ho bitsa mantsoe ka mokhoa o hlakileng, ho ba teng ha lerata le ka morao, le tšebeliso ea mantsoe a litsebo tsa theknoloji. Ntle le ho fetolela puo ho sengoloa, sistimi e ka fetolela puo ho tsoa puong efe kapa efe ho ea Senyesemaneng le ho lemoha ho hlaha ha puo molapong oa molumo.
Mehlala e entsoe ka liemeli tse peli: mohlala oa puo ea Senyesemane le mohlala oa lipuo tse ngata o tšehetsang Serussia, Seukraine le Belarusian. Ka lehlakoreng le leng, setšoantšo se seng le se seng se arotsoe ka mefuta e 5 e fapaneng ka boholo le palo ea liparamente tse koahetsoeng ke mohlala. Ha boholo bo le boholo, ho nepahala le boleng ba ho tsebahala, empa hape le litlhoko tse phahameng tsa boholo ba memori ea video ea GPU le ts'ebetso e tlaase. Ka mohlala, phapang e fokolang e kenyelletsa li-parameter tse limilione tse 39 'me e hloka 1 GB ea memori ea video,' me boholo bo kenyelletsa li-parameter tse limilione tse 1550 'me bo hloka 10 GB ea memori ea video. Phapang e fokolang ke makhetlo a 32 ka potlako ho feta boholo.
Sistimi ena e sebelisa meralo ea marang-rang ea Transformer neural network, e kenyelletsang encoder le decoder tse sebetsanang. Molumo o arotsoe ka likaroloana tsa metsotsoana e 30, tse fetoloang ho log-Mel spectrogram ebe e fetisetsoa ho encoder. Phaello ea khouto e romelloa ho sehatisi, se bolelang esale pele tlhahiso ea mongolo e tsoakiloeng le matšoao a ikhethileng a lumellang mofuta o le mong o tloaelehileng ho rarolla mathata a joalo ka ho lemoha puo, tlaleho ea tatellano ea mantsoe a poleloana, ho ngoloa ha puo ka lipuo tse fapaneng, le ho fetolela Senyesemane.
Source: opennet.ru
