Projekt OpenAI, koji se bavi razvojem javnih projekata u području umjetne inteligencije, objavio je rezultate vezane uz sustav prepoznavanja govora Whisper. Tvrdnja je da sustav osigurava razine pouzdanosti i točnosti automatskog prepoznavanja govora na engleskom jeziku koje su bliske prepoznavanju od strane ljudi. Izvorni kod referentne implementacije temeljen na PyTorch okviru i skup već obučenih modela koji su spremni za korištenje su otvoreni. Kod je otvoren pod MIT licencom.
Za obuku modela korišteno je 680 tisuća sati audio podataka prikupljenih iz nekoliko zbirki koje obuhvaćaju različite jezike i tematska područja. Oko 1/3 korištenih audio podataka tijekom obuke odnosi se na jezike različite od engleskog. Predloženi sustav ispravno obrađuje situacije poput izgovora s naglaskom, prisutnosti pozadinske buke i korištenja tehničkog žargona. Osim transkripcije govora u tekst, sustav također može prevoditi govor s bilo kojeg jezika na engleski jezik i prepoznati pojavu govora u zvučnom toku.
Modeli su formirani u dva prikazivanja: model za engleski jezik i višejezični model koji podržava, između ostalog, ruski, ukrajinski i bijeloruski jezik. Svako prikazivanje je dodatno podijeljeno na 5 varijanti, koje se razlikuju prema veličini i broju parametara obuhvaćenih u modelu. Što je veća veličina, to je veća točnost i kvaliteta prepoznavanja, ali i veći zahtjevi za veličinom video memorije GPU-a te niža performansa. Na primjer, minimalna varijanta uključuje 39 milijuna parametara i zahtijeva 1 GB video memorije, dok maksimalna uključuje 1550 milijuna parametara i zahtijeva 10 GB video memorije. Minimalna varijanta je 32 puta brža od maksimalne.
Sustav koristi arhitekturu neuronske mreže „Transformer“, koja uključuje međusobno djelovanje kodera i dekodera. Zvuk se dijeli na 30-sekundne isječke, koji se pretvaraju u log-Mel spektrogram i šalju kodera. Rezultat rada kodera prosljeđuje se dekoderu, koji predviđa tekstualnu reprezentaciju, pomiješanu sa specijalnim tokenima, koji omogućuju rješavanje zadataka kao što su određivanje jezika, praćenje kronologije izgovora fraza, transkripcija govora na različitim jezicima i prijevod na engleski jezik.
Izvor: opennet.ru
