OpenAI projekt, mis tegeleb avatud projektide arendamisega tehisintellekti vallas, on avaldanud tööd, mis on seotud kõnetuvastussüsteemiga Whisper. Seda väidetakse, et süsteem tagab ingliskeelse kõne automaatse tuvastamise usaldus- ja täpsustaseme, mis on lähedane inimese detekteerimisele. Kood avatud standardse teostuse jaoks, mis põhineb PyTorch raamistikul, ning komplekt juba koolitatud mudelitest, mis on kasutamiseks valmis. Kood on avatud MIT litsentsi alusel.
Mudeli treenimiseks kasutati 680 000 tunni kõneandmeid, mis on kogutud erinevatest kollektsioonidest, hõlmates erinevaid keeli ja teema valdkondi. Umbes 1/3 koolitusprotsessis kasutatud kõneandmetest kuulub keeltele, mis ei ole inglise keel. Pakutav süsteem käsitleb õigesti selliseid olukordi nagu aktsendiga hääldus, taustamüra olemasolu ja tehnilise žargooni kasutamine. Lisaks kõne transkribeerimisele tekstiks, suudab süsteem ka tõlkida kõnet ükskõik milliselt keelt inglise keelde ja tuvastada kõne ilmumist helivoos.
Mudelite väljatöötamine toimub kahes esitusviisis: inglise keele mudel ja mitmekeelne mudel, mis toetab sealhulgas vene, ukraina ja valgevene keeli. Iga esitus jaguneb omakorda 5 variandi vahel, mis erinevad suuruse ja mudelis katvuse parameetrite arvu poolest. Mida suurem on suurus, seda suurem on täpsus ja kvaliteet, kuid ka kõrgemad nõudmised GPU videomälu suurusele ning madalam jõudlus. Näiteks minimaalne variant sisaldab 39 miljonit parameetrit ja vajab 1 GB videomälu, samas suurim variant sisaldab 1550 miljonit parameetrit ja vajab 10 GB videomälu. Minimaalne variant on 32 korda kiirem kui maksimaalne.
Süsteemis kasutatakse "Transformer" neurovõrgustiku arhitektuuri, mis sisaldab omavahel suhtlevat kodeerijat ja dekodeerijat. Hääl jagatakse 30-sekundiliseks lõiguks, mis muudetakse log-Mel-spektrogrammiks ja edastatakse kodeerijale. Kodeerija töö tulemused saadetakse dekodeerijale, mis ennustab tekstiliselt esitatud versiooni koos spetsiaalsete tokenitega, mis võimaldavad ühises mudelis lahendada selliseid ülesandeid nagu keele määramine, fraaside hääldusjärgse ajakava arvestamine, kõnede transkribeerimine erinevates keeltes ja tõlkimine inglise keelde.
Allikas: opennet.ru
