OpenAI projekt, mis tegeleb avalike tehisintellekti projektide arendamisega, on avaldanud arendustööd, mis puudutavad kõnetuvastuse süsteemi Whisper. Väidetavalt saavutab süsteem ingliskeelse kõne automaatse tuvastamise täpsuse ja usaldusväärsuse tasemed, mis on inimese poolt tuvastamisega sarnased. Avatud on kood viidatud teostusele PyTorch raamistikul ja kogum juba väljaõpetatud mudelitest, mis on kasutamiseks valmis. Kood on avalik all Licensit MIT.
Mudeli koolitamiseks kasutati 680 000 tunni ulatuses kõnedaata, mis on kogutud mitmest kogumist, hõlmates erinevaid keeli ja teemaalasid. Ligikaudu 1/3 koolituses kasutatud kõnedaadist on erinevatest keeltest peale inglise. Pakutav süsteem suudab õigesti käsitleda selliseid olukordi nagu aktsentide esitamine, taustamüra olemasolu ja tehnilise žargooni kasutamine. Lisaks kõne transkribeerimisele tekstiks suudab süsteem ka tõlkida kõne mis tahes keeles inglise keelde ja tuvastada kõne esinemise helivoos.
Mudelid on loodud kahes vormingus: inglise keele mudel ja mitmekeelne mudel, mis toetab ka vene, ukraina ja valgevene keeli. Iga esituse osas on olemas 5 varianti, mis erinevad suuruse ja mudelis hõlmatud parameetrite arvu poolest. Mida suurem on suurus, seda suurem on täpsus ja kvaliteet, kuid sellega kaasnevad ka kõrgemad nõudmised GPU videomälu suurusele ja madalamad jõudlusnäitajad. Näiteks minimaalne variant hõlmab 39 miljonit parameetrit ja nõuab 1 GB videomälu, samas kui maksimaalne variant hõlmab 1550 miljonit parameetrit ja nõuab 10 GB videomälu. Minimaalne variant on 32 korda kiiremini kui maksimaalne.
Süsteemis kasutatakse 'Transformer' nimelist närvivõrgu arhitektuuri, mis koosneb omavahel suhtlevatest kodeerijast ja dekodeerijast. Hääl jagatakse 30-sek 描述е tükkideks, mis muudetakse log-Mel-spektriks ja edastatakse kodeerijale. Kodeerija töö tulemused suunatakse dekodeerijale, mis ennustab tekstilist esitust, segatuna spetsiaalsete tokenitega, mis võimaldavad ühes ühises mudelis lahendada selliseid ülesandeid nagu keele määramine, kõne fraaside hääldamise ajakava järgimine, kõne transkribeerimine erinevates keeltes ja tõlkimine inglise keelde.
Allikas: opennet.ru
