Ny tetikasa OpenAI, izay mamolavola tetikasam-panjakana eo amin'ny sehatry ny faharanitan-tsaina artifisialy, dia namoaka fivoarana mifandraika amin'ny rafitra famantarana ny kabary Whisper. Voalaza fa ho an'ny kabary amin'ny teny anglisy ny rafitra dia manome ny haavon'ny fahatokisana sy ny fahamarinan'ny fanekena mandeha ho azy akaiky ny fankatoavan'ny olombelona. Nosokafana ny kaody ho an'ny fampiharana reference mifototra amin'ny rafitra PyTorch sy andiana modely efa voaofana, vonona hampiasaina. Ny kaody dia misokatra eo ambanin'ny lisansa MIT.
Mba hampiofanana ny maodely, 680 arivo ora ny angon-drakitra kabary no nampiasaina, nangonina avy amin'ny fanangonana maromaro mirakitra fiteny sy lohahevitra samihafa. Manodidina ny 1/3 amin'ny angona kabary tafiditra amin'ny fiofanana dia amin'ny fiteny hafa ankoatry ny teny anglisy. Ny rafitra natolotra dia mitantana tsara ny toe-javatra toy ny fanononana accent, ny tabataba ambadika, ary ny fampiasana teny teknika. Ho fanampin'ny fandikana ny lahateny ho lahatsoratra, ny rafitra dia afaka mandika teny avy amin'ny fiteny rehetra ho amin'ny teny anglisy ary mahita ny fisehon'ny kabary ao amin'ny onjam-peo.
Miforona amin'ny endrika roa ireo maodely: maodely ho an'ny teny anglisy ary modely amin'ny fiteny maro, izay manohana ny fiteny Rosiana, Okrainiana ary Belarosiana ihany koa. Ho setrin'izany, ny fanehoana tsirairay dia mizara ho safidy 5, tsy mitovy amin'ny habeny sy ny isan'ny masontsivana voarakotry ny modely. Ny lehibe kokoa ny habeny, ny lehibe kokoa ny marina sy ny kalitaon'ny fankatoavana, fa koa ny ambony ny fepetra takiana amin'ny haben'ny GPU fahatsiarovana lahatsary sy ny ambany ny fampisehoana. Ohatra, ny safidy faran'izay kely dia misy mari-pamantarana 39 tapitrisa ary mitaky fitadidiana horonan-tsary 1 GB, ary ny ambony indrindra dia misy mari-pamantarana 1550 tapitrisa ary mila fitadidiana horonantsary 10 GB. Ny safidy kely indrindra dia 32 heny haingana noho ny ambony indrindra.
Ny rafitra dia mampiasa ny rafitry ny tambajotra neural Transformer, izay misy encoder sy decoder mifandray amin'ny tsirairay. Ny feo dia tapaka ho 30 segondra, izay avadika ho log-Mel spectrogram ary alefa any amin'ny encoder. Ny vokatra avy amin'ny encoder dia alefa any amin'ny decoder, izay maminavina ny fanehoana lahatsoratra mifangaro amin'ny famantarana manokana izay mamela, amin'ny maodely iray amin'ny ankapobeny, hamaha olana toy ny fitadiavana fiteny, kaonty momba ny fizaran'ny fanononana ny andian-teny, fandikana ny kabary amin'ny fiteny samihafa, ary fandikana amin'ny teny anglisy.
Source: opennet.ru