NVIDIA avas StyleGAN3 koodi, näo sünteesiks mõeldud masinõppesüsteemi

NVIDIA on avaldanud StyleGAN3 lähtekoodid, mis on generatiivsete vaidlusvõrkude (GAN) põhine masinõppe süsteem, mis on suunatud inimeste nägude realistlike piltide genereerimisele. Kood on kirjutatud Pythonis kasutades PyTorchi raamistiku, ning seda jaotatakse NVIDIA Source Code License litsentsi alusel, mis seab piiranguid kaubanduslikuks kasutamiseks.

Laadimiseks on saadaval ka valmis treenitud mudelid, mis on koolitatud Flickr-Faces-HQ (FFHQ) kogu peal, mis sisaldab 70 000 kõrgekvaliteedilist (1024×1024) PNG-pilti inimeste nägudest. Lisaks on saadaval mudelid, mis põhinevad AFHQv2 (loomade näopildid) ja Metfaces (inimeste näod klassikalise maalikunsti portreedest) kogudel. Arendamisel keskendutakse nägudele, kuid süsteem on võimalik koolitada ka mis tahes objektide, näiteks maastike ja autode, genereerimiseks. Samuti on saadaval tööriistad, et ise koolitada tehisintellekti oma pildikogude põhjal. Tööks on vaja ühte või mitut NVIDIA graafikakaarti (soovitatav on GPU Tesla V100 või A100), vähemalt 12 GB RAM-i, PyTorch 1.9 ja CUDA 11.1+ tööriistakomplekti. Generaatori tehislikkuse määramiseks arendatakse spetsiaalset detektorit.

Süsteem võimaldab genereerida uue näo pilti, kasutades erinevate nägude omaduste interpolatsiooni, kombineerides neile iseloomulikke jooni ning kohandades lõpppilti vastavalt vajalikule vanusele, soole, juuste pikkusele, naeratuse iseloomule, nina kujule, nahatooni, prillidele ja foto nurkadele. Generaator käsitleb pilti stiilide kogumina, eraldades automaatselt eristavaid detaile (kortsud, juuksed, prillid) kõrgetasemelistest atribuutidest (poos, sugu, vanuse muutused) ja võimaldab neid vabalt kombineerida, määrates domineerivad omadused kaalukordade kaudu. Tulemuseks on pildid, mis on väliselt eristamatud tõelistest fotodest.

Esimene StyleGAN tehnoloogia versioon avaldati 2019. aastal, millele järgnes 2020. aastal täiendatud väljaanne StyleGAN2, mis võimaldab saavutada paremat pildikvaliteeti ja kõrvaldada teatud artefaktid. Samas jäi süsteem staatiliseks, st ei võimaldanud saavutada realistlikku animatsiooni ega näo liikumist. StyleGAN3 arendamisel oli peamine eesmärk tehnoloogia kohandamine selleks, et seda saaks kasutada animatsioonis ja videos.

StyleGAN3-s on kasutatud ümber töötatud pildigeneratsiooni arhitektuuri, mis on vaba aliasing'ust, ning pakutud uusi stsenaariume närvivõrgu koolitamiseks. Uute utiliitide hulka kuuluvad interaktiivse visualiseerimise (visualizer.py), analüüsi (avg_spectra.py) ja video genereerimise (gen_video.py) uued tööriistad. Rakenduses on ka vähendatud mälu tarbimist ja kiirendatud koolituse protsessi.

StyleGAN3 arhitektuuri peamine tunnusjoon on üleminek kõigi signaalide tõlgendamisele närvivõrgus pidevate protsessidena, mille kaudu sai detailide loomisel manipuleerida suhteliste positsioonidega, mis ei olnud seotud üksikute pikslite absoluutsete koordinaatidega, vaid olid kinnitatud kujutatud objektide pinnale. StyleGANis ja StyleGAN2-s viis pikslite sidumine genereerimise käigus dünaamilise visualiseerimise probleemideni; näiteks pildi liikumisel täheldati väikeste detailide, nagu kortsud ja karvad, lahknevust, mis liikusid justkui eraldi ülejäänud näost. StyleGAN3 lahendab need probleemid ja tehnoloogia on nüüd täiesti sobiv video genereerimiseks.

Lisaks võib märkida, et ettevõtted NVIDIA ja Microsoft kuulutasid välja suurima keelemudeli MT-NLG loomisest, mis põhineb sügaval närvivõrgul „transformeri“ arhitektuuriga. Mudel hõlmab 530 miljardit parameetrit ja selle koolitamiseks kasutati 4480 GPU (560 DGX A100 8 GPU A100 80GB igaühes) klastrit. serverid Mudeli rakendusaladeks on näiteks loomuliku keele töötlemise ülesannete lahendamine, nagu lõpetamata lause ennustamine, küsimustele vastamine, loetud teksti mõistmine, loomuliku keele väljundite genereerimine ja sõnade tähenduse mitm tähenduslikkuse lahendamine.

Allikas: opennet.ru