NVIDIA zverejnila zdrojový kód pre StyleGAN3, systém strojového učenia založený na generatívnej adversariálnej neurónovej sieti (GAN), ktorej cieľom je syntetizovať realistické obrázky tvárí ľudí. Kód je napísaný v Pythone pomocou frameworku PyTorch a je distribuovaný pod licenciou NVIDIA Source Code License, ktorá ukladá obmedzenia na komerčné použitie.
Na stiahnutie sú k dispozícii aj hotové trénované modelky trénované na kolekcii Flickr-Faces-HQ (FFHQ), ktorá obsahuje 70 tisíc vysokokvalitných (1024x1024) PNG obrázkov tvárí ľudí. Okrem toho existujú modely postavené na základe kolekcií AFHQv2 (fotografie tvárí zvierat) a Metfaces (obrázky tvárí ľudí z portrétov klasickej maľby). Vývoj sa zameriava na tváre, ale systém možno trénovať na generovanie akýchkoľvek objektov, ako sú krajiny a autá. Okrem toho sú k dispozícii nástroje na samotrénovanie neurónovej siete pomocou vlastných zbierok obrázkov. Vyžaduje jednu alebo viac grafických kariet NVIDIA (odporúča sa Tesla V100 alebo A100 GPU), aspoň 12 GB RAM, PyTorch 1.9 a sadu nástrojov CUDA 11.1+. Na určenie umelej povahy výsledných tvárí sa vyvíja špeciálny detektor.
Systém umožňuje syntetizovať obraz novej tváre na základe interpolácie čŕt viacerých tvárí, kombinovaním ich charakteristických čŕt, ako aj prispôsobenie výsledného obrazu požadovanému veku, pohlaviu, dĺžke vlasov, charakteru úsmevu, tvaru nosa, farba pleti, okuliare a uhol fotografie. Generátor považuje obrázok za kolekciu štýlov, automaticky oddeľuje charakteristické detaily (pehy, vlasy, okuliare) od bežných atribútov na vysokej úrovni (póza, pohlavie, zmeny veku) a umožňuje ich kombinovať v akejkoľvek forme s určením dominanty. vlastnosti prostredníctvom váhových koeficientov. Výsledkom sú obrázky, ktoré sú na nerozoznanie od skutočných fotografií.
Prvá verzia technológie StyleGAN bola zverejnená v roku 2019, po ktorej bolo v roku 2020 navrhnuté vylepšené vydanie StyleGAN2, ktoré umožňuje lepšiu kvalitu obrazu a odstraňuje niektoré artefakty. Systém zároveň zostal statický, t.j. neumožňoval dosiahnuť realistickú animáciu a pohyb tváre. Pri vývoji StyleGAN3 bolo hlavným cieľom prispôsobiť technológiu pre jej použitie v animácii a videu.
StyleGAN3 využíva prepracovanú architektúru generovania obrázkov bez aliasingu a navrhuje nové scenáre tréningu neurónových sietí. Zahŕňa nové nástroje na interaktívnu vizualizáciu (visualizer.py), analýzu (avg_spectra.py) a generovanie videa (gen_video.py). Implementácia tiež znižuje spotrebu pamäte a urýchľuje proces učenia.
Kľúčovou vlastnosťou architektúry StyleGAN3 bol prechod na interpretáciu všetkých signálov v neurónovej sieti formou kontinuálnych procesov, čo umožnilo pri formovaní dielov manipulovať s relatívnou polohou, ktorá nie je viazaná na absolútne súradnice jednotlivých pixelov v obraz, ale pripevnený k povrchu zobrazovaných predmetov. V StyleGAN a StyleGAN2 viedla väzba k pixelom počas generovania k problémom pri dynamickom vykresľovaní, napríklad keď sa obraz pohyboval, dochádzalo k nesúladu malých detailov, ako sú vrásky a chĺpky, ktoré sa akoby pohybovali oddelene od zvyšku tváre. . V StyleGAN3 sú tieto problémy vyriešené a technológia sa stala celkom vhodnou na generovanie videa.
Okrem toho stojí za zmienku oznámenie spoločností NVIDIA a Microsoft o vytvorení najväčšieho jazykového modelu MT-NLG, založeného na hlbokej neurónovej sieti s architektúrou „transformátora“. Model pokrýva 530 miliárd parametrov a klaster 4 480 GPU (560 serverov DGX A100 (každý s ôsmimi grafickými procesormi A100 s kapacitou 80 GB) sa používa na úlohy spracovania prirodzeného jazyka, ako je predikcia dokončovania viet, odpovedanie na otázky, porozumenie čítanému textu, inferencia prirodzeného jazyka a analýza nejednoznačnosti slov.
Zdroj: opennet.ru
