Společnost NVIDIA zveřejnila zdrojové kódy StyleGAN3, systému strojového učení založeného na generativní adversariální neuronové síti (GAN), jejímž cílem je syntetizovat realistické obrazy lidských tváří. Kód je napsán v jazyce Python s použitím frameworku PyTorch a je distribuován pod licencí NVIDIA Source Code License, která omezuje použití pro komerční účely.
K dispozici jsou také předem vyškolené modely, které byly trénovány na kolekci Flickr-Faces-HQ (FFHQ), zahrnující 70 tisíc vysoce kvalitních (1024×1024) PNG obrazů lidských tváří. Dále jsou dostupné modely postavené na základě kolekcí AFHQv2 (fotografie zvířecích ksichtů) a Metfaces (obrazy lidských tváří z portrétů klasického malířství). Při vývoji je kladen důraz na tváře, avšak systém může být vytrénován na generaci jakýchkoliv objektů, například krajiny a automobilů. Navíc jsou poskytovány nástroje pro vlastní trénink neuronové sítě na vlastních kolekcích obrázků. Pro fungování je potřeba jedna nebo více grafických karet NVIDIA (doporučuje se GPU Tesla V100 nebo A100), alespoň 12 GB RAM, PyTorch 1.9 a nástrojový kit CUDA 11.1+. Pro detekci umělého charakteru získaných tváří se vyvíjí speciální detektor.
Systém umožňuje syntetizovat obraz nové tváře na základě interpolace vlastností několika tváří, kombinující jim vlastní rysy, a také přizpůsobit konečný obraz potřebnému věku, pohlaví, délce vlasů, charakteru úsměvu, tvaru nosu, barvě pleti, brýlím, úhlu fotografie. Generátor pohlíží na obraz jako na kolekci stylů, automaticky odděluje charakteristické detaily (pihy, vlasy, brýle) od obecných vysoceúrovňových atributů (póza, pohlaví, věkové změny) a umožňuje je kombinovat libovolným způsobem s určením dominantních vlastností prostřednictvím váhových koeficientů. V důsledku toho jsou generovány obrazy, které jsou vizuálně nerozeznatelné od skutečných fotografií.
První verze technologie StyleGAN byla zveřejněna v roce 2019, po které byla v roce 2020 navržena vylepšená verze StyleGAN2, která zlepšila kvalitu obrazů a odstranila některé artefakty. Systém však zůstal statický, tj. neumožňoval realistickou animaci a pohyb tváře. Při vývoji StyleGAN3 byl hlavním cílem přizpůsobení technologie pro použití v animaci a videu.
Ve StyleGAN3 byla použita přepracovaná architektura generování obrazů, zbavená aliasingu, a byly navrženy nové scénáře pro školení neuronové sítě. Součástí jsou nové nástroje pro interaktivní vizualizaci (visualizer.py), analýzu (avg_spectra.py) a generování videa (gen_video.py). Ve zpracování bylo také sníženo využití paměti a zrychlen proces učení.
Klíčovým prvkem architektury StyleGAN3 je přechod k interpretaci všech signálů v neuronové síti ve formě kontinuálních procesů, což umožnilo manipulaci s detaily tím, že relativní pozice nebyly připojeny k absolutním souřadnicím jednotlivých pixelů v obraze, ale byly ukotveny k povrchu zobrazovaných objektů. Ve StyleGAN a StyleGAN2 vedlo připojení k pixelům při generování k problémům s dynamickou vizualizací; například při pohybu obrazu bylo pozorováno nesoulad drobných detailů, jako jsou vrásky a vlasy, které se pohybovaly jakoby odděleně od zbytku obličeje. U StyleGAN3 byly tyto problémy vyřešeny a technologie se stala zcela vhodnou pro tvorbu videa.
Další významnou novinkou je oznámení vytvoření největší jazykové modely MT-NLG společnostmi NVIDIA a Microsoft, která je založena na hluboké neuronové síti s architekturou „transformer“. Model zahrnuje 530 miliard parametrů, a pro jeho školení byl využit klastr, který má 4480 GPU (560 DGX A100 s 8 GPU A100 80GB v každém). servery Mezi oblasti aplikace modelu patří řešení úloh zpracování informací v přirozeném jazyce, jako je předpověď dokončení nedokončené věty, odpovídání na otázky, porozumění textu, vytváření závěrů v přirozeném jazyce a analýza nejednoznačnosti významu slov.
Zdroj: opennet.ru
