Az NVIDIA közzétette a StyleGAN3 forráskódját, egy generatív ellenséges neurális hálózaton (GAN) alapuló gépi tanulási rendszert, amely a realisztikus emberi arcok képeinek szintézisére összpontosít. A kód Python nyelven készült a PyTorch keretrendszer használatával, és az NVIDIA Forráskód Licenc alatt terjesztik, amely kereskedelmi célú felhasználásra vonatkozó korlátozásokat tartalmaz.
Elérhetők előképzett modellek is, amelyeket a Flickr-Faces-HQ (FFHQ) gyűjteményen edzettek, amely 70 ezer, magas minőségű (1024×1024) PNG-formátumú emberi arcképet tartalmaz. Ezen kívül találhatók olyan modellek is, amelyek az AFHQv2 (állati fotók) és a Metfaces (klasszikus festmények portréiból származó emberi arcképek) gyűjteményeken alapulnak. A fejlesztés középpontjában az arcok állnak, de a rendszer bármilyen objektum, például tájak és autók generálására is képes. Továbbá eszközöket biztosítanak a neurális hálózat saját gyűjteményeken történő önálló tanításához. A működéshez egy vagy több NVIDIA grafikus kártya szükséges (ajánlott GPU Tesla V100 vagy A100), legalább 12 GB RAM, PyTorch 1.9 és CUDA 11.1+ eszközkészlet. A kapott arcok mesterséges jellegének meghatározására speciális detektort fejlesztenek.
A rendszer lehetővé teszi új arcok képeinek szintézisét több arc jellemzőinek interpolálása alapján, kombinálva azok tulajdonságait, és az elkészített képet az életkor, nem, hajhossz, mosoly típusa, orr formája, bőrszín, szemüveg és fényképezési szög igényeire is alakítva. A generátor úgy tekinti a képet, mint stílusok gyűjteményét, automatikusan elkülöníti a jellemző részleteket (önálló árnyékok, haj, szemüveg) a közös, magas szintű attribútumoktól (testtartás, nem, életkor), és lehetővé teszi ezek tetszőleges kombinálását a domináló tulajdonságok súlyozásával. Ennek eredményeként olyan képek generálódnak, amelyek látszólag megkülönböztethetetlenek a valódi fényképektől.
A StyleGAN technológia első verzióját 2019-ben tették közzé, amelyet 2020-ban egy továbbfejlesztett StyleGAN2 verzió követett, amely lehetővé tette a képek minőségének javítását és bizonyos artefaktumok eltüntetését. A rendszer statikus maradt, azaz nem tette lehetővé a reális animáció és arcmozgás elérését. A StyleGAN3 fejlesztése során a fő cél az volt, hogy a technológiát animációk és videók használatára alkalmazzák.
A StyleGAN3 újragondolt képgeneráló architektúrát alkalmaz, amely mentes az aliasing-tól, és új tanulási szcenáriókat kínál a neurális háló számára. Új segédprogramok kerültek bele az interaktív vizualizációhoz (visualizer.py), elemzéshez (avg_spectra.py) és videó generálásához (gen_video.py). A megvalósítás során csökkentették a memóriafogyasztást és felgyorsították a tanítási folyamatot.
A StyleGAN3 architektúra kulcsfontosságú jellemzője a neurális hálózatban lévő összes jel folyamatos folyamatként való értelmezésére való áttérés, amely lehetővé tette a részletek kialakításánál az abszolút koordinátákhoz nem kötött, hanem a megjelenített objektumok felületéhez rögzített relatív pozíciók manipulálását. A StyleGAN és a StyleGAN2 esetében a pixelekhez való rögzítés generálás közben problémákat okozott a dinamikus vizualizáció során, például a képek mozgása közben a kisméretű részletek, mint a ráncok és hajszálak, úgy tűnt, hogy külön mozognak az arc többi részétől. A StyleGAN3 ezekre a problémákra megoldást kínál, és a technológia teljesen alkalmas lett videók létrehozására.
További megemlítést érdemel, hogy a NVIDIA és a Microsoft bejelentette a legnagyobb nyelvi modell, az MT-NLG létrehozását, amely mély neurális hálózaton alapuló "transformer" architektúrára épül. A modell 530 milliárd paramétert ölel fel, és a tanításához egy 4480 GPU (560 DGX A100 8 GPU A100 80GB-kal mindegyikben) számítógép klaszterét használták. szerverek A modell alkalmazási területei között szerepelnek a természetes nyelv feldolgozásával kapcsolatos feladatok, mint például a befejezetlen mondatok előrejelzése, kérdésekre adott válaszok, olvasott szöveg megértése, természetes nyelvű következtetések levonása és a szavak jelentésének többszörössé tételének kezelése.
Forrás: opennet.ru
