NVIDIA со отворен код StyleGAN3, систем за машинско учење за синтеза на лицето

NVIDIA го објави изворниот код за StyleGAN3, систем за машинско учење базиран на генеративна противничка невронска мрежа (GAN) чија цел е синтетизирање на реални слики од лицата на луѓето. Кодот е напишан во Python користејќи ја рамката PyTorch и се дистрибуира под лиценцата за изворен код на NVIDIA, која наметнува ограничувања за комерцијална употреба.

Достапни се за преземање и готови обучени модели обучени на колекцијата Flickr-Faces-HQ (FFHQ), која вклучува 70 илјади висококвалитетни (1024x1024) PNG слики од лицата на луѓето. Покрај тоа, постојат модели изградени врз основа на збирките AFHQv2 (фотографии на животински лица) и Metfaces (слики на лица на луѓе од портрети на класично сликарство). Фокусот на развојот е на лицата, но системот може да се обучи да генерира какви било објекти, како што се пејзажи и автомобили. Дополнително, обезбедени се алатки за самообучување на невронска мрежа користејќи ваши сопствени колекции на слики. Потребна е една или повеќе графички картички NVIDIA (се препорачува Tesla V100 или A100 GPU), најмалку 12 GB RAM, PyTorch 1.9 и комплет алатки CUDA 11.1+. За да се утврди вештачката природа на добиените лица, се развива посебен детектор.

Системот ви овозможува да синтетизирате слика на ново лице врз основа на интерполација на карактеристиките на неколку лица, комбинирајќи ги нивните карактеристични карактеристики, како и прилагодување на конечната слика на потребната возраст, пол, должина на коса, карактер на насмевка, облик на нос, бојата на кожата, очилата и аголот на фотографијата. Генераторот ја смета сликата како збирка стилови, автоматски ги одвојува карактеристичните детали (пеги, коса, очила) од вообичаените атрибути на високо ниво (поза, пол, промени во возраста) и ви овозможува да ги комбинирате во која било форма со определување на доминантна својства преку пондерирање коефициенти. Како резултат на тоа, се генерираат слики кои не се разликуваат од вистинските фотографии.

Првата верзија на технологијата StyleGAN беше објавена во 2019 година, по што беше предложено подобрено издание на StyleGAN2020 во 2 година, овозможувајќи подобрен квалитет на сликата и елиминирање на некои артефакти. Во исто време, системот остана статичен, т.е. не дозволи да се постигне реална анимација и движење на лицето. При развивањето на StyleGAN3, главната цел беше да се прилагоди технологијата за нејзина употреба во анимација и видео.

StyleGAN3 користи редизајнирана архитектура за генерирање слики, без алијас, и предлага нови сценарија за обука на невронска мрежа. Вклучува нови алатки за интерактивна визуелизација (visualizer.py), анализа (avg_spectra.py) и генерирање видео (gen_video.py). Имплементацијата, исто така, ја намалува потрошувачката на меморија и го забрзува процесот на учење.

Клучна карактеристика на архитектурата StyleGAN3 беше транзицијата кон толкување на сите сигнали во невронската мрежа во форма на континуирани процеси, што овозможи, при формирање на делови, да се манипулира со релативните позиции кои не се врзани за апсолутните координати на поединечните пиксели во сликата, но фиксирана на површината на прикажаните предмети. Во StyleGAN и StyleGAN2, врзувањето за пиксели за време на генерирањето доведе до проблеми при динамично прикажување, на пример, кога сликата се поместуваше, имаше неусогласеност на мали детали, како што се брчките и влакната, кои се чинеше дека се движат одвоено од остатокот од лицето . Во StyleGAN3, овие проблеми се решени и технологијата стана сосема погодна за генерирање видео.

Дополнително, вреди да се напомене најавата од NVIDIA и Microsoft за создавање на најголемиот јазичен модел, MT-NLG, базиран на длабока невронска мрежа со „трансформаторска“ архитектура. Моделот опфаќа 530 милијарди параметри и кластер од 4480 графички процесори (560 сервери DGX A100 (секој со осум A100 80GB графички процесори) се користи за задачи за обработка на природен јазик, како што се предвидување на завршување на реченици, одговарање прашања, разбирање на прочитано, заклучување на природен јазик и анализа на двосмисленост на зборови.

Извор: opennet.ru