NVIDIA отвори кода на StyleGAN3, система за машинно обучение за синтезиране на лица

Компанията NVIDIA публикува изходния код на StyleGAN3, система за машинно обучение, основана на генеративна състезателна невронна мрежа (GAN), насочена към синтезиране на реалистични изображения на човешки лица. Кодът е написан на Python, използвайки фреймуърка PyTorch и се разпространява под лиценза NVIDIA Source Code License, който налага ограничения върху търговската употреба.

На разположение са също готови обучени модели, обучени на колекцията Flickr-Faces-HQ (FFHQ), включваща 70 хиляди висококачествени (1024×1024) PNG изображения на човешки лица. Съществуват и модели, построени на основе на колекции AFHQv2 (снимки на животински лица) и Metfaces (изображения на човешки лица от портрети на класическата живопис). При разработката акцентът пада върху лицата, но системата може да бъде обучена за генериране на всякакви обекти, например, пейзажи и автомобили. Осигуряват се допълнителни инструменти за самостоятелно обучение на невронната мрежа с собствени колекции изображения. За работа са необходими една или повече видеокарти NVIDIA (препоръчва се GPU Tesla V100 или A100), минимум 12 GB RAM, PyTorch 1.9 и инструменти CUDA 11.1+. Развива се специален детектор за определяне на изкуствения характер на получените лица.

Системата позволява синтезиране на изображение на ново лице, основано на интерполация на характеристиките на няколко лица, комбинирайки присъщите им черти, както и адаптиране на финалното изображение според необходимия възраст, пол, дължина на косата, характер на усмивката, форма на носа, цвят на кожата, очила, ъгъл на фотографията. Генераторът разглежда изображението като колекция от стилове, автоматично отделя характерните детайли (пърха, коса, очила) от общите високо ниво атрибути (поза, пол, възрастови промени) и позволява комбинирането им в произволен вид с определяне на доминиращите свойства чрез тегловни коефициенти. В резултат на това се генерират изображения, които на вид не се различават от истински фотографии.

Първоначалната версия на технологията StyleGAN беше публикувана през 2019 година, след което през 2020 година беше предложена подобрена версия StyleGAN2, която постига по-високо качество на изображението и елиминира някои артефакти. При това системата остана статична, т.е. не позволи постигането на реалистична анимация и движение на лицето. Основната цел при разработката на StyleGAN3 беше адаптацията на технологията за приложение в анимация и видео.

В StyleGAN3 е използвана преработена архитектура на генериране на изображения, освободена от алиасинг, и са предложени нови сценарии за обучение на невронната мрежа. Включени са нови инструменти за интерактивна визуализация (visualizer.py), анализ (avg_spectra.py) и генериране на видео (gen_video.py). В изпълнението е намалено и потреблението на памет, и е ускорен процесът на обучение.

Ключова особеност на архитектурата StyleGAN3 стана преходът към интерпретацията на всички сигнали в невронната мрежа под формата на непрекъснати процеси, което позволи манипулиране на относителните позиции при формиране на детайлите, без да бъдат привързани към абсолютни координати на отделни пиксели в изображението, а закотвени към повърхностите на изобразените обекти. В StyleGAN и StyleGAN2 свързването с пикселите при генерирането водеше до проблеми при динамичната визуализация, например, при движение на изображението бяха наблюдавани несъответствия в малките детайли, като бръчки и косъмчета, които се движеха отделно от останалото лице. В StyleGAN3 тези проблеми са решени и технологията стана напълно подходяща за формиране на видео.

Допълнително може да се отбележи анонсът за създаването от компаниите NVIDIA и Microsoft на най-голямата езикова модел MT-NLG, базиран на дълбока невронна мрежа с архитектура "трансформер". Моделът обхваща 530 милиарда параметри, а за обучението е използван клъстер, състоящ се от 4480 GPU (560 DGX A100 с 8 GPU A100 80GB в всеки). Като области на приложение на модела се посочват решаване на задачи по обработка на информация на естествен език, като прогнозиране на завършването на незавършени изречения, отговори на въпроси, разбиране на прочетеното, формулиране на изводи на естествен език и разбиране на нееднозначността на значението на думите. сървъри Достъпна е системата за индексиране на мрежовия трафик Arkime 3.1.

Източник: opennet.ru