HyperStyle - адаптиране на системата за машинно обучение StyleGAN за редактиране на изображения

Екип от изследователи от университета в Тел Авив разкри HyperStyle, обърната версия на системата за машинно обучение StyleGAN2 на NVIDIA, която е преработена, за да пресъздава липсващи части при редактиране на изображения от реалния живот. Кодът е написан на Python с помощта на рамката PyTorch и се разпространява под лиценза на MIT.

Ако StyleGAN ви позволява да синтезирате реалистично изглеждащи нови лица на хора чрез задаване на параметри като възраст, пол, дължина на косата, модел на усмивка, форма на носа, цвят на кожата, очила и ъгъл на снимката, тогава HyperStyle прави възможно промяната на подобни параметри в съществуващите снимки, без да променят характерните им черти и запазват разпознаваемостта на оригиналното лице. Например, използвайки HyperStyle, можете да симулирате промяна във възрастта на човек на снимка, да промените прическата, да добавите очила, брада или мустаци, да направите изображението да изглежда като анимационен герой или ръчно рисувана картина, да направите тъжно или весело изражение. В този случай системата може да бъде обучена не само да променя лицата на хората, но и за всякакви обекти, например за редактиране на изображения на автомобили.

Предложеният метод е насочен към решаване на проблема с възстановяването на липсващите части от изображението при редактиране. В предишните методи компромисът между реконструкцията и възможността за редактиране беше решен чрез фина настройка на генератора на изображения, за да замени части от целевото изображение при пресъздаване на първоначално липсващи области за редактиране. Недостатъкът на тези подходи е необходимостта от дългосрочно целенасочено обучение на невронната мрежа за всяко изображение.

Методът, базиран на алгоритъма StyleGAN, дава възможност да се използва типичен модел, предварително обучен върху общи колекции от изображения, за генериране на елементи, характерни за оригиналното изображение с ниво на увереност, сравнимо с алгоритмите, които изискват индивидуално обучение на модела за всяко изображение . Сред предимствата на новия метод се отбелязва и възможността за модифициране на изображения с производителност, близка до реалното време.

Предварително обучените модели са подготвени за лица на хора, автомобили и животни въз основа на колекциите на Flickr-Faces-HQ (FFHQ, 70k висококачествени PNG изображения на човешки лица), Stanford Cars (16k изображения на автомобили) и AFHQ (снимки на животни). Освен това са предоставени инструменти за обучение на техни модели, както и готови обучени модели на типични енкодери и генератори, подходящи за работа с тях. Например, налични са генератори за създаване на изображения в стил Toonify, герои на Pixar, скициране и дори оформяне като принцеси на Дисни.

Източник: opennet.ru