A Tel-Avivi Egyetem kutatócsoportja bemutatta a HyperStyle-t, a NVIDIA által fejlesztett StyleGAN2 gépi tanulási rendszer invertált változatát, amelyet az igazi képek szerkesztésekor hiányzó részek rekonstruálására alakítottak át. A kód Python nyelven készült, a PyTorch keretrendszer felhasználásával, és MIT licenc alatt terjesztik.
Amíg a StyleGAN lehetővé teszi, hogy új, élethűen kinéző emberi arca szintetizáljunk olyan paraméterek megadásával, mint az életkor, a nem, a hajhossz, a mosoly jellege, az orr formája, a bőrszín, a szemüveg és a fényképezési szög, addig a HyperStyle lehetővé teszi az ilyen paraméterek módosítását már létező fényképeken, anélkül, hogy megváltoztatná a jellegzetes vonásokat és megőrizné az eredeti arctól való hasonlóságot. Például a HyperStyle segítségével szimulálható az életkor változtatása egy fényképen, frizura módosítása, szemüveg, szakáll vagy bajusz hozzáadása, a kép karakterének megjelenítése, mint egy mesealak vagy festmény, vagy az arckifejezés szomorúra vagy vidámra változtatása. Ebben az esetben a rendszer nemcsak az emberek arcának megváltoztatására képes, hanem bármilyen tárgy szerkesztésére is, például autók képeinek módosítására.
A javasolt módszer célja a hiányzó részletek rekonstrukciójának problémája a képek szerkesztésekor. A korábbi módszerekben a rekonstrukció és a szerkeszthetőség közötti kompromisszumba a képgenerátor finomhangolásával jutottak el, hogy a célzott kép hiányzó szerkeszthető területeit helyettesítsék. Az ilyen megközelítések hátránya a hosszú tartamú célzott neurális hálózatok tanulmányozásának szükségessége minden egyes kép esetében.
A StyleGAN-algoritmuson alapuló módszer lehetővé teszi, hogy egy általános képcsoporton előképzett tipikus modellt használjunk, a kiindulási képen megjelenő elemek generálására, hitelesítési szinten, amely összehasonlítható a modell egyedi tréningjét igénylő algoritmusokkal. Az új módszer előnyei között megemlítendő a képek módosításának lehetősége, amely teljesítményével közel áll a valós idejű feldolgozáshoz.
Az előképzett modellek emberek, autók és állatok arcaival készültek, a Flickr-Faces-HQ (FFHQ, 70 ezer kiváló minőségű PNG-felvétel az emberek arcáról), a Stanford Cars (16 ezer autók képével) és az AFHQ (állatfotók) gyűjtemények alapján. Továbbá eszközöket biztosítanak saját modellek képzéséhez, valamint használatra kész előképzett modelleket, amelyek mintakódolókkal és generátorokkal működnek együtt. Például elérhetőek generátorok Toonify stílusú képek, Pixar karakterek, skiccek és még Disney meseprincesszák stilizálásához.
Forrás: opennet.ru
