O echipă de cercetători de la Universitatea din Tel Aviv a prezentat HyperStyle, o versiune inversată a sistemului de învățare automată StyleGAN2 de la NVIDIA, care este reproiectată pentru a recrea părțile lipsă la editarea imaginilor reale. Codul este scris în Python folosind cadrul PyTorch și este distribuit sub licența MIT.
Dacă StyleGAN vă permite să sintetizați fețe noi ale oamenilor cu aspect realist prin specificarea parametrilor cum ar fi vârsta, sexul, lungimea părului, caracterul zâmbetului, forma nasului, culoarea pielii, ochelarii și unghiul fotografiei, atunci HyperStyle face posibilă modificarea parametrilor similari existente. fotografii fără a-și modifica trăsăturile caracteristice, păstrând în același timp recunoașterea feței originale. De exemplu, folosind HyperStyle, puteți simula o schimbare a vârstei unei persoane într-o fotografie, puteți schimba coafura, puteți adăuga ochelari, o barbă sau o mustață, puteți da imaginii aspectul unui personaj de desene animate sau unui tablou desenat manual, să faceți o expresie facială tristă sau veselă. Mai mult, sistemul poate fi antrenat nu numai pentru a schimba fețele oamenilor, ci și pentru orice obiect, de exemplu, pentru a edita imagini cu mașini.
Metoda propusă are ca scop rezolvarea problemei reconstrucției părților lipsă ale unei imagini în timpul editării. În metodele propuse anterior, compromisul dintre reconstrucție și editabilitate a fost rezolvat prin reglarea fină a generatorului de imagini pentru a înlocui părți ale imaginii țintă la recrearea regiunilor editabile inițial lipsă. Dezavantajul unor astfel de abordări este necesitatea unui antrenament țintit pe termen lung a rețelei neuronale pentru fiecare imagine.
Metoda bazată pe algoritmul StyleGAN face posibilă utilizarea unui model standard, pre-antrenat pe colecții comune de imagini, pentru a genera elemente caracteristice imaginii originale cu un nivel de fiabilitate comparabil cu algoritmii care necesită pregătirea individuală a modelului pentru fiecare. imagine. Un alt avantaj al noii metode este capacitatea de a modifica imaginile cu performanțe apropiate de timp real.
Modelele pregătite gata sunt pregătite pentru fețele oamenilor, mașinilor și animalelor pe baza colecțiilor Flickr-Faces-HQ (FFHQ, 70 de mii de imagini PNG de înaltă calitate ale fețelor oamenilor), Stanford Cars (16 mii de imagini cu mașini) și AFHQ (fotografii cu animale). În plus, sunt furnizate instrumente pentru antrenamentul modelelor dvs., precum și modele pregătite gata făcute de codificatoare și generatoare standard adecvate pentru utilizare cu acestea. De exemplu, sunt disponibile generatoare pentru crearea de imagini în stil Toonify, personaje Pixar, generarea de schițe și chiar stilizarea prințeselor din desenele animate Disney.
Sursa: opennet.ru