Tel Aviveko Unibertsitateko ikertzaile-talde batek HyperStyle aurkeztu du, NVIDIAren StyleGAN2 ikasketa automatikoko sistemaren bertsio alderantzikatua, bizitza errealeko irudiak editatzerakoan falta diren zatiak birsortu dena. Kodea Python-en idatzita dago PyTorch esparrua erabiliz eta MIT lizentziapean banatzen da.
StyleGANek itxura errealistako pertsonen aurpegi berriak sintetizatzeko aukera ematen badu, adina, sexua, ilearen luzera, irribarrearen eredua, sudurraren forma, azalaren kolorea, betaurrekoak eta argazki-angelua bezalako parametroak ezarriz, HyperStyle-k lehendik daudenen antzeko parametroak aldatzeko aukera ematen du. argazkiak haien ezaugarri bereizgarriak aldatu gabe eta jatorrizko aurpegiaren ezagugarritasuna mantenduz. Adibidez, HyperStyle erabiliz, argazki batean pertsona baten adinaren aldaketa simulatu dezakezu, orrazkera bat aldatu, betaurrekoak, bizarra edo bibotea gehitu, irudi bat marrazki bizidunetako pertsonaia edo eskuz egindako irudi baten itxura egin dezakezu, adierazpen tristea edo alaia. Kasu honetan, sistema entrenatu daiteke pertsonen aurpegiak aldatzeko ez ezik, edozein objektutarako ere, adibidez, autoen irudiak editatzeko.
Proposatutako metodoa editatzerakoan falta diren irudiaren zatien berreraikuntzaren arazoa konpontzera zuzenduta dago. Aurreko metodoetan, berreraikuntzaren eta editagarritasunaren arteko konpromezua konpontzen zen irudi-sorgailuaren doikuntza zehatzarekin xede-irudiaren zatiak ordezkatzeko hasieran falta ziren eremu editagarriak birsortzerakoan. Planteamendu horien desabantaila irudi bakoitzerako neurona-sarearen epe luzerako prestakuntza zuzendu beharra da.
StyleGAN algoritmoan oinarritutako metodoak aukera ematen du eredu tipiko bat erabiltzea, aurretik irudi-bilduma komunetan trebatua, jatorrizko irudiaren ezaugarri diren elementuak sortzeko, irudi bakoitzerako ereduaren banakako prestakuntza eskatzen duten algoritmoen pareko konfiantza-mailarekin. . Metodo berriaren abantailen artean, denbora errealetik hurbil dagoen errendimendua duten irudiak aldatzeko aukera ere nabarmentzen da.
Aurrez trebatutako ereduak gizaki, auto eta animalien aurpegietarako prestatzen dira Flickr-Faces-HQ (FFHQ, 70k kalitate handiko PNG giza aurpegien irudiak), Stanford Cars (16k kotxeen irudiak) eta AFHQ (argazkiak) bildumetan oinarrituta. animalien). Horrez gain, beren ereduak prestatzeko tresnak eskaintzen dira, baita haiekin erabiltzeko egokiak diren kodetzaile eta sorgailu tipikoen prestatutako ereduak ere. Adibidez, Toonify estiloko irudiak, Pixar-eko pertsonaiak, zirriborroak egiteko eta Disney printzesak bezala diseinatzeko sorgailuak daude eskuragarri.
Iturria: opennet.ru