Tel Avivi ülikooli teadlaste meeskond avalikustas HyperStyle'i, NVIDIA masinõppesüsteemi StyleGAN2 ümberpööratud versiooni, mis on ümber kujundatud, et taastada tegelike piltide redigeerimisel puuduvad osad. Kood on kirjutatud Pythonis PyTorchi raamistiku abil ja levitatakse MIT-i litsentsi all.
Kui StyleGAN võimaldab teil sünteesida inimeste realistliku välimusega uusi nägusid, määrates sellised parameetrid nagu vanus, sugu, juuste pikkus, naeratuse muster, nina kuju, nahavärv, prillid ja fotonurk, siis HyperStyle võimaldab sarnaseid parameetreid olemasolevates muuta. fotod muutmata nende iseloomulikke jooni ja säilitades originaalse näo äratuntavuse. Näiteks saate HyperStyle'i abil simuleerida fotol oleva inimese vanuse muutumist, muuta soengut, lisada prille, habet või vuntsid, muuta pilt koomiksitegelase või käsitsi joonistatud pildi sarnaseks, teha kurb või rõõmsameelne ilme. Sel juhul saab süsteemi koolitada mitte ainult inimeste nägude muutmiseks, vaid ka mis tahes objektide jaoks, näiteks autode piltide redigeerimiseks.
Kavandatud meetodi eesmärk on lahendada pildi redigeerimisel puuduvate osade rekonstrueerimise probleem. Eelmistes meetodites lahendati rekonstrueerimise ja redigeeritavuse vaheline kompromiss pildigeneraatori peenhäälestusega, et algselt puuduvate redigeeritavate alade taasloomisel asendada sihtpildi osad. Selliste lähenemisviiside puuduseks on vajadus närvivõrgu pikaajalise sihipärase väljaõppe järele iga pildi jaoks.
StyleGAN-i algoritmil põhinev meetod võimaldab kasutada tüüpilist mudelit, mida on eelnevalt koolitatud tavalistel pildikogudel, et genereerida algkujutisele iseloomulikke elemente usaldustasemega, mis on võrreldav algoritmidega, mis nõuavad iga pildi jaoks mudeli individuaalset väljaõpet. . Uue meetodi eeliste hulgas märgitakse ka võimalust muuta pilte reaalajale lähedase jõudlusega.
Eelkoolitatud mudelid on ette valmistatud inimeste, autode ja loomade nägude jaoks, tuginedes Flickr-Faces-HQ (FFHQ, 70k kvaliteetsed PNG-pildid inimnägudest), Stanford Carsi (16k autode pildid) ja AFHQ (fotod) kollektsioonidele. loomadest). Lisaks pakutakse tööriistu nende mudelite koolitamiseks, aga ka valmis koolitatud tüüpiliste kodeerijate ja nendega kasutamiseks sobivate generaatorite mudeleid. Näiteks on saadaval generaatorid, et luua Toonify-stiilis pilte, Pixari tegelasi, visandada ja isegi kujundada neid nagu Disney printsessid.
Allikas: opennet.ru