HyperStyle — masinõppe süsteemi StyleGAN kohandamine piltide redigeerimiseks

Tel-Avivi ülikooli teadlaste rühm tutvustas HyperStyle'i, NVIDIA arendatava masinõppe süsteemi StyleGAN2 pööratud varianti, mis on kohandatud joonistatud piltide redigeerimise käigus puuduvate osade taastamiseks. Kood on kirjutatud Pythonis, kasutades PyTorchi raamistikku, ning seda levitatakse MIT litsentsi alusel.

Kui StyleGAN võimaldab sünteesida realistlikult välja nägevaid uusi inimeste nägusid, määrates sellised parameetrid nagu vanus, sugu, juuste pikkus, naeratuse iseloom, nina kuju, naha värv, prillid ja foto nurk, siis HyperStyle võimaldab muuta sarnaseid parameetreid juba olemasolevates fotodes, muutes nende iseloomulike joonte loomulikkust ja säilitades algse näo äratavuse. Näiteks saab HyperStyle'i abil simuleerida inimese vanuse muutumist fotol, vahetada soengut, lisada prille, habet või vuntsi, anda pildile joonistatud karakteri ilme või muuta näo väljend kurvaks või rõõmsaks. Samuti võib süsteemi õpetada mitte ainult inimeste nägude, vaid ka igasuguste esemete, näiteks autode, piltide redigeerimiseks.

Pakutud meetod on suunatud puuduvate osade rekonstrueerimise probleemile piltide redigeerimise käigus. Varasemates ettepanekutes lahendati kompromiss rekonstruktsiooni ja redigeeritavuse vahel, kohandades pildigeneraatori tööparameetreid, et asendada sihtpildi osi, taastades algselt puuduvate redigeeritavate piirkondade. Selliste lähenemiste puudus on vajadus viia läbi pikaajaline sihtmõtte õpe närvivõrgu jaoks iga pildi jaoks.

StyleGAN-algoritmil põhinev meetod võimaldab kasutada tüüpilist mudelit, mis on eelnevalt treenitud üldiste pildikogude peal, et genereerida originaalpildiga sarnaseid elemente tõetruuduse tasemega, mis on võrreldav mudelite individuaalse treeningu vajavate algoritmidega iga pildi jaoks. Uue meetodi eeliste seas on ka võimalus pilte modifitseerida, lähedaste tegelike aegade tootlikkusele.

Valmis treenitud mudelid on ette valmistatud inimeste, autode ja loomade nägude jaoks, põhinedes Flickr-Faces-HQ (FFHQ, 70 tuhat kvaliteetset PNG-pilti inimeste nägudest), Stanford Cars (16 tuhat auto pilti) ja AFHQ (loomade fotod) kogudele. Lisaks on saadaval tööriistakomplekt oma mudelite treenimiseks ning nende jaoks sobivad valmis treenitud mudelid tüüpiliste kodeerijate ja generaatorite jaoks. Näiteks on saadaval generaatorid Toonify stiilis piltide loomiseks, Pixar karakterite genereerimiseks, visandite loomiseks ja isegi Disney multikate printside stiilide esitlemiseks.

Allikas: opennet.ru