Tel Avivin yliopiston tutkijaryhmä on julkistanut HyperStylen, käänteisen version NVIDIAn StyleGAN2-koneoppimisjärjestelmästä, joka on suunniteltu uudelleen luomaan puuttuvat osat todellisia kuvia muokatessa. Koodi on kirjoitettu Pythonissa käyttäen PyTorch-kehystä ja jaettu MIT-lisenssillä.
Jos StyleGAN antaa sinun syntetisoida realistisen näköisiä uusia ihmisten kasvoja asettamalla parametreja, kuten ikä, sukupuoli, hiusten pituus, hymykuvio, nenän muoto, ihonväri, lasit ja valokuvakulma, HyperStyle mahdollistaa samanlaisten parametrien muuttamisen olemassa olevissa kuvissa. kuvia muuttamatta niiden ominaispiirteitä ja säilyttämättä alkuperäisten kasvojen tunnistettavuutta. HyperStylen avulla voit esimerkiksi simuloida valokuvassa olevan henkilön iän muutosta, muuttaa hiustyyliä, lisätä lasit, parran tai viikset, saada kuvan näyttämään sarjakuvahahmolta tai käsin piirretystä kuvasta, tehdä surullinen tai iloinen ilme. Tässä tapauksessa järjestelmää voidaan kouluttaa paitsi ihmisten kasvojen vaihtamiseen, myös mihin tahansa esineeseen, esimerkiksi autojen kuvien muokkaamiseen.
Ehdotetun menetelmän tarkoituksena on ratkaista ongelma, joka liittyy kuvan puuttuvien osien rekonstruoimiseen editoinnin aikana. Aiemmissa menetelmissä rekonstruoinnin ja muokattavuuden välinen kompromissi ratkaistiin hienosäätämällä kuvageneraattori korvaamaan kohdekuvan osia, kun alun perin puuttuvia muokattavia alueita luotiin uudelleen. Tällaisten lähestymistapojen haittana on tarve pitkällä aikavälillä kohdistettuun neuroverkon koulutusta jokaista kuvaa varten.
StyleGAN-algoritmiin perustuva menetelmä mahdollistaa tyypillisen mallin, joka on aiemmin koulutettu yleisiin kuvakokoelmiin, luomaan alkuperäiselle kuvalle ominaisia elementtejä luotettavuustasolla, joka on verrattavissa algoritmeihin, jotka vaativat mallin yksilöllistä koulutusta jokaiselle kuvalle. . Uuden menetelmän etujen joukossa mainitaan myös mahdollisuus muokata kuvia suorituskyvyllä lähellä reaaliaikaa.
Esikoulutetut mallit on valmistettu ihmisten, autojen ja eläinten kasvoille perustuen Flickr-Faces-HQ (FFHQ, 70k korkealaatuiset PNG-kuvat ihmiskasvoista), Stanford Cars (16k kuvia autoista) ja AFHQ (valokuvat) kokoelmiin. eläimistä). Lisäksi tarjotaan työkalut mallien koulutukseen sekä valmiita koulutettuja malleja tyypillisistä koodereista ja generaattoreista, jotka soveltuvat käytettäväksi niiden kanssa. Saatavilla on esimerkiksi generaattoreita Toonify-tyylisten kuvien, Pixar-hahmojen luomiseen, luonnostelemiseen ja jopa Disney-prinsessien tyyliin.
Lähde: opennet.ru