Un equip d'investigadors de la Universitat de Tel Aviv va presentar HyperStyle, una versió invertida del sistema d'aprenentatge automàtic StyleGAN2 de NVIDIA que es redissenya per recrear les parts que falten en editar imatges reals. El codi està escrit en Python utilitzant el framework PyTorch i es distribueix sota la llicència MIT.
Si StyleGAN us permet sintetitzar noves cares d'aspecte realista de les persones especificant paràmetres com ara l'edat, el gènere, la longitud del cabell, el caràcter del somriure, la forma del nas, el color de la pell, les ulleres i l'angle de la fotografia, HyperStyle permet canviar paràmetres similars als existents. fotografies sense canviar els seus trets característics tot mantenint el reconeixement del rostre original. Per exemple, amb HyperStyle, podeu simular un canvi d'edat d'una persona en una foto, canviar el pentinat, afegir ulleres, barba o bigoti, donar a la imatge l'aspecte d'un personatge de dibuixos animats o un quadre dibuixat a mà, fer una expressió facial trista o alegre. A més, el sistema es pot entrenar no només per canviar la cara de les persones, sinó també per a qualsevol objecte, per exemple, per editar imatges de cotxes.
El mètode proposat està orientat a resoldre el problema de reconstruir les parts que falten d'una imatge durant l'edició. En els mètodes proposats anteriorment, la compensació entre reconstrucció i editabilitat es va resoldre ajustant el generador d'imatges per substituir parts de la imatge objectiu quan es recreaven les regions editables que faltaven inicialment. El desavantatge d'aquests enfocaments és la necessitat d'un entrenament dirigit a llarg termini de la xarxa neuronal per a cada imatge.
El mètode basat en l'algorisme StyleGAN permet utilitzar un model estàndard, entrenat prèviament sobre col·leccions comunes d'imatges, per generar elements característics de la imatge original amb un nivell de fiabilitat comparable als algorismes que requereixen un entrenament individual del model per a cada un. imatge. Un altre avantatge del nou mètode és la possibilitat de modificar imatges amb un rendiment proper al temps real.
Es preparen models preparats per a les cares de persones, cotxes i animals basats en les col·leccions Flickr-Faces-HQ (FFHQ, 70 mil imatges PNG d'alta qualitat de cares de persones), Stanford Cars (16 mil imatges de cotxes) i AFHQ (fotos d'animals). A més, s'ofereixen eines per entrenar els vostres models, així com models ja preparats de codificadors i generadors estàndard adequats per utilitzar-los. Per exemple, hi ha generadors disponibles per crear imatges a l'estil Toonify, personatges de Pixar, generar esbossos i fins i tot estilitzar princeses dels dibuixos animats de Disney.
Font: opennet.ru