Un team di ricercatori dell'Università di Tel Aviv ha presentato HyperStyle, una versione invertita del sistema di apprendimento automatico StyleGAN2 di NVIDIA che è stato riprogettato per ricreare le parti mancanti durante la modifica di immagini reali. Il codice è scritto in Python utilizzando il framework PyTorch ed è distribuito sotto licenza MIT.
Se StyleGAN ti consente di sintetizzare nuovi volti di persone dall'aspetto realistico specificando parametri quali età, sesso, lunghezza dei capelli, carattere del sorriso, forma del naso, colore della pelle, occhiali e angolo di fotografia, allora HyperStyle rende possibile modificare parametri simili nei volti esistenti fotografie senza alterarne i tratti caratteristici mantenendo il riconoscimento del volto originale. Ad esempio, utilizzando HyperStyle, puoi simulare un cambiamento nell'età di una persona in una foto, cambiare l'acconciatura, aggiungere occhiali, barba o baffi, dare all'immagine l'aspetto di un personaggio dei cartoni animati o di un dipinto disegnato a mano, creare un'espressione facciale triste o allegra. Inoltre, il sistema può essere addestrato non solo per cambiare i volti delle persone, ma anche per qualsiasi oggetto, ad esempio per modificare le immagini delle automobili.
Il metodo proposto è finalizzato a risolvere il problema della ricostruzione delle parti mancanti di un'immagine durante l'editing. Nei metodi proposti in precedenza, il compromesso tra ricostruzione e modificabilità veniva risolto perfezionando il generatore di immagini per sostituire parti dell'immagine target durante la ricreazione delle regioni modificabili inizialmente mancanti. Lo svantaggio di tali approcci è la necessità di un addestramento mirato a lungo termine della rete neurale per ciascuna immagine.
Il metodo basato sull'algoritmo StyleGAN consente di utilizzare un modello standard, pre-addestrato su raccolte comuni di immagini, per generare elementi caratteristici dell'immagine originale con un livello di affidabilità paragonabile ad algoritmi che richiedono un addestramento individuale del modello per ciascuno Immagine. Un altro vantaggio del nuovo metodo è la possibilità di modificare le immagini con prestazioni prossime al tempo reale.
Vengono preparati modelli addestrati già pronti per i volti di persone, automobili e animali sulla base delle raccolte Flickr-Faces-HQ (FFHQ, 70mila immagini PNG di alta qualità di volti di persone), Stanford Cars (16mila immagini di automobili) e AFHQ (foto di animali). Inoltre, vengono forniti strumenti per l'addestramento dei modelli, nonché modelli addestrati già pronti di encoder e generatori standard adatti all'uso con essi. Ad esempio, sono disponibili generatori per creare immagini in stile Toonify, personaggi Pixar, generare schizzi e persino stilizzare principesse dei cartoni Disney.
Fonte: opennet.ru