NVIDIA sta sperimentando attivamente nel campo del deep learning e i risultati del suo lavoro a volte sono piuttosto interessanti. L'azienda ha annunciato alla GDC 2019 la creazione di GauGAN, un'applicazione di disegno intelligente che utilizza un modello di deep learning per creare versioni fotorealistiche di semplici disegni. Il nome dell'app si riferisce all'artista postimpressionista francese Paul Gauguin e all'uso da parte del software di reti generative avversarie (GAN) per creare immagini che imitano realisticamente i dipinti.
Come funziona GauGAN? Secondo la spiegazione dell'azienda, l'app è come un "pennello intelligente" che riempie i dettagli dello schizzo di un utente (NVIDIA la chiama "mappa di segmentazione"). In sostanza, l'utente o l'artista imposta semplicemente un piano per ciò che vuole vedere alla fine ed etichetta ciascun segmento, indicando cosa dovrebbe essere. GauGAN prende quindi il sopravvento, aggiungendo ulteriori dettagli e rendendo i disegni più realistici.
Addestrato su milioni di immagini artistiche, il modello di deep learning popola poi il panorama con risultati impressionanti (ma non sempre perfetti). Se disegni uno stagno, gli elementi vicini come alberi e rocce si rifletteranno nell'acqua. È sufficiente cambiare l'etichetta del segmento da "erba" a "neve" e l'intera immagine cambierà, trasformandosi in invernale, e gli alberi frondosi diventeranno spogli. Per capire di cosa stiamo parlando potete guardare il video qui sotto.
Vale anche la pena notare che, sebbene GauGAN utilizzi una vasta conoscenza basata su una serie di altre immagini per creare i lavori finali, questi ultimi sono ancora considerati originali poiché l'applicazione genera immagini risultanti completamente nuove.
Il nuovo editor grafico intelligente di NVIDIA non si limita solo a scene o paesaggi naturali: l'app può aggiungere edifici, strade e persino persone. GauGAN consente inoltre agli utenti di applicare filtri, modellando il risultato in base allo stile desiderato. Tali filtri, tra le altre cose, possono imitare lo stile di un artista specifico (ad esempio Van Gon) o regolare l'illuminazione di una scena, cambiando le immagini dal giorno alla notte.
Non è chiaro se GauGAN sarà mai rilasciato per l'uso quotidiano da parte dei consumatori, ma penso che prima o poi gli utenti comuni potrebbero ottenere degli strumenti piuttosto utili come questo, che semplificheranno il lavoro in una varietà di aree: dall'architettura e illustrazione allo sviluppo di giochi.
Tuttavia, sulla risorsa NVIDIA AI Playground, gli interessati possono familiarizzare con alcune funzionalità di apprendimento automatico. Ad esempio, nella dimostrazione di Trasferimento dello stile artistico qui presente, puoi elaborare qualsiasi foto nello stile di artisti famosi.
Altri esperimenti simili di NVIDIA includono uno studio che mostra come gli effetti visivi generati dall'intelligenza artificiale possono essere combinati con una pipeline di rasterizzazione tradizionale. Il risultato è un sistema grafico ibrido che potrebbe essere utilizzato in giochi, film e realtà virtuale. Un altro esempio simile è un algoritmo per trasformare le strade innevate in strade estive, sviluppato da specialisti dell'azienda per un addestramento più efficiente del pilota automatico.
Fonte: 3dnews.ru