NVIDIA ha pubblicato il codice sorgente per il sistema di apprendimento automatico SPADE (GauGAN), in grado di sintetizzare paesaggi realistici da schizzi grezzi, nonché modelli non addestrati associati al progetto. Il sistema è stato presentato a marzo alla conferenza GTC 2019, ma il codice è stato pubblicato solo ieri. Gli sviluppi sono aperti con licenza gratuita CC BY-NC-SA 4.0 (Creative Commons Attribution-NonCommercial-ShareAlike 4.0), che ne consente l'uso solo per scopi non commerciali. Il codice è scritto in Python utilizzando il framework PyTorch.
Gli schizzi vengono elaborati sotto forma di una mappa segmentata che determina la collocazione approssimativa degli oggetti sulla scena. La natura degli oggetti generati viene specificata utilizzando segni di colore. Ad esempio, un riempimento blu si trasforma nel cielo, il blu nell'acqua, il verde scuro negli alberi, il verde chiaro nell'erba, il marrone chiaro nelle pietre, il marrone scuro nelle montagne, il grigio nella neve, una linea marrone si trasforma in una strada e una linea blu linea in un fiume. Inoltre, in base alla selezione delle immagini di riferimento, vengono determinati lo stile generale della composizione e l'ora del giorno. Lo strumento proposto per la creazione di mondi virtuali può essere utile a una vasta gamma di specialisti, da architetti e urbanisti a sviluppatori di giochi e progettisti del paesaggio.
Gli oggetti sono sintetizzati da una rete neurale generativa avversaria (GAN), che crea immagini realistiche basate su una mappa segmentata schematica, prendendo in prestito dettagli da un modello pre-addestrato su diversi milioni di fotografie. A differenza dei sistemi di sintesi delle immagini sviluppati in precedenza, il metodo proposto si basa sull’uso della trasformazione spaziale adattiva seguita dalla trasformazione basata sull’apprendimento automatico. L'elaborazione di una mappa segmentata anziché di markup semantico consente di ottenere risultati di corrispondenza esatta e di controllare lo stile.
Per raggiungere il realismo, due reti neurali competono tra loro: un generatore e un discriminatore. Il generatore genera immagini basate sulla miscelazione di elementi di fotografie reali e il discriminatore identifica possibili deviazioni dalle immagini reali. Di conseguenza, si forma un feedback, sulla base del quale il generatore inizia a comporre campioni sempre migliori finché il discriminatore non smette di distinguerli da quelli reali.
Fonte: opennet.ru