NVIDIA apre il codice per un sistema di apprendimento automatico che sintetizza paesaggi da schizzi

Società NVIDIA pubblicato codici sorgente del sistema di apprendimento automatico VANGA (GauGAN), che consente di sintetizzare paesaggi realistici basati su schizzi approssimativi, oltre a quelli associati al progetto modelli addestrati. Il sistema era dimostrato a marzo alla conferenza GTC 2019, ma il codice è stato pubblicato solo ieri. Sviluppi Aperto sotto una licenza proprietaria CC BY-NC-SA 4.0 (Creative Commons Attribution-NonCommercial-ShareAlike 4.0), consentendo solo l'uso non commerciale. Il codice è scritto in Python utilizzando il framework PyTorch.

Gli schizzi vengono elaborati sotto forma di una mappa segmentata che determina la collocazione approssimativa degli oggetti sulla scena. La natura degli oggetti generati viene specificata utilizzando segni di colore. Ad esempio, un riempimento blu si trasforma nel cielo, il blu nell'acqua, il verde scuro negli alberi, il verde chiaro nell'erba, il marrone chiaro nelle rocce, il marrone scuro nelle montagne, il grigio nella neve, una linea marrone si trasforma in una strada e una linea blu linea nel fiume Inoltre, in base alla selezione delle immagini di riferimento, vengono determinati lo stile generale della composizione e l'ora del giorno. Lo strumento proposto per la creazione di mondi virtuali può essere utile a una vasta gamma di specialisti, da architetti e urbanisti a sviluppatori di giochi e progettisti del paesaggio.

Gli oggetti sono sintetizzati da una rete neurale avversaria generativa (GAN), che crea immagini realistiche basate su una mappa segmentata schematica, prendendo in prestito i dettagli da un modello pre-addestrato su diversi milioni di fotografie. A differenza dei sistemi di sintesi delle immagini sviluppati in precedenza, il metodo proposto si basa sull’uso della trasformazione spaziale adattiva seguita dalla trasformazione basata sull’apprendimento automatico. L'elaborazione di una mappa segmentata anziché di markup semantico consente di ottenere risultati di corrispondenza esatta e di controllare lo stile.

Per raggiungere il realismo, due reti neurali competono tra loro: un generatore e un discriminatore. Il generatore genera immagini basate sulla miscelazione di elementi di fotografie reali e il discriminatore identifica possibili deviazioni dalle immagini reali. Di conseguenza, si forma un feedback, sulla base del quale il generatore inizia a comporre campioni sempre migliori finché il discriminatore non smette di distinguerli da quelli reali.

Fonte: opennet.ru