NVIDIA zverejnila zdrojový kód pre systém strojového učenia SPADE (GauGAN), ktorý dokáže syntetizovať realistické krajiny z hrubých náčrtov, ako aj netrénovaných modelov spojených s projektom. Systém bol demonštrovaný v marci na konferencii GTC 2019, no kód bol zverejnený až včera. Vývoj je otvorený pod bezplatnou licenciou CC BY-NC-SA 4.0 (Creative Commons Attribution-NonCommercial-ShareAlike 4.0), ktorá umožňuje použitie iba na nekomerčné účely. Kód je napísaný v Pythone pomocou frameworku PyTorch.
Náčrty sú zostavené vo forme segmentovanej mapy, ktorá určuje umiestnenie približných objektov na scéne. Charakter generovaných objektov je špecifikovaný pomocou farebných značiek. Napríklad modrá výplň sa premení na oblohu, modrá na vodu, tmavozelená na stromy, svetlozelená na trávu, svetlohnedá na kamene, tmavohnedá na hory, sivá na sneh, hnedá čiara sa zmení na cestu a modrá linka do rieky. Okrem toho sa na základe výberu referenčných obrázkov určí celkový štýl kompozície a denná doba. Navrhovaný nástroj na vytváranie virtuálnych svetov môže byť užitočný pre širokú škálu špecialistov, od architektov a urbanistov až po vývojárov hier a krajinných dizajnérov.
Objekty sú syntetizované generatívnou adversariálnou neurónovou sieťou (GAN), ktorá vytvára realistické obrázky na základe schematicky segmentovanej mapy, pričom si požičiava detaily z modelu vopred natrénovaného na niekoľkých miliónoch fotografií. Na rozdiel od predtým vyvinutých systémov syntézy obrazu je navrhovaná metóda založená na použití adaptívnej priestorovej transformácie, po ktorej nasleduje transformácia založená na strojovom učení. Spracovanie segmentovanej mapy namiesto sémantického označenia vám umožňuje dosiahnuť presné výsledky zhody a ovládať štýl.
Aby sa dosiahol realizmus, súperia medzi sebou dve neurónové siete: generátor a diskriminátor. Generátor generuje obrázky na základe miešania prvkov skutočných fotografií a diskriminátor identifikuje možné odchýlky od skutočných obrázkov. V dôsledku toho sa vytvára spätná väzba, na základe ktorej generátor začína skladať čoraz lepšie vzorky, až ich diskriminátor prestane rozlišovať od tých skutočných.
Zdroj: opennet.ru
