NVIDIA zveřejnila zdrojový kód pro systém strojového učení SPADE (GauGAN), který dokáže syntetizovat realistické krajiny z hrubých náčrtů a také netrénovaných modelů spojených s projektem. Systém byl předveden v březnu na konferenci GTC 2019, ale kód byl zveřejněn teprve včera. Vývoj je otevřen pod bezplatnou licencí CC BY-NC-SA 4.0 (Creative Commons Attribution-NonCommercial-ShareAlike 4.0), která umožňuje použití pouze pro nekomerční účely. Kód je napsán v Pythonu pomocí frameworku PyTorch.
Náčrty jsou vypracovány ve formě segmentové mapy, která určuje umístění přibližných objektů na scéně. Povaha generovaných objektů je specifikována pomocí barevných značek. Například modrá výplň se promění v oblohu, modrá ve vodu, tmavě zelená ve stromy, světle zelená v trávu, světle hnědá v kameny, tmavě hnědá v hory, šedá ve sníh, hnědá čára se promění v silnici a modrá linka do řeky. Kromě toho se na základě výběru referenčních snímků určí celkový styl kompozice a denní doba. Navržený nástroj pro vytváření virtuálních světů může být užitečný širokému spektru specialistů, od architektů a urbanistů až po vývojáře her a krajinné designéry.
Objekty jsou syntetizovány generativní adversariální neuronovou sítí (GAN), která vytváří realistické obrazy založené na schematické segmentované mapě, vypůjčující si detaily z modelu předem natrénovaného na několika milionech fotografií. Na rozdíl od dříve vyvinutých systémů pro syntézu obrazu je navrhovaná metoda založena na použití adaptivní prostorové transformace následované transformací založenou na strojovém učení. Zpracování segmentované mapy namísto sémantického označení umožňuje dosáhnout výsledků přesné shody a ovládat styl.
Pro dosažení realismu spolu soutěží dvě neuronové sítě: generátor a diskriminátor. Generátor generuje obrázky na základě míchání prvků skutečných fotografií a diskriminátor identifikuje možné odchylky od skutečných obrázků. V důsledku toho se vytváří zpětná vazba, na jejímž základě začne generátor skládat stále lepší vzorky, až je diskriminátor přestane odlišovat od těch skutečných.
Zdroj: opennet.ru