Společnost NVIDIA zdrojové kódy systému strojového učení (GauGAN), který vám umožňuje syntetizovat realistické krajiny na základě hrubých náčrtů a také ty, které jsou spojeny s projektem . Systém byl v březnu na konferenci GTC 2019, ale kód byl zveřejněn teprve včera. Vývoj pod vlastnickou licencí (Creative Commons Attribution-NonCommercial-ShareAlike 4.0), umožňující pouze nekomerční použití. Kód je napsán v Pythonu pomocí frameworku .
Náčrty jsou vypracovány ve formě segmentové mapy, která určuje umístění přibližných objektů na scéně. Povaha generovaných objektů je specifikována pomocí barevných značek. Například modrá výplň se promění v oblohu, modrá ve vodu, tmavě zelená ve stromy, světle zelená v trávu, světle hnědá ve skály, tmavě hnědá v hory, šedá ve sníh, hnědá čára se promění v silnici a modrá linka do řeky Kromě toho se na základě výběru referenčních snímků určí celkový styl kompozice a denní doba. Navržený nástroj pro vytváření virtuálních světů může být užitečný širokému spektru specialistů, od architektů a urbanistů až po vývojáře her a krajinné designéry.
Objekty jsou syntetizovány generativní nepřátelskou neuronovou sítí (), který vytváří realistické obrázky na základě schematické segmentované mapy, přičemž si vypůjčuje detaily z modelu předem natrénovaného na několika milionech fotografií. Na rozdíl od dříve vyvinutých systémů pro syntézu obrazu je navrhovaná metoda založena na použití adaptivní prostorové transformace následované transformací založenou na strojovém učení. Zpracování segmentované mapy namísto sémantického označení umožňuje dosáhnout výsledků přesné shody a ovládat styl.
Pro dosažení realismu spolu soutěží dvě neuronové sítě: generátor a diskriminátor. Generátor generuje obrázky na základě míchání prvků skutečných fotografií a diskriminátor identifikuje možné odchylky od skutečných obrázků. V důsledku toho se vytváří zpětná vazba, na jejímž základě začne generátor skládat stále lepší vzorky, až je diskriminátor přestane odlišovat od těch skutečných.
Zdroj: opennet.ru