Nai-publish ng NVIDIA ang source code para sa SPADE (GauGAN) machine learning system, na maaaring mag-synthesize ng mga makatotohanang landscape mula sa magaspang na sketch, pati na rin ang mga hindi sanay na modelo na nauugnay sa proyekto. Ipinakita ang system noong Marso sa kumperensya ng GTC 2019, ngunit kahapon lang na-publish ang code. Ang mga pagpapaunlad ay bukas sa ilalim ng isang libreng lisensya CC BY-NC-SA 4.0 (Creative Commons Attribution-NonCommercial-ShareAlike 4.0), na nagpapahintulot sa paggamit lamang para sa mga di-komersyal na layunin. Ang code ay nakasulat sa Python gamit ang PyTorch framework.
Ang mga sketch ay iginuhit sa anyo ng isang naka-segment na mapa na tumutukoy sa paglalagay ng mga tinatayang bagay sa eksena. Ang likas na katangian ng nabuong mga bagay ay tinukoy gamit ang mga marka ng kulay. Halimbawa, ang isang asul na punan ay nagiging langit, ang asul ay nagiging tubig, ang madilim na berde ay nagiging mga puno, ang mapusyaw na berde na ang damo, ang mapusyaw na kayumanggi ay nagiging mga bato, ang madilim na kayumanggi ay nagiging mga bundok, ang kulay abo ay nagiging niyebe, ang isang brown na linya ay nagiging kalsada, at isang asul. linya sa isang ilog. Bukod pa rito, batay sa pagpili ng mga reference na larawan, ang pangkalahatang estilo ng komposisyon at oras ng araw ay tinutukoy. Ang iminungkahing tool para sa paglikha ng mga virtual na mundo ay maaaring maging kapaki-pakinabang sa isang malawak na hanay ng mga espesyalista, mula sa mga arkitekto at tagaplano ng lunsod hanggang sa mga developer ng laro at mga taga-disenyo ng landscape.
Ang mga bagay ay na-synthesize ng isang generative adversarial neural network (GAN), na lumilikha ng mga makatotohanang larawan batay sa isang schematic segmented na mapa, na humihiram ng mga detalye mula sa isang modelong na-pre-trained sa ilang milyong litrato. Hindi tulad ng naunang binuo na mga sistema ng synthesis ng imahe, ang iminungkahing pamamaraan ay batay sa paggamit ng adaptive spatial transformation na sinusundan ng pagbabagong-anyo batay sa machine learning. Ang pagpoproseso ng naka-segment na mapa sa halip na semantic markup ay nagbibigay-daan sa iyong makamit ang eksaktong mga resulta ng pagtutugma at kontrolin ang istilo.
Upang makamit ang pagiging totoo, dalawang neural network ang nakikipagkumpitensya sa isa't isa: isang generator at isang discriminator. Ang generator ay bumubuo ng mga imahe batay sa paghahalo ng mga elemento ng mga tunay na larawan, at ang discriminator ay kinikilala ang mga posibleng paglihis mula sa mga tunay na larawan. Bilang isang resulta, ang feedback ay nabuo, sa batayan kung saan ang generator ay nagsisimulang bumuo ng mas mahusay na mga sample hanggang sa ang discriminator ay tumigil na makilala ang mga ito mula sa mga tunay.
Pinagmulan: opennet.ru