NVIDIA hat de boarnekoade publisearre foar it SPADE (GauGAN) masine-learsysteem, dat realistyske lânskippen kin synthesisearje út rûge sketsen, lykas ek net-trained modellen ferbûn mei it projekt. It systeem waard yn maart demonstrearre op 'e GTC 2019-konferinsje, mar de koade waard juster publisearre. De ûntjouwings binne iepen ûnder in frije lisinsje CC BY-NC-SA 4.0 (Creative Commons Attribution-NonCommercial-ShareAlike 4.0), wêrtroch gebrûk allinnich foar net-kommersjele doelen mooglik is. De koade is skreaun yn Python mei it PyTorch-ramt.
De sketsen wurde opsteld yn 'e foarm fan in segmentearre kaart dy't de pleatsing fan likernôch objekten op it toaniel bepaalt. De aard fan de oanmakke objekten wurdt oantsjutte mei help fan kleur marks. Bygelyks, in blauwe vulling feroaret yn 'e loft, blau yn wetter, donkergrien yn beammen, ljochtgrien yn gers, ljochtbrún yn stiennen, donkerbrún yn bergen, griis yn snie, in brune line feroaret yn in dyk, en in blau line yn in rivier. Derneist, basearre op de seleksje fan referinsjeôfbyldings, wurde de algemiene komposysjestyl en tiid fan 'e dei bepaald. It foarstelde ark foar it meitsjen fan firtuele wrâlden kin nuttich wêze foar in breed skala oan spesjalisten, fan arsjitekten en stedsplanners oant spultsje-ûntwikkelders en lânskipsûntwerpers.
Objekten wurde synthesized troch in generatyf adversarial neural netwurk (GAN), dat makket realistyske bylden basearre op in skematyske segmentearre kaart, liene details fan in model foarôf oplaat op ferskate miljoen foto's. Oars as earder ûntwikkele systemen foar byldsynteze, is de foarstelde metoade basearre op it brûken fan adaptive romtlike transformaasje folge troch transformaasje basearre op masine learen. It ferwurkjen fan in segmentearre kaart ynstee fan semantyske markup lit jo eksakte matchresultaten berikke en de styl kontrolearje.
Om realisme te berikken, konkurrearje twa neurale netwurken mei elkoar: in generator en in diskriminator. De generator genereart ôfbyldings basearre op it mingjen fan eleminten fan echte foto's, en de diskriminator identifisearret mooglike ôfwikingen fan echte ôfbyldings. As gefolch wurdt feedback foarme, op basis wêrfan de generator begjint te meitsjen hieltyd bettere samples oant de diskriminator ophâldt te ûnderskieden fan 'e echte.
Boarne: opennet.ru