NVIDIA iepenet de koade foar in masine-learsysteem dat lânskippen fan sketsen syntetisearret

It bedriuw NVIDIA Company publisearre boarnekoades foar masine learen systeem SWORDS (GauGAN), wêrmei jo realistyske lânskippen kinne synthesisearje op basis fan rûge sketsen, lykas dy ferbûn mei it projekt oplaat modellen. It systeem wie demonstrearre yn maart op 'e GTC 2019-konferinsje, mar de koade waard juster publisearre. Untjouwings iepen ûnder in eigen lisinsje CC BY-NC-SA 4.0 (Creative Commons Attribution-NonCommercial-ShareAlike 4.0), wêrtroch allinich net-kommersjeel gebrûk mooglik is. De koade is skreaun yn Python mei it ramt PyTorch.

NVIDIA iepenet de koade foar in masine-learsysteem dat lânskippen fan sketsen syntetisearret

De sketsen wurde opsteld yn 'e foarm fan in segmentearre kaart dy't de pleatsing fan likernôch objekten op it toaniel bepaalt. De aard fan de oanmakke objekten wurdt oantsjutte mei help fan kleur marks. Bygelyks, in blauwe folling feroaret yn 'e loft, blau yn wetter, donkergrien yn beammen, ljochtgrien yn gers, ljochtbrún yn rotsen, donkerbrún yn bergen, griis yn snie, in brune line feroaret yn in dyk, en in blau line yn rivier Derneist, basearre op de seleksje fan referinsjeôfbyldings, wurde de algemiene komposysjestyl en tiid fan 'e dei bepaald. It foarstelde ark foar it meitsjen fan firtuele wrâlden kin nuttich wêze foar in breed skala oan spesjalisten, fan arsjitekten en stedsplanners oant spultsje-ûntwikkelders en lânskipsûntwerpers.

NVIDIA iepenet de koade foar in masine-learsysteem dat lânskippen fan sketsen syntetisearret

Objekten wurde synthesized troch in generatyf adversarial neural netwurk (GAN), dy't realistyske bylden makket op basis fan in skematyske segmentearre kaart, en details liene fan in model dat foarôf traind is op ferskate miljoen foto's. Oars as earder ûntwikkele systemen foar byldsynteze, is de foarstelde metoade basearre op it brûken fan adaptive romtlike transformaasje folge troch transformaasje basearre op masine learen. It ferwurkjen fan in segmentearre kaart ynstee fan semantyske markup lit jo eksakte matchresultaten berikke en de styl kontrolearje.

NVIDIA iepenet de koade foar in masine-learsysteem dat lânskippen fan sketsen syntetisearret

Om realisme te berikken, konkurrearje twa neurale netwurken mei elkoar: in generator en in diskriminator. De generator genereart ôfbyldings basearre op it mingjen fan eleminten fan echte foto's, en de diskriminator identifisearret mooglike ôfwikingen fan echte ôfbyldings. As gefolch wurdt feedback foarme, op basis wêrfan de generator begjint te meitsjen hieltyd bettere samples oant de diskriminator ophâldt te ûnderskieden fan 'e echte.

Boarne: opennet.ru

Add a comment