NVIDIA hap kodin për një sistem të mësimit të makinerive që sintetizon peizazhet nga skicat

Kompania NVIDIA botuar kodet burimore të sistemit të mësimit të makinerive Swords (GauGAN), i cili ju lejon të sintetizoni peizazhe realiste bazuar në skica të përafërta, si dhe ato që lidhen me projektin modele të trajnuara. Sistemi ishte demonstruar në mars në konferencën e GTC 2019, por kodi u publikua vetëm dje. Zhvillimet hapur me licencë pronësie CC BY-NC-SA 4.0 (Creative Commons Attribution-NonCommercial-ShareAlike 4.0), duke lejuar vetëm përdorim jokomercial. Kodi është shkruar në Python duke përdorur kornizën PyTorch.

Skicat hartohen në formën e një harte të segmentuar që përcakton vendosjen e objekteve të përafërta në skenë. Natyra e objekteve të krijuara specifikohet duke përdorur shenja me ngjyra. Për shembull, një mbushje blu shndërrohet në qiell, blu në ujë, jeshile e errët në pemë, jeshile e lehtë në bar, kafe e lehtë në shkëmbinj, kafe e errët në male, gri në dëborë, një vijë kafe shndërrohet në rrugë dhe një blu vijë në lumë Për më tepër, bazuar në përzgjedhjen e imazheve të referencës, përcaktohet stili i përgjithshëm i përbërjes dhe ora e ditës. Mjeti i propozuar për krijimin e botëve virtuale mund të jetë i dobishëm për një gamë të gjerë specialistësh, nga arkitektët dhe planifikuesit urbanë te zhvilluesit e lojërave dhe projektuesit e peizazhit.

Objektet sintetizohen nga një rrjet nervor kundërshtar gjenerues (GAN), i cili krijon imazhe realiste bazuar në një hartë të segmentuar skematike, duke huazuar detaje nga një model i trajnuar paraprakisht në disa milionë fotografi. Ndryshe nga sistemet e sintezës së imazheve të zhvilluara më parë, metoda e propozuar bazohet në përdorimin e transformimit hapësinor adaptiv të ndjekur nga transformimi i bazuar në mësimin e makinës. Përpunimi i një harte të segmentuar në vend të shënimit semantik ju lejon të arrini rezultate të sakta të përputhjes dhe të kontrolloni stilin.

Për të arritur realizmin, dy rrjete nervore konkurrojnë me njëri-tjetrin: një gjenerues dhe një diskriminues. Gjeneratori gjeneron imazhe bazuar në përzierjen e elementeve të fotografive reale dhe diskriminuesi identifikon devijimet e mundshme nga imazhet reale. Si rezultat, formohet reagimi, në bazë të të cilit gjeneratori fillon të kompozojë mostra gjithnjë e më të mira derisa diskriminuesi të pushojë së dalluari nga ato reale.

Burimi: opennet.ru