Mae NVIDIA yn agor y cod ar gyfer system dysgu peiriannau sy'n syntheseiddio tirweddau o frasluniau

Cwmni NVIDIA cyhoeddi codau ffynhonnell system dysgu peiriant SWORDS (GauGAN), sy'n eich galluogi i syntheseiddio tirweddau realistig yn seiliedig ar frasluniau bras, yn ogystal â'r rhai sy'n gysylltiedig â'r prosiect modelau hyfforddedig. Roedd y system dangoswyd ym mis Mawrth yng nghynhadledd GTC 2019, ond dim ond ddoe y cyhoeddwyd y cod. Datblygiadau agored dan drwydded perchnogol CC BY-NC-SA 4.0 (Creative Commons Attribution-NonCommercial-ShareAlike 4.0), gan ganiatáu ar gyfer defnydd anfasnachol yn unig. Mae'r cod wedi'i ysgrifennu yn Python gan ddefnyddio'r fframwaith PyTorch.

Mae'r brasluniau'n cael eu llunio ar ffurf map segmentiedig sy'n pennu lleoliad gwrthrychau bras yn yr olygfa. Nodir natur y gwrthrychau a gynhyrchir gan ddefnyddio marciau lliw. Er enghraifft, mae llenwad glas yn trawsnewid i'r awyr, glas yn ddŵr, gwyrdd tywyll yn goed, gwyrdd golau yn laswellt, brown golau yn greigiau, brown tywyll yn fynyddoedd, llwyd yn eira, llinell frown yn trawsnewid yn ffordd, a glas llinell i mewn i'r afon Yn ogystal, yn seiliedig ar y detholiad o ddelweddau cyfeirio, penderfynir ar arddull y cyfansoddiad cyffredinol ac amser y dydd. Gall yr offeryn arfaethedig ar gyfer creu bydoedd rhithwir fod yn ddefnyddiol i ystod eang o arbenigwyr, o benseiri a chynllunwyr trefol i ddatblygwyr gemau a dylunwyr tirwedd.

Mae gwrthrychau'n cael eu syntheseiddio gan rwydwaith niwral gwrthwynebus cynhyrchiol (GAN), sy'n creu delweddau realistig yn seiliedig ar fap segmentiedig sgematig, gan fenthyca manylion o fodel sydd wedi'i hyfforddi ymlaen llaw ar sawl miliwn o ffotograffau. Yn wahanol i systemau synthesis delwedd a ddatblygwyd yn flaenorol, mae'r dull arfaethedig yn seiliedig ar y defnydd o drawsnewid gofodol addasol ac yna trawsnewid yn seiliedig ar ddysgu peiriant. Mae prosesu map segmentiedig yn lle marcio semantig yn eich galluogi i gyflawni canlyniadau cyfatebol union a rheoli'r arddull.

I gyflawni realaeth, mae dau rwydwaith niwral yn cystadlu â'i gilydd: generadur a gwahaniaethwr. Mae'r generadur yn cynhyrchu delweddau yn seiliedig ar gymysgu elfennau o ffotograffau go iawn, ac mae'r gwahaniaethwr yn nodi gwyriadau posibl oddi wrth ddelweddau go iawn. O ganlyniad, mae adborth yn cael ei ffurfio, ac ar y sail mae'r generadur yn dechrau cyfansoddi samplau cynyddol well nes bod y gwahaniaethwr yn peidio â'u gwahaniaethu oddi wrth y rhai go iawn.

Ffynhonnell: opennet.ru