NVIDIA malfermas la kodon por maŝinlernada sistemo, kiu sintezas pejzaĝojn el skizoj

NVIDIA Kompanio eldonita fontkodoj de maŝinlernada sistemo SPADE (GauGAN), kiu ebligas al vi sintezi realismajn pejzaĝojn bazitajn sur malglataj skizoj, same kiel tiuj asociitaj kun la projekto. trejnitaj modeloj. La sistemo estis pruvis en marto ĉe la GTC 2019-konferenco, sed la kodo estis publikigita nur hieraŭ. Evoluoj malfermi sub proprieta permesilo CC BY-NC-SA 4.0 (Creative Commons Atribuite-NeKomerca-Samkondiĉe 4.0), permesante nur nekomercan uzon. La kodo estas skribita en Python uzante la kadron PyTorch.

La skizoj estas desegnitaj en formo de segmentita mapo kiu determinas la lokigon de proksimumaj objektoj sur la sceno. La naturo de la generitaj objektoj estas specifita per kolormarkoj. Ekzemple, blua plenigaĵo transformas en la ĉielon, blua en akvon, malhelverda en arbojn, helverda en herbon, helbruna en rokojn, malhelbruna en montojn, griza en neĝon, bruna linio transformas en vojon, kaj blua. linio en riveron Aldone, surbaze de la elekto de referencaj bildoj, la ĝenerala komponstilo kaj horo de la tago estas determinitaj. La proponita ilo por krei virtualajn mondojn povas esti utila al larĝa gamo de specialistoj, de arkitektoj kaj urbaj planistoj ĝis ludprogramistoj kaj pejzaĝdezajnistoj.

Objektoj estas sintezitaj per genera kontraŭa neŭrala reto (GAN), kiu kreas realismajn bildojn bazitajn sur skema segmentita mapo, pruntante detalojn de modelo antaŭtrejnita sur pluraj milionoj da fotoj. Male al antaŭe evoluigitaj bildsintezaj sistemoj, la proponita metodo estas bazita sur la uzo de adapta spaca transformo sekvita per transformo bazita sur maŝinlernado. Pretigi segmentitan mapon anstataŭ semantika markado ebligas al vi atingi ĝustajn kongruajn rezultojn kaj kontroli la stilon.

Por atingi realismon, du neŭralaj retoj konkuras unu kun la alia: generatoro kaj diskriminanto. La generatoro generas bildojn bazitajn sur miksado de elementoj de realaj fotoj, kaj la diskriminanto identigas eblajn deviojn de realaj bildoj. Kiel rezulto, reago formiĝas, surbaze de kiu la generatoro komencas formi ĉiam pli pli bonajn specimenojn ĝis la diskriminanto ĉesas distingi ilin de la realaj.

fonto: opennet.ru