NVIDIA eskizlardan landshaftlarni sintez qiluvchi mashinani o'rganish tizimi uchun kodni ochadi

NVIDIA kompaniyasi e'lon qilindi mashinani o'rganish tizimining manba kodlari SO'ZLAR (GauGAN), bu sizga qo'pol eskizlar asosida real landshaftlarni, shuningdek, loyiha bilan bog'liq bo'lganlarni sintez qilish imkonini beradi. tayyorlangan modellar. Tizim edi namoyish qilgan mart oyida GTC 2019 konferentsiyasida, lekin kod kechagina nashr etildi. Ishlanmalar ochiq mulkiy litsenziya ostida CC BY-NC-SA 4.0 (Creative Commons Attribution-NonCommercial-ShareAlike 4.0), faqat notijorat maqsadlarda foydalanishga ruxsat beradi. Kod Python-da ramka yordamida yozilgan PyTorch.

Eskizlar sahnada taxminiy ob'ektlarning joylashishini aniqlaydigan segmentlangan xarita shaklida tuziladi. Yaratilgan ob'ektlarning tabiati rang belgilari yordamida aniqlanadi. Masalan, ko'k rang to'lg'azish osmonga, ko'k rang suvga, to'q yashil rang daraxtga, och yashil rang o'tga, och jigarrang toshga, to'q jigarrang tog'ga, kulrang qorga, jigarrang chiziq yo'lga, ko'k rang esa yo'lga aylanadi. daryoga chiziq Bundan tashqari, mos yozuvlar tasvirlarini tanlash asosida kompozitsiyaning umumiy uslubi va kunning vaqti aniqlanadi. Virtual olamlarni yaratish uchun taklif etilayotgan vosita arxitektorlar va shaharsozlikchilardan tortib o'yin ishlab chiquvchilari va landshaft dizaynerlarigacha bo'lgan keng doiradagi mutaxassislar uchun foydali bo'lishi mumkin.

Ob'ektlar generativ raqib neyron tarmog'i tomonidan sintezlanadi (GAN), sxematik segmentlangan xarita asosida real tasvirlarni yaratadi, bir necha million fotosuratlarda oldindan o'rganilgan modeldan tafsilotlarni oladi. Ilgari ishlab chiqilgan tasvir sintezi tizimlaridan farqli o'laroq, tavsiya etilgan usul adaptiv fazoviy transformatsiyadan, so'ngra mashinani o'rganishga asoslangan transformatsiyadan foydalanishga asoslangan. Semantik belgilar o'rniga segmentlangan xaritani qayta ishlash sizga aniq moslik natijalariga erishish va uslubni boshqarish imkonini beradi.

Realizmga erishish uchun ikkita neyron tarmoq bir-biri bilan raqobatlashadi: generator va diskriminator. Jeneratör haqiqiy fotosuratlarning elementlarini aralashtirish asosida tasvirlarni yaratadi va diskriminator haqiqiy tasvirlardan mumkin bo'lgan og'ishlarni aniqlaydi. Natijada, teskari aloqa shakllanadi, uning asosida generator diskriminator ularni haqiqiylardan farqlashni to'xtatmaguncha, tobora yaxshi namunalarni yaratishni boshlaydi.

Manba: opennet.ru