NVIDIA эскиздерден пейзаждарды синтездейтін машиналық оқыту жүйесінің кодын ашады

NVIDIA компаниясы жарияланған машиналық оқыту жүйесінің бастапқы кодтары ДҮКЕН (GauGAN), ол дөрекі эскиздер негізінде шынайы пейзаждарды синтездеуге мүмкіндік береді, сонымен қатар жобамен байланысты. үйретілген модельдер. Жүйе болды көрсетті наурызда GTC 2019 конференциясында, бірақ код кеше ғана жарияланды. Әзірлеулер ашық меншік лицензиясы бойынша CC BY-NC-SA 4.0 (Creative Commons Attribution-NonCommercial-ShareAlike 4.0), тек коммерциялық емес пайдалануға рұқсат береді. Код Python тілінде фреймворк арқылы жазылған PyTorch.

Эскиздер оқиға орнында шамамен объектілердің орналасуын анықтайтын сегменттелген карта түрінде құрастырылады. Жасалған нысандардың сипаты түс белгілерінің көмегімен көрсетіледі. Мысалы, көк түс аспанға, көк суға, қою жасыл түс ағашқа, ашық жасыл шөпке, ашық қоңыр тасқа, қою қоңыр тауға, сұр қарға, қоңыр сызық жолға, көк түске айналады. өзенге желі Сонымен қатар, анықтамалық кескіндерді таңдау негізінде композицияның жалпы стилі мен тәулік уақыты анықталады. Виртуалды әлемдерді құру үшін ұсынылған құрал сәулетшілер мен қала жоспарлаушылардан бастап ойын әзірлеушілері мен ландшафты дизайнерлерге дейін кең ауқымды мамандарға пайдалы болуы мүмкін.

Объектілер генеративті қарсылас нейрондық желі арқылы синтезделеді (GAN), ол бірнеше миллион фотосуреттерде алдын ала дайындалған модельден мәліметтерді алып, схемалық сегменттелген карта негізінде шынайы кескіндерді жасайды. Бұрын әзірленген кескін синтезі жүйелерінен айырмашылығы, ұсынылған әдіс адаптивті кеңістіктік түрлендіруді, содан кейін машиналық оқыту негізінде түрлендіруді пайдалануға негізделген. Семантикалық белгілеудің орнына сегменттелген картаны өңдеу дәл сәйкестік нәтижелеріне қол жеткізуге және стильді басқаруға мүмкіндік береді.

Нақтылыққа жету үшін екі нейрондық желі бір-бірімен бәсекелеседі: генератор және дискриминатор. Генератор нақты фотосуреттердің элементтерін араластыру негізінде кескіндерді жасайды, ал дискриминатор нақты кескіндерден ықтимал ауытқуларды анықтайды. Нәтижесінде кері байланыс қалыптасады, оның негізінде генератор дискриминатор оларды нақты үлгілерден ажыратуды тоқтатқанға дейін барған сайын жақсы үлгілерді құра бастайды.

Ақпарат көзі: opennet.ru