NVIDIA öppnar koden för ett maskininlärningssystem som syntetiserar landskap från skisser

NVIDIA Company опубликовала källkoder för maskininlärningssystem SVÄRD (GauGAN), som låter dig syntetisera realistiska landskap baserat på grova skisser, såväl som de som är associerade med projektet utbildade modeller. Systemet var demonstrerade i mars på GTC 2019-konferensen, men koden publicerades först igår. Utvecklingen öppen under en egen licens CC BY-NC-SA 4.0 (Creative Commons Attribution-NonCommercial-ShareAlike 4.0), tillåter endast icke-kommersiell användning. Koden är skriven i Python med hjälp av ramverket PyTorch.

Skisserna är ritade i form av en segmenterad karta som bestämmer placeringen av ungefärliga objekt på scenen. Typen av de genererade objekten specificeras med hjälp av färgmärken. Till exempel förvandlas en blå fyllning till himlen, blå till vatten, mörkgrön till träd, ljusgrön till gräs, ljusbrun till stenar, mörkbrun till berg, grå till snö, en brun linje förvandlas till en väg och en blå linje in i floden Dessutom, baserat på urvalet av referensbilder, bestäms den övergripande kompositionsstilen och tiden på dygnet. Det föreslagna verktyget för att skapa virtuella världar kan vara användbart för ett brett spektrum av specialister, från arkitekter och stadsplanerare till spelutvecklare och landskapsdesigners.

Objekt syntetiseras av ett generativt motstridigt neuralt nätverk (GAN), som skapar realistiska bilder baserade på en schematisk segmenterad karta, och lånar detaljer från en modell som är förtränad på flera miljoner fotografier. Till skillnad från tidigare utvecklade bildsyntessystem är den föreslagna metoden baserad på användningen av adaptiv rumslig transformation följt av transformation baserad på maskininlärning. Genom att bearbeta en segmenterad karta istället för semantisk markering kan du uppnå exakta matchningsresultat och kontrollera stilen.

För att uppnå realism konkurrerar två neurala nätverk med varandra: en generator och en diskriminator. Generatorn genererar bilder baserat på att blanda element av verkliga fotografier, och diskriminatorn identifierar möjliga avvikelser från verkliga bilder. Som ett resultat bildas återkoppling, på grundval av vilken generatorn börjar komponera allt bättre sampel tills diskriminatorn upphör att skilja dem från de verkliga.

Källa: opennet.ru