NVIDIA har publicerat källkoden för maskininlärningssystemet SPADE (GauGAN), som kan syntetisera realistiska landskap från grova skisser, såväl som otränade modeller kopplade till projektet. Systemet demonstrerades i mars på GTC 2019-konferensen, men koden publicerades först igår. Utvecklingen är öppen under en fri licens CC BY-NC-SA 4.0 (Creative Commons Attribution-NonCommercial-ShareAlike 4.0), vilket endast tillåter användning för icke-kommersiella ändamål. Koden är skriven i Python med PyTorch-ramverket.
Skisserna är ritade i form av en segmenterad karta som bestämmer placeringen av ungefärliga objekt på scenen. Typen av de genererade objekten specificeras med hjälp av färgmärken. Till exempel förvandlas en blå fyllning till himlen, blå till vatten, mörkgrön till träd, ljusgrön till gräs, ljusbrun till stenar, mörkbrun till berg, grå till snö, en brun linje förvandlas till en väg och en blå linje in i en flod. Dessutom, baserat på urvalet av referensbilder, bestäms den övergripande kompositionsstilen och tiden på dygnet. Det föreslagna verktyget för att skapa virtuella världar kan vara användbart för ett brett spektrum av specialister, från arkitekter och stadsplanerare till spelutvecklare och landskapsdesigners.
Objekt syntetiseras av ett generativt motstridigt neuralt nätverk (GAN), som skapar realistiska bilder baserade på en schematisk segmenterad karta, och lånar detaljer från en modell som är förtränad på flera miljoner fotografier. Till skillnad från tidigare utvecklade bildsyntessystem är den föreslagna metoden baserad på användningen av adaptiv rumslig transformation följt av transformation baserad på maskininlärning. Genom att bearbeta en segmenterad karta istället för semantisk markering kan du uppnå exakta matchningsresultat och kontrollera stilen.
För att uppnå realism konkurrerar två neurala nätverk med varandra: en generator och en diskriminator. Generatorn genererar bilder baserat på att blanda element av verkliga fotografier, och diskriminatorn identifierar möjliga avvikelser från verkliga bilder. Som ett resultat bildas återkoppling, på grundval av vilken generatorn börjar komponera allt bättre sampel tills diskriminatorn upphör att skilja dem från de verkliga.
Källa: opennet.ru