NVIDIA åpner koden for et maskinlæringssystem som syntetiserer landskap fra skisser

NVIDIA-selskapet опубликовала kildekoder for maskinlæringssystem SVERD (GauGAN), som lar deg syntetisere realistiske landskap basert på grove skisser, så vel som de som er knyttet til prosjektet trente modeller. Systemet var demonstrert i mars på GTC 2019-konferansen, men koden ble publisert først i går. Utviklinger åpen under en proprietær lisens CC BY-NC-SA 4.0 (Creative Commons Attribution-NonCommercial-ShareAlike 4.0), tillater kun ikke-kommersiell bruk. Koden er skrevet i Python ved hjelp av rammeverket PyTorch.

Skissene er tegnet opp i form av et segmentert kart som bestemmer plasseringen av omtrentlige objekter på scenen. Naturen til de genererte objektene spesifiseres ved hjelp av fargemerker. For eksempel, en blå fylling forvandles til himmelen, blå til vann, mørkegrønn til trær, lysegrønn til gress, lysebrun til steiner, mørkebrun til fjell, grå til snø, en brun linje forvandles til en vei, og en blå linje inn i elva I tillegg, basert på utvalget av referansebilder, bestemmes den generelle komposisjonsstilen og tidspunktet på dagen. Det foreslåtte verktøyet for å lage virtuelle verdener kan være nyttig for et bredt spekter av spesialister, fra arkitekter og byplanleggere til spillutviklere og landskapsdesignere.

Objekter syntetiseres av et generativt adversarielt nevralt nettverk (GAN), som lager realistiske bilder basert på et skjematisk segmentert kart, og låner detaljer fra en modell som er forhåndstrent på flere millioner fotografier. I motsetning til tidligere utviklede bildesyntesesystemer, er den foreslåtte metoden basert på bruk av adaptiv romlig transformasjon etterfulgt av transformasjon basert på maskinlæring. Ved å behandle et segmentert kart i stedet for semantisk markering kan du oppnå eksakte resultater og kontrollere stilen.

For å oppnå realisme konkurrerer to nevrale nettverk med hverandre: en generator og en diskriminator. Generatoren genererer bilder basert på å blande elementer av ekte fotografier, og diskriminatoren identifiserer mulige avvik fra ekte bilder. Som et resultat dannes tilbakemelding, på grunnlag av hvilken generatoren begynner å komponere stadig bedre prøver til diskriminatoren slutter å skille dem fra de virkelige.

Kilde: opennet.ru