NVIDIA experimenterar aktivt inom området djupinlärning, och resultaten av dess arbete är ibland ganska intressanta. Företaget tillkännagav vid GDC 2019 skapandet av GauGAN, en intelligent ritapplikation som använder en djupinlärningsmodell för att skapa fotorealistiska versioner av enkla ritningar. Appens namn syftar på den franske postimpressionistiska konstnären Paul Gauguin och programvarans användning av generativa motstridiga nätverk (GAN) för att skapa bilder som realistiskt imiterar målningar.
Hur fungerar GauGAN? Enligt företagets förklaring är appen som en "smart borste" som fyller i detaljerna i en användares skiss (NVIDIA kallar det en "segmenteringskarta"). I huvudsak sätter användaren eller artisten bara en plan för vad han vill se i slutändan, och märker varje segment och indikerar vad det ska vara. GauGAN tar sedan över, fyller i ytterligare detaljer och gör ritningarna mer realistiska.
Utbildad på miljontals konstnärliga bilder, befolkar modellen för djupinlärning sedan landskapet med imponerande (men inte alltid perfekta) resultat. Om du ritar en damm kommer närliggande element som träd och stenar att reflekteras i vattnet. Det räcker med att ändra segmentetiketten från "gräs" till "snö", och hela bilden kommer att förändras, förvandlas till en vinter, och de lummiga träden blir kala. För att förstå vad vi pratar om kan du titta på videon nedan.
Det är också värt att notera att även om GauGAN använder omfattande kunskap baserad på en mängd andra bilder för att skapa de slutliga verken, anses de senare fortfarande vara original eftersom applikationen genererar helt nya resulterande bilder.
NVIDIAs nya smarta grafikredigerare är inte begränsad till bara naturliga scener eller landskap – appen kan lägga till byggnader, vägar och till och med människor. GauGAN tillåter också användare att använda filter och styla resultatet så att det passar deras önskade stil. Sådana filter kan bland annat imitera stilen hos en specifik artist (till exempel Van Gon) eller justera belysningen av en scen, ändra bilder från dag till natt.
Det är oklart om GauGAN någonsin kommer att släppas för dagligt konsumentbruk, men jag tror att vanliga användare förr eller senare mycket väl kan få några ganska användbara verktyg som detta, vilket förenklar arbetet inom en mängd olika områden: från arkitektur och illustration till spelutveckling.
Men på NVIDIA AI Playground-resursen kan de som är intresserade bekanta sig med vissa maskininlärningsfunktioner. Till exempel, i demonstrationen av artistisk stilöverföring som finns där, kan du bearbeta vilket foto som helst i stil med kända artister.
Andra liknande experiment från NVIDIA inkluderar en studie som visar hur AI-genererade visuella effekter kan kombineras med en traditionell rastreringspipeline. Resultatet är ett hybridgrafiksystem som skulle kunna användas i spel, filmer och virtuell verklighet. Ett annat liknande exempel är en algoritm för att förvandla snöfyllda gator till sommargator, utvecklad av företagsspecialister för effektivare autopilotträning.
Källa: 3dnews.ru