NVIDIA eksperimenterer aktivt innen dyp læring, og resultatene av arbeidet er noen ganger ganske interessante. Selskapet kunngjorde på GDC 2019 etableringen av GauGAN, en intelligent tegneapplikasjon som bruker en dyp læringsmodell for å lage fotorealistiske versjoner av enkle tegninger. Appens navn refererer til den franske postimpresjonistiske kunstneren Paul Gauguin og programvarens bruk av generative adversarial networks (GAN) for å lage bilder som realistisk imiterer malerier.
Hvordan fungerer GauGAN? Ifølge selskapets forklaring er appen som en «smart børste» som fyller ut detaljene i en brukers skisse (NVIDIA kaller det et «segmenteringskart»). I hovedsak setter brukeren eller artisten bare en plan for hva han vil se til slutt, og merker hvert segment, og indikerer hva det skal være. GauGAN tar deretter over, fyller ut ytterligere detaljer og gjør tegningene mer realistiske.
Trent på millioner av kunstneriske bilder, befolker dyplæringsmodellen landskapet med imponerende (men ikke alltid perfekte) resultater. Hvis du tegner en dam, vil nærliggende elementer som trær og steiner reflekteres i vannet. Det er nok å endre segmentetiketten fra "gress" til "snø", og hele bildet vil endre seg, bli til en vinter, og de løvrike trærne blir nakne. For å forstå hva vi snakker om, kan du se videoen nedenfor.
Det er også verdt å merke seg at selv om GauGAN bruker omfattende kunnskap basert på en rekke andre bilder for å lage de endelige verkene, anses sistnevnte fortsatt som originale siden applikasjonen genererer helt nye resulterende bilder.
NVIDIAs nye smarte grafikkeditor er ikke begrenset til bare naturlige scener eller landskap – appen kan legge til bygninger, veier og til og med mennesker. GauGAN lar også brukere bruke filtre, og style resultatet slik at det passer deres stil. Slike filtre kan blant annet imitere stilen til en spesifikk artist (for eksempel Van Gon) eller justere belysningen av en scene, endre bilder fra dag til natt.
Det er uklart om GauGAN noen gang vil bli utgitt for daglig forbrukerbruk, men jeg tror at før eller siden kan vanlige brukere godt få noen ganske nyttige verktøy som dette, som forenkler arbeidet på en rekke områder: fra arkitektur og illustrasjon til spillutvikling.
På NVIDIA AI Playground-ressursen kan de som er interesserte imidlertid gjøre seg kjent med noen maskinlæringsfunksjoner. For eksempel, i Artistic Style Transfer-demoen som finnes der, kan du behandle et hvilket som helst bilde i stil med kjente artister.
Andre lignende eksperimenter fra NVIDIA inkluderer en studie som viser hvordan AI-genererte visuelle effekter kan kombineres med en tradisjonell rasteriseringspipeline. Resultatet er et hybrid grafikksystem som kan brukes i spill, filmer og virtuell virkelighet. Et annet lignende eksempel er en algoritme for å gjøre snøfylte gater til sommergater, utviklet av selskapets spesialister for mer effektiv autopilottrening.
Kilde: 3dnews.ru