NVIDIA eksperimenterer aktivt inden for deep learning, og resultaterne af dets arbejde er nogle gange ret interessante. Virksomheden annoncerede på GDC 2019 oprettelsen af GauGAN, en intelligent tegneapplikation, der bruger en deep learning-model til at skabe fotorealistiske versioner af simple tegninger. Appens navn henviser til den franske post-impressionistiske kunstner Paul Gauguin og softwarens brug af generative adversarial networks (GAN'er) til at skabe billeder, der realistisk efterligner malerier.
Hvordan virker GauGAN? Ifølge virksomhedens forklaring er appen som en "smart pensel", der udfylder detaljerne i en brugers skitse (NVIDIA kalder det et "segmenteringskort"). Grundlæggende lægger brugeren eller kunstneren bare en plan for, hvad han vil se i sidste ende, og mærker hvert segment og angiver, hvad det skal være. GauGAN tager derefter over, udfylder yderligere detaljer og gør tegningerne mere realistiske.
Trænet på millioner af kunstneriske billeder, befolker den dybe læringsmodel landskabet med imponerende (men ikke altid perfekte) resultater. Hvis du tegner en dam, vil nærliggende elementer som træer og sten blive reflekteret i vandet. Det er nok at ændre segmentetiketten fra "græs" til "sne", og hele billedet ændres, bliver til en vinter, og de grønne træer bliver nøgne. For at forstå, hvad vi taler om, kan du se videoen nedenfor.
Det er også værd at bemærke, at selvom GauGAN bruger omfattende viden baseret på en lang række andre billeder til at skabe de endelige værker, betragtes sidstnævnte stadig som originale, da applikationen genererer helt nye resulterende billeder.
NVIDIAs nye smarte grafikeditor er ikke begrænset til kun naturlige scener eller landskaber – appen kan tilføje bygninger, veje og endda mennesker. GauGAN giver også brugerne mulighed for at anvende filtre og style resultatet, så det passer til deres ønskede stil. Sådanne filtre kan blandt andet efterligne en bestemt kunstners stil (for eksempel Van Gon) eller justere belysningen af en scene, ændre billeder fra dag til nat.
Det er uklart, om GauGAN nogensinde vil blive frigivet til daglig forbrugerbrug, men jeg tror, at før eller siden kan almindelige brugere meget vel få nogle ret nyttige værktøjer som dette, der forenkler arbejdet på en række områder: fra arkitektur og illustration til spiludvikling.
Men på NVIDIA AI Playground-ressourcen kan interesserede sætte sig ind i nogle maskinlæringsfunktioner. For eksempel, i demonstrationen af kunstnerisk stiloverførsel, der er til stede der, kan du behandle ethvert foto i stil med berømte kunstnere.
Andre lignende eksperimenter fra NVIDIA inkluderer en undersøgelse, der viser, hvordan AI-genererede visuelle effekter kan kombineres med en traditionel rasteriseringspipeline. Resultatet er et hybridt grafiksystem, der kunne bruges i spil, film og virtual reality. Et andet lignende eksempel er en algoritme til at omdanne snefyldte gader til sommergader, udviklet af firmaets specialister til mere effektiv autopilottræning.
Kilde: 3dnews.ru