NVIDIA experimentează activ în domeniul învățării profunde, iar rezultatele muncii sale sunt uneori destul de interesante. Compania a anunțat la GDC 2019 crearea GauGAN, o aplicație inteligentă de desen care utilizează un model de învățare profundă pentru a crea versiuni fotorealiste ale desenelor simple. Numele aplicației se referă la artistul post-impresionist francez Paul Gauguin și la utilizarea de către software a rețelelor generative de adversar (GAN) pentru a crea imagini care imită în mod realist picturile.
Cum funcționează GauGAN? Conform explicației companiei, aplicația este ca o „perie inteligentă” care completează detaliile schiței unui utilizator (NVIDIA o numește „hartă de segmentare”). În esență, utilizatorul sau artistul stabilește doar un plan pentru ceea ce dorește să vadă în final și etichetează fiecare segment, indicând ce ar trebui să fie. GauGAN preia apoi controlul, completând detalii suplimentare și făcând desenele mai realiste.
Antrenat pe milioane de imagini artistice, modelul de deep learning populează apoi peisajul cu rezultate impresionante (dar nu întotdeauna perfecte). Dacă desenați un iaz, elementele din apropiere, cum ar fi copacii și stâncile, se vor reflecta în apă. Este suficient să schimbați eticheta segmentului de la „iarbă” la „zăpadă”, iar întreaga imagine se va schimba, transformându-se într-una de iarnă, iar copacii cu frunze vor deveni goi. Pentru a înțelege despre ce vorbim, puteți urmări videoclipul de mai jos.
De asemenea, este de remarcat faptul că, deși GauGAN folosește cunoștințe extinse bazate pe o serie de alte imagini pentru a crea lucrările finale, acestea din urmă sunt încă considerate originale, deoarece aplicația generează imagini rezultate complet noi.
Noul editor grafic inteligent de la NVIDIA nu se limitează doar la scene naturale sau peisaje - aplicația poate adăuga clădiri, drumuri și chiar oameni. GauGAN permite, de asemenea, utilizatorilor să aplice filtre, stilând rezultatul pentru a se potrivi stilului dorit. Astfel de filtre, printre altele, pot imita stilul unui anumit artist (de exemplu, Van Gon) sau pot ajusta iluminarea unei scene, schimbând imaginile de la zi la noapte.
Nu este clar dacă GauGAN va fi lansat vreodată pentru uzul de zi cu zi al consumatorilor, dar cred că mai devreme sau mai târziu utilizatorii obișnuiți pot obține câteva instrumente destul de utile ca acesta, simplificând munca într-o varietate de domenii: de la arhitectură și ilustrație până la dezvoltarea jocurilor.
Cu toate acestea, pe resursa NVIDIA AI Playground, cei interesați se pot familiariza cu unele capacități de învățare automată. De exemplu, în demo-ul Artistic Style Transfer prezent acolo, puteți procesa orice fotografie în stilul artiștilor celebri.
Alte experimente similare de la NVIDIA includ un studiu care arată cum efectele vizuale generate de AI pot fi combinate cu o conductă tradițională de rasterizare. Rezultatul este un sistem grafic hibrid care ar putea fi folosit în jocuri, filme și realitate virtuală. Un alt exemplu similar este un algoritm de transformare a străzilor pline de zăpadă în străzi de vară, dezvoltat de specialiștii companiei pentru un antrenament mai eficient al pilotului automat.
Sursa: 3dnews.ru