NVIDIA està experimentant activament en el camp de l'aprenentatge profund, i els resultats del seu treball de vegades són força interessants. La companyia va anunciar a GDC 2019 la creació de GauGAN, una aplicació de dibuix intel·ligent que utilitza un model d'aprenentatge profund per crear versions fotorealistes de dibuixos senzills. El nom de l'aplicació fa referència a l'artista postimpressionista francès Paul Gauguin i a l'ús que fa el programari de xarxes adversàries generatives (GAN) per crear imatges que imiten de manera realista les pintures.
Com funciona GauGAN? Segons l'explicació de l'empresa, l'aplicació és com un "pinzell intel·ligent" que omple els detalls de l'esbós d'un usuari (NVIDIA l'anomena "mapa de segmentació"). Essencialment, l'usuari o l'artista només estableix un pla per al que vol veure al final i etiqueta cada segment, indicant què hauria de ser. GauGAN pren el relleu, omplint detalls addicionals i fent que els dibuixos siguin més realistes.
Entrenat amb milions d'imatges artístiques, el model d'aprenentatge profund omple el paisatge amb resultats impressionants (però no sempre perfectes). Si dibuixeu un estany, els elements propers com ara arbres i roques es reflectiran a l'aigua. N'hi ha prou amb canviar l'etiqueta del segment de "herba" a "neu" i tota la imatge canviarà, es convertirà en una d'hivern, i els arbres frondosos quedaran nus. Per entendre de què estem parlant, podeu veure el vídeo a continuació.
També val la pena assenyalar que, tot i que GauGAN utilitza un ampli coneixement basat en una sèrie d'altres imatges per crear les obres finals, aquestes darreres encara es consideren originals ja que l'aplicació genera imatges resultants completament noves.
El nou editor de gràfics intel·ligents de NVIDIA no es limita només a escenes naturals o paisatges: l'aplicació pot afegir edificis, carreteres i fins i tot persones. GauGAN també permet als usuaris aplicar filtres, dissenyant el resultat per adaptar-se al seu estil desitjat. Aquests filtres, entre altres coses, poden imitar l'estil d'un artista específic (per exemple, Van Gon) o ajustar la il·luminació d'una escena, canviant les imatges del dia a la nit.
No està clar si GauGAN es llançarà mai per a l'ús quotidià dels consumidors, però crec que tard o d'hora els usuaris normals poden obtenir algunes eines força útils com aquesta, simplificant el treball en una varietat d'àmbits: des de l'arquitectura i la il·lustració fins al desenvolupament de jocs.
Tanmateix, al recurs NVIDIA AI Playground, els interessats poden familiaritzar-se amb algunes capacitats d'aprenentatge automàtic. Per exemple, a la demostració de transferència d'estil artístic que hi ha, podeu processar qualsevol foto a l'estil d'artistes famosos.
Altres experiments similars de NVIDIA inclouen un estudi que mostra com els efectes visuals generats per IA es poden combinar amb un pipeline de rasterització tradicional. El resultat és un sistema gràfic híbrid que es podria utilitzar en jocs, pel·lícules i realitat virtual. Un altre exemple semblant és un algorisme per convertir carrers plens de neu en carrers d'estiu, desenvolupat per especialistes de l'empresa per a un entrenament més eficient del pilot automàtic.
Font: 3dnews.ru