NVIDIA expérimente activement dans le domaine du deep learning, et les résultats de ses travaux sont parfois assez intéressants. La société a annoncé lors de la GDC 2019 la création de GauGAN, une application de dessin intelligente qui utilise un modèle d'apprentissage profond pour créer des versions photoréalistes de dessins simples. Le nom de l'application fait référence à l'artiste post-impressionniste français Paul Gauguin et à l'utilisation par le logiciel de réseaux contradictoires génératifs (GAN) pour créer des images qui imitent de manière réaliste des peintures.
Comment fonctionne GauGAN ? Selon l'explication de l'entreprise, l'application est comme un « pinceau intelligent » qui remplit les détails du croquis d'un utilisateur (NVIDIA l'appelle une « carte de segmentation »). Essentiellement, l'utilisateur ou l'artiste établit simplement un plan pour ce qu'il veut voir à la fin et étiquette chaque segment, indiquant ce qu'il devrait être. GauGAN prend ensuite le relais, remplissant des détails supplémentaires et rendant les dessins plus réalistes.
Formé sur des millions d’images artistiques, le modèle d’apprentissage profond peuple ensuite le paysage avec des résultats impressionnants (mais pas toujours parfaits). Si vous dessinez un étang, les éléments proches comme les arbres et les rochers se refléteront dans l'eau. Il suffit de changer l'étiquette du segment de « herbe » à « neige », et l'image entière changera, se transformant en une image hivernale, et les arbres feuillus deviendront nus. Pour comprendre de quoi nous parlons, vous pouvez regarder la vidéo ci-dessous.
Il convient également de noter que même si GauGAN utilise des connaissances approfondies basées sur une foule d'autres images pour créer les œuvres finales, ces dernières sont toujours considérées comme originales puisque l'application génère des images résultantes complètement nouvelles.
Le nouvel éditeur graphique intelligent de NVIDIA ne se limite pas aux scènes ou paysages naturels : l'application peut ajouter des bâtiments, des routes et même des personnes. GauGAN permet également aux utilisateurs d'appliquer des filtres, en stylisant le résultat en fonction du style souhaité. De tels filtres, entre autres choses, peuvent imiter le style d'un artiste spécifique (par exemple, Van Gon) ou ajuster l'éclairage d'une scène, en changeant les images du jour à la nuit.
On ne sait pas si GauGAN sera un jour publié pour un usage quotidien par les consommateurs, mais je pense que tôt ou tard, les utilisateurs ordinaires pourraient bien obtenir des outils très utiles comme celui-ci, simplifiant le travail dans divers domaines : de l'architecture et de l'illustration au développement de jeux.
Cependant, sur la ressource NVIDIA AI Playground, les personnes intéressées peuvent se familiariser avec certaines capacités d'apprentissage automatique. Par exemple, dans la démonstration Artistic Style Transfer qui y est présentée, vous pouvez traiter n'importe quelle photo dans le style d'artistes célèbres.
D'autres expériences similaires de NVIDIA incluent une étude montrant comment les effets visuels générés par l'IA peuvent être combinés avec un pipeline de rastérisation traditionnel. Le résultat est un système graphique hybride qui pourrait être utilisé dans les jeux, les films et la réalité virtuelle. Un autre exemple similaire est un algorithme permettant de transformer les rues enneigées en rues estivales, développé par les spécialistes de l'entreprise pour une formation plus efficace du pilote automatique.
Source: 3dnews.ru