A NVIDIA está experimentando ativamente no campo do aprendizado profundo e os resultados de seu trabalho às vezes são bastante interessantes. A empresa anunciou na GDC 2019 a criação do GauGAN, um aplicativo de desenho inteligente que utiliza um modelo de aprendizagem profunda para criar versões fotorrealistas de desenhos simples. O nome do aplicativo se refere ao artista pós-impressionista francês Paul Gauguin e ao uso de redes adversárias generativas (GANs) pelo software para criar imagens que imitam pinturas de forma realista.
Como funciona o GauGAN? Segundo a explicação da empresa, o aplicativo é como um “pincel inteligente” que preenche os detalhes do esboço de um usuário (a NVIDIA o chama de “mapa de segmentação”). Essencialmente, o usuário ou artista apenas traça um plano para o que deseja ver no final, e rotula cada segmento, indicando o que deveria ser. GauGAN então assume o controle, preenchendo detalhes adicionais e tornando os desenhos mais realistas.
Treinado em milhões de imagens artísticas, o modelo de aprendizagem profunda preenche a paisagem com resultados impressionantes (mas nem sempre perfeitos). Se você desenhar um lago, os elementos próximos, como árvores e pedras, serão refletidos na água. Basta mudar o rótulo do segmento de “grama” para “neve”, e toda a imagem mudará, virando inverno, e as árvores frondosas ficarão nuas. Para entender do que estamos falando, você pode assistir ao vídeo abaixo.
Também é importante notar que embora o GauGAN utilize amplo conhecimento baseado em uma série de outras imagens para criar os trabalhos finais, estes ainda são considerados originais, pois o aplicativo gera imagens resultantes completamente novas.
O novo editor gráfico inteligente da NVIDIA não se limita apenas a cenas ou paisagens naturais – o aplicativo pode adicionar edifícios, estradas e até pessoas. GauGAN também permite que os usuários apliquem filtros, estilizando o resultado de acordo com o estilo desejado. Tais filtros, entre outras coisas, podem imitar o estilo de um artista específico (por exemplo, Van Gon) ou ajustar a iluminação de uma cena, mudando as imagens do dia para a noite.
Não está claro se o GauGAN será lançado para uso diário do consumidor, mas acho que mais cedo ou mais tarde os usuários comuns poderão obter algumas ferramentas bastante úteis como esta, simplificando o trabalho em diversas áreas: da arquitetura e ilustração ao desenvolvimento de jogos.
Porém, no recurso NVIDIA AI Playground, os interessados podem se familiarizar com alguns recursos de aprendizado de máquina. Por exemplo, na demonstração de Transferência de Estilo Artístico ali presente, você pode processar qualquer foto no estilo de artistas famosos.
Outros experimentos semelhantes da NVIDIA incluem um estudo que mostra como os efeitos visuais gerados por IA podem ser combinados com um pipeline de rasterização tradicional. O resultado é um sistema gráfico híbrido que poderá ser usado em jogos, filmes e realidade virtual. Outro exemplo semelhante é um algoritmo para transformar ruas cheias de neve em ruas de verão, desenvolvido por especialistas da empresa para um treinamento mais eficiente do piloto automático.
Fonte: 3dnews.ru