Uma equipe de pesquisadores da Universidade de Tel Aviv apresentou o HyperStyle, uma versão invertida do sistema de aprendizado de máquina StyleGAN2 da NVIDIA que foi redesenhado para recriar as peças que faltam ao editar imagens reais. O código é escrito em Python usando a estrutura PyTorch e é distribuído sob a licença MIT.
Se o StyleGAN permite sintetizar novos rostos de pessoas com aparência realista, especificando parâmetros como idade, sexo, comprimento do cabelo, caráter do sorriso, formato do nariz, cor da pele, óculos e ângulo da fotografia, então o HyperStyle torna possível alterar parâmetros semelhantes em existentes fotografias sem alterar seus traços característicos, mantendo o reconhecimento da face original. Por exemplo, usando o HyperStyle, você pode simular uma mudança na idade de uma pessoa em uma foto, mudar o penteado, adicionar óculos, barba ou bigode, dar à imagem a aparência de um personagem de desenho animado ou de uma pintura desenhada à mão, fazer uma expressão facial triste ou alegre. Além disso, o sistema pode ser treinado não apenas para mudar o rosto das pessoas, mas também para quaisquer objetos, por exemplo, para editar imagens de carros.
O método proposto visa resolver o problema de reconstrução de partes faltantes de uma imagem durante a edição. Nos métodos propostos anteriormente, o compromisso entre reconstrução e editabilidade foi resolvido pelo ajuste fino do gerador de imagem para substituir partes da imagem alvo ao recriar regiões editáveis inicialmente ausentes. A desvantagem de tais abordagens é a necessidade de treinamento direcionado de longo prazo da rede neural para cada imagem.
O método baseado no algoritmo StyleGAN permite utilizar um modelo padrão, pré-treinado em coleções comuns de imagens, para gerar elementos característicos da imagem original com nível de confiabilidade comparável a algoritmos que exigem treinamento individual do modelo para cada imagem. Outra vantagem do novo método é a capacidade de modificar imagens com desempenho próximo ao tempo real.
Modelos treinados prontos são preparados para rostos de pessoas, carros e animais com base nas coleções Flickr-Faces-HQ (FFHQ, 70 mil imagens PNG de alta qualidade de rostos de pessoas), Stanford Cars (16 mil imagens de carros) e AFHQ (fotos de animais). Além disso, são fornecidas ferramentas para treinar seus modelos, bem como modelos treinados prontos de codificadores padrão e geradores adequados para uso com eles. Por exemplo, geradores estão disponíveis para criar imagens no estilo Toonify, personagens da Pixar, gerar esboços e até mesmo estilizar princesas de desenhos animados da Disney.
Fonte: opennet.ru