Un grupo de investigadores de la Universidad de Tel Aviv presentó HyperStyle, una variante invertida del sistema de aprendizaje automático StyleGAN2 desarrollado por NVIDIA, que ha sido reestructurada para recrear partes faltantes durante la edición de imágenes reales. El código está escrito en Python utilizando el marco PyTorch y se distribuye bajo la licencia MIT.
Si StyleGAN permite sintetizar caras humanas que parecen realistas, ajustando parámetros como edad, sexo, longitud del cabello, características de la sonrisa, forma de la nariz, color de piel, gafas y ángulo de la fotografía, HyperStyle permite modificar parámetros similares en fotografías existentes, sin cambiar las características distintivas y manteniendo el reconocimiento de la cara original. Por ejemplo, con HyperStyle se puede simular el envejecimiento de una persona en una fotografía, cambiar el peinado, agregar gafas, barba o bigote, dar a la imagen un aspecto de personaje de caricatura o pintura, o hacer que la expresión facial sea triste o alegre. Además, el sistema puede ser entrenado no solo para cambiar rostros humanos, sino también para cualquier objeto, como la edición de imágenes de automóviles.
El método propuesto se centra en resolver el problema de la reconstrucción de partes faltantes de la imagen durante la edición. En métodos anteriores, el compromiso entre reconstrucción y editabilidad se abordó mediante la sintonización fina del generador de imágenes para insertar partes de la imagen objetivo al recrear áreas editables que originalmente faltaban. La desventaja de estos enfoques es la necesidad de realizar un largo entrenamiento específico de la red neuronal para cada imagen.
El método basado en el algoritmo StyleGAN permite utilizar un modelo estándar, previamente entrenado en colecciones comunes de imágenes, para generar elementos propios de la imagen original con un nivel de fidelidad comparable a los algoritmos que requieren el entrenamiento individual de un modelo para cada imagen. Entre las ventajas de este nuevo método se destaca la capacidad de modificar imágenes con un rendimiento cercano al tiempo real.
Se han preparado modelos entrenados para rostros de personas, automóviles y animales, basados en colecciones como Flickr-Faces-HQ (FFHQ, 70,000 imágenes PNG de alta calidad de rostros de personas), Stanford Cars (16,000 imágenes de automóviles) y AFHQ (fotos de animales). Además, se proporciona una herramienta para entrenar sus propios modelos, así como modelos entrenados listos para usar con codificadores y generadores estándar. Por ejemplo, están disponibles generadores para crear imágenes en el estilo Toonify, personajes de Pixar, formatear bocetos e incluso estilizar como princesas de películas animadas de Disney.
Fuente: opennet.ru
