Un equipo de investigadores de la Universidad de Tel Aviv ha presentado HyperStyle, una versión invertida del sistema de aprendizaje automático StyleGAN2 de NVIDIA que se ha rediseñado para recrear las partes que faltan al editar imágenes de la vida real. El código está escrito en Python utilizando el marco PyTorch y se distribuye bajo la licencia MIT.
Si StyleGAN le permite sintetizar nuevas caras de personas de aspecto realista mediante el establecimiento de parámetros como la edad, el sexo, la longitud del cabello, el patrón de sonrisa, la forma de la nariz, el color de la piel, las gafas y el ángulo de la foto, entonces HyperStyle hace posible cambiar parámetros similares en los existentes. fotos sin cambiar sus rasgos característicos y conservando el reconocimiento de la cara original. Por ejemplo, con HyperStyle, puede simular un cambio en la edad de una persona en una foto, cambiar un peinado, agregar anteojos, barba o bigote, hacer que una imagen parezca un personaje de dibujos animados o una imagen dibujada a mano, hacer una expresión triste o alegre. En este caso, el sistema se puede entrenar no solo para cambiar las caras de las personas, sino también para cualquier objeto, por ejemplo, para editar imágenes de automóviles.
El método propuesto está dirigido a resolver el problema con la reconstrucción de las partes faltantes de la imagen durante la edición. En los métodos anteriores, el compromiso entre la reconstrucción y la capacidad de edición se resolvió ajustando el generador de imágenes para sustituir partes de la imagen de destino al recrear áreas editables inicialmente faltantes. La desventaja de tales enfoques es la necesidad de un entrenamiento específico a largo plazo de la red neuronal para cada imagen.
El método basado en el algoritmo StyleGAN permite utilizar un modelo típico, previamente entrenado en colecciones comunes de imágenes, para generar elementos característicos de la imagen original con un nivel de confianza comparable a los algoritmos que requieren un entrenamiento individual del modelo para cada imagen. . Entre las ventajas del nuevo método, también se destaca la posibilidad de modificar imágenes con un rendimiento cercano al tiempo real.
Se preparan modelos entrenados listos para usar para rostros humanos, de automóviles y de animales basados en las colecciones de Flickr-Faces-HQ (FFHQ, 70 16 imágenes PNG de alta calidad de rostros humanos), Stanford Cars (XNUMX XNUMX imágenes de automóviles) y AFHQ (fotos de animales). Además, se proporcionan herramientas para entrenar sus modelos, así como modelos entrenados listos para usar de codificadores y generadores típicos adecuados para usar con ellos. Por ejemplo, hay generadores disponibles para crear imágenes de estilo Toonify, personajes de Pixar, bocetos e incluso diseñarlos como princesas de Disney.
Fuente: opennet.ru