Stability AI ha publicado modelos listos para usar para el sistema de aprendizaje automático Stable Diffusion, capaz de sintetizar y modificar imágenes basándose en una descripción de texto en lenguaje natural. Los modelos tienen una licencia permisiva Creative ML OpenRAIL-M para uso comercial. Para entrenar el sistema, se utilizó un grupo de 4000 GPU NVIDIA A100 Ezra-1 y una colección LAION-5B, que incluye 5.85 millones de imágenes con descripciones de texto. Anteriormente, el código de las herramientas para entrenar redes neuronales y generar imágenes era de código abierto bajo licencia del MIT.
La disponibilidad de un modelo listo para usar y los requisitos del sistema bastante modestos que permiten iniciar experimentos en una PC con GPU estándar han llevado al surgimiento de una serie de proyectos relacionados:
- inversión textual (código): un complemento que le permite sintetizar imágenes con un carácter, objeto o estilo determinado. En Stable Diffusion original, los objetos en las imágenes sintetizadas son aleatorios e incontrolables. El complemento propuesto le permite agregar sus propios objetos visuales, vincularlos a palabras clave y usarlos en síntesis.
Por ejemplo, en Difusión estable normal, puedes pedirle al sistema que genere una imagen con un "gato en un barco". Además, se pueden aclarar las características del gato y del barco, pero es impredecible qué gato y barco se sintetizarán. La inversión textual le permite entrenar el sistema en una imagen de su gato o barco y sintetizar la imagen con un gato o barco específico. De manera similar, también puede reemplazar elementos de la imagen con ciertos objetos, dar un ejemplo de estilo visual para la síntesis y especificar conceptos (por ejemplo, de toda la variedad de médicos, puede utilizar una selección más precisa y de mayor calidad). en el estilo deseado).
- animación-difusión estable: creación de imágenes animadas (en movimiento) basadas en la interpolación entre imágenes generadas en Difusión estable.
- stable_diffusion.openvino (código): un puerto de Stable Diffusion, que utiliza solo la CPU para los cálculos, lo que permite experimentar en sistemas sin GPU potentes. Requiere un procesador compatible con la biblioteca OpenVINO. Oficialmente, OpenVINO proporciona complementos para procesadores Intel con extensiones AVX2, AVX-512, AVX512_BF16 y SSE, así como para placas Raspberry Pi 4 Modelo B, Apple Mac mini y NVIDIA Jetson Nano. Extraoficialmente, es posible utilizar OpenVINO en procesadores AMD Ryzen.
- sdamd es un puerto para GPU AMD.
- Una implementación inicial de síntesis de vídeo.
- stable-diffusion-gui, stable-diffusion-ui, Artbreeder Collage, difuse-the-rest: interfaces gráficas para generar imágenes utilizando Stable Diffusion.
- beta.dreamstudio.ai, Hugging Face Spaces, hlky Stable Diffusion WebUI: interfaces web para síntesis de imágenes mediante Stable Diffusion.
- Complementos para integrar Stable Diffusion con GIMP, Figma, Blender y Photoshop.
Además, cabe destacar la publicación por parte de Google del código del sistema de aprendizaje automático RawNeRF (RAW Neural Radiance Fields), que permite, a partir de datos de varias imágenes RAW, mejorar la calidad de imágenes con mucho ruido tomadas en la oscuridad y en mala iluminación. Además de eliminar el ruido, las herramientas desarrolladas por el proyecto permiten aumentar los detalles, eliminar los reflejos, sintetizar HDR y cambiar la iluminación general de las fotografías, así como recrear la posición tridimensional de los objetos a partir de varias fotografías desde diferentes ángulos. cambie el punto de vista, manipule el enfoque y genere imágenes en movimiento.
Fuente: opennet.ru