Das Unternehmen Stability AI hat die zweite Ausgabe des Machine-Learning-Systems Stable Diffusion veröffentlicht, das in der Lage ist, Bilder basierend auf einem gegebenen Vorlagen- oder Textbeschreibungen in natürlicher Sprache zu synthetisieren und zu verändern. Der Code der Werkzeuge zur Schulung des neuronalen Netzwerks und zur Bildgenerierung ist in Python unter Verwendung des Frameworks PyTorch geschrieben und unter der MIT-Lizenz veröffentlicht. Bereits trainierte Modelle stehen unter der permissiven Lizenz Creative ML OpenRAIL-M, die die kommerzielle Nutzung erlaubt. Zusätzlich ist ein Online-Demonstrator zur Bildgenerierung verfügbar.
Wesentliche Verbesserungen in der neuen Ausgabe von Stable Diffusion:
- Ein neues Modell zur Synthese von Bildern anhand von Textbeschreibungen wurde entwickelt — SD2.0-v, das die Generierung von Bildern mit einer Auflösung von 768×768 unterstützt. Das neue Modell wurde mit der Sammlung LAION-5B trainiert, die 5,85 Milliarden Bilder mit Textbeschreibungen umfasst. Das Modell verwendet denselben Satz von Parametern wie das Modell Stable Diffusion 1.5, unterscheidet sich jedoch durch den Wechsel zu einem grundlegend anderen Encoder, OpenCLIP-ViT/H, der eine signifikante Verbesserung der Bildqualität ermöglicht.
- Eine vereinfachte Version von SD2.0-base wurde erstellt, die auf Bildern von 256×256 trainiert wurde und ein klassisches Rauschvorhersagemodell verwendet, um die Generierung von Bildern mit einer Auflösung von 512×512 zu unterstützen.
- Die Möglichkeit zur Nutzung der Super-Resolution-Technologie wird bereitgestellt, um die Auflösung des Ausgangsbildes ohne Qualitätsverlust zu erhöhen, wobei räumliche Skalierungs- und Detailrekonstruktionsalgorithmen Anwendung finden. Das bereitgestellte Bildverarbeitungsmodell (SD20-upscaler) unterstützt eine vierfache Vergrößerung, was die Erstellung von Bildern mit einer Auflösung von 2048×2048 ermöglicht.
- Das Modell SD2.0-depth2img wurde vorgeschlagen, welches die Tiefe und räumliche Anordnung von Objekten berücksichtigt. Für die monokulare Tiefenschätzung kommt das MiDaS-System zum Einsatz. Das Modell ermöglicht die Synthese neuer Bilder, wobei ein anderes Bild als Vorlage verwendet wird, das sich radikal vom Original unterscheiden kann, aber die allgemeine Komposition und Tiefe beibehält. Beispielsweise kann die Pose einer Person auf einem Foto verwendet werden, um eine andere Figur in derselben Pose zu formen.
- Das Modell zur Bildbearbeitung wurde aktualisiert – SD 2.0-inpainting, das es ermöglicht, durch Texteingaben Teile eines Bildes zu ersetzen und zu verändern.
- Die Modelle wurden für den Einsatz auf herkömmlichen Systemen mit einer GPU optimiert.
Quelle: opennet.ru
