Es wurden Fortschritte im Zusammenhang mit dem Machine-Learning-System Stable Diffusion erzielt, das Bilder basierend auf textuellen Beschreibungen in natürlicher Sprache generiert. Dieses Projekt wird in Zusammenarbeit von Forschern der Unternehmen Stability AI und Runway, der Gemeinschaften Eleuther AI und LAION sowie der CompVis-Laborgruppe (Forschungslabor für maschinelles Sehen und maschinelles Lernen an der Ludwig-Maximilians-Universität München) weiterentwickelt. In Bezug auf die Möglichkeiten und die Qualität der Ergebnisse ähnelt Stable Diffusion dem Projekt DALL-E 2, entwickelt sich jedoch als offenes und öffentlich zugängliches System. Die Umsetzung von Stable Diffusion wurde in Python geschrieben und wird unter der MIT-Lizenz veröffentlicht.
Aktuell werden fertige Modelle nur auf Anfrage von Bildungseinrichtungen und unabhängigen Forschern bereitgestellt, aber die Entwickler versprechen, sie nach Abschluss der Testphase und der Bereitschaft der ersten Version für alle Interessierten zugänglich zu machen. Für das Training des Systems wurde ein Cluster aus 4000 NVIDIA A100 GPU Ezra-1 und die Sammlung LAION-5B verwendet, die 5,85 Milliarden Bilder mit Textbeschreibungen umfasst. Die Komponenten zur Bildgenerierung sind als ausreichend leichtgewicht für den Einsatz auf Benutzersystemen gekennzeichnet; beispielsweise ist für die Synthese von Bildern mit einer Auflösung von 512×512 ein GPU mit 10 GB VideSpeicher ausreichend.
Neben der Synthese von Bildern aus Textbeschreibungen wird auch eine Option zur Modifizierung von Bildern angeboten, die mithilfe von erläuternden Texthinweisen Bilder basierend auf schematischen Skizzen generieren, Bilder bearbeiten und verändern oder verlorene Details beim Vergrößern wiederherstellen kann. In Entwicklung ist auch eine Version von Stable Diffusion zur Video-Bearbeitung basierend auf Textbefehlen in natürlicher Sprache.
Quelle: opennet.ru
