Eine offene Implementierung des Machine-Learning-Systems DALL-E 2, entwickelt von OpenAI, wurde veröffentlicht. Dieses System ermöglicht die Synthese realistischer Bilder und Kunstwerke auf der Grundlage von Textbeschreibungen in natürlicher Sprache und erlaubt es, Befehle in natürlicher Sprache zur Bearbeitung von Bildern anzuwenden (zum Beispiel das Hinzufügen, Entfernen oder Verschieben von Objekten im Bild). Die Originalmodelle von DALL-E 2 werden von OpenAI nicht veröffentlicht, jedoch ist ein Artikel mit einer detaillierten Beschreibung der Methode verfügbar. Basierend auf dieser Beschreibung haben unabhängige Forscher eine alternative Implementierung erstellt, die in Python geschrieben wurde, das Pytorch-Framework nutzt und unter der MIT-Lizenz verbreitet wird.
Im Vergleich zur zuvor veröffentlichten Ausgabe der ersten Generation von DALL-E bietet die neue Variante eine genauere Übereinstimmung zwischen Bild und Beschreibung, ermöglicht einen höheren Fotorealismus und die Erstellung von Bildern in höheren Auflösungen. Das System benötigt größere Ressourcen zum Training des Modells; zum Beispiel sind für das Training der ursprünglichen Version von DALL-E 2 etwa 100-200.000 Stunden GPU-Berechnungen erforderlich, was circa 2-4 Wochen Rechenzeit bei 256 NVIDIA Tesla V100 GPUs entspricht.
Der gleiche Autor hat auch mit der Entwicklung einer erweiterten Variante begonnen – DALLE2 Video, die auf die Synthese von Videos basierend auf Textbeschreibungen abzielt. Erwähnenswert ist auch das von Sberbank entwickelte Projekt ru-dalle, das eine offene Implementierung der ersten Generation von DALL-E umfasst, die für die Erkennung von Beschreibungen in Russisch angepasst wurde.
Quelle: opennet.ru
