Es ist interessant zu sehen, wie die Veröffentlichungsgeschichte der von Stability AI entwickelten und trainierten offenen Modelle zur Umwandlung von Texteingaben in Bilder an eine Reihe von Höhen und Tiefen der nacheinander veröffentlichten Microsoft-Betriebssystemversionen erinnert. Nach dem legendär erfolgreichen XP folgte das problematische Vista; anschließend die großartige „Sieben“ – und darauf die fruchtlose Windows 8. Bei Stable Diffusion folgte der zunächst unauffälligen, aber von Enthusiasten schrittweise verbesserten Version 1.5 die eindeutig missratene SD 2.0 – misslungen vor allem, weil sie einen für Modelle dieser Art untypischen OpenCLIP-Codierer beinhaltete, von . Bei dieser Auswahl wurden nicht nur unangemessene (NSFW) visuelle Referenzen aussortiert, sondern auch Werke bekannter Künstler wie der umstrittene Greg Rutkowski. Letzteres hat die Enthusiasten besonders aufgebracht: Während für SD 1.5 selbst einfache Hinweise wie „epic medieval fantasy landscape, im Stil von Greg Rutkowski“ beeindruckende Ergebnisse lieferten, erkannte SD 2.0 die Namen der bekanntesten Illustratoren, deren Urheberrechte an den geschaffenen Werken weiterhin gültig sind und die sich nicht bereit erklärt haben, diese Werke für das Training der KI zur Verfügung zu stellen, nicht mehr. Es war notwendig, mehr Worte zu verwenden, um das Gewünschte zu beschreiben, und mit zu langen Hinweisen hatte das Modell Schwierigkeiten.
Sitzen — aufstehen, sitzen — aufstehen
In Kombination mit dem modifizierten Encoder (dem Transformator von Textanfragen in digitale Token, mit denen das Modell direkt arbeitet) hat die Unmöglichkeit, benannte Stile anzuwenden, den Enthusiasten einfach die Motivation genommen, die „Zwei“ selbstständig zu verbessern. Nun, wirklich: Hier musste man gleichzeitig herausfinden, wie man die bereits erprobte Technik der Anfragen an den neuen Encoder anpasst und das Modell dahingehend weiterbilden, dass es die Bilder und Themen erkennt, mit denen die Entwickler es während des ersten Trainings nicht vertraut gemacht hatten — schließlich garantierten die von der „Zwei“ generierten Bilder nicht unbedingt eine qualitative Abgrenzung zur „Einhalb“. Ja, von der Standardgröße von 512×512 Pixeln bei SD 1.5 gab es einen qualitativen Sprung auf 768×768, aber zu diesem Zeitpunkt hatte die Community bereits verstärkt Upscaler, Out-Painter und andere Tools zur Vergrößerung der Bildgröße eingesetzt, so dass SD 2.0 im Grunde genommen unbemerkt blieb. SDXL (entwickelt von OpenAI und verwendet, unter anderem, im Projekt DALL-E) — sein Code ist ebenfalls offen, aber die Datenbank, auf der er trainiert wurde, , ist proprietär. Außerdem hat sich die Standardgröße der Leinwand bei "Oversize" auf 1024×1024 erhöht, und es gibt eine Reihe zusätzlicher Verbesserungen, sodass Enthusiasten begeistert daran arbeiteten. Bis heute kann man sicher sagen, dass insbesondere SDXL (einschließlich der neueren, weniger hardwarehungrigen Ableger wie и ) der derzeit beliebteste KI-Bilderzeuger mit offenem Code ist. Allerdings argumentieren leidenschaftliche Befürworter von SD 1.5, dass einige wichtige Werkzeuge wie ControlNet in SDXL .
Und ab dem 12. Juni 2024, zum Zeitpunkt des "Release in die Wildnis" des Modells mit lokalem Generationscode, sollte die Zeit für die "offene" Version von SD 3 gekommen sein — genauer gesagt, (SD3M oder SD3 2B) mit 2 Milliarden Arbeitsparametern. Dies entspricht bedingt der Gesamtanzahl an Gewichten an den Eingängen aller Perzeptronen des Modells. Bereits im April hat Stability AI eine 8-Millionen-Parameter-Version für den kommerziellen Einsatz bereitgestellt. , auch bekannt als SD3 8B. SDXL 1.0 hingegen hat , doch SD3M gilt laut den Entwicklern als . Dabei wurde angedeutet, dass sie selbst bei geringeren, als bei „Oversize“ benötigten Anforderungen an den Videospeicher sogar auf einfache Eingaben Bilder „mit einem neuen Niveau an Fotorealismus“ liefern sollte. Zu den Vorteilen der „Drei“ zählen auch „beispiellose Qualität der Typografie des auf generierten Bildern erzielten Textes“, „tiefgehendes Verständnis der Eingaben durch die Zusammenarbeit von gleich drei Kodierern“ und „Bereitschaft zur effektiven Nachbildung selbst mit begrenzten Datensätzen“.
Offensichtlich wurde erwartet, dass die Gemeinschaft der Enthusiasten, ausgestattet mit einem lange erwarteten neuen Spielzeug, mit der gleichen Hingabe an die Optimierung beginnen würde wie bei "Polutorok" und "Oversize" zu ihrer Zeit. Doch von Anfang an ging alles schief: SD3M gelang es innerhalb weniger Stunden nach der Veröffentlichung der Modell-Dateien auf Hugging Face und Civitai. ihr Publikum, und das gleich doppelt. Das erste Mal durch eine auf den ersten Blick unerklärliche Abneigung gegen Hinweise, die scheinbar harmlose Phrasen wie "liegend auf/in dem Gras" enthalten; das zweite Mal durch die unglaublich vagen Formulierungen in den Nutzungsbedingungen, bei denen selbst erfahrene Juristen nicht sofort durchblickten. Und obwohl dies aus Sicht des gewöhnlichen KI-Kunst-Enthusiasten unbedeutend scheint, wird sich genau diese rechtliche Dimension erheblich auf die zukünftige Entwicklung des Modells auswirken — bis hin zu dem Punkt, dass es möglicherweise überhaupt keine Weiterentwicklung geben wird.
Vorherige Kreationen von Stable Diffusion mit offenem Code (genauer gesagt, mit offenen Werten der neuronalen Gewichte, die kostenlos heruntergeladen und lokal ausgeführt werden können), wie SDXL, wurden von einem der typischen Merkmale generativer Modelle begleitet. mit Merkmalen wie «unbefristete, weltweite, nicht-exklusive, kostenlose, unvergütete, unwiderrufliche Urheberrechtslizenz zum Reproduzieren, Vorbereiten, öffentlichen Vorführen, öffentlichen Aufführen, Unterlizensieren und Verbreiten zusätzlicher Materialien sowohl für das Modell selbst als auch für abgeleitete Werke». Die «Drei» sieht hingegen zwei Arten der Lizenzierung vor: — mit durchaus entspannenden Formulierungen wie «Stability AI gewährt Ihnen eine nicht-exklusive, weltweite, nicht übertragbare, nicht unterlizensierbare, widerrufbare, unvergütete und eingeschränkte Lizenz auf geistiges Eigentum» — und .
Das Gras wird nicht zum Guten führen
Nicht lange nach dieser Zeit war die Gemeinschaft sich einig, dass . Es hat de facto ein Boykott gegen das Entwicklerunternehmen erklärt, da es keine Zeit und Energie mehr in die Nachbearbeitung eines offensichtlich unausgereiften und fehlerhaften Modells investieren möchte — in dem Bewusstsein, dass Stability AI jederzeit nach dem geringsten Launen ihrer Medienmanager die zuvor erteilte Lizenz an einen bestimmten Enthusiasten, der diese Nachbearbeitung vornimmt, zurückziehen kann. Der Lizenzvertrag ist so formuliert, dass bei der Prüfung durch nicht-juristische Personen der Eindruck entsteht, dass mit dem Widerruf der Erlaubnis zur kommerziellen Nutzung von SD3M der ehemalige Lizenznehmer verpflichtet ist, alle von ihm erstellten Derivate des lizenzierten geistigen Eigentums zu löschen, einschließlich der fertiggestellten Modelle (LoRA, Textinversionen, ganze Checkpoints) sowie deren Derivate (Zitat: „Nach Beendigung dieses Vertrags sind Sie verpflichtet, alle Softwareprodukte oder abgeleiteten Werke zu löschen und deren Nutzung einzustellen“) — das heißt, die Früchte der Arbeit anderer Menschen, die diese abgeleiteten Modelle als Ausgangspunkt für ihre eigene Arbeit genutzt haben; und zwar ohne Bezahlung und aus reinem Enthusiasmus.
Kurz nach dem großen Aufschrei zu diesem Thema gab es bereits Berichte von professionellen Juristen, und dass der Rückzug mit dem Verbot der weiteren Nutzung tatsächlich nur einige unterstützende Produkte mit geschlossenem Quellcode betreffen sollte, die Stability AI einem gewerblichen Nutzer überlassen wird (sagen wir, zur Beschleunigung und Optimierung des gleichen Fine-Tunings für SD3M), - aber letztendlich hat das Unternehmen bisher keine klaren Erklärungen zu diesem Thema gegeben. Und die Tatsache, dass es bereits seit drei Wochen (zum Zeitpunkt des Schreibens dieses Artikels) so drückend still ist, seit das "Dreierpack" öffentlich zugänglich wurde, schadet dem Ruf des Entwicklers viel mehr als das Gräser-generierende Produkt für Mädchen, das er erschaffen hat.
Was das notorische Gras betrifft, das buchstäblich in wenigen Stunden zum Meme wurde, , und nach und nach auf fast allen mehr oder weniger fachspezifischen Plattformen im Netz stellte sich heraus, dass das Auftauchen einer Phrase wie „Ein Mädchen, das im Gras liegt“ in den Vorschlägen nicht nur zu Halluzinationen führt, sondern auch zu schrecklichen Schöpfungen einer kranken - im medizinischen Sinne - Fantasie von Künstlern und Filmemachern, die sich auf Body Horror spezialisiert haben (wir warnen, wenn Ihnen Verstand und Leben lieb sind, halten Sie sich von sowas fern und versuchen Sie gar nicht erst, diese Phrase in das Suchfeld der Bildersuche mit deaktiviertem Sicherheitsfilter einzugeben). Dabei gelingen „drei“ das Abbilden von stehenden - und etwas weniger von sitzenden - Menschen mit einer soliden Vier plus, und Porträts sind manchmal sogar makellos; zumindest nicht schlechter als bei dem Basis-Modell SDXL 1.0, wobei das Problem hier in einem inneren Tabu bezüglich der horizontalen Position des menschlichen Körpers liegt.
Laut dem Kommentar von Emad Mostaque, dem Gründer und ehemaligen (bis März 2024) Leiter von Stability AI, der das Unternehmen verlassen hat, um , grobe Eingriffe in SD3M direkt vor der Freigabe ihrer Gewichte für begrenzte nicht-kommerzielle Nutzung (API des größeren Modells SD3 8B zur Online-Generierung, erinnern wir uns, , aber ihre Gewichte bleiben weiterhin verborgen) war eine Folge des Bestrebens der derzeitigen Führung nach Sicherheit — , die bereits im März dieses Jahres formuliert wurden als . Im Rahmen dieser Richtlinie, die das generative Modell SD3M nutzt, ist es den Nutzern nicht gestattet, "Gewalt, Terrorismus oder die Schaffung von Hassinhalten zu begehen, zu fördern, zu erleichtern, zu ermutigen, zu planen, zu incitieren oder zu unterstützen, die gegen geschützte Gruppen von Menschen diskriminieren oder sie bedrohen (unabhängig von Geschlecht, ethnischer Zugehörigkeit, sexueller Identität oder Orientierung, Religion oder Ähnlichem)". Daher gibt es keine Bilder von Pandas, die nackt gegen wütende Drachen kämpfen! Nur Kätzchen in lustigen Hüten, Hunde in niedlichen Jacken, Flaschen mit unbekanntem Inhalt und frisch gebackene Kekse!
Technisch gesehen könnte das Herunterbrechen des Modells darin bestanden haben, dass Bilder von liegenden Personen und andere Bilder, die möglicherweise anstößige Interpretationen nahelegten, einfach aus dem Trainingsdatensatz entfernt wurden. Deshalb "versteht" die neue Version jetzt die Bedeutung des Wortes "liegen" einfach nicht. Alternativ könnte die aktualisierte Architektur von SD3 ausreichend in der Lage gewesen sein, die Gewichtungen in den Perzeptronen zu identifizieren, die während der Generierung von "unsicheren" Bildern aktiviert werden – und diese Gewichtungen wurden kurz vor der Veröffentlichung selektiv auf null gesetzt, was als Nebenwirkung zu "zwangsweisen Hallüzinationen" führte. Wahrscheinlich, : Der Encoder wandelt den Text korrekt in Tokens um, aber im "sicheren" latenten Raum weisen diese Tokens bereits auf nichts Bestimmtes hin – und deshalb sind die resultierenden Pixel im Bild im Grunde zufällig angeordnet.
Angesichts der Verfügbarkeit der API für das vollwertige, aber geschlossene Modell SD3 8B seit mehreren Monaten und den eindringlichen Bekundungen der Medienverantwortlichen von Stability AI, dass das "kompaktifizierte" 2B , AI-Zeichnungsenthusiasten haben die Veröffentlichung der SD3M-Modelle am 12. Juni äußerst begeistert aufgenommen: . Bislang kann man es weiterhin beschaffen, wenn auch etwas indirekter als gewohnt für die SDXL- und SD 1.5-Checkpoint-Modelle. Der gewohnte Weg ist der Zugriff auf die Civitai-Website, von der die meisten Modelle ohne Registrierung heruntergeladen werden, aber vom 17. Juni bis zum Zeitpunkt der Übertragung dieses Artikels zur Gestaltung befindet sich die entsprechende Seite für die "Drei" in einem vorübergehenden Bann . Der Grund ist einfach: Die kommerzielle Lizenz für SD3M ist in einer derart unklaren Sprache verfasst, dass selbst die Juristen von Civitai innehalten, um sie näher zu prüfen. Schließlich, wenn ein Enthusiast auf seinem PC LoRA für die «Drei» trainiert und es auf Civitai veröffentlicht, dann könnte Stability AI plötzlich entscheiden, dass das Ergebnis unangemessen ist und die Lizenz des Verursachers zurückzieht — wie verhält es sich in diesem Fall mit der Hosting-Website? Diese stellt nicht nur Checkpoints, unterstützende Zyklusdiagramme und Modelle bereit, sondern ermöglicht auch den Nutzern die Cloud-Generierung von Bildern sowie das Training derselben LoRA, textliche Inversionen und mehr. Kurz gesagt, während die Rechtslage geklärt wird, können die Dateien des Modells und die drei dazugehörigen Text-zu-Token-Konverter nur .
Lass uns anfangen
Es gibt jedoch einen Wermutstropfen: Um auf die Download-Links zuzugreifen, müssen Sie sich auf der Website anmelden und die bereits erwähnte, drakonische Lizenzvereinbarung bestätigen – die Verfahren sind jedoch kostenlos und aus Russland problemlos zugänglich. Zur Auswahl stehen vier Varianten der Modelle (models) und ebenfalls vier der Text-zu-Token-Konverter (encoders), sowie drei Referenzzyklen für die Ausführung in der ComfyUI-Umgebung. :
Modelle:
- sd3_medium.safetensors
- sd3_medium_incl_clips.safetensors
- sd3_medium_incl_clips_t5xxlfp8.safetensors
- sd3_medium_incl_clips_t5xxlfp16.safetensors
Encoder:
- clip_g.safetensors
- clip_l.safetensors
- t5xxl_fp8_e4m3fn.safetensors
- t5xxl_fp16.safetensors
Zyklen:
- sd3_medium_example_workflow_basic.json
- sd3_medium_example_workflow_multi_prompt.json
- sd3_medium_example_workflow_upscaling.json
In diesem Workshop beschränken wir uns auf das grundlegende Modell sd3_medium.safetensors (4,2 GB) sowie drei Encoder: clip_g.safetensors (1,3 GB), clip_l.safetensors (234 MB) und t5xxl_fp8_e4m3fn.safetensors (4,7 GB), zusammen mit dem Workflow sd3_medium_example_workflow_multi_prompt.json. Unser Testgerät ist mit einer GeForce GTX 1070 und 8 GB Video-RAM ausgestattet, was bedeutet, dass größere Modelle mit all ihren integrierten Konvertern nicht passen werden. Bei Checkpoints, die auf SD 1.5 und SDXL basieren, sind die Encoder standardmäßig in der Hauptdatei integriert. In diesem Fall handelt es sich jedoch sogar um drei Konverter, insgesamt mehr als 6 GB, sodass das Modell zusammen mit den Encodern über 10 GB an Speicherplatz benötigt. Wenn man die 16-Bit-Version des T5XXL-Encoders nimmt, wird eine noch leistungsfähigere Grafikkarte notwendig sein. In der Konfiguration, bei der zunächst die Text-zu-Token-Konverter in den Video-Speicher geladen werden und anschließend das Modell mit diesen Tokens arbeitet, ist es jedoch möglich, auch mit einem 6-GB-Grafikadapter auszukommen. In dieser Hinsicht hat das modulare „Dreier-Paket“ definitiv Vorteile gegenüber einem typischen SDXL-Checkpoint von 5-7 GB.
SD3M ist ein Modell, das auf multimodalen Diffusionstransformatoren basiert () und sich somit grundlegend von früheren Entwicklungen von Stability AI (und nicht nur von ihr) unterscheidet, die auf Die „Werkstatt“ ist kein Ort für eine tiefgehende Untersuchung der Unterschiede zwischen diesen Ansätzen zur KI-Generierung von Bildern; nur so viel sei gesagt, dass eine größere Anzahl von Tokens bearbeiten kann (was es dem Benutzer ermöglicht, sehr umfangreiche Texteingaben zu formulieren, und der KI, diesen präzise zu folgen), sowie eine bessere Qualität der letztlich erzeugten Bilder. Das Vollformat-Modell SD3 8B kann Bilder auf einer Leinwand in 4 MP (2048×2048 Pixel) generieren und in Aspekten wie der Wiedergabe von Text im Bild, der Genauigkeit der Übereinstimmung zwischen dem generierten Bild und der Texteingabe sowie der allgemeinen visuellen Ästhetik. Die Umwandlung von Text in Vektortoken erfolgt hier durch gleich drei Encoder ( und ein T5-XXL — "T5", übrigens von ) — und ganz ehrlich, sie sind nicht verpflichtet, mit demselben Prompt zu arbeiten.
Aber genug der Einleitungen: Lassen Sie uns dem zuwenden, was die "Werkstatt" behandelt — der Generierung von Bildern basierend auf dem Modell SD3M. Wir verwenden dafür, wie bereits erwähnt, die Arbeitsumgebung ComfyUI, die man . Wir betonen, dass diese Variante nur auf NVIDIA-Grafikadapter oder direkt auf AMD- oder Intel-CPUs ausgeführt werden kann (was natürlich deutlich langsamer sein wird): Den Besitzern von AMD-Grafikkarten rocm und pytorch angeboten, die über den Download-Manager pip installiert werden können.
Nach der Installation der Arbeitsumgebung sollten die zuvor heruntergeladenen .safetensors-Dateien wie folgt platziert werden: Modelle in das Verzeichnis ComfyUImodelscheckpoints, Token-Converter in ComfyUImodelsclip. Und — Sie können anfangen!
Es ist Zeit, Tempo aufzunehmen.
Es ist erwähnenswert, dass AUTOMATIC1111, den Leserinnen und Lesern der früheren "Werkstätten" zum Thema KI-Zeichnungen gut bekannt, Ende Juni auch , jedoch bleibt die Unterstützung des neuen Modells in ComfyUI vorerst am umfassendsten. Das ist nicht überraschend — schließlich war der Autor des „Nudelmonsters“, bekannt in der Enthusiastengemeinschaft unter dem Pseudonym ComfyAnonimous oder einfach Comfy, , wo er unter anderem an der internen Arbeitsumgebung gearbeitet hat, die auch von den Entwicklern selbst genutzt wird. Wie wir später sehen werden, deutet die neueste Version von ComfyUI tatsächlich darauf hin, dass ihr Autor bestimmte Einblicke darüber hat, wie dieses kontroverse Modell aufgebaut ist und funktioniert — Einblicke, mit denen die Schöpfer anderer Arbeitsumgebungen für die lokale Ausführung von Stable Diffusion 3 Medium aus verständlichen Gründen nicht prahlen können.
Die Installation von ComfyUI in der tragbaren (portable) Version unter Windows ist kinderleicht: Nach dem Herunterladen des entsprechenden ZIP-Archivs Es reicht aus, es in ein beliebiges Verzeichnis zu entpacken; idealerweise natürlich auf einer logischen Partition, die auf SSD und nicht auf HDD basiert. Der Datenaustausch zwischen Speicher und RAM in Anbetracht der bevorstehenden Lade- und Entladezyklen, selbst für die Erstellung eines einzigen Bildes, wird insbesondere dann erheblich sein, je weniger Videospeicher dieser Computer zur Verfügung hat. Übrigens hat die portable Installation auch den Vorteil ihrer vollständigen Unabhängigkeit: Nichts – außer dem verfügbaren freien Speicherplatz auf der logischen Festplatte – hindert daran, lokal beliebig viele Kopien von ComfyUI zu installieren, um ausgiebig mit verschiedenen Erweiterungen zu experimentieren, ohne Angst haben zu müssen, ein bereits optimiertes und hervorragend funktionierendes System zu beschädigen.
Stellen Sie sicher, dass die Hauptmodell-Datei SD3M ohne integrierte Text-zu-Token-Codierer (Datei stableDiffusion3SD3_sd3Medium.safetensors, 4,2 GB) im Unterverzeichnis checkpoints abgelegt ist (im Fall unserer Testinstallation der vollständige Pfad — C:Fun-n-GamesComfyUI-SD3ComfyUImodelscheckpoints), und dass alle drei Codierer-Modelle (Dateien stableDiffusion3SD3_textEncoderClipG.safetensors, stableDiffusion3SD3_textEncoderClipL.safetensors und stableDiffusion3SD3_textEncoderT5E4m3fn.safetensors; 1,3 GB, 234 MB und 4,7 GB) im Unterverzeichnis clip (C:Fun-n-GamesComfyUI-SD3ComfyUImodelsclip) gespeichert sind. Dann können Sie die Arbeitsumgebung durch einen Doppelklick auf die Datei run_nvidia_gpu.bat im Stammverzeichnis (in unserem Fall C:Fun-n-GamesComfyUI-SD3) starten. Nach dem Start des Servers öffnet sich im Windows-Befehlszeilenfenster automatisch (dies ist in den BAT-Datei-Einstellungen vorgesehen) eine neue Registerkarte im Standardbrowser, in der die Weboberfläche unter der Adresse 127.0.0.1/8188 verfügbar ist. (wenn auch nur in einer ersten Annäherung) "spaghetti monster".
Grundsätzlich, wenn Sie über eine moderne NVIDIA-Grafikkarte (RTX-Generation und nicht GTX, auch wenn es nur 6 GB VRAM sind) verfügen, können Sie sofort das Workflowskript von ComfyAnonimous, das bereits erwähnt wurde, in die Arbeitsumgebung hochladen – die Datei comfy_example_workflows_sd3_medium_example_workflow_multi_prompt.json mit mehreren Eingabefenstern für Hinweise, eines für jeden der drei Encoder – und damit arbeiten. Allerdings müssen zunächst die vier Modell-Dateinamen (in den Download-Knoten) an die verfügbaren Dateien angepasst werden. Der Autor des Workflowskript hatte offensichtlich Zugang zu lokal gespeicherten Dateien, die etwas anders benannt waren, daher wird die Arbeitsumgebung eine Fehlermeldung ausgeben, wenn Sie im spartanischen ComfyUI-Interface unmittelbar nach dem Hochladen des Skripts auf die Schaltfläche „Queue Prompt“ klicken.
Drei-Felder-System für KI-Generierung
Allerdings ist es recht einfach, dies zu beheben: viel frustrierender ist die Tatsache, dass die angeschaffte, schon einige Jahre alte GTX 1070 die SD3M extrem langsam verarbeitet – die Bildgenerierung erfolgt mit einer Geschwindigkeit von 27-30 Sekunden pro Iteration, und wenn man bedenkt, dass der Parameter „Steps“ im Referenzzyklus auf „28“ eingestellt ist, vergeht unnötig viel Zeit. Daher werden wir eine kleine Optimierung vornehmen – wir nutzen das Python-Modul venv (, „virtuelle Umgebungen“), das unter anderem darauf abzielt, die Leistung generativer KI-Modelle zu beschleunigen. Die tragbare Version von ComfyUI enthält es nicht, , die letztendlich darauf hinauslaufen, eine vollständige Python-Umgebung auf dem lokalen PC einzurichten – und das erforderliche Modul bereits aus dieser Umgebung zu aktivieren.
Wir gehen davon aus, dass die Leser, die unsere „Werkstätten“ verfolgen, bereits über eine aktive Arbeitsinstallation von AUTOMATIC1111 auf ihren Maschinen verfügen. In diesem Fall ist alles viel einfacher: das venv-Modul ist dort bereits eingerichtet, und alles, was erforderlich ist, um es beim Start der Arbeitsumgebung von ComfyUI zu aktivieren, ist das . Zuerst sollten Sie den Server herunterfahren, indem Sie in sein Fenster wechseln und „Ctrl“ + „C“ drücken, gefolgt von der Bestätigung mit „y“; danach kopieren Sie die BAT-Datei run_nvidia_gpu.bat in eine neue Datei mit einem Namen wie run_with_venv.bat. Die ursprüngliche Startdatei ist sehr knapp — sie ruft lediglich eine portable Kopie von Python mit dem Parameter —windows-standalone-build auf:
.python_embededpython.exe -s ComfyUImain.py —windows-standalone-build
pause
Dieser Parameter ist an sich nicht allzu eindeutig — er impliziert Optimierungen, die wahrscheinlich auf neuere NVIDIA-Grafikadapter ausgelegt sind und somit das Leben von denen erschweren können, die immer noch ihren bewährten GTX treu bleiben. Aus diesem Grund entfernen wir —windows-standalone-build aus der Befehlszeile und verzichten gleichzeitig auf eine andere moderne Optimierung — den standardmäßig aktiven „intelligenten Speichermanager“, smart memory, der , ohne sie zu entladen. Das beschleunigt tatsächlich das Zeichnen von KI-Bildern, aber gleichzeitig verwandelt es unseren moralisch veralteten Computer in ein Ein-Task-System — es wird unmöglich, parallel zum aktiven Arbeitsumfeld zu surfen, zu spielen oder sogar mit Dokumenten und E-Mails am PC zu arbeiten. Für diejenigen, die keinen dedizierten Computer für KI-Kunst verfügen, scheint eine solche BAT-Datei zur Ausführung von ComfyUI optimal zu sein (nicht nur für die Generierung von Bildern mit SD3M, übrigens — sie eignet sich auch gut für SDXL):
@echo off
call cd C:Fun-n-GamesGitstable-diffusion-webuivenvScripts
echo %cd%
call activate.bat
echo venv aktiviert
call cd C:Fun-n-GamesComfyUI-SD3
echo %cd%
call .python_embededpython.exe -s ComfyUImain.py —disable-smart-memory
pause
Hier wird davon ausgegangen, dass die tragbare Installation von ComfyUI im Verzeichnis C:Fun-n-GamesComfyUI-SD3 durchgeführt wurde und AUTOMATIC1111 zuvor in C:Fun-n-GamesGitstable-diffusion-webui installiert wurde. Die zahlreichen „echo“-Befehle dienen lediglich der visuellen Kontrolle, dass der Verzeichnisswechsel ordnungsgemäß funktioniert und die erforderlichen Befehle ausgeführt werden — nachdem alles getestet ist, können sie aus der BAT-Datei entfernt werden.
Starten Sie die Arbeitsumgebung erneut, indem Sie zweimal auf run_with_venv.bat klicken. Da wir den Server zuvor einfach geschlossen haben und das Webinterface nicht berührt wurde, sollte im entsprechenden Tab nach wie vor das gleiche Basis-Zyklusdiagramm von ComfyUI mit den angepassten Modellnamen angezeigt werden. Beachten Sie den rechten Teil davon: dort befindet sich der Knoten 'Preview Image', der das fertige Bild nicht auf der Festplatte speichert, sondern nur anzeigt. Wenn Sie jedes Mal das Zyklusdiagramm zur Generierung eines einzelnen Bildes ausführen, es visuell bewerten, Parameter ändern und erneut starten, ist das durchaus praktikabel: Ein gefallendes Bild kann jederzeit manuell mit einem Rechtsklick darauf gespeichert werden. Aber wenn in der Arbeitsumgebung viele Generierungen hintereinander stattfinden, ist es besser, wenn die Ergebnisse automatisch im permanenten Speicher (im Standardverzeichnis ComfyUIoutput) gesammelt werden.
Ändern Sie am besten sofort den Knoten „Preview Image“ in „Save Image“. Dazu klicken Sie mit der linken Maustaste doppelt auf einen freien Bereich des Zyklogramms – ein Fenster zur Knotenauswahl mit einer Suchzeile wird geöffnet. In dieser Zeile beginnen wir, „Save…“ einzugeben – und fast sofort sehen wir den gesuchten Namen. Dann müssen wir nur noch darauf klicken und den Eingang des neu erschienenen Knotens mit dem Ausgang „IMAGE“ des Knotens „VAE Decode“ verbinden, an den ursprünglich „Preview Image“ angeschlossen war. „Preview Image“ kann anschließend entfernt werden – einfach markieren, indem Sie auf den Titel klicken, und die Taste „Del“ auf der Tastatur drücken.
Und jetzt ist der perfekte Zeitpunkt, um das Hauptzyklogramm von ComfyAnonimous (mit unseren bescheidenen Anpassungen) auszuführen. Das ergibt Folgendes:
Ein äußerst beeindruckendes Bild, fast mit einem eigenen Gefühl, und man würde nicht vermuten, dass es mit dem gleichen Modell erstellt wurde, das die Anweisung, auf dem Gras liegende Personen zu zeichnen, komplett durcheinanderbringt. Gleichzeitig läuft das System recht flott – etwa 5-6 Sekunden pro Iteration für ein Bild mit einer Fläche von 1 MPix ist ein respektabler Wert auf einer GTX 1070. Zum Vergleich: Der gleiche PC in derselben ComfyUI mit derselben BAT-Datei erzeugt SDXL-Bilder ähnlicher Größe und benötigt dafür etwa 6-7 Sekunden pro Iteration. Daher kann man die "drei" durchaus als weniger anspruchsvoll bezüglich der Hardware des PCs ansehen, auf dem die KI-Generierung erfolgt.
Lass uns nun die Größe der Leinwand anpassen. In der Nähe des Knotens "EmptySD3LatentImage", der die Größe festlegt, befindet sich ein "leerer" (im Sinne von nicht angeschlossen) Hilfsknoten "Note", der eine wichtige Erinnerung enthält: Die Gesamtfläche des Bildes im Falle von SD3M sollte etwa 1 MPix betragen, woraus sich die Maße der Seiten der rechteckigen Leinwand ableiten lassen. Setzen wir diese dann auf 1344×768 – das ergibt genau etwa 1,03 MPix.
Bitte beachten Sie: Oben befindet sich die Node „Seed“, wo der eigentliche Seed festgelegt ist, in diesem Fall „945512652412924“, und angegeben wird, dass sie sich nach der Generierung nicht ändern soll (Parameter „fixed“).
Wir führen dasselbe Programm mit demselben Seed durch, jedoch für ein rechteckiges Canvas. Es wird sofort deutlich, dass die Ausführungszeit insgesamt kürzer ist, obwohl die Rendergeschwindigkeit gleich geblieben ist – weniger als 6 Sekunden pro Iteration. Das ist logisch: Da sich die textlichen Hinweise nicht geändert haben, muss der Encoder nicht erneut geladen werden. Das Ausgabebild unterscheidet sich natürlich ein wenig von der ersten quadratischen Ausgabe, aber nicht grundlegend – die Gesamtkomposition bleibt, wie zu erwarten, erhalten.
Jetzt richten wir unsere Aufmerksamkeit auf die Nodes „CLIPTextEncodeSD3“ und „CLIP Text Encode (Negative Prompt)“. Der erste zeichnet sich dadurch aus, dass er sofort drei Eingabefelder enthält; wenn man den Text entfernt, werden die Hinweise sichtbar, für welche Encoder sie bestimmt sind – von oben nach unten sind das CLIP G, CLIP L und T5XXL. Solche Nodes gab es aus verständlichen Gründen bisher nicht in ComfyUI. Das unterstützende Ablaufdiagramm enthält sich wiederholende, kurze Hinweise für die ersten beiden Textfelder (für die Umwandler CLIP G und CLIP L) und eine wesentlich ausführlichere für das dritte – T5XXL. Es ist klar, dass man mit dem Inhalt dieser Felder in großem Umfang experimentieren kann, und das Studium, inwieweit die Änderung des Textes darin die endgültige Darstellung beeinflusst, ist eine nicht triviale, aber äußerst faszinierende Aufgabe. Aufgrund von Gründen, die sich später noch klären werden, werden wir uns jedoch vorerst nicht intensiv damit beschäftigen.
In dem Knoten „CLIP Text Encode (Negative Prompt)“ gibt es im Gegensatz dazu nichts Besonderes – trotzdem sollte man den komplexen Weg von dort bis zu dem entsprechenden Eingang „conditioning“ des Hauptknotens „KSampler“ betrachten! Dieser Weg gabelt sich, wobei einer seiner Zweige (der obere in diesem Fall) anzeigt, dass die System während der ersten 10% der Generationsschritte und bis zu deren Abschluss die negative Eingabe nicht berücksichtigen wird (der Verlauf durch den Knoten „ConditioningZeroOut“ bedeutet genau das Zurücksetzen der Bedingung). Der andere Zweig hingegen leitet die negative Eingabe (ebenfalls bedingt mit halbem Gewicht) unverändert zur weiteren Verarbeitung weiter – jedoch nur in den ersten 10% der Gesamtzahl der Generationsschritte.
Vagere Ferne
Noch einmal: Die ersten 10 %, also 3 von 28 in diesem Fall, Schritte der Generierung übergeben die negative Eingabe an den Knoten „KSampler“, der mit der Erstellung des Bildes im latenten Raum beschäftigt ist (in den Pixelraum, also in ein für den Menschen verständliches Bild, das Ergebnis wird dann vom nächsten Knoten, dem „VAE Decoder“, ausgegeben), normalerweise: der obere Zweig (mit der Nullsetzung der Bedingungen) ist inaktiv, nur der untere funktioniert. Die verbleibenden 90 % der Schritte (25 von 28 in unserem Fall) arbeitet die negative Eingabe überhaupt nicht: aktiv ist genau der obere Zweig der Bedingungsübergabe – mit deren Nullsetzung – während die Bewegung im unteren Zweig durch den Grenzparameter, der den entsprechenden Knoten „ConditioningSetTimestepRange“ aktiviert, blockiert ist. Jetzt wird deutlich, warum eine Reihe von Rezensenten behauptet, dass , – der Effekt von ihnen (wenn man genau diese, die Ausgangszugrunde liegende, Zyklusgrafik betrachtet und annimmt, dass auf Websites mit Online-Generierung nach dem Modell SD3 Medium ähnliche Regeln gelten) minimal ist.
Und dennoch ist es so: Wenn man einfach den Ausgang der Node „CLIP Text Encode (Negative Prompt)“ direkt mit dem entsprechenden Eingang von „KSampler“ verbindet (oder alle Zwischenknoten auf diesem Weg als „überspringbar“, „Bypass“ kennzeichnet, was zum gleichen Effekt führt), wird die Qualität des Endbildes merklich schlechter. Dies kann übrigens als indirekter Beweis für die „Unbearbeitetheit“ von SD3M angesehen werden, da es den Entwicklern streng genommen möglich gewesen sein sollte, die Stärke und Bedeutung des negativen Hinweises bereits vor der Veröffentlichung der Gewichtungen der Modelle öffentlich zu regulieren. Zwei Zweige clever gestellter Bedingungen für die Anwendung des negativen Hinweises sind eine Art Patch, und in diesem Sinne. um die von der Marketingabteilung von Stability AI in Bezug auf sie geweckten Erwartungen zu erfüllen, wirken durchaus gerechtfertigt.
Das Fehlen eines zumindest kurzen offiziellen Handbuchs zur Arbeit mit SD3M hat dazu geführt, dass im Internet bereits Gerüchte kursieren, dass dieses Modell . Das ist natürlich nicht ideal, aber in jedem Fall sollten diese Hinweise präzise angewendet werden, sonst, . Besonders Enthusiasten behaupten ernsthaft, dass das Hinzufügen von detaillierten Beschreibungen so vieler Obszönitäten wie möglich im negativen Bereich (ja, ja, die altehrwürdigen „nsfw, nude“ sind nicht genug – man muss sich ernsthaft anstrengen) selbst bei dem berüchtigten Mädchen, das im Gras liegt. Ob das stimmt oder nicht, lässt sich ohne sorgfältige Überprüfung nicht feststellen (und es ist nicht einmal sicher, dass die Kennzeichnung „18+“ am Kopf unserer Website uns vor Klagen von empörten Sittenwächtern schützt, wenn wir es wagen, die von Enthusiasten zusammengestellte „Wunder-Hinweis“ zu veröffentlichen – zumal sie auf Englisch ist). Diese amüsante Situation erinnert an einen Vorfall mit durch die – gerade weil sie ziemlich detaillierte Beschreibungen dessen enthielten, was anständige Christen nicht tun sollten – zumindest einige fragmentarische schriftliche Zeugnisse über die Glaubensvorstellungen und Bräuche des vorchristlichen Russlands bis zu uns gelangten.
Jetzt ist es hoffentlich klarer, warum es in dieser Phase nicht besonders sinnvoll erscheint, sich weiter mit dem Studium von SD3M zu beschäftigen. Es gibt wirklich viel zu besprechen und zu erforschen: die ziemlich strengen Empfehlungsparameter für die Generierung im KSampler-Modus (CFG – 4,5-5,0; Schritte – etwa 28; Kombination aus Sampler/Scheduler – ausschließlich dpmpp_2m/sgm_uniform, sonst fällt die Qualität der Ausgabe merklich ab); der extrem große Unterschied in der subjektiven Qualität der Generierungen bei strikt denselben Startparametern, aber mit unterschiedlichen Eingaben; und die Beseitigung des berüchtigten „Fluch des Liegens im/auf Gras“ (dafür werden bereits ); und letztlich die Klärung, auf welche der drei Transformatoren von Text in Tokens genau die Generierungsparameter Einfluss haben – und wie man sie verwendet, um wahre Meisterwerke der KI-Kunst zu erschaffen (sofern das mit „der Drei“ überhaupt möglich ist).
Umso mehr, als die Entlassung von Emad Mostak im März und ComfyAnonimous im Juni, , — das sind nicht die einzigen Schwierigkeiten, die Stability AI getroffen haben. Laut Reuters, unter Berufung auf The Information, hat dieses britische Startup gerade (zum Zeitpunkt des Schreibens dieses Artikels) erneut , der nun Prem Akkaraju ist, ein Kandidat einer bekannten globalen Gruppe von IT-Investoren — und diese sind bereit, dem Unternehmen eine beträchtliche Menge an Bargeld zur Verfügung zu stellen (). Die Position von Stability AI als Geschäftsstruktur ist derzeit offen gesagt instabil; viele enttäuschte — und in einer solchen Situation ist es schwer, von dem Unternehmen eine gründliche Arbeit selbst an so offensichtlichen Fehlern zu erwarten.
Leider hält eine unüberlegte Lizenzpolitik die Community davon ab, SD3M selbstständig zu perfektionieren, so wie es mit SD 1.5 und SDXL der Fall war. Zumindest werden derivative Checkpoints und Werkzeuge wie LoRA für die letzten beiden Modelle garantiert für lokale Ausführungen verfügbar bleiben, selbst wenn (und falls) Stability AI seine Reise als kommerzielle Struktur beendet. Unmittelbar nach dem überwältigenden Fiasko der ‚Drei‘ wurden in spezialisierten Foren im Netz immer häufiger Stimmen laut, die die Schaffung eines Non-Profit-Projekts zur Entwicklung eines generativen Modells für die Umwandlung von Text in Bilder auf Basis von Crowdfunding unterstützen wollten – und mittlerweile beginnt sich diese Bewegung unter dem Namen zu formieren. Bereits ihre Bereitschaft, aktiv daran teilzunehmen, haben Invoke (eine Plattform für die online KI-Generierung, die auf professionelle Studios ausgerichtet ist), Comfy Org (ein Team, das sich um die Unterstützung und Entwicklung von ComfyUI kümmert), Civitai (bedarf keiner weiteren Vorstellung) und das Team hinter LAION (einer Datenbank mit annotierten Bildern, auf der solche Modelle hauptsächlich trainiert werden) bekundet.
So werden zukünftige Ausgaben der "Werkstatt" wahrscheinlich auf Modelle fokussiert sein, für die die Community bereits eine umfassende Reihe von Verbesserungen und zusätzlichen Werkzeugen entwickelt hat – auf "die Halbtonne" und "Oversize". Es ist möglich, dass die Zeit für den SD3M-Boom noch kommt – doch heute ist es schwer vorherzusagen, wann genau das sein wird. In der Zwischenzeit können Interessierte das Archiv mit den in diesem Artikel genannten SD3M-Generierungen herunterladen (die Zyklogramme sind direkt in die PNG-Dateien integriert; es reicht aus, das Bild aus dem "Explorer" von Windows auf das Arbeitsfeld von ComfyUI zu ziehen, um die gesamte Reihenfolge und die Parameter der Generierung abzuspielen) . Vielleicht kann einer unserer Leser früher als die regelmäßigen Nutzer von Reddit und Hugging Face den optimalen Weg finden, den Text auf die drei Felder der Eingabeaufforderung zu verteilen?
Materialien zum Thema:
.
.
.
.
.
Quelle: 3dnews.ru
