{"id":117781,"date":"2024-07-18T03:43:48","date_gmt":"2024-07-18T01:43:48","guid":{"rendered":"https:\/\/prohoster.info\/blog\/novosti-interneta\/novaya-statya-praktikum-po-ii-risovaniyu-chast-devyataya-sd3m-troechka-na-troechku"},"modified":"2024-07-18T03:43:48","modified_gmt":"2024-07-18T01:43:48","slug":"novaya-statya-praktikum-po-ii-risovaniyu-chast-devyataya-sd3m-troechka-na-troechku","status":"publish","type":"post","link":"https:\/\/prohoster.info\/de\/blog\/news\/novaya-statya-praktikum-po-ii-risovaniyu-chast-devyataya-sd3m-troechka-na-troechku","title":{"rendered":"Neuer Artikel: Praktikum zum KI-Zeichnen, Teil neun: SD3M \u2014 \"Die Drei\" auf drei.","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

Es ist am\u00fcsant, wie die Geschichte der Ver\u00f6ffentlichungen von Open-Source-Modellen zur Umwandlung von Texteingaben in Bilder, die von Stability AI entwickelt und trainiert werden, an eine Reihe von H\u00f6hen und Tiefen der nacheinander ver\u00f6ffentlichten Versionen von Microsoft OS erinnert. Nach dem legend\u00e4r erfolgreichen XP, erinnern wir uns, kam das problematische Vista; dann die gro\u00dfartige \u201eSieben\u201c \u2014 gefolgt von dem fruchtlosen Windows 8. Auf die anfangs unscheinbare, aber von Enthusiasten endlich optimierte Version 1.5 von Stable Diffusion folgte die offen gesagt missratene SD 2.0 \u2014 missratene, weil sie einen untypisch f\u00fcr Modelle dieser Art Encoder OpenCLIP beinhaltete. der auf sehr willk\u00fcrlich ausgew\u00e4hlten Bildern trainiert wurde<\/a><\/noindex> aus aus dem offenen Datensatz LAION-5B<\/a><\/noindex>. Bei dieser Auswahl wurden nicht nur unangemessene (NSFW) visuelle Referenzen ausgeschlossen, sondern auch Werke und Illustrationen beliebter K\u00fcnstler wie des ber\u00fcchtigten Greg Rutkowski. Letzteres hat die Enthusiasten endg\u00fcltig aufgebracht: W\u00e4hrend bei SD 1.5 selbst im Originalzustand, ohne Anwendung speziell trainierter Checkpoints, einfache Eingaben mit Stilen \u2014 \u201eepic medieval fantasy landscape, in the style of Greg Rutkowski\u201c \u2014 hervorragend funktionierten und das Ergebnis beeindruckend war, h\u00f6rte SD 2.0 auf, die Namen der bekanntesten Illustratoren zu \u201eerkennen\u201c, deren Urheberrechte an den geschaffenen Werken nach wie vor g\u00fcltig sind und die sich nicht dazu herabgelassen haben, diese Werke f\u00fcr das Training der KI zur Verf\u00fcgung zu stellen. Man musste mehr W\u00f6rter verwenden, um das Gew\u00fcnschte zu beschreiben, und bei zu langen Eingaben kam das Modell nicht gut zurecht.<\/p>\n

<\/center> \t\t\t\t
<\/center> \"Neuer <\/p>\n

⇡<\/a><\/noindex>#<\/a><\/noindex>Setzen \u2014 aufstehen, setzen \u2014 aufstehen<\/h2>\n

In Kombination mit dem ver\u00e4nderten Encoder (dem Konverter von Textbefehlen in digitale Tokens, mit denen das Modell dann direkt arbeitet) hatte die Unm\u00f6glichkeit, benannte Stile anzuwenden, die Enthusiasten schlichtweg die Motivation genommen, die «Zweier» eigenst\u00e4ndig weiterzuentwickeln. Wirklich: Hier musste man parallel auch herausfinden, wie man die bereits erprobte Technik zur Erstellung von Befehlen an den neuen Encoder anpasst und das Modell auf die erkannten Muster und Themen trainiert, mit denen die Entwickler es w\u00e4hrend der initialen Trainingsphase nicht vertraut gemacht hatten \u2013 und eine qualitative Abgrenzung zur «Einser» wurde bei den von der «Zweier» generierten Bildern letztendlich nicht garantiert. Ja, es gab einen qualitativen Sprung von der f\u00fcr SD 1.5 typischen Gr\u00f6\u00dfe von 512\u00d7512 Pixeln zu 768\u00d7768, aber zu diesem Zeitpunkt hatte die Community bereits eifrig Upscaler, Outpainter und andere Tools zur Gr\u00f6\u00dfenvergr\u00f6\u00dferung des Endbildes eingesetzt, so dass SD 2.0 im Grunde unbemerkt blieb. SDXL kehrte zu dem standardm\u00e4\u00dfigen<\/a><\/noindex> (entwickelt von OpenAI und unter anderem im Projekt DALL-E verwendet) CLIP-Codec<\/a><\/noindex> — der Code ist ebenfalls offen, aber die Datenbank, auf der er trainiert wurde, ist im Gegensatz zu OpenCLIP<\/a><\/noindex>, ist propriet\u00e4r. Dar\u00fcber hinaus hat die Standardgr\u00f6\u00dfe der Leinwand bei «Oversize» auf 1024\u00d71024 zugenommen, und es wurden eine Reihe zus\u00e4tzlicher Verbesserungen eingef\u00fchrt, — so dass die Enthusiasten erfreut waren, sich der Weiterentwicklung zu widmen. Und bis heute sind es insbesondere SDXL (neben den k\u00fcrzlich entstandenen, weniger ressourcenintensiven Ablegern wie SDXL Turbo<\/a><\/noindex> und SDXL Lightning<\/a><\/noindex>) durchaus als den popul\u00e4rsten Open-Source-KI-Bildgenerator betrachten. Allerdings argumentieren leidenschaftliche Anh\u00e4nger von SD 1.5 \u00fcberzeugend dagegen und weisen darauf hin, dass so wichtige Werkzeuge wie ControlNet in SDXL bis heute nicht ausreichend \u00fcbertragen wurden.<\/a><\/noindex>.<\/p>\n

Und ab dem 12. Juni 2024, dem Datum der «Wilderung» des Modells, das lokale Generierungen erm\u00f6glicht, sollte die Zeit f\u00fcr die «offene» Version von SD 3 gekommen sein — genauer gesagt, Stable Diffusion 3 Medium<\/a><\/noindex> (SD3M oder SD3 2B) mit 2 Milliarden Arbeitsparametern. Bedingt erinnert man sich, entspricht diese Zahl der Gesamtzahl der Gewichtungen an den Eing\u00e4ngen aller Perzeptronen des Modells. Noch fr\u00fcher, im April, brachte Stability AI eine acht Millionen umfassende (nach Anzahl der Parameter) Stable Diffusion 3 Large<\/a><\/noindex>, auch bekannt als SD3 8B. Bei SDXL 1.0, erinnern wir uns, — 3,5 Milliarden Parameter<\/a><\/noindex>, jedoch ist SD3M, so die Entwickler, «das raffinierteste Modell zur Generierung von Bildern, das wir bisher entwickelt haben»<\/a><\/noindex>. Es wurde angedeutet, dass bei geringeren als bei «Oversize» Bedarf an Videospeicher, selbst auf einfache Eingaben reagiert, Bilder «mit einem neuen Niveau an Fotorealismus» liefern sollte. Zu den Vorteilen der «Dreier» wurden auch «beispiellose Qualit\u00e4t der Typografie des Textes auf den generierten Bildern», «tiefere Verst\u00e4ndnis der Eingaben durch die Zusammenarbeit dreier Encoder» und «Bereitschaft zu effizientem Nachtraining selbst bei begrenzten Datens\u00e4tzen» genannt.<\/p>\n

\"Neuer <\/p>\n

Es wurde offenbar angenommen, dass die Gemeinschaft der Enthusiasten, die endlich das lang erwartete Spielzeug in die H\u00e4nde bekommt, es mit der gleichen Leidenschaft wie «die Eindecker» und «Oversize» einst perfektionieren wird. Doch von Anfang an lief alles anders: SD3M hatte in den ersten Stunden nach der Ver\u00f6ffentlichung der Modell-Dateien auf Hugging Face und Civitai es geschafft, ihr Publikum zutiefst zu entt\u00e4uschen<\/a><\/noindex> sein Publikum gleich zweimal entt\u00e4uscht. Das erste Mal \u2014 durch eine scheinbar unerkl\u00e4rliche Idiosynkrasie gegen\u00fcber Eingaben, die die unschuldige Phrase «lying on\/in the grass» (liegt auf\/in dem Gras) enthalten; das zweite Mal \u2014 durch \u00e4u\u00dferst vage Formulierungen im Benutzervertrag, die selbst erfahrene Juristen nicht sofort verstehen konnten. Und obwohl es aus Sicht des durchschnittlichen KI-Entusiasten unbedeutend erscheint, wird sich die rechtliche Frage ma\u00dfgeblich auf die weitere Entwicklung des Modells auswirken \u2014 bis hin zu der M\u00f6glichkeit, dass keine Entwicklung \u00fcberhaupt stattfindet.<\/p>\n

Die vorherigen Kreationen von Stable Diffusion mit offenem Code (genauer gesagt, mit offenen Werten der neuronalen Netzwerkgewichte, die kostenlos heruntergeladen und lokal ausgef\u00fchrt werden k\u00f6nnen), wie SDXL, wurden von einem der typischen Merkmale generativer Modelle begleitet CreativeML Open RAIL++-M Lizenz<\/a><\/noindex> mit solchen Merkmalen wie «unbefristete, weltweite, nicht-exklusive, geb\u00fchrenfreie, unentgeltliche, unwiderrufliche Lizenz an Urheberrechten zum Reproduzieren, Vorbereiten, \u00f6ffentlichen Vorf\u00fchren, \u00f6ffentlichen Auff\u00fchren, Unterlizenzieren und Verteilen zus\u00e4tzlicher Materialien der Modell selbst sowie von davon abgeleiteten». Die «Dreier» sieht zwei Arten der Lizenzierung vor: f\u00fcr nicht kommerzielle Nutzung<\/a><\/noindex> \u2014 mit sehr entmutigenden Formulierungen wie «Stability AI gew\u00e4hrt Ihnen eine nicht-exklusive, weltweite, nicht \u00fcbertragbare, nicht unterlizenzierbare, widerrufbare, unentgeltliche und eingeschr\u00e4nkte Lizenz an geistigem Eigentum» \u2014 und eine deutlich belastendere kommerzielle<\/a><\/noindex>.<\/p>\n

⇡<\/a><\/noindex>#<\/a><\/noindex>Das Gras f\u00fchrt zu nichts Gutem<\/h2>\n

Nach kurzer Zeit kamen die Mitglieder der Community \u00fcberein, dass Stable Diffusion 3 \u2014 das ist kein Open Source<\/a><\/noindex>. Im Grunde genommen hat es ein Boykott gegen das Unternehmen ausgerufen, das die Software entwickelt hat, und m\u00f6chte keine Zeit und Energie mit dem Training eines offensichtlich unausgereiften und ungeschickt bearbeiteten Modells verschwenden \u2013 in dem Bewusstsein, dass Stability AI jederzeit aus einer Laune ihrer Medienmanager die Lizenz, die zuvor einem bestimmten Enthusiasten erteilt wurde, der solches Training durchf\u00fchrt, zur\u00fcckziehen kann. Der Lizenzvertrag ist so formuliert, dass bei Nicht-Juristen der Eindruck entsteht, dass der fr\u00fchere Empf\u00e4nger der Lizenz f\u00fcr die kommerzielle Nutzung von SD3M nach dem Entzug des Nutzungserlaubnisses verpflichtet sein wird, alle von ihm geschaffenen abgeleiteten Werke der ihm lizenzierten geistigen Eigentums zu l\u00f6schen, einschlie\u00dflich sowohl der selbst trainierten Modelle (LoRA, Textinverse, gesamte Checkpoints) als auch deren Ableitungen (Zitat: \u201eNach Beendigung dieses Vertrags m\u00fcssen Sie alle Softwareprodukte oder abgeleitete Werke l\u00f6schen und deren Nutzung einstellen\u201c) \u2013 d. h. die Fr\u00fcchte der Arbeit anderer Menschen, die diese abgeleiteten Modelle als Ausgangspunkt f\u00fcr ihre eigene Arbeit genutzt haben; was zudem ohne jegliche Bezahlung und ganz in einem Geist des Enthusiasmus durchgef\u00fchrt wurde.<\/p>\n

Kurz nachdem die Welle der Emp\u00f6rung deshalb stratosph\u00e4rische H\u00f6hen erreicht hatte, begannen bereits professionelle Juristen, sich zu \u00e4u\u00dfern, dass nicht alles so schlimm ist<\/a><\/noindex> Und dass der Entzug mit einem Verbot der weiteren Nutzung in der Tat nur bestimmte Hilfsprodukte mit geschlossenem Code betreffen soll, die Stability AI dem kommerziellen Nutzer \u00fcbergeben wird (zum Beispiel zur Beschleunigung und Optimierung des ohnehin schon anhaltenden Trainings von SD3M), \u2013 aber die endg\u00fcltigen Klarstellungen dazu hat das Unternehmen bisher nicht bereitgestellt. Und die Tatsache eines so erdr\u00fcckenden Schweigens seit nunmehr drei Wochen (zum Zeitpunkt des Verfassens dieses Artikels) seit dem Auftauchen der \u201eDrei\u201c im \u00f6ffentlichen Zugang sch\u00e4digt den Ruf des Entwicklers erheblich mehr als das Gras \u2013 das von seiner Sch\u00f6pfung generiert wird.<\/p>\n

\"Neuer <\/p>\n

Was die ber\u00fcchtigte Gras-Geschichte angeht, die innerhalb weniger Stunden buchst\u00e4blich zum Meme wurde zun\u00e4chst auf Hugging Face<\/a><\/noindex>, und danach praktisch auf allen mehr oder weniger relevanten Plattformen im Netz stellte sich heraus, dass das Vorhandensein der Phrase «a girl lying on the grass» zu einem Erscheinen in den Ergebnissen der «Top drei» nicht nur von Halluzinationen, sondern von schrecklichen Gebilden einer kranken - im medizinischen Sinne - Fantasie von K\u00fcnstlern und Filmemachern, die auf Body Horror spezialisiert sind, f\u00fchrt (wir flehen, wenn Ihnen Verstand und Leben wichtig sind, — halten Sie sich von solchen Dingen fern und versuchen Sie nicht einmal, diesen Satz in das Suchfenster f\u00fcr Bilder ohne aktivierten Sicherheitsfilter einzugeben). Dabei gelingen der «Top drei» Bilder von stehenden - und etwas weniger von sitzenden - Menschen mit einer sicheren vier plus, w\u00e4hrend Portr\u00e4ts manchmal sogar makellos herauskommen; jedenfalls nicht schlechter als bei dem Basismodell SDXL 1.0, — das Problem liegt hier in irgendeinem inneren Tabu bez\u00fcglich der horizontalen Position des menschlichen K\u00f6rpers.<\/p>\n

Ger\u00fcchten zufolge, laut dem Kommentar von Emad Mostaque, dem Gr\u00fcnder und ehemaligen (bis M\u00e4rz 2024) Leiter von Stability AI, der das Unternehmen verlassen hat, um «dezentralisierte Projekte im Bereich der K\u00fcnstlichen Intelligenz betreiben»<\/a><\/noindex>, war die grobe Gewalt gegen SD3M unmittelbar vor der \u00d6ffnung ihrer Gewichte f\u00fcr eine begrenzte nicht-kommerzielle Nutzung (die API des gr\u00f6\u00dferen Modells SD3 8B f\u00fcr die Online-Generierung, erinnern wir uns, ist seit April \u00fcber Partner-Websites verf\u00fcgbar<\/a><\/noindex>, aber ihr Gewicht bleibt verborgen) war eine Folge des Strebens der heutigen F\u00fchrung nach Sicherheit — «in \u00dcbereinstimmung mit den regulatorischen Verpflichtungen»<\/a><\/noindex>, die bereits im M\u00e4rz dieses Jahres als Acceptable Use Policy formuliert wurden.<\/a><\/noindex>. Genau im Rahmen dieser Politik mit Anwendung des generativen Modells SD3M d\u00fcrfen Benutzer «kein Gewalt, Terrorismus oder die Erstellung von hasserzeugendem Inhalt, der eine gesch\u00fctzte Personen\u00adgruppe diskriminiert oder bedroht (sei es aufgrund von Geschlecht, ethnischer Zugeh\u00f6rigkeit, sexueller Identit\u00e4t oder Orientierung, Religion oder \u00c4hnlichem), durchf\u00fchren, f\u00f6rdern, erleichtern, ermutigen, planen, anstiften oder unterst\u00fctzen», — also keine Bildern von Pandas, die ungesch\u00fctzt gegen w\u00fctende Drachen k\u00e4mpfen! Nur Katzen in lustigen H\u00fcten, Hunde in niedlichen Jacken, Flaschen mit unbekanntem Inhalt und frisch gebackene Kekse direkt aus dem Ofen!<\/p>\n

Technisch gesehen k\u00f6nnte das Entleeren des Modells darin bestanden haben, dass Bilder von liegenden Personen und andere Bilder, die irgendwie eine obsz\u00f6ne Interpretation nahelegten, einfach aus dem Trainingsdatensatz ausgeschlossen wurden \u2014 und deshalb versteht die \u201eDrei\u201c jetzt einfach nicht die Bedeutung des Wortes \u201eliegen\u201c. Oder die aktualisierte Architektur von SD3 hat es erm\u00f6glicht, die Gewichte in den Neuronen, die w\u00e4hrend der Generierung von \u201eunsicheren\u201c Bildern aktiviert werden, ausreichend sicher zu identifizieren \u2014 und diese Gewichte wurden kurz vor der Ver\u00f6ffentlichung selektiv auf null gesetzt, was als Nebeneffekt die \u201eerzwungene Halluzination\u201c zur Folge hatte. Wahrscheinlich, l\u00e4sst es sich schon mit einer Lobotomie vergleichen<\/a><\/noindex>: der Encoder \u00fcbersetzt den Text korrekt in Token, aber im \u201egesicherten\u201c latenten Raum zeigen diese Token bereits auf nichts Konkretes \u2014 und deshalb sind die resultierenden Pixel im Bild tats\u00e4chlich zuf\u00e4llig verteilt.<\/p>\n

\"Neuer <\/p>\n

Angesichts der Verf\u00fcgbarkeit der API des vollst\u00e4ndigen, aber geschlossenen Modells SD3 8B seit mehreren Monaten und der vehementen Zusicherungen der Medienmanager von Stability AI, dass das \u201ekompaktierte\u201c 2B in Bezug auf die Textwahrnehmung und die Bildgenerierung qualitativ \u00e4hnlich sein wird,<\/a><\/noindex>, haben KI-Zeichenthusiasten die Ver\u00f6ffentlichung der Gewichte von SD3M am 12. Juni mit gro\u00dfer Begeisterung aufgenommen: In den ersten 24 Stunden wurde das Modell 2,7 Millionen Mal heruntergeladen<\/a><\/noindex>. Derzeit kann man es immer noch erwerben, wenn auch auf einem etwas umst\u00e4ndlicheren Weg als gewohnt f\u00fcr die Checkpoints SDXL und SD 1.5. Eigentlich ist der gewohnte Weg \u2014 sich an die Website Civitai zu wenden, von der die meisten Modelle ohne Registrierung heruntergeladen werden, aber seit dem 17. Juni und bis zu dem Zeitpunkt, an dem dieser Artikel zur Layout-Gestaltung \u00fcbergeben wurde, widmete die Seite, die sich mit der \u201eDrei\u201c besch\u00e4ftigt, vor\u00fcbergehend gesperrt<\/a><\/noindex>. Der Grund ist einfach: Die kommerzielle Lizenz f\u00fcr SD3M ist so unklar formuliert, dass selbst die Juristen von Civitai eine Pause eingelegt haben, um sie genauer zu studieren. Denn wenn ein Enthusiast auf seinem PC LoRA f\u00fcr die \u201eDrei\u201c trainiert und sie auf Civitai hochl\u00e4dt, und Stability AI pl\u00f6tzlich beschlie\u00dft, dass das Ergebnis unangebracht ist und die Lizenz des Verantwortlichen widerruft \u2014 wie soll es dann mit der Hosting-Website sein? Sie stellt nicht nur Checkpoints, Hilfszyklusdiagramme und Modelle zur Verf\u00fcgung, sondern bietet den Besuchern auch die M\u00f6glichkeit der Cloud-Bilderzeugung und des Trainings von LoRA, textuellen Inversionen usw. Nun, solange der Prozess l\u00e4uft, k\u00f6nnen die Dateien des Modells selbst und die drei mitgelieferten Text-zu-Token-Konverter nur von der eigenen Seite von Stability AI auf dem Hugging Face-Portal heruntergeladen werden.<\/a><\/noindex>.<\/p>\n

⇡<\/a><\/noindex>#<\/a><\/noindex>Lass uns anfangen<\/h2>\n

Es gibt jedoch einen Haken: Um auf die Download-Links zuzugreifen, muss man sich auf der Website anmelden und dann die zuvor erw\u00e4hnte drakonische Lizenzvereinbarung akzeptieren \u2013 die Prozedur ist jedoch kostenlos und aus Russland gut erreichbar. Insgesamt stehen vier Modelle und vier Token-Encoder zur Verf\u00fcgung, plus drei Standard-Workflow-Diagramme zur Ausf\u00fchrung in der Arbeitsumgebung von ComfyUI. \u00fcber die wir bereits gesprochen haben.<\/a><\/noindex>:<\/p>\n

Modelle:<\/p>\n