{"id":117781,"date":"2024-07-18T03:43:48","date_gmt":"2024-07-18T01:43:48","guid":{"rendered":"https:\/\/prohoster.info\/blog\/novosti-interneta\/novaya-statya-praktikum-po-ii-risovaniyu-chast-devyataya-sd3m-troechka-na-troechku"},"modified":"2024-07-18T03:43:48","modified_gmt":"2024-07-18T01:43:48","slug":"novaya-statya-praktikum-po-ii-risovaniyu-chast-devyataya-sd3m-troechka-na-troechku","status":"publish","type":"post","link":"https:\/\/prohoster.info\/de\/blog\/novosti-interneta\/novaya-statya-praktikum-po-ii-risovaniyu-chast-devyataya-sd3m-troechka-na-troechku","title":{"rendered":"Neuer Artikel: Praktikum im KI-Zeichnen, Teil neun: SD3M \u2013 \u201eDrei\u201c auf drei","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

Es ist am\u00fcsant, wie die Ver\u00f6ffentlichungsgeschichte der Open-Source-Modelle zur Umwandlung von Texteingaben in Bilder, die von Stability AI entwickelt und trainiert werden, an eine Reihe von H\u00f6hen und Tiefen erinnert, die man bei den aufeinanderfolgenden Versionen des Microsoft-Betriebssystems beobachten konnte. Nach dem legend\u00e4r erfolgreichen XP erschien die problematische Vista; danach folgte das gro\u00dfartige \u201eSieben\u201c \u2014 und dann die wenig erfolgreiche Windows 8. Auf die anfangs eher unscheinbare, aber von Enthusiasten nach und nach verbesserte Version 1.5 von Stable Diffusion folgte die offen ungl\u00fcckliche SD 2.0 \u2014 ungl\u00fccklich, weil sie einen f\u00fcr Modelle dieser Art atypischen OpenCLIP-Codierer beinhaltete. trainiert an recht zweifelhaft ausgew\u00e4hlten Bildern<\/a><\/noindex> von des offenen Datensatzes LAION-5B<\/a><\/noindex>. Bei dieser Auswahl wurden nicht nur unangemessene (NSFW) visuelle Referenzen ausgeschlossen, sondern auch Gem\u00e4lde und Illustrationen von popul\u00e4ren K\u00fcnstlern wie dem umstrittenen Greg Rutkowski. Letzteres hat die Enthusiasten endg\u00fcltig aufgebracht: W\u00e4hrend bei SD 1.5 selbst im Original, ohne den Einsatz besonders trainierter Checkpoints, einfache Hinweise mit Stilen \u2014 \u201eepic medieval fantasy landscape, in the style of Greg Rutkowski\u201c \u2014 hervorragend funktionierten und das Ergebnis beeindruckend war, h\u00f6rte SD 2.0 auf, die Namen der bekanntesten Illustratoren zu \u201eerkennen\u201c, deren Urheberrechte an den geschaffenen Werken nach wie vor g\u00fcltig sind und die diese Werke nicht zur Verf\u00fcgung gestellt haben, um den KI-Trainingsprozess zu unterst\u00fctzen. Man musste mehr Worte verwenden, um das Gew\u00fcnschte zu beschreiben, und bei zu langen Hinweisen tat sich das Modell schwer.<\/p>\n

<\/center> \t\t\t\t
<\/center> \"Neuer <\/p>\n

⇡<\/a><\/noindex>#<\/a><\/noindex>Setzen \u2014 aufstehen, setzen \u2014 aufstehen<\/h2>\n

In Kombination mit dem ver\u00e4nderten Codierer (einem Umwandler von Textaufforderungen in digitale Tokens, mit denen das Modell direkt arbeitet) hat die Unm\u00f6glichkeit, benannte Stile anzuwenden, den Enthusiasten einfach die Motivation genommen, die \"Zweier\" selbst weiterzuentwickeln. Nun wirklich: Hier musste man parallel auch verstehen, wie man die bereits erprobte Technik der Aufforderungsgestaltung an den neuen Codierer anpasst und das Modell im Erkennen jener Muster und Themen, mit denen die Entwickler es in der Anfangsphase des Trainings nicht vertraut gemacht haben, weitergebildet werden \u2014 und eine qualitativ hochwertige Unterscheidung von der \"Einser\" garantierten die durch die \"Zweier\" generierten Bilder letztlich trotzdem nicht. Ja, von der f\u00fcr SD 1.5 typischen Gr\u00f6\u00dfe von 512\u00d7512 Punkten gab es einen qualitativen Sprung auf 768\u00d7768, aber zu diesem Zeitpunkt hatte die Community bereits flei\u00dfig Upscaler, Outpainter und andere Werkzeuge zur Vergr\u00f6\u00dferung der endg\u00fcltigen Bildgr\u00f6\u00dfe eingesetzt, sodass SD 2.0 im Gro\u00dfen und Ganzen unbemerkt blieb. SDXL kehrte zum Standard zur\u00fcck<\/a><\/noindex> (entwickelt von OpenAI und verwendet, unter anderem, im Projekt DALL-E) zum CLIP-Encoder<\/a><\/noindex> \u2014 der Code ist ebenfalls offen, aber die Datenbank, auf der es trainiert wurde, im Gegensatz zu OpenCLIP<\/a><\/noindex>, propriet\u00e4r. Dar\u00fcber hinaus wurde die Standardgr\u00f6\u00dfe des Canvas bei «Oversize» auf 1024×1024 erh\u00f6ht, plus es gab eine Reihe zus\u00e4tzlicher Verbesserungen, — so dass sich Enthusiasten gerne daran gemacht haben, es weiterzuentwickeln. Bis heute sind es insbesondere die SDXL-Varianten, die weniger an «Hardware» Anforderungen stellen und erst vor kurzem erschienen sind, die SDXL Turbo<\/a><\/noindex> \u0438 SDXL Lightning<\/a><\/noindex>) der derzeit beliebteste KI-Bilderzeuger mit offenem Code ist. Allerdings argumentieren leidenschaftliche Bef\u00fcrworter von SD 1.5, dass einige wichtige Werkzeuge wie ControlNet in SDXL bis heute nicht angemessen \u00fcbertragen wurden.<\/a><\/noindex>.<\/p>\n

Und so sollte ab dem 12. Juni 2024, dem Tag der «Freisetzung» des Quellcodes des Modells, das lokale Generierungen erm\u00f6glicht, die Zeit der «offenen» Version SD 3 kommen — genauer gesagt Stable Diffusion 3 Medium<\/a><\/noindex> (SD3M oder SD3 2B) mit 2 Milliarden Arbeitsparametern. Dies entspricht bedingt der Gesamtanzahl an Gewichten an den Eing\u00e4ngen aller Perzeptronen des Modells. Bereits im April hat Stability AI eine 8-Millionen-Parameter-Version f\u00fcr den kommerziellen Einsatz bereitgestellt. Stable Diffusion 3 Large<\/a><\/noindex>, auch bekannt als SD3 8B. Bei SDXL 1.0, erinnern wir uns, — 3,5 Milliarden Parameter<\/a><\/noindex>, doch SD3M gilt laut den Entwicklern als «das raffinierteste Modell zur Generierung von Bildern, das wir bisher entwickelt haben»<\/a><\/noindex>. Es wurde angedeutet, dass bei geringeren Anforderungen an den Videospeicher als bei «Oversize», selbst auf einfache Aufforderungen hin Bilder «mit einem neuen Niveau der Fotorealistik» erzeugt werden sollten. Zu den Vorteilen der «Dreierreihe» wurden auch «beispiellose Typografiekualit\u00e4t des auf generierten Bildern dargestellten Textes», «tiefere Verst\u00e4ndnism\u00f6glichkeiten von Aufforderungen durch die gemeinsame Anstrengung von drei Codierern» und «Bereitschaft zur effektiven Nachtrainierung selbst mit begrenzten Datens\u00e4tzen» gez\u00e4hlt.<\/p>\n

\"Neuer <\/p>\n

Es wurde offenbar angenommen, dass die Gemeinschaft der Enthusiasten, ausgestattet mit dem lang erwarteten neuen Spielzeug, es mit dem gleichen Eifer weiterentwickeln w\u00fcrde wie einst die «Halbton» und «Oversize». Doch von Anfang an lief alles anders: SD3M hatte bereits in den ersten Stunden nach der Ver\u00f6ffentlichung der Modell-Dateien auf Hugging Face und Civitai mit Problemen zu k\u00e4mpfen. tief entt\u00e4uschen<\/a><\/noindex> ein Publikum, und das gleich doppelt. Das erste Mal aufgrund einer auf den ersten Blick unerkl\u00e4rlichen Eigenheit hinsichtlich der Hinweise, die eine scheinbar harmlose Phrase «lying on\/in the grass» (liegen auf\/in dem Gras) beinhalten; das zweite Mal durch unheimlich vage Formulierungen in den Nutzungsbedingungen, mit denen selbst professionelle Juristen nicht sofort zurechtkamen. Und obwohl dies aus Sicht eines durchschnittlichen KI-Kunst-Enthusiasten unbedeutend erscheint, wird sich diese rechtliche Fragestellung unmittelbar auf die weitere Entwicklung des Modells auswirken \u2013 bis hin zur M\u00f6glichkeit, dass keine Entwicklung stattfinden wird.<\/p>\n

Vorherige Kreationen von Stable Diffusion mit offenem Code (genauer gesagt, mit offenen Werten der neuronalen Gewichte, die kostenlos heruntergeladen und lokal ausgef\u00fchrt werden k\u00f6nnen), wie SDXL, wurden von einem der typischen Merkmale generativer Modelle begleitet. CreativeML Open RAIL++-M Lizenz<\/a><\/noindex> mit solchen Eigenschaften wie «unbefristet, weltweit, nicht-exklusiv, kostenlos, unentgeltlich, unwiderruflich lizenziert f\u00fcr Urheberrechte zum Zweck der Vervielf\u00e4ltigung, Erstellung, \u00f6ffentlichen Auff\u00fchrung, \u00f6ffentlichen Vorf\u00fchrung, Unterlizenzierung und Verbreitung zus\u00e4tzlicher Materialien sowohl der Modell selbst als auch von daraus abgeleiteten Materialien». Das «Drei» sieht zwei Arten der Lizenzierung vor: f\u00fcr nicht-kommerzielle Nutzung<\/a><\/noindex> \u2014 mit ziemlich entspannenden Formulierungen wie «Stability AI gew\u00e4hrt Ihnen eine nicht-exklusive, weltweite, nicht \u00fcbertragbare, nicht unterlizenzierbare, jederzeit widerrufbare, kostenlose und eingeschr\u00e4nkte Lizenz an geistigem Eigentum» \u2014 und einer weitaus belastenderen kommerziellen<\/a><\/noindex>.<\/p>\n

⇡<\/a><\/noindex>#<\/a><\/noindex>Das Gras wird nicht zum Guten f\u00fchren<\/h2>\n

Nicht lange nach dieser Zeit war die Gemeinschaft sich einig, dass Stable Diffusion 3 \u2014 ist nicht Open Source<\/a><\/noindex>. Im Grunde genommen hat es ein Boykott gegen\u00fcber dem Unternehmen, das die Software entwickelt, ausgerufen und m\u00f6chte keine Zeit und M\u00fche in das Training eines offensichtlich unausgereiften und fehlerhaften Modells investieren. Mit dem Bewusstsein, dass Stability AI jederzeit aus Laune seiner Medienmanager die Lizenz, die zuvor einem bestimmten Enthusiasten zur Verf\u00fcgung gestellt wurde, zur\u00fcckziehen kann, um dieses Training durchzuf\u00fchren. Der Lizenzvertrag ist so formuliert, dass bei dessen Durchsicht die nicht-juristischen Interessierten den Eindruck haben, dass nach dem Widerruf der Genehmigung zur kommerziellen Nutzung von SD3M der fr\u00fcheren Lizenznehmer verpflichtet ist, alle von ihm geschaffenen Ableitungen der ihm lizenzierten geistigen Eigentumsrechte zu l\u00f6schen, einschlie\u00dflich der trainierten Modelle (LoRA, textliche Inversionen, komplette Checkpoints) sowie deren Ableitungen (Zitat: \u201eNach Beendigung dieses Vertrags m\u00fcssen Sie jegliche Softwareprodukte oder abgeleitete Werke l\u00f6schen und deren Nutzung einstellen\u201c) \u2013 d.h. die Fr\u00fcchte der Arbeit anderer Menschen, die diese abgeleiteten Modelle als Ausgangspunkt f\u00fcr ihre eigene Arbeit genutzt haben; zudem ohne irgendeine Verg\u00fctung, die auf reinem Enthusiasmus basiert.<\/p>\n

Kurz nach dem gro\u00dfen Aufschrei zu diesem Thema gab es bereits Berichte von professionellen Juristen, dass nicht alles so schlimm ist,<\/a><\/noindex> Und dass eine R\u00fcckmeldung mit dem Verbot der weiteren Nutzung in der Tat nur einige unterst\u00fctzende Produkte mit geschlossenem Code betreffen sollte, die Stability AI an kommerzielle Nutzer \u00fcbergeben wird (zum Beispiel zur Beschleunigung und Optimierung des eben erw\u00e4hnten SD3M-Trainings) \u2013 aber die Firma hat diesbez\u00fcglich bisher keine abschlie\u00dfenden Erkl\u00e4rungen abgegeben. Und die Tatsache, dass es seit mittlerweile drei Wochen (zum Zeitpunkt des Schreibens dieses Artikels) so dr\u00fcckendes Schweigen gibt, seit die \u201eDrei\u201c \u00f6ffentlich zug\u00e4nglich wurde, besch\u00e4digt den Ruf des Entwicklers viel mehr als das Gras \u2013 das von seinem Werk generierten M\u00e4dchen.<\/p>\n

\"Neuer <\/p>\n

Was das notorische Gras betrifft, das buchst\u00e4blich in wenigen Stunden zum Meme wurde, zuerst auf Hugging Face.<\/a><\/noindex>, und sp\u00e4ter auch praktisch auf allen mehr oder weniger spezialisierten Plattformen im Netz stellte sich heraus, dass das Vorhandensein von Phrasen wie «a girl lying on the grass» in den Vorschl\u00e4gen nicht nur zu Halluzinationen f\u00fchrt, sondern zu schrecklichen Sch\u00f6pfungen einer kranken — im medizinischen Sinne — Fantasie von K\u00fcnstlern und Filmemachern, die auf Body Horror spezialisiert sind. Wir warnen Sie, wenn Ihnen Verstand und Leben lieb sind — halten Sie sich von solch etwas fern und versuchen Sie nicht einmal, diese Phrase im Suchfenster f\u00fcr Bilder mit deaktiviertem Sicherheitsfilter einzugeben). Dabei gelingen die Bilder von stehenden — und etwas weniger von sitzenden — Menschen der «Drei» mit einer sicheren Vier Plus, w\u00e4hrend Portr\u00e4ts manchmal sogar makellos erscheinen; zumindest nicht schlechter als das Basismodell SDXL 1.0, das Problem liegt hier genau in einem inneren Tabu zur horizontalen Position des menschlichen K\u00f6rpers.<\/p>\n

Laut dem Kommentar von Emad Mostaque, dem Gr\u00fcnder und ehemaligen (bis M\u00e4rz 2024) Leiter von Stability AI, der das Unternehmen verlassen hat, um «mit dezentralen Projekten im Bereich der k\u00fcnstlichen Intelligenz besch\u00e4ftigen»<\/a><\/noindex>, grobe Eingriffe in SD3M direkt vor der Freigabe ihrer Gewichte f\u00fcr begrenzte nicht-kommerzielle Nutzung (API des gr\u00f6\u00dferen Modells SD3 8B zur Online-Generierung, erinnern wir uns, \u00fcber Partnerseiten seit April verf\u00fcgbar<\/a><\/noindex>, aber ihr Gewicht bleibt verborgen) ist eine Folge des Strebens der heutigen F\u00fchrung nach Sicherheit — \u201eaufgrund der gesetzlichen Verpflichtungen\u201c<\/a><\/noindex>, die bereits im M\u00e4rz dieses Jahres formuliert wurden als Acceptable Use Policy<\/a><\/noindex>. Im Rahmen dieser Richtlinie ist es Nutzern nicht gestattet, \u201eGewalt, Terrorismus oder die Schaffung von Hassinhalten, die eine gesch\u00fctzte Gruppe von Personen (z. B. aufgrund von Geschlecht, ethnischer Herkunft, sexueller Identit\u00e4t oder Orientierung, Religion oder anderen) diskriminieren oder bedrohen, zu begehen, zu f\u00f6rdern, zu erleichtern, zu ermutigen, zu planen oder zu incitieren\u201c, \u2014 also keine Bilder von Pandas, die in ihrer Geburtstagskleidung gegen w\u00fctende Drachen k\u00e4mpfen! Nur Katzen in lustigen H\u00fcten, Hunde in s\u00fc\u00dfen Jacken, Flaschen mit mysteri\u00f6sem Inhalt und frisches Geb\u00e4ck direkt aus dem Ofen!<\/p>\n

Technisch gesehen k\u00f6nnte das Entfernen von Inhalten aus dem Modell darauf zur\u00fcckzuf\u00fchren sein, dass Bilder von liegenden Personen und andere Bilder, die auf eine unangemessene Interpretation hindeuten k\u00f6nnten, einfach aus dem Trainingsdatensatz entfernt wurden. Daher versteht die \u201adrei\u2018 jetzt schlichtweg nicht, was das Wort \u201aliegen\u2018 bedeutet. Alternativ k\u00f6nnte die aktualisierte Architektur von SD3 in der Lage gewesen sein, die Gewichte auf den Perzeptronen, die w\u00e4hrend der Generierung von \u201anicht sicheren\u2018 Bildern aktiviert werden, zuverl\u00e4ssig zu identifizieren. Diese Gewichte wurden unmittelbar vor der Ver\u00f6ffentlichung selektiv auf null gesetzt, was m\u00f6glicherweise zu den \u201aerzwungenen Halluzinationen\u2018 gef\u00fchrt hat. Wahrscheinlich, kann das bereits mit einer Lobotomie verglichen werden.<\/a><\/noindex>: Der Encoder \u00fcbersetzt den Text korrekt in Tokens, aber im \u201agesicherten\u2018 latenten Raum zeigen diese Tokens bereits auf nichts Konkretes, weshalb die resultierenden Pixel im Bild eigentlich zuf\u00e4llig angeordnet sind.<\/p>\n

\"Neuer <\/p>\n

Angesichts der Verf\u00fcgbarkeit der API f\u00fcr das vollst\u00e4ndige, aber geschlossene Modell SD3 8B seit mehreren Monaten und der eindringlichen Zusicherungen der Medienmanager von Stability AI, dass das \u201akompaktierte\u2018 2B wird in Bezug auf die Textwahrnehmung und die Bildgenerierung fast gleichwertig sein<\/a><\/noindex>, AI-Zeichnungsenthusiasten haben die Ver\u00f6ffentlichung der SD3M-Modelle am 12. Juni \u00e4u\u00dferst begeistert aufgenommen: innerhalb der ersten 24 Stunden wurde das Modell 2,7 Millionen Mal heruntergeladen<\/a><\/noindex>. Moment kann man sie immer noch bekommen, wenn auch auf etwas umst\u00e4ndlichere Weise als gewohnt f\u00fcr die Checkpoints SDXL und SD 1.5. Der \u00fcbliche Weg \u2013 der Besuch der Website Civitai, von der die meisten Modelle ohne Registrierung heruntergeladen werden, aber seit dem 17. Juni bis zum Zeitpunkt der \u00dcbermittlung dieses Artikels zur Drucklegung ist die Seite, die der \u201eDrei\u201c gewidmet ist. befindet sich in einem tempor\u00e4ren Bann.<\/a><\/noindex>. Der Grund ist einfach: Die kommerzielle Lizenz f\u00fcr SD3M ist in einer so unklaren Sprache verfasst, dass selbst die Juristen von Civitai eine Pause eingelegt haben, um sie genauer zu studieren. Denn wenn ein Enthusiast auf seinem PC LoRA f\u00fcr die \u201eDrei\u201c trainiert und sie auf Civitai ver\u00f6ffentlicht, und Stability AI pl\u00f6tzlich entscheidet, dass das Ergebnis unangemessen ist und die Lizenz des Verursachers zur\u00fcckzieht \u2013 wie soll dann der Hosting-Service damit umgehen? Er hostet ja nicht nur Checkpoints, unterst\u00fctzende Cyklogramme und Modelle, sondern bietet den Besuchern auch die M\u00f6glichkeit, Bilder in der Cloud zu generieren und die gleichen LoRA, textuelle Inversionen usw. zu trainieren. Kurz gesagt, solange die Sache vor Gericht ist, k\u00f6nnen die Dateien des Modells und der drei dazugeh\u00f6rigen Text-zu-Token-Konverter nur genommen werden. von der eigenen Seite Stability AI auf dem Portal Hugging Face<\/a><\/noindex>.<\/p>\n

⇡<\/a><\/noindex>#<\/a><\/noindex>Lass uns anfangen<\/h2>\n

Es gibt jedoch einen Haken: Um auf die Download-Links zugreifen zu k\u00f6nnen, muss man sich auf der Website anmelden und dann die zuvor erw\u00e4hnte drakonische Lizenzvereinbarung akzeptieren \u2013 jedoch ist dieser Prozess kostenlos und aus Russland problemlos zug\u00e4nglich. Insgesamt stehen vier Modelle (models) und ebenfalls vier Textprompt-zu-Token-Konverter (encoders) zur Auswahl, plus drei Referenzzyklusdiagramme f\u00fcr die Ausf\u00fchrung in der Arbeitsumgebung ComfyUI. dar\u00fcber haben wir bereits gesprochen<\/a><\/noindex>:<\/p>\n

Modelle:<\/p>\n