{"id":117781,"date":"2024-07-18T03:43:48","date_gmt":"2024-07-18T01:43:48","guid":{"rendered":"https:\/\/prohoster.info\/blog\/novosti-interneta\/novaya-statya-praktikum-po-ii-risovaniyu-chast-devyataya-sd3m-troechka-na-troechku"},"modified":"2024-07-18T03:43:48","modified_gmt":"2024-07-18T01:43:48","slug":"novaya-statya-praktikum-po-ii-risovaniyu-chast-devyataya-sd3m-troechka-na-troechku","status":"publish","type":"post","link":"https:\/\/prohoster.info\/fr\/blog\/news\/novaya-statya-praktikum-po-ii-risovaniyu-chast-devyataya-sd3m-troechka-na-troechku","title":{"rendered":"Nouvel article : Pratique de l'IA en dessin, partie neuf : SD3M \u2014 \u00ab la note trois \u00bb pour une note trois","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

Il est amusant de voir comment l'histoire des versions des mod\u00e8les ouverts de transformation de prompts textuels en images, d\u00e9velopp\u00e9s et entra\u00een\u00e9s par Stability AI, ressemble \u00e0 une s\u00e9rie de succ\u00e8s et d'\u00e9checs des versions successives du syst\u00e8me d'exploitation Microsoft. Apr\u00e8s le l\u00e9gendaire succ\u00e8s de XP, rappelons-le, est arriv\u00e9e la probl\u00e9matique Vista ; puis la magnifique \u00ab sept \u00bb \u2014 suivie de la st\u00e9rile Windows 8. Pour Stable Diffusion, une version 1.5 initialement peu attrayante, mais progressivement peaufin\u00e9e par des passionn\u00e9s, a \u00e9t\u00e9 suivie de la franchement rat\u00e9e SD 2.0 \u2014 m\u00e9diocre, en fait, car elle incluait un encodeur OpenCLIP atypique pour ce type de mod\u00e8les. entra\u00een\u00e9 sur des images choisies de mani\u00e8re tr\u00e8s controvers\u00e9e<\/a><\/noindex> de du jeu de donn\u00e9es ouvert LAION-5B<\/a><\/noindex>. Lors de cette s\u00e9lection, non seulement des r\u00e9f\u00e9rences visuelles inappropri\u00e9es (NSFW) ont \u00e9t\u00e9 \u00e9cart\u00e9es, mais aussi des peintures et illustrations d'artistes populaires comme le fameux Greg Rutkowski. C'est pr\u00e9cis\u00e9ment ce dernier point qui a finalement exasp\u00e9r\u00e9 les passionn\u00e9s : alors que pour SD 1.5, m\u00eame dans sa version originale, sans l'application de checkpoints sp\u00e9cifiquement entra\u00een\u00e9s, de simples prompts dans le style de \u00ab paysage de fantasy m\u00e9di\u00e9val \u00e9pique, dans le style de Greg Rutkowski \u00bb fonctionnaient \u00e0 merveille et le r\u00e9sultat \u00e9tait impressionnant, SD 2.0 a cess\u00e9 de \u00ab reconna\u00eetre \u00bb les noms des illustrateurs les plus connus, dont les droits d'auteur sur les \u0153uvres cr\u00e9\u00e9es sont toujours actifs et qui n'ont pas daign\u00e9 fournir ces \u0153uvres pour entra\u00eener l'IA. Il devenait n\u00e9cessaire d'utiliser davantage de mots pour d\u00e9crire ce que l'on souhaitait, et avec des prompts trop longs, le mod\u00e8le avait du mal \u00e0 s'en sortir.<\/p>\n

<\/center> \t\t\t\t
<\/center> \"Nouvel <\/p>\n

⇡<\/a><\/noindex>#<\/a><\/noindex>On s'est assis \u2014 on s'est lev\u00e9, on s'est assis \u2014 on s'est lev\u00e9<\/h2>\n

Avec un encodeur modifi\u00e9 (qui transforme les invites textuelles en jetons num\u00e9riques avec lesquels le mod\u00e8le travaille ensuite), l'impossibilit\u00e9 d'utiliser des styles nomm\u00e9s a simplement priv\u00e9 les enthousiastes de la motivation pour am\u00e9liorer la \u00ab\u00a0deux\u00a0\u00bb par eux-m\u00eames. En effet : il fallait parall\u00e8lement comprendre comment adapter la technique de cr\u00e9ation d'invites d\u00e9j\u00e0 op\u00e9rante \u00e0 ce nouvel encodeur, et affiner le mod\u00e8le pour reconna\u00eetre les images et les th\u00e8mes avec lesquels les cr\u00e9ateurs ne l'avaient pas familiaris\u00e9 lors de l'entra\u00eenement initial, alors qu'aucune diff\u00e9rence de qualit\u00e9 par rapport \u00e0 la \u00ab\u00a0demi\u00a0\u00bb n'\u00e9tait garantie dans les images g\u00e9n\u00e9r\u00e9es par la \u00ab\u00a0deux\u00a0\u00bb. Certes, il y a eu un saut qualitatif de la taille standard de 512\u00d7512 pixels pour SD 1.5 \u00e0 768\u00d7768, mais \u00e0 ce moment-l\u00e0, la communaut\u00e9 utilisait d\u00e9j\u00e0 des upscaleurs, des outpainters et d'autres outils pour agrandir les dimensions des images finales, de sorte que SD 2.0 est pass\u00e9e, en finalement, inaper\u00e7ue. SDXL est revenue \u00e0 la normale<\/a><\/noindex> (d\u00e9velopp\u00e9 par OpenAI et utilis\u00e9, entre autres, par le projet DALL-E) encodeur CLIP<\/a><\/noindex> \u2014 son code est \u00e9galement ouvert, mais la base de donn\u00e9es sur laquelle il a \u00e9t\u00e9 entra\u00een\u00e9, , contrairement \u00e0 OpenCLIP<\/a><\/noindex>, est propri\u00e9taire. De plus, la taille standard de la toile a augment\u00e9 \u00e0 1024\u00d71024 pour \u00ab\u00a0Oversize\u00a0\u00bb, et un certain nombre d'am\u00e9liorations suppl\u00e9mentaires ont \u00e9t\u00e9 ajout\u00e9es, de sorte que les enthousiastes se sont empress\u00e9s de se pencher sur son am\u00e9lioration. Et \u00e0 l'heure actuelle, c'est pr\u00e9cis\u00e9ment SDXL (y compris ses d\u00e9riv\u00e9s r\u00e9cents moins exigeants en ressources) qui SDXL Turbo<\/a><\/noindex> et SDXL Lightning<\/a><\/noindex>) peut certainement \u00eatre consid\u00e9r\u00e9 comme le g\u00e9n\u00e9rateur d'images IA open source le plus populaire. Cependant, les fervents partisans de SD 1.5 contestent cela, en soulignant que des outils aussi cruciaux que ControlNet ne sont toujours pas transf\u00e9r\u00e9s correctement \u00e0 SDXL<\/a><\/noindex>.<\/p>\n

Et voil\u00e0, depuis le 12 juin 2024, avec le \u00ab\u00a0lancement en pleine nature\u00a0\u00bb du code du mod\u00e8le permettant des g\u00e9n\u00e9rations locales, le moment doit \u00eatre venu pour la version \u00ab\u00a0ouverte\u00a0\u00bb de SD 3 \u2014 pour \u00eatre plus pr\u00e9cis, Stable Diffusion 3 Medium<\/a><\/noindex> (SD3M ou SD3 2B) avec 2 milliards de param\u00e8tres de travail. Pour m\u00e9moire, ce chiffre correspond au nombre total de poids sur les entr\u00e9es de tous les perceptrons du mod\u00e8le. Plus t\u00f4t, en avril, Stability AI a perfectionn\u00e9 et propos\u00e9 pour une utilisation commerciale un mod\u00e8le de 8 millions (en nombre de param\u00e8tres) Stable Diffusion 3 Large<\/a><\/noindex>, aussi connu sous le nom de SD3 8B. Rappelons que SDXL 1.0, \u2014 3,5 milliards de param\u00e8tres<\/a><\/noindex>, cependant SD3M, selon les d\u00e9veloppeurs, est \u00ab\u00a0le mod\u00e8le le plus sophistiqu\u00e9 pour la g\u00e9n\u00e9ration d'images de tous ceux que nous avons cr\u00e9\u00e9s jusqu'\u00e0 pr\u00e9sent\u00a0\u00bb<\/a><\/noindex>. Cela signifie que, lorsque les besoins en m\u00e9moire vid\u00e9o sont moindres qu'avec «Oversize», elle devra m\u00eame en r\u00e9ponse \u00e0 des invitations simples fournir des images «avec un nouveau niveau de photor\u00e9alisme». Parmi les avantages de la «tro\u00efka», on a \u00e9galement mentionn\u00e9 «la qualit\u00e9 typographique sans pr\u00e9c\u00e9dent du texte g\u00e9n\u00e9r\u00e9 sur les images produites», «une compr\u00e9hension approfondie des prompts gr\u00e2ce \u00e0 la coop\u00e9ration de trois encodeurs» et «la capacit\u00e9 d'une formation suppl\u00e9mentaire efficace m\u00eame sur des ensembles de donn\u00e9es limit\u00e9s».<\/p>\n

\"Nouvel <\/p>\n

Il \u00e9tait clairement pr\u00e9vu que la communaut\u00e9 des passionn\u00e9s, en recevant ce nouveau jouet tant attendu, commencerait \u00e0 l'am\u00e9liorer avec le m\u00eame enthousiasme que pour «la semi-remorque» et «Oversize» \u00e0 l'\u00e9poque. Cependant, d\u00e8s le d\u00e9part, tout ne s'est pas d\u00e9roul\u00e9 comme pr\u00e9vu : SD3M a, dans les premi\u00e8res heures suivant la publication des fichiers du mod\u00e8le sur Hugging Face et Civitai, son public, et ce, \u00e0 deux reprises. La premi\u00e8re fois \u2014 en raison d'une idiosyncrasie inexplicable envers les prompts incluant la phrase apparemment innocente \u00ab allong\u00e9 sur\/dans l'herbe \u00bb (lying on\/in the grass) ; la seconde \u2014 par des formulations incroyablement vagues dans le contrat d'utilisation, qui ont laiss\u00e9 m\u00eame des avocats professionnels dans l'incompr\u00e9hension. Et bien que cela puisse sembler insignifiant pour un passionn\u00e9 d'arts IA ordinaire, l'aspect l\u00e9gal influencera directement le d\u00e9veloppement futur du mod\u00e8le \u2014 au point qu'il est possible qu'aucun d\u00e9veloppement ne suive.<\/a><\/noindex> son public, et ce, deux fois. La premi\u00e8re fois \u2014 \u00e0 cause d'une idiosyncrasie inexplicable vis-\u00e0-vis des prompts incluant la phrase apparemment innocente «allong\u00e9 sur\/dans l'herbe» (lying on\/in the grass) ; la seconde \u2014 en raison des formulations incroyablement vagues dans l'accord utilisateur, qui ont laiss\u00e9 m\u00eame des juristes professionnels dans l'impossibilit\u00e9 de les comprendre imm\u00e9diatement. Et bien que cela puisse sembler insignifiant pour le passionn\u00e9 moyen de l'art IA, l'aspect l\u00e9gal de la question influencera directement le d\u00e9veloppement futur du mod\u00e8le \u2014 au point que le d\u00e9veloppement peut m\u00eame ne pas avoir lieu.<\/p>\n

CreativeML Open RAIL++-M License Licence CreativeML Open RAIL++-M<\/a><\/noindex> avec des caract\u00e9ristiques telles que «licence de droit d'auteur perp\u00e9tuelle, mondiale, non exclusive, gratuite, irr\u00e9vocable, sans retour pour l'utilisation, la pr\u00e9paration, la d\u00e9monstration publique, la performance publique, la sous-licence et la distribution de mat\u00e9riel suppl\u00e9mentaire tant pour le mod\u00e8le lui-m\u00eame que pour ses d\u00e9riv\u00e9s». La «tro\u00efka» pr\u00e9voit deux types de licences : pour un usage non commercial<\/a><\/noindex> — avec des formulations plut\u00f4t d\u00e9contract\u00e9es telles que «Stability AI vous accorde une licence non exclusive, mondiale, non transf\u00e9rable, non sous-licenciable, r\u00e9vocable, gratuite et limit\u00e9e sur la propri\u00e9t\u00e9 intellectuelle» — et une licence commerciale beaucoup plus contraignante<\/a><\/noindex>.<\/p>\n

⇡<\/a><\/noindex>#<\/a><\/noindex>L'herbe ne m\u00e8ne pas \u00e0 quelque chose de bon<\/h2>\n

Peu de temps apr\u00e8s, la communaut\u00e9 est arriv\u00e9e \u00e0 la conclusion que Stable Diffusion 3 — ce n'est pas Open Source<\/a><\/noindex>. En fait, cela a d\u00e9clar\u00e9 un boycott contre la soci\u00e9t\u00e9 de d\u00e9veloppement, ne souhaitant pas perdre du temps et des efforts \u00e0 affiner un mod\u00e8le manifestement brut et imparfait -- consciente que Stability AI peut \u00e0 tout moment retirer la licence pr\u00e9c\u00e9demment accord\u00e9e \u00e0 un enthousiaste r\u00e9alisant un tel affinage, pour le moindre caprice de ses responsables m\u00e9dias. Le contrat de licence est r\u00e9dig\u00e9 de mani\u00e8re \u00e0 ce que ceux qui l'\u00e9tudient, n'\u00e9tant pas juristes, aient l'impression qu'\u00e0 la suite du retrait de l'autorisation d'utilisation commerciale de SD3M, l'ancien d\u00e9tenteur sera contraint de supprimer toutes les \u0153uvres d\u00e9riv\u00e9es cr\u00e9\u00e9es \u00e0 partir de cette propri\u00e9t\u00e9 intellectuelle licenci\u00e9e, y compris les mod\u00e8les affin\u00e9s eux-m\u00eames (LoRA, inversions textuelles, checkpoints entiers) et leurs d\u00e9riv\u00e9s (citation : \u00ab Upon termination of this Agreement, you shall delete and cease use of any Software Products or Derivative Works \u00bb) -- c'est-\u00e0-dire les fruits du travail d'autres personnes ayant utilis\u00e9 ces mod\u00e8les d\u00e9riv\u00e9s comme point de d\u00e9part pour leur propre travail ; ce qui n'a \u00e9t\u00e9 pay\u00e9 ni par qui que ce soit ni de quelque mani\u00e8re, effectu\u00e9 par pur enthousiasme.<\/p>\n

Peu apr\u00e8s que le flot d'indignation \u00e0 ce sujet ait atteint des sommets stratosph\u00e9riques, des rapports ont commenc\u00e9 \u00e0 arriver de professionnels du droit, indiquant que tout n'est pas si mal<\/a><\/noindex> et que le retrait interdisant l'utilisation future devrait en r\u00e9alit\u00e9 ne concerner que certains produits auxiliaires \u00e0 code ferm\u00e9 que Stability AI transmettrait \u00e0 l'utilisateur commercial (disons, pour acc\u00e9l\u00e9rer et optimiser l'affinage de SD3M), -- mais la soci\u00e9t\u00e9 elle-m\u00eame n'a jusqu'\u00e0 pr\u00e9sent pas donn\u00e9 d'\u00e9claircissements finaux \u00e0 ce sujet. Et le fait m\u00eame d'un silence aussi pesant pendant d\u00e9j\u00e0 trois semaines (au moment de la r\u00e9daction de cet article) depuis la mise \u00e0 disposition de la \u00ab tro\u00efka \u00bb en acc\u00e8s ouvert nuit \u00e0 la r\u00e9putation du d\u00e9veloppeur bien plus que l'herbe -- que g\u00e9n\u00e8rent les jeunes femmes gr\u00e2ce \u00e0 sa cr\u00e9ation.<\/p>\n

\"Nouvel <\/p>\n

Quant \u00e0 la fameuse herbe, qui est devenue litt\u00e9ralement un m\u00e8me en quelques heures d'abord sur Hugging Face<\/a><\/noindex>, mais apr\u00e8s cela, sur pratiquement tous les sites plus ou moins sp\u00e9cialis\u00e9s sur Internet, il a \u00e9t\u00e9 constat\u00e9 que la pr\u00e9sence d'une phrase comme «a girl lying on the grass» entra\u00eene l'apparition dans les r\u00e9sultats de «trois» non seulement de hallucinations, mais aussi de cr\u00e9ations cauchemardesques d'une imagination malade \u2014 au sens m\u00e9dical du terme \u2014 d'artistes et de cin\u00e9astes sp\u00e9cialis\u00e9s dans le body horror (nous vous en supplions, si votre sant\u00e9 mentale et votre vie vous sont pr\u00e9cieuses, — \u00e9loignez-vous de cela et ne tentez m\u00eame pas de taper cette phrase dans la barre de recherche d'images sans filtre de s\u00e9curit\u00e9). En revanche, les images de personnes debout \u2014 et dans une moindre mesure assises \u2014 obtiennent \u00e0 «trois» un solide quatre avec un plus, et les portraits s'av\u00e8rent parfois m\u00eame impeccables ; du moins, pas moins bien que le mod\u00e8le de base SDXL 1.0, l'obstacle ici r\u00e9side pr\u00e9cis\u00e9ment dans un certain tabou interne sur la position horizontale du corps humain.<\/p>\n

D'apr\u00e8s le commentaire d'Emad Mostaque, le fondateur et ancien (jusqu'en mars 2024) directeur de Stability AI, qui a quitt\u00e9 la soci\u00e9t\u00e9 pour «travailler sur des projets d\u00e9centralis\u00e9s dans le domaine de l'intelligence artificielle»<\/a><\/noindex>, la violence brutale contre SD3M juste avant l'ouverture de ses poids pour une utilisation non commerciale limit\u00e9e (rappelez-vous, l'API du mod\u00e8le plus grand SD3 8B pour la g\u00e9n\u00e9ration en ligne est accessible via des sites partenaires depuis avril<\/a><\/noindex>, mais ses poids demeurent cach\u00e9s) r\u00e9sulte de la qu\u00eate actuelle de la direction pour la s\u00e9curit\u00e9 — «en raison des obligations r\u00e9glementaires»<\/a><\/noindex>, formul\u00e9es d\u00e8s mars de cette ann\u00e9e comme Politique d'utilisation acceptable<\/a><\/noindex>. C'est dans le cadre de cette politique, avec l'utilisation du mod\u00e8le g\u00e9n\u00e9ratif SD3M, que les utilisateurs ne sont pas autoris\u00e9s \u00e0 «commettre, promouvoir, faciliter, encourager, planifier, inciter ou contribuer \u00e0 une violence, un terrorisme ou \u00e0 la cr\u00e9ation de contenu incitant \u00e0 la haine, qui discrimine ou menace un groupe de personnes prot\u00e9g\u00e9 (que ce soit en raison du sexe, de l'origine ethnique, de l'identit\u00e9 ou de l'orientation sexuelle, de la religion, etc.)», — donc, pas d'images de pandas, dans leur \u00e9tat naturel, se battant contre des dragons enrag\u00e9s ! Uniquement des chatons portant des chapeaux amusants, des chiens en jolis vestes, des bouteilles avec un contenu myst\u00e9rieux et des biscuits tout juste sortis du four !<\/p>\n

D'un point de vue technique, il est possible que l'assainissement du mod\u00e8le ait consist\u00e9 \u00e0 exclure tout simplement des images de personnes allong\u00e9es et d'autres images qui pourraient \u00eatre interpr\u00e9t\u00e9es comme inappropri\u00e9es du jeu de donn\u00e9es d'apprentissage. C'est pourquoi la \"troisi\u00e8me version\" ne \"comprend\" tout simplement pas la signification du mot \"\u00eatre allong\u00e9\". Soit l'architecture mise \u00e0 jour de SD3 a permis d'identifier de mani\u00e8re suffisamment confiante les poids sur les perceptrons qui s'activent lors de la g\u00e9n\u00e9ration d'images \"non s\u00e9curis\u00e9es\", et ces poids ont \u00e9t\u00e9 s\u00e9lectivement supprim\u00e9s juste avant la sortie, ce qui a eu pour effet secondaire de provoquer des \"hallucinations\" involontaires. Probablement, on peut d\u00e9j\u00e0 comparer cela \u00e0 une lobotomie<\/a><\/noindex>: l'encodeur traduit correctement le texte en tokens, mais dans l'espace latent \"s\u00e9curis\u00e9\", ces tokens ne font plus r\u00e9f\u00e9rence \u00e0 quoi que ce soit de sp\u00e9cifique, ce qui fait que les pixels r\u00e9sultants se trouvent sur l'image de mani\u00e8re al\u00e9atoire.<\/p>\n

\"Nouvel <\/p>\n

\u00c9tant donn\u00e9 la disponibilit\u00e9 de l'API d'un mod\u00e8le SD3 8B fonctionnel mais ferm\u00e9 depuis plusieurs mois, et les assurances enthousiastes des responsables m\u00e9dias de Stability AI concernant la \"version compact\u00e9e\" 2B, sera presque de la m\u00eame qualit\u00e9 en termes de compr\u00e9hension du texte et de g\u00e9n\u00e9ration d'images<\/a><\/noindex>, les passionn\u00e9s de l'IA pour le dessin ont accueilli la mise \u00e0 disposition des poids de SD3M le 12 juin avec un enthousiasme d\u00e9bordant : au cours des 24 premi\u00e8res heures, le mod\u00e8le a \u00e9t\u00e9 t\u00e9l\u00e9charg\u00e9 2,7 millions de fois<\/a><\/noindex>. \u00c0 l'heure actuelle, il est toujours possible de l'obtenir, bien que d'une mani\u00e8re un peu plus d\u00e9tourn\u00e9e que d'habitude pour les checkpoints SDXL et SD 1.5. Le chemin habituel est de se rendre sur le site Civitai, \u00e0 partir duquel la plupart des mod\u00e8les sont t\u00e9l\u00e9charg\u00e9s sans inscription, mais depuis le 17 juin et jusqu'\u00e0 la publication de cet article pour mise en page, la page d\u00e9di\u00e9e \u00e0 la \"troisi\u00e8me version\" de ce site est en interdiction temporaire<\/a><\/noindex>. Et la raison est simple : la licence commerciale pour SD3M est \u00e9crite dans un langage si flou que m\u00eame les avocats de Civitai ont pris un moment pour l'examiner plus attentivement. En effet, si un passionn\u00e9 entra\u00eene LoRA pour la \"troisi\u00e8me version\" sur son PC et la publie sur Civitai, et que Stability AI d\u00e9cide soudainement que le r\u00e9sultat est inacceptable, et retire la licence de l'utilisateur responsable, que doit faire alors le site d'h\u00e9bergement ? Il ne se contente pas d'h\u00e9berger des checkpoints, des diagrammes auxiliaires et des mod\u00e8les, mais il offre \u00e9galement aux visiteurs la possibilit\u00e9 de g\u00e9n\u00e9rer des images dans le cloud, d'entra\u00eener \u00e9galement des LoRA, des inversions textuelles, etc. En somme, tant que justice n'est pas faite, on ne peut obtenir que les fichiers du mod\u00e8le lui-m\u00eame et les trois convertisseurs texte-to-token qui l'accompagnent. depuis sa propre page Stability AI sur le portail Hugging Face<\/a><\/noindex>.<\/p>\n

⇡<\/a><\/noindex>#<\/a><\/noindex>Commen\u00e7ons<\/h2>\n

Cependant, il y a un d\u00e9tail : pour acc\u00e9der aux liens de t\u00e9l\u00e9chargement, il est n\u00e9cessaire de s'authentifier sur le site, puis de confirmer l'acceptation de l'accord de licence mentionn\u00e9 pr\u00e9c\u00e9demment \u2013 en fait, cette proc\u00e9dure est gratuite et tout \u00e0 fait accessible depuis la Russie. Quatre mod\u00e8les (models) et quatre encodeurs de texte en jetons (encoders) sont propos\u00e9s, ainsi que trois diagrammes de r\u00e9f\u00e9rence pour une ex\u00e9cution dans l'environnement de travail ComfyUI. dont nous avons d\u00e9j\u00e0 parl\u00e9<\/a><\/noindex>:<\/p>\n

mod\u00e8les :<\/p>\n