{"id":117781,"date":"2024-07-18T03:43:48","date_gmt":"2024-07-18T01:43:48","guid":{"rendered":"https:\/\/prohoster.info\/blog\/novosti-interneta\/novaya-statya-praktikum-po-ii-risovaniyu-chast-devyataya-sd3m-troechka-na-troechku"},"modified":"2024-07-18T03:43:48","modified_gmt":"2024-07-18T01:43:48","slug":"novaya-statya-praktikum-po-ii-risovaniyu-chast-devyataya-sd3m-troechka-na-troechku","status":"publish","type":"post","link":"https:\/\/prohoster.info\/it\/blog\/news\/novaya-statya-praktikum-po-ii-risovaniyu-chast-devyataya-sd3m-troechka-na-troechku","title":{"rendered":"Nuovo articolo: Laboratorio di disegno IA, parte nona: SD3M - \u00abtre\u00bb a tre","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

\u00c8 interessante notare come la storia delle versioni open-source sviluppate e addestrate da Stability AI per trasformare suggerimenti testuali in immagini assomigli a una serie di alti e bassi simili a quelle delle versioni del sistema operativo Microsoft. Dopo il leggendario successo di XP, ricordiamolo, \u00e8 arrivata la problematica Vista; poi la splendida «sette» \u2014 seguita dalla sterile Windows 8. A Stable Diffusion \u00e8 seguita la versione inizialmente poco attraente 1.5, gradualmente perfezionata dagli appassionati, mentre la SD 2.0 \u00e8 stata una chiara delusione \u2014 deludente, in effetti, perch\u00e9 includeva un codificatore OpenCLIP atipico per modelli di questo tipo. addestrato su immagini selezionate in modo molto discutibile<\/a><\/noindex> da del dataset aperto LAION-5B<\/a><\/noindex>. Durante questo processo di selezione sono state escluse non solo referenze visive inappropriate (NSFW), ma anche opere e illustrazioni di artisti noti come il controverso Greg Rutkowski. Proprio quest'ultima circostanza ha infuriato gli appassionati: se per SD 1.5, anche nella sua versione originale, senza l'uso di checkpoint particolarmente addestrati, funzionavano bene semplici suggerimenti con stili \u2014 «epic medieval fantasy landscape, in the style of Greg Rutkowski» \u2014 e il risultato era impressionante, SD 2.0 ha smesso di «riconoscere» i nomi degli illustratori pi\u00f9 noti, i cui diritti d'autore sulle opere create sono ancora attivi e che non hanno concesso queste opere per l'addestramento dell'IA. \u00c8 stato necessario usare pi\u00f9 parole per descrivere ci\u00f2 che si desiderava, e la modellazione con suggerimenti troppo lunghi non ha dato buoni risultati.<\/p>\n

<\/center> \t\t\t\t
<\/center> \"Nuovo <\/p>\n

⇡<\/a><\/noindex>#<\/a><\/noindex>Ci siamo seduti \u2014 ci siamo alzati, ci siamo seduti \u2014 ci siamo alzati<\/h2>\n

In combinazione con un codificatore modificato (un trasformatore della richiesta testuale in token digitali, con cui il modello lavora successivamente), l'impossibilit\u00e0 di utilizzare stili denominati ha semplicemente privato gli entusiasti della motivazione a perfezionare la \"doppietta\" da soli. Diciamolo chiaro: qui era necessario, parallelamente, capire come adattare la tecnica gi\u00e0 collaudata per la creazione di richieste al nuovo codificatore e formare ulteriormente il modello per riconoscere quelle immagini e quei temi che i creatori non avevano presentato durante la fase di addestramento iniziale, - e la qualit\u00e0 delle immagini generate dalla \"doppietta\" non garantiva comunque una differenza qualitativa rispetto alla \"semi\". S\u00ec, dal formato standard per SD 1.5 di 512\u00d7512 pixel c'\u00e8 stato un salto qualitativo a 768\u00d7768, ma a quel tempo la comunit\u00e0 stava gi\u00e0 utilizzando upscalers, outpainters e altri strumenti per aumentare le dimensioni delle immagini finali, quindi SD 2.0 \u00e8 passata, sostanzialmente, inosservata. SDXL \u00e8 tornata allo standard<\/a><\/noindex> (sviluppato da OpenAI e utilizzato, tra l'altro, dal progetto DALL-E) codificatore CLIP<\/a><\/noindex> - il suo codice \u00e8 anche open source, ma il database su cui \u00e8 stato addestrato, a differenza di OpenCLIP<\/a><\/noindex>, \u00e8 proprietario. Inoltre, la dimensione standard della tela \u00e8 aumentata a \"Oversize\" fino a 1024\u00d71024, e ci sono stati molti miglioramenti aggiuntivi, - cos\u00ec gli entusiasti si sono messi al lavoro con piacere. E attualmente, proprio SDXL (insieme alle sue derivate, meno esigenti in termini di \"hardware\" come SDXL Turbo<\/a><\/noindex> e SDXL Lightning<\/a><\/noindex>) pu\u00f2 essere considerata senza dubbio il generatore di immagini AI open source pi\u00f9 popolare. Tuttavia, i ferventi sostenitori di SD 1.5 contestano vigorosamente questo, sottolineando che strumenti fondamentali come ControlNet non sono stati trasferiti con dignit\u00e0 a SDXL<\/a><\/noindex>.<\/p>\n

E cos\u00ec, dal 12 giugno 2024, dal momento del \"rilascio in natura\" del codice del modello che consente generazioni locali, sarebbe dovuto arrivare il momento della versione \"aperta\" di SD 3 - per essere pi\u00f9 precisi, Stable Diffusion 3 Medium<\/a><\/noindex> (SD3M o SD3 2B) con 2 miliardi di parametri operativi. A titolo indicativo, questo numero corrisponde alla quantit\u00e0 totale di pesi agli ingressi di tutti i percetroni del modello. Inoltre, a aprile, Stability AI ha perfezionato e offerto per uso commerciale una versione da 8 milioni (di parametri) Stable Diffusion 3 Large<\/a><\/noindex>, anche nota come SD3 8B. Ricordiamo che SDXL 1.0 \u00e8 - 3,5 miliardi di parametri<\/a><\/noindex>, tuttavia SD3M, secondo quanto affermato dagli sviluppatori, \u00e8 \"il modello pi\u00f9 sofisticato per la generazione di immagini di tutti quelli che abbiamo creato fino ad oggi\"<\/a><\/noindex>Si intendeva che, con esigenze di memoria video inferiori rispetto a «Oversize», dovrebbe comunque essere in grado di generare immagini «con un nuovo livello di fotorealismo» anche in risposta a suggerimenti semplici. Tra i vantaggi della «tre» sono stati citati anche «un'eccezionale qualit\u00e0 della tipografia del testo generato nelle immagini», «una comprensione approfondita dei suggerimenti grazie alla collaborazione di tre codificatori» e «la disponibilit\u00e0 per un'efficace riaddestramento anche su set di dati limitati».<\/p>\n

\"Nuovo <\/p>\n

Si presumeva, evidentemente, che la comunit\u00e0 di appassionati, avendo a disposizione il nuovo e atteso giocattolo, si mettesse a perfezionarlo con lo stesso entusiasmo di «Fifteen» e «Oversize» in passato. Tuttavia, sin dall'inizio le cose non sono andate come previsto: SD3M ha colpito il suo pubblico gi\u00e0 nelle prime ore dopo la pubblicazione dei file del modello su Hugging Face e Civitai. \u00e8 riuscita a deludere profondamente<\/a><\/noindex> due volte. La prima volta — per un'inaspettata idiosincrasia nei confronti dei suggerimenti, che includevano la frase apparentemente innocua «sdraiato su\/nella erba» (lying on\/in the grass); la seconda — per le formulazioni incredibilmente confuse nel contratto di licenza, che anche i giuristi professionisti hanno avuto difficolt\u00e0 a comprendere. E bench\u00e9, da un punto di vista di un comune appassionato delle arti AI, quest'ultima sembri irrilevante, sullo sviluppo futuro del modello la questione legale impatter\u00e0 in modo diretto — al punto che potrebbe non avvenire alcuno sviluppo.<\/p>\n

Le precedenti creazioni di Stable Diffusion con codice aperto (meglio, con valori delle reti neurali aperti, disponibili per il download gratuito da eseguire localmente), come SDXL, erano accompagnate da una delle tipiche per le modelle generative Licenza CreativeML Open RAIL++-M<\/a><\/noindex> con caratteristiche come «una licenza di copyright perpetua, mondiale, non esclusiva, gratuita, irrevocabile per la riproduzione, preparazione, dimostrazione pubblica, esecuzione pubblica, sublicenza e distribuzione di materiali aggiuntivi sia del modello stesso che dei derivati». La «tre» prevede invece due tipi di licenze: per uso non commerciale<\/a><\/noindex> — con formulazioni piuttosto liberali come «Stability AI ti concede una licenza non esclusiva, mondiale, non trasferibile, non sublicenziabile, revocabile, gratuita e limitata sui diritti di propriet\u00e0 intellettuale» — e una commerciale molto pi\u00f9 gravosa<\/a><\/noindex>.<\/p>\n

⇡<\/a><\/noindex>#<\/a><\/noindex>L'erba non porta a niente di buono<\/h2>\n

Dopo un breve periodo, la comunit\u00e0 si \u00e8 trovata d'accordo che Stable Diffusion 3 — non \u00e8 Open Source<\/a><\/noindex>. E sostanzialmente ha indetto un boicottaggio contro la societ\u00e0 sviluppatrice, non volendo sprecare tempo e risorse per addestrare un modello evidentemente grezzo e mal rifinito - con la consapevolezza che la Stability AI pu\u00f2 ritirare in qualsiasi momento la licenza precedentemente concessa a un entusiasta specifico che si occupa di tale addestramento, per il pi\u00f9 piccolo capriccio dei suoi media manager. Il contratto di licenza \u00e8 formulato in modo tale che chi lo esamina, spesso senza conoscenze legali, ha l'impressione che dopo il ritiro del permesso di utilizzo commerciale di SD3M, l'ex beneficiario sar\u00e0 obbligato a eliminare tutte le opere derivate create da lui dalla propriet\u00e0 intellettuale concessagli in licenza, incluse sia le stesse modelli addestrati (LoRA, inversioni testuali, interi checkpoint) sia le loro opere derivate (citazione: \u00abUpon termination of this Agreement, you shall delete and cease use of any Software Products or Derivative Works\u00bb) - cio\u00e8 i frutti del lavoro di altre persone che hanno utilizzato questi modelli derivati come punto di partenza per il loro lavoro; per di pi\u00f9, senza alcun pagamento e realizzato esclusivamente con puro entusiasmo.<\/p>\n

Poco dopo che il flusso di indignazione al riguardo ha raggiunto altezze stratosferiche, sono iniziate ad apparire comunicazioni da parte di avvocati professionisti, che non \u00e8 tutto cos\u00ec negativo<\/a><\/noindex> e che il ritiro con divieto di utilizzo futuro dovrebbe riguardare solo alcuni prodotti ausiliari con codice chiuso, che la Stability AI trasferir\u00e0 all\u2019utente commerciale (diciamo, per accelerare e ottimizzare la stessa addestramento di SD3M), - ma la stessa azienda finora non ha fornito chiarimenti finali su questo. E il semplice fatto di un cos\u00ec opprimente silenzio da tre settimane (al momento della scrittura di questo articolo) dall'apparizione della \u00abtre\u00bb in accesso aperto danneggia la reputazione dello sviluppatore ben pi\u00f9 dell'erba - alle ragazze generate dalla sua creazione.<\/p>\n

\"Nuovo <\/p>\n

Per quanto riguarda l'infamante erba, che \u00e8 diventata un meme in poche ore, inizialmente su Hugging Face<\/a><\/noindex>, e successivamente praticamente su tutti i principali portali tematici in rete, si \u00e8 scoperto che la presenza nella ricerca di frasi come «a girl lying on the grass» porta all'emergere di «follie» non solo bizzarre, ma vere e proprie creature mostruose della mente malata - in senso medico - di artisti e cineasti specializzati nel body horror (vi esortiamo, se la vostra ragione e vita vi stanno a cuore, — tenetevi lontani da ci\u00f2 e non provate nemmeno a digitare questa frase nella ricerca di immagini disabilitando il filtro di sicurezza). Gli immagini di persone in piedi - e in misura leggermente minore delle persone sedute - ricevono alla «follia» una valutazione rassicurante di quattro pi\u00f9, mentre i ritratti a volte risultano addirittura impeccabili; perlomeno non peggio rispetto al modello base SDXL 1.0, — il problema risiede esattamente in qualche tab\u00f9 interno riguardo alla posizione orizzontale del corpo umano.<\/p>\n

Giudicando dal commento di Emad Mostaque, fondatore e precedente (fino a marzo 2024) capo di Stability AI, che ha lasciato l'azienda per «lavorare su progetti decentralizzati nel campo dell'intelligenza artificiale»<\/a><\/noindex>, la violenza brutale su SD3M proprio prima dell'apertura del suo peso per uso non commerciale limitato (l'API del modello pi\u00f9 grande SD3 8B per la generazione online, ricordiamo, \u00e8 disponibile attraverso siti partner fin da aprile<\/a><\/noindex>, ma il suo peso rimane cos\u00ec nascosto) \u00e8 una conseguenza della ricerca di sicurezza da parte dell'attuale leadership — «in conformit\u00e0 con gli obblighi normativi»<\/a><\/noindex>, formulati gi\u00e0 a marzo di quest'anno come Acceptable Use Policy<\/a><\/noindex>. \u00c8 proprio nell'ambito di questa politica con l'uso del modello generativo SD3M che agli utenti non \u00e8 consentito «commettere, promuovere, facilitare, incoraggiare, pianificare, incitare o contribuire a violenza, terrorismo o creazione di contenuti che generano odio, discriminando o minacciando un gruppo protetto (sia esso in base al genere, etnia, identit\u00e0 o orientamento sessuale, religione o altro)», — quindi niente immagini di panda, nudi che combattono contro draghi furiosi! Solo gattini in cappelli buffi, cani in giacche carine, bottiglie con contenuti misteriosi e biscotti freschi, appena sfornati!<\/p>\n

Parlando in termini tecnici, \u00e8 possibile che l'alterazione del modello sia stata dovuta all'esclusione dalle informazioni di addestramento delle immagini di persone sdraiate e altre immagini che in qualche modo potrebbero suggerire un'interpretazione oscena, e quindi ora la \"tre\" semplicemente non \"comprende\" il significato della parola \"sdraiare\". Oppure, l'architettura aggiornata di SD3 ha consentito di identificare in modo abbastanza sicuro i pesi nei percettroni attivati durante la generazione di immagini \"non sicure\" \u2014 e quei pesi sono stati selettivamente azzerati poco prima del rilascio, conseguendo di fatto un \"allucinazione forzata\". Probabilmente, questo si pu\u00f2 gi\u00e0 paragonare a una lobotomia<\/a><\/noindex>: il codificatore traduce correttamente il testo in token, ma nello spazio latente \"resiliente\" questi token non indicano pi\u00f9 nulla di specifico, e quindi i pixel risultanti sono disposti sull'immagine sostanzialmente a caso.<\/p>\n

\"Nuovo <\/p>\n

Considerando la disponibilit\u00e0 dell'API di un modello SD3 8B completo ma chiuso gi\u00e0 da diversi mesi e le ferventi assicurazioni dei manager dei media di Stability AI che il modello \"compattificato\" 2B risulter\u00e0 quasi identico in termini di qualit\u00e0 nella comprensione del testo e generazione di immagini<\/a><\/noindex>, gli entusiasti del disegno AI hanno accolto con grande entusiasmo la pubblicazione pubblica dei pesi di SD3M del 12 giugno: nelle prime 24 ore il modello \u00e8 stato scaricato 2,7 milioni di volte<\/a><\/noindex>. Al momento \u00e8 ancora possibile ottenerlo, anche se in modo un po' pi\u00f9 tortuoso rispetto ai checkpoint di SDXL e SD 1.5. In effetti, il modo abituale \u00e8 quello di accedere al sito Civitai, dal quale la maggior parte dei modelli viene scaricata senza registrazione, ma dal 17 giugno e fino al momento della stesura di questo articolo la pagina dedicata alla \"tre\" di questo sito \u00e8 in un ban temporaneo<\/a><\/noindex>. E la ragione \u00e8 una: la licenza commerciale per SD3M \u00e8 scritta in un linguaggio cos\u00ec poco chiaro che persino gli avvocati di Civitai hanno preso tempo per studiarla pi\u00f9 attentamente. Infatti, se un certo appassionato addestra sul proprio PC LoRA per la \"tre\" e la carica su Civitai, e Stability AI decide improvvisamente che il risultato non \u00e8 appropriato e revoca la licenza al colpevole, come si deve comportare il sito ospitante? Non si limita a pubblicare checkpoint, cicli ausiliari e modelli, ma offre anche ai visitatori la possibilit\u00e0 di generare immagini in cloud e addestrare le stesse LoRA, inversioni testuali, ecc. In generale, finch\u00e9 la questione non viene risolta, i file del modello stesso e dei tre convertitori di testo in token forniti con esso possono essere ottenuti solo dalla propria pagina della Stability AI sul portale Hugging Face<\/a><\/noindex>.<\/p>\n

⇡<\/a><\/noindex>#<\/a><\/noindex>Cominciamo<\/h2>\n

C'\u00e8 un dettaglio: per accedere ai link di download, \u00e8 necessario autenticarsi sul sito e poi confermare l'accettazione del gi\u00e0 menzionato contratto di licenza draconiano; tuttavia, questa procedura \u00e8 gratuita e perfettamente accessibile dalla Russia. Sono disponibili quattro modelli diversi e altrettanti convertitori di testo in token, oltre a tre cicli di esempio da eseguire nell'ambiente ComfyUI. di cui abbiamo gi\u00e0 parlato<\/a><\/noindex>:<\/p>\n

modelli:<\/p>\n