{"id":117781,"date":"2024-07-18T03:43:48","date_gmt":"2024-07-18T01:43:48","guid":{"rendered":"https:\/\/prohoster.info\/blog\/novosti-interneta\/novaya-statya-praktikum-po-ii-risovaniyu-chast-devyataya-sd3m-troechka-na-troechku"},"modified":"2024-07-18T03:43:48","modified_gmt":"2024-07-18T01:43:48","slug":"novaya-statya-praktikum-po-ii-risovaniyu-chast-devyataya-sd3m-troechka-na-troechku","status":"publish","type":"post","link":"https:\/\/prohoster.info\/it\/blog\/novosti-interneta\/novaya-statya-praktikum-po-ii-risovaniyu-chast-devyataya-sd3m-troechka-na-troechku","title":{"rendered":"Nuovo articolo: Pratica di disegno AI, parte nove: SD3M \u2014 il 'tre' per un 'tre'.","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

\u00c8 curioso come la storia dei rilasci dei modelli open source per la conversione di prompt testuali in immagini, sviluppati e addestrati da Stability AI, ricordi una serie di alti e bassi delle versioni del sistema operativo Microsoft. Dopo il leggendario successo di XP, \u00e8 stata la volta della problematica Vista; poi \u00e8 arrivata la splendida 'Sette' \u2014 seguita dalla poco soddisfacente Windows 8. A Stable Diffusion \u00e8 seguita un'improbabile versione 1.5, migliorata nel tempo grazie agli appassionati, ma la SD 2.0 si \u00e8 rivelata decisamente insoddisfacente \u2014 non tanto per il suo contenuto, ma perch\u00e9 integrava un codificatore OpenCLIP atipico per modelli di questo tipo. addestrato su immagini selezionate in modo piuttosto ambiguo<\/a><\/noindex> di del dataset open LAION-5B<\/a><\/noindex>. Durante questo processo di selezione, sono stati esclusi non solo riferimenti visivi inappropriati (NSFW), ma anche opere di artisti noti come il famigerato Greg Rutkowski. Questo ultimo aspetto ha davvero infastidito gli appassionati: se per la SD 1.5 anche semplici prompt con stili \u2014 'epic medieval fantasy landscape, in the style of Greg Rutkowski' \u2014 producevano risultati impressionanti, SD 2.0 ha smesso di 'riconoscere' i nomi dei pi\u00f9 famosi illustratori, i cui diritti d'autore sulle opere create sono ancora attuali e che non hanno concesso queste opere per addestrare l'IA. Era necessario usare pi\u00f9 parole per descrivere ci\u00f2 che si desiderava, e con prompt troppo lunghi la qualit\u00e0 dei risultati \u00e8 peggiorata.<\/p>\n

<\/center> \t\t\t\t
<\/center> \"Nuovo <\/p>\n

⇡<\/a><\/noindex>#<\/a><\/noindex>Ci si \u00e8 seduti \u2014 ci si \u00e8 alzati, ci si \u00e8 seduti \u2014 ci si \u00e8 alzati.<\/h2>\n

In combinazione con un codificatore modificato (che trasforma il prompt testuale in token digitali, con cui la modellistica opera successivamente) l'impossibilit\u00e0 di applicare stili nominati ha semplicemente privato gli appassionati della motivazione per migliorare 'la versione due' autonomamente. Dopotutto: bisognava adattarsi anche a capire come modificare le tecniche di creazione dei prompt per il nuovo codificatore, e addestrare ulteriormente il modello a riconoscere le immagini e i temi che gli sviluppatori non avevano presentato durante l'addestramento iniziale \u2014 dato che le immagini generate dalla 'versione due' non garantivano comunque una qualit\u00e0 differente rispetto a quelle 'uno e mezzo'. Certo, dai consueti dimensioni di 512\u00d7512 punti della SD 1.5 c'\u00e8 stata un'evidente evoluzione a 768\u00d7768, ma a quel punto la comunit\u00e0 stava gi\u00e0 usando upscalers, outpainters e altri strumenti per ingrandire le immagini finali, quindi la SD 2.0 \u00e8 passata, a conti fatti, inosservata. SDXL \u00e8 tornata al standard<\/a><\/noindex> (sviluppato da OpenAI e utilizzato, tra l'altro, nel progetto DALL-E) codificatore CLIP<\/a><\/noindex> \u2014 il suo codice \u00e8 anch'esso open source, ma il database su cui \u00e8 addestrato a differenza di OpenCLIP<\/a><\/noindex>, \u00e8 proprietario. Inoltre, le dimensioni standard della tela sono aumentate a 1024\u00d71024 nella 'Oversize', e sono stati introdotti numerosi miglioramenti \u2014 quindi gli appassionati si sono messi con entusiasmo al lavoro per migliorarla. E attualmente SDXL (e i suoi derivati, recentemente meno esigenti in termini di 'hardware') sono quelli di maggiore rilievo. SDXL Turbo<\/a><\/noindex> e SDXL Lightning<\/a><\/noindex>) pu\u00f2 essere considerato con certezza il generatore di immagini IA open source pi\u00f9 popolare. Tuttavia, i ferventi sostenitori di SD 1.5 contestano, sottolineando che strumenti fondamentali come ControlNet in SDXL non sono ancora trasferiti adeguatamente<\/a><\/noindex>.<\/p>\n

E cos\u00ec, dal 12 giugno 2024, con il 'rilascio in natura' del codice del modello, che consente generazioni locali, doveva arrivare il momento della versione 'aperta' della SD 3 \u2014 per essere pi\u00f9 precisi, Stable Diffusion 3 Medium<\/a><\/noindex> (SD3M o SD3 2B) con 2 miliardi di parametri operativi. In termini generali, ricordiamo, questo numero corrisponde al numero totale di pesi agli ingressi di tutti i percettroni del modello. Ancora prima, ad aprile, Stability AI ha perfezionato e offerto per uso commerciale la versione a 8 milioni (per numero di parametri) Stable Diffusion 3 Large<\/a><\/noindex>, \u00e8 la SD3 8B. Ricordiamo che la SDXL 1.0 \u00e8 stata definita 3,5 miliardi di parametri<\/a><\/noindex>, tuttavia SD3M, secondo i sviluppatori, \u00e8 come 'il modello pi\u00f9 sofisticato per la generazione di immagini che abbiamo creato fino ad ora'<\/a><\/noindex>. Si intendeva che, con un minore fabbisogno di memoria video rispetto all''Oversize', avrebbe dovuto produrre immagini 'con un nuovo livello di fotorealismo' anche in risposta a prompt non complessi. Tra i vantaggi della 'tre' venivano citati anche 'una qualit\u00e0 senza precedenti della tipografia dei testi generati sulle immagini' e 'una comprensione approfondita dei prompt attraverso la collaborazione di tre codificatori'.<\/p>\n

\"Nuovo <\/p>\n

Sembra ovvio che la comunit\u00e0, avendo ricevuto questo nuovo e atteso strumento, avrebbe iniziato a perfezionarlo con lo stesso zelo di cui aveva dato prova per 'uno e mezzo' e 'Oversize' in passato. Tuttavia, fin dall'inizio, tutto \u00e8 andato diversamente: SD3M, poche ore dopo la pubblicazione dei file modello su Hugging Face e Civitai. il suo pubblico, e addirittura due volte. La prima volta \u2014 per una strana idiosincrasia nei confronti di suggerimenti che includevano frasi apparentemente innocue come \u00absdraiato su\/nella erba\u00bb (lying on\/in the grass); la seconda \u2014 per le formulazioni incredibilmente vaghe nel contratto utente, su cui nemmeno avvocati professionisti sono riusciti a orientarsi subito. E sebbene per il comune appassionato di arte AI l'ultimo punto possa sembrare secondario, l'aspetto legale si rifletter\u00e0 in modo diretto sullo sviluppo futuro del modello \u2014 fino al punto che potrebbe non esserci affatto sviluppo.<\/a><\/noindex> il tuo pubblico, e lo fa due volte. La prima volta \u2014 per un\u2019idiocrasia apparentemente inspiegabile nei suggerimenti, che includono frasi che sembrano innocue come «sdraiato su\/nell'erba» (lying on\/in the grass); la seconda \u2014 per le formulazioni incredibilmente vaghe nel contratto utente, che nemmeno i legali professionisti sono riusciti a comprendere al primo colpo. E sebbene per un semplice appassionato di arte IA questo possa sembrare irrilevante, lo sviluppo futuro del modello sar\u00e0 direttamente influenzato dalla questione legale \u2014 al punto che potrebbe non esserci affatto sviluppo.<\/p>\n

Le precedenti creazioni di Stable Diffusion con codice aperto (piuttosto, con valori di pesi di rete neurale disponibili per il download gratuito e l'esecuzione locale), come SDXL, erano accompagnate da una delle tipiche per le modelli generativi CreativeML Open RAIL++-M License<\/a><\/noindex> con caratteristiche come «licenza perpetua, globale, non esclusiva, gratuita, irrevocabile, senza diritti d'autore al fine di riproduzione, preparazione, dimostrazione pubblica, esecuzione pubblica, sublicenziamento e distribuzione di ulteriori materiali sia del modello stesso che delle sue derivazioni». «La Tre» prevede invece due tipi di licenza: per uso non commerciale<\/a><\/noindex> — con formulazioni piuttosto disinibite come «Stability AI ti concede una licenza non esclusiva, globale, non trasferibile, non sublicenziabile, revocabile, gratuita e limitata sui diritti di propriet\u00e0 intellettuale» — e una commerciale molto pi\u00f9 gravosa<\/a><\/noindex>.<\/p>\n

⇡<\/a><\/noindex>#<\/a><\/noindex>L'erba non porta a nulla di buono<\/h2>\n

Dopo poco tempo, la comunit\u00e0 \u00e8 giunta alla conclusione che Stable Diffusion 3 — non \u00e8 Open Source<\/a><\/noindex>. E sostanzialmente ha boicottato la societ\u00e0 sviluppatrice, rifiutandosi di dedicare tempo e risorse a un\u2019ulteriore addestramento di un modello palesemente grezzo e mal rifinito — consapevole che Stability AI potrebbe, per il pi\u00f9 piccolo capriccio dei suoi manager, revocare la licenza precedentemente concessa a un certo appassionato impegnato in tale addestramento. Il contratto di licenza \u00e8 formulato in modo tale che i non professionisti del diritto che lo esaminano hanno l'impressione che, a seguito della revoca del permesso di utilizzo commerciale di SD3M, l'ex titolare sar\u00e0 obbligato a eliminare tutte le opere derivate che ha creato dalla propriet\u00e0 intellettuale licenziata, comprese le stesse modelli addestrati (LoRA, inversioni testuali, interi checkpoint), cos\u00ec come le loro derivazioni (citazione: «Upon termination of this Agreement, you shall delete and cease use of any Software Products or Derivative Works») — ossia i frutti del lavoro di altre persone, che hanno utilizzato questi modelli come punto di partenza per la propria opera; peraltro, senza alcun compenso, realizzato solo per pura passione.<\/p>\n

Poco dopo che il flusso di indignazione a riguardo ha raggiunto altezze stratosferiche, hanno cominciato a comparire messaggi da avvocati professionisti, che non \u00e8 tutto cos\u00ec grave<\/a><\/noindex> e che la revoca con divieto di ulteriore utilizzo dovrebbe riguardare solo alcuni prodotti ausiliari con codice chiuso, che Stability AI fornir\u00e0 all'utente commerciale (ad esempio, per accelerare e ottimizzare proprio l\u2019addestramento di SD3M), — ma la societ\u00e0 non ha fornito finora chiarimenti finali al riguardo. E il semplice fatto di un silenzio cos\u00ec opprimente per tre settimane (al momento della scrittura di questo articolo) dalla comparsa della «Tre» in accesso pubblico danneggia la reputazione dello sviluppatore molto pi\u00f9 del fatto che l'erba sia generata dalle opere delle ragazze che crea.<\/p>\n

\"Nuovo <\/p>\n

Per quanto riguarda l'ormai celebre erba, diventata un meme in poche ore prima su Hugging Face<\/a><\/noindex>, e poi praticamente su quasi tutte le piattaforme pi\u00f9 o meno specializzate in rete, si \u00e8 scoperto che la presenza nella richiesta di una frase come «a girl lying on the grass» porta non solo a allucinazioni, ma a terribili creazioni di una fantasia malata — nel senso medico del termine — di artisti e cineasti specializzati in body horror (siamo seri, se il tuo buon senso e la tua vita ti stanno a cuore, — stai lontano da cose simili e non provare nemmeno a digitare questa frase nella barra di ricerca immagini con il filtro di sicurezza disattivato). Tuttavia, le immagini di persone in piedi — e a un certo punto anche quelle sedute — vengono realizzate dalla «Tre» con un sicuro quattro con pi\u00f9, e i ritratti a volte risultano persino impeccabili; quantomeno, non peggiori rispetto al modello di base SDXL 1.0, — il problema qui sembra risiedere in qualche tipo di tab\u00f9 interno sulla posizione orizzontale del corpo umano.<\/p>\n

Stando al commento di Emad Mostaque, fondatore e ex (fino a marzo 2024) capo di Stability AI, che ha lasciato l'azienda per «occupa progetti decentralizzati nel campo dell'intelligenza artificiale»<\/a><\/noindex>, la brutale violenza su SD3M \u00e8 avvenuta poco prima che venissero resi pubblici i suoi pesi per un utilizzo commerciale limitato (ricordiamo che l'API della versione pi\u00f9 potente SD3 8B per la generazione online \u00e8 disponibile tramite siti partner fin da aprile , ma i suoi pesi rimangono segreti) \u00e8 stata una conseguenza del desiderio dell'attuale gestione di garantire la sicurezza \u2014<\/a><\/noindex>, ma le sue metriche continuano a rimanere nascoste) \u00e8 il risultato della volont\u00e0 attuale della direzione di garantire sicurezza — «a causa di obblighi normativi»<\/a><\/noindex>Acceptable Use Policy . Proprio nell'ambito di questa politica, l'utilizzo del modello generativo SD3M non consente agli utenti di \u00abcompiere, promuovere, facilitare, incoraggiare, pianificare, incitare o contribuire a ulteriore violenza, terrorismo o creazione di contenuti che incitano all'odio, discriminando o minacciando gruppi di persone protetti (indipendentemente dal genere, etnia, identit\u00e0 o orientamento sessuale, religione o altro)\u00bb, quindi niente immagini di panda, in quello che madre natura li ha creati, mentre combattono draghi feroci! Solo gattini con cappelli divertenti, cagnolini in giacche carine, bottiglie con contenuti misteriosi e biscotti freschi, appena sfornati!<\/a><\/noindex>. \u00c8 proprio nell'ambito di questa politica, utilizzando il modello generativo SD3M, che agli utenti non \u00e8 consentito «compiere, promuovere, facilitare, incoraggiare, pianificare, istigare o contribuire a ulteriori atti di violenza, terrorismo o alla creazione di contenuti che incitano odio, che discriminano o minacciano gruppi protetti di persone (sia per genere, etnia, identit\u00e0 o orientamento sessuale, religione o altro).» Quindi, niente immagini di panda che combattono contro draghi furiosi! Solo gattini in cappelli buffi, cagnolini in giacche carine, bottiglie con contenuto misterioso e biscotti freschi, direttamente dal forno!<\/p>\n

Parlando tecnicamente, potrebbe darsi che l'addestramento del modello sia consistito semplicemente nell'escludere dal set di dati di addestramento immagini di persone sdraiate e altre immagini che in qualche modo potessero implicare un'interpretazione oscena, e perci\u00f2 ora «la terza versione» sostanzialmente «non comprende» il significato della parola «sdraiare». Oppure l'architettura aggiornata di SD3 ha permesso di identificare con sufficiente certezza i pesi nei perceptron che si attivano durante la generazione di immagini «non sicure», e questi pesi sono stati azzerati selettivamente poco prima del rilascio, risultando in un effetto collaterale noto come «illusione forzata». Probabilmente, : il codificatore traduce correttamente il testo in token, ma in uno spazio latente \u00abmesso in sicurezza\u00bb questi token non indicano pi\u00f9 nulla di specifico, e quindi i pixel risultanti sono disposti sull'immagine in modo piuttosto casuale.<\/a><\/noindex>: il codificatore traduce correttamente il testo in token, ma nello spazio latente «metodicamente sicuro» questi token non indicano gi\u00e0 nulla di specifico, e quindi i pixel risultanti sono disposti nell'immagine in sostanza a caso.<\/p>\n

\"Nuovo <\/p>\n

Considerando la disponibilit\u00e0 dell'API di un modello SD3 8B completo, ma chiuso, da diversi mesi e le calde rassicurazioni dei media manager di Stability AI sul fatto che la «versione compatta» 2B , gli appassionati di disegno AI hanno accolto la pubblicazione pubblica dei pesi di SD3M il 12 giugno con grande entusiasmo:<\/a><\/noindex>nelle prime 24 ore il modello \u00e8 stato scaricato 2,7 milioni di volte . Attualmente \u00e8 ancora possibile ottenerlo, sebbene in modo leggermente pi\u00f9 complesso rispetto ai checkpoint di SDXL e SD 1.5. Di fatto, il percorso abituale \u00e8 quello di visitare il sito Civitai, da cui la maggior parte dei modelli viene scaricata senza registrazione, ma dal 17 giugno e fino al momento della redazione di questo articolo, la pagina dedicata a \u00abtre\u00bb su questo sito<\/a><\/noindex>. Al momento \u00e8 ancora possibile ottenerla, anche se con un percorso leggermente pi\u00f9 tortuoso rispetto a quello abituale per i checkpoint SDXL e SD 1.5. La procedura abituale \u00e8 visitare il sito Civitai, da cui la maggior parte dei modelli pu\u00f2 essere scaricata senza registrazione, ma dal 17 giugno e fino al momento della redazione di questo articolo, la pagina dedicata alla «terza versione» di questo sito \u00e8 in un ban temporaneo<\/a><\/noindex>. E la ragione \u00e8 una: la licenza commerciale per SD3M \u00e8 scritta in un linguaggio cos\u00ec poco chiaro che anche gli avvocati di Civitai hanno preso tempo per esaminarla pi\u00f9 attentamente. Infatti, se un entusiasta addestra sul proprio PC un modello LoRA per la «terza versione» e lo carica su Civitai, ma Stability AI decide all'improvviso che il risultato non \u00e8 appropriato e revoca la licenza a chi ne \u00e8 responsabile, come pu\u00f2 comportarsi il sito host? Non si limita a ospitare checkpoint, cicli ausiliari e modelli, ma fornisce anche agli utenti la possibilit\u00e0 di generare immagini in cloud e di addestrare gli stessi LoRA, inversioni testuali e altro. In generale, finch\u00e9 la questione non viene risolta, i file del modello e tre dei trasformatori di testo in token forniti possono essere ottenuti solo dalla propria pagina Stability AI sul portale Hugging Face<\/a><\/noindex>.<\/p>\n

⇡<\/a><\/noindex>#<\/a><\/noindex>Iniziamo<\/h2>\n

Tuttavia, c'\u00e8 un dettaglio: per ottenere accesso ai link di download, \u00e8 necessario registrarsi sul sito e quindi confermare l'accettazione del gi\u00e0 menzionato accordo di licenza di tipo draconiano, anche se questa procedura \u00e8 gratuita e facilmente accessibile dalla Russia. Sono disponibili quattro opzioni per i modelli (models) e altre quattro per i trasformatori di testo in token (encoders), oltre a tre cicli standard per l'esecuzione nell'ambiente ComfyUI, di cui abbiamo gi\u00e0 parlato<\/a><\/noindex>:<\/p>\n

modelli:<\/p>\n