{"id":117781,"date":"2024-07-18T03:43:48","date_gmt":"2024-07-18T01:43:48","guid":{"rendered":"https:\/\/prohoster.info\/blog\/novosti-interneta\/novaya-statya-praktikum-po-ii-risovaniyu-chast-devyataya-sd3m-troechka-na-troechku"},"modified":"2024-07-18T03:43:48","modified_gmt":"2024-07-18T01:43:48","slug":"novaya-statya-praktikum-po-ii-risovaniyu-chast-devyataya-sd3m-troechka-na-troechku","status":"publish","type":"post","link":"https:\/\/prohoster.info\/ro\/blog\/news\/novaya-statya-praktikum-po-ii-risovaniyu-chast-devyataya-sd3m-troechka-na-troechku","title":{"rendered":"Articol nou: Practicum de desen AI, partea a noua: SD3M \u2014 nota trei pentru trei","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

Este amuzant cum istoria lans\u0103rilor modelului open-source pentru transformarea textului \u00een imagini, dezvoltat de Stability AI, seam\u0103n\u0103 cu o serie de sui\u0219uri \u0219i cobor\u00e2\u0219uri ale versiunilor sistemului de operare Microsoft. Dup\u0103 legendara reu\u0219it\u0103 XP, s\u0103 ne amintim, a ap\u0103rut Vista, cu probleme; apoi splendid\u0103 \u201e7\u201d \u2014 iar dup\u0103 ea, f\u0103r\u0103 succes, Windows 8. La Stable Diffusion, versiunea 1.5, care la \u00eenceput p\u0103rea modest\u0103 dar a fost \u00eembun\u0103t\u0103\u021bit\u0103 constant de entuzia\u0219ti, a fost urmat\u0103 de SD 2.0, care a fost vizibil nefericit\u0103 \u2014 nefericit\u0103, de fapt, deoarece a inclus un codificator OpenCLIP atipic pentru modele de acest tip, antrenat pe imagini selectate \u00eentr-un mod foarte ambigu<\/a><\/noindex> din datasetul deschis LAION-5B<\/a><\/noindex>. \u00cen acest proces de selec\u021bie, au fost respinse nu doar referin\u021bele vizuale inadecvate (NSFW), ci \u0219i operele de art\u0103 \u0219i ilustra\u021biile autorilor celebri, precum binecunoscutul Greg Rutkowski. Aceasta din urm\u0103 a scos din s\u0103rite entuzia\u0219tii: dac\u0103 pentru SD 1.5, chiar \u0219i \u00een varianta ini\u021bial\u0103, f\u0103r\u0103 aplicarea unor checkpoint-uri special antrenate, func\u021bionau excelent sugestiile simple cu stiluri \u2014 \u201epeisaj epic medieval fantastic, \u00een stilul lui Greg Rutkowski\u201d \u2014 iar rezultatul era impresionant, SD 2.0 a \u00eenceput s\u0103 \u201enu mai recunoasc\u0103\u201d numele celor mai cunoscu\u021bi ilustratori, a c\u0103ror drepturi de autor pentru lucr\u0103rile create sunt \u00eenc\u0103 valabile \u0219i care nu au avut bun\u0103voin\u021ba de a le oferi pentru antrenarea IA. A fost necesar s\u0103 se foloseasc\u0103 mai multe cuvinte pentru a descrie dorin\u021bele, iar cu sugestii prea lungi, modelul se descurca slab.<\/p>\n

<\/center> \t\t\t\t
<\/center> \"Articol <\/p>\n

\ud83d\udd3d<\/a><\/noindex>#<\/a><\/noindex>Am stat \u2014 ne-am ridicat, am stat \u2014 ne-am ridicat<\/h2>\n

\u00cen combina\u021bie cu un codificator modificat (conversorul de sugestii textuale \u00een tokenuri digitale, cu care modelul lucreaz\u0103 ulterior), imposibilitatea de a aplica stiluri numite a l\u0103sat pur \u0219i simplu entuzia\u0219tii f\u0103r\u0103 motiva\u021bie de a \u00eembun\u0103t\u0103\u021bi \u201emicul\u201d pe cont propriu. Serios: era necesar, pe de o parte, s\u0103 te ocupi de adaptarea tehnicii de creare a sugestiilor la noul codificator \u0219i, pe de alt\u0103 parte, s\u0103 \u00eei antrenezi modelului recunoa\u0219terea imaginilor \u0219i tematicii cu care creatorii nu l-au familiarizat \u00een timpul antrenamentului ini\u021bial - iar calitatea generat\u0103 de \u201edublu\u201d nu oferea totu\u0219i o diferen\u021b\u0103 semnificativ\u0103 fa\u021b\u0103 de \u201esemi\u201d. Da, de la dimensiunea standard pentru SD 1.5 de 512\u00d7512 puncte a fost o cre\u0219tere calitativ\u0103 la 768\u00d7768, dar p\u00e2n\u0103 atunci comunitatea deja folosea cu bucurie upscale-uri, outpaintere \u0219i alte instrumente pentru a cre\u0219te dimensiunea imaginii finale, a\u0219a c\u0103 SD 2.0 a trecut, \u00een mare parte, neobservat\u0103. SDXL s-a \u00eentors la standardul<\/a><\/noindex> (dezvoltat de OpenAI \u0219i utilizat, printre altele, \u00een proiectul DALL-E) codificatorului CLIP<\/a><\/noindex> \u2014 codul s\u0103u este de asemenea deschis, dar baza de date pe care a fost antrenat, spre deosebire de OpenCLIP<\/a><\/noindex>, este proprietar\u0103. \u00cen plus, dimensiunea standard a canvasului a crescut la \u201eOversize\u201d la 1024\u00d71024, plus a ap\u0103rut o serie \u00eentreag\u0103 de \u00eembun\u0103t\u0103\u021biri suplimentare, - astfel \u00eenc\u00e2t entuzia\u0219tii s-au apucat cu pl\u0103cere de \u00eembun\u0103t\u0103\u021birea sa. \u0218i \u00een prezent, anume SDXL (inclusiv derivatele recent ap\u0103rute, mai pu\u021bin solicitante pentru \u201ehardware\u201d cum ar fi SDXL Turbo<\/a><\/noindex> \u0219i SDXL Lightning<\/a><\/noindex>) poate fi considerat cu \u00eencredere cel mai popular generator de imagini AI cu cod deschis. Totu\u0219i, sus\u021bin\u0103torii pasiona\u021bi ai SD 1.5 contest\u0103 acest lucru \u00een mod argumentat, subliniind c\u0103 instrumente at\u00e2t de importante precum ControlNet, \u00een SDXL nu au fost \u00eenc\u0103 transferate corespunz\u0103tor<\/a><\/noindex>.<\/p>\n

Iat\u0103 c\u0103, \u00eencep\u00e2nd cu 12 iunie 2024, de la momentul \u201elans\u0103rii \u00een s\u0103lb\u0103ticie\u201d a codului modelului, care permite gener\u0103rile locale, ar fi trebuit s\u0103 vin\u0103 timpul versiunei \u201edeschise\u201d SD 3 - mai precis, Stable Diffusion 3 Medium<\/a><\/noindex> (SD3M sau SD3 2B) cu 2 miliarde de parametri operativi. A\u0219adar, s\u0103 reamintim, acest num\u0103r corespunde num\u0103rului total de greut\u0103\u021bi pe intr\u0103rile tuturor perceptronilor modelului. Cu mult \u00eenainte, \u00een aprilie, Stability AI a finalizat \u0219i a oferit pentru utilizare comercial\u0103 varianta cu 8 milioane de parametri Stable Diffusion 3 Large<\/a><\/noindex>, a\u0219a-numita SD3 8B. La SDXL 1.0, amintim, - 3,5 miliarde de parametri<\/a><\/noindex>, totu\u0219i SD3M, conform dezvoltatorilor, este \u201ecea mai sofisticat\u0103 model pentru generarea de imagini dintre toate pe care le-am creat p\u00e2n\u0103 \u00een prezent\u201d<\/a><\/noindex>. Se refer\u0103 la faptul c\u0103, av\u00e2nd nevoi de memorie video mai mici dec\u00e2t cele pentru «Oversize», aceasta ar trebui chiar \u0219i \u00een r\u0103spuns la sugestii simple s\u0103 genereze imagini «cu un nou nivel de fotorealism». Printre avantajele «trio-ului» s-au men\u021bionat, de asemenea, «calitatea f\u0103r\u0103 precedent a tipografiei textului generat pe imaginile create», «\u00een\u021belegerea profund\u0103 a sugestiilor prin unirea eforturilor a trei codificatori» \u0219i «preg\u0103tirea pentru o \u00eembun\u0103t\u0103\u021bire eficient\u0103 chiar \u0219i pe seturi de date limitate».<\/p>\n

\"Articol <\/p>\n

Se presupunea, evident, c\u0103 comunitatea de entuzia\u0219ti, av\u00e2nd la dispozi\u021bie noua juc\u0103rie mult a\u0219teptat\u0103, va \u00eencepe s\u0103 o perfec\u021bioneze cu aceea\u0219i fervoare cu care a f\u0103cut-o cu «pulkerul» \u0219i «Oversize» la vremea lor. Totu\u0219i, de la \u00eenceput, totul a mers prost: SD3M a avut parte de publicarea fi\u0219ierelor modelului pe Hugging Face \u0219i Civitai \u00een primele ore. s\u0103 dezam\u0103geasc\u0103 profund<\/a><\/noindex> audien\u021ba sa, \u0219i de dou\u0103 ori. Prima dat\u0103 — printr-o idiosincrazia inexplicabil\u0103 la prima vedere fa\u021b\u0103 de sugestiile care includ o fraz\u0103 aparent inocent\u0103 «\u0219ez\u00e2nd pe \/ \u00een iarba» (lying on \/ in the grass); a doua oar\u0103 — prin formul\u0103ri extrem de vag despre termenii \u0219i condi\u021biile utiliz\u0103rii, \u00een care chiar \u0219i avoca\u021bii profesioni\u0219ti nu au reu\u0219it s\u0103 se descurce imediat. \u0218i de\u0219i din perspectiva unui entuziast obi\u0219nuit al artei IA, acest ultim aspect pare nesemnificativ, pe dezvoltarea ulterioar\u0103 a modelului, tocmai aspectul legal se va reflecta cel mai direct — p\u00e2n\u0103 la punctul \u00een care nu va exista nicio dezvoltare.<\/p>\n

Crea\u021biile anterioare Stable Diffusion cu cod deschis (mai precis, cu valori deschise ale greut\u0103\u021bilor re\u021belei neuronale, disponibile pentru desc\u0103rcare gratuit\u0103 \u0219i execu\u021bie local\u0103), cum ar fi SDXL, au fost \u00eenso\u021bite de una dintre tipicile pentru modelele generative Licen\u021ba CreativeML Open RAIL++-M<\/a><\/noindex> caracteristicile sale includ «o licen\u021b\u0103 de autor perpetu\u0103, global\u0103, neexclusiv\u0103, gratuit\u0103, neretractiv\u0103, pentru reproducerea, preg\u0103tirea, demonstrarea public\u0103, execu\u021bia public\u0103, sublicen\u021bierea \u0219i distribuirea materialelor suplimentare at\u00e2t ale modelului, c\u00e2t \u0219i a derivatelor sale». «Trio-ul» preconizeaz\u0103 dou\u0103 tipuri de licen\u021biere: pentru utilizare necomercial\u0103<\/a><\/noindex> — cu formul\u0103ri destul de relaxante precum «Stability AI v\u0103 ofer\u0103 o licen\u021b\u0103 neexclusiv\u0103, global\u0103, netransferabil\u0103, care nu poate fi sublicen\u021biat\u0103, revocabil\u0103, gratuit\u0103 \u0219i limitat\u0103 asupra propriet\u0103\u021bii intelectuale» — \u0219i o licen\u021b\u0103 comercial\u0103 mult mai \u00eempov\u0103r\u0103toare<\/a><\/noindex>.<\/p>\n

\ud83d\udd3d<\/a><\/noindex>#<\/a><\/noindex>Iar iarba nu va duce la bine<\/h2>\n

Dup\u0103 o perioad\u0103 scurt\u0103, comunitatea a ajuns la concluzia c\u0103 Stable Diffusion 3 — nu este Open Source<\/a><\/noindex>. \u0218i, \u00een esen\u021b\u0103, a declarat un boicot \u00eempotriva companiei dezvoltatoare, nevr\u00e2nd s\u0103-\u0219i piard\u0103 timpul \u0219i energia cu antrenarea unei modele evident brut \u0219i necorespunz\u0103tor realizate \u2014 av\u00e2nd con\u0219tiin\u021ba c\u0103 Stability AI poate \u00een orice moment, dintr-o fantezie cvasimediatic\u0103, s\u0103 revin\u0103 asupra licen\u021bei acordate anterior unui anumit entuziast, care efectueaz\u0103 astfel de antrenamente. Contractul de licen\u021b\u0103 este formulat \u00eentr-un mod care d\u0103 impresia celor care \u00eel studiaz\u0103 c\u0103, odat\u0103 cu retragerea permisiunii de utilizare comercial\u0103 a SD3M, fostul beneficiar va fi obligat s\u0103 \u0219tearg\u0103 toate produsele derivate create de el din proprietatea intelectual\u0103 licen\u021biat\u0103, inclusiv modelele antrenate (LoRA, inversiuni de text, puncte de control complete) \u0219i derivatele acestora (citat: \u00abUpon termination of this Agreement, you shall delete and cease use of any Software Products or Derivative Works\u00bb) \u2014 adic\u0103 rodul muncii deja altor persoane, care au folosit aceste modele derivate ca punct de plecare pentru propriile lor lucr\u0103ri; mai mult, munc\u0103 nepl\u0103tit\u0103 de nimeni, realizat\u0103 dintr-un pur entuziasm.<\/p>\n

Cur\u00e2nd dup\u0103 ce valul de indignare pe aceast\u0103 tem\u0103 a atins \u00een\u0103l\u021bimi stratosferice, au \u00eenceput s\u0103 apar\u0103 mesaje din partea juri\u0219tilor profesioni\u0219ti, c\u0103 nu este totul at\u00e2t de r\u0103u<\/a><\/noindex> \u0218i c\u0103 retragerea cu interdic\u021bia de utilizare ulterioar\u0103 ar trebui, de fapt, s\u0103 se refere doar la c\u00e2teva produse auxiliare cu cod \u00eenchis, pe care Stability AI le va transfera utilizatorului comercial (de exemplu, pentru a accelera \u0219i optimiza aceea\u0219i antrenare a SD3M), \u2014 dar compania \u00eens\u0103\u0219i nu a oferit p\u00e2n\u0103 acum explica\u021bii finale \u00een acest sens. \u0218i faptul c\u0103 t\u0103cerea ap\u0103s\u0103toare dureaz\u0103 deja trei s\u0103pt\u0103m\u00e2ni (la momentul scrierii acestui articol) de la apari\u021bia \u00abtrio-ului\u00bb \u00een acces deschis d\u0103uneaz\u0103 reputa\u021biei dezvoltatorului mult mai mult dec\u00e2t iarba \u2014 fetelor generate de crea\u021bia sa.<\/p>\n

\"Articol <\/p>\n

C\u00e2t despre binecunoscuta iarba, care a reu\u0219it s\u0103 devin\u0103, \u00een doar c\u00e2teva ore, un meme mai \u00eent\u00e2i pe Hugging Face<\/a><\/noindex>, iar apoi, practic, pe toate platformele mai mult sau mai pu\u021bin specializate de pe re\u021bea, s-a constatat c\u0103 prezen\u021ba \u00een sugestia unui text cum ar fi «a girl lying on the grass» duce la apari\u021bia \u00een rezultate a «troica» nu doar de halucina\u021bii, ci de crea\u021bii terifiante generate de o imagina\u021bie bolnav\u0103 \u2014 \u00een sens medical \u2014 a arti\u0219tilor \u0219i cinea\u0219tilor specializa\u021bi \u00een body horror (v\u0103 rug\u0103m, dac\u0103 v\u0103 pas\u0103 de ra\u021biune \u0219i via\u021ba voastr\u0103, — feri\u021bi-v\u0103 de a\u0219a ceva \u0219i nu \u00eencerca\u021bi s\u0103 introduce\u021bi aceast\u0103 fraz\u0103 \u00een bara de c\u0103utare a imaginilor cu filtrul de siguran\u021b\u0103 dezactivat). \u00cen acela\u0219i timp, imaginile persoanelor \u00een picioare \u2014 \u0219i \u00eentr-o m\u0103sur\u0103 mai mic\u0103 a celor a\u0219ezate \u2014 sunt realizate de «troica» cu o not\u0103 sigur\u0103 de 4 cu plus, iar portretele uneori sunt chiar impecabile; cel pu\u021bin, nu sunt mai prejos dec\u00e2t modelul de baz\u0103 SDXL 1.0, — problema const\u0103 exact \u00een un fel de tabu intern privind pozi\u021bia orizontal\u0103 a corpului uman.<\/p>\n

Judec\u00e2nd dup\u0103 comentariul lui Emad Mostaque, fondatorul \u0219i fostul (p\u00e2n\u0103 \u00een martie 2024) \u0219ef al Stability AI, care a p\u0103r\u0103sit compania pentru a «a se ocupa cu proiecte descentralizate \u00een domeniul inteligen\u021bei artificiale»<\/a><\/noindex>, violen\u021ba brutal\u0103 asupra SD3M chiar \u00eenainte de deschiderea acesteia pentru utilizare limitat\u0103 necomercial\u0103 (API-ul modelului mai mare SD3 8B pentru generare online, amintim, este disponibil prin site-uri partenere \u00eenc\u0103 din aprilie<\/a><\/noindex>, dar greut\u0103\u021bile ei r\u0103m\u00e2n tot ascunse) ca urmare a dorin\u021bei actualei conduceri de a asigura securitatea — «\u00een leg\u0103tur\u0103 cu obliga\u021biile normative»<\/a><\/noindex>, formulate \u00eenc\u0103 din martie anul acesta ca Politica de Utilizare Acceptabil\u0103<\/a><\/noindex>. Exact \u00een cadrul acestei politici, utilizarea modelului generativ SD3M nu permite utilizatorilor «s\u0103 comit\u0103, s\u0103 promoveze, s\u0103 faciliteze, s\u0103 \u00eenlesneasc\u0103, s\u0103 \u00eencurajeze, s\u0103 planifice, s\u0103 incite sau s\u0103 contribuie la violen\u021b\u0103, terorism sau la crearea de con\u021binut care incit\u0103 la ur\u0103, care discrimineaz\u0103 sau amenin\u021b\u0103 un grup protejat de oameni (fie c\u0103 este vorba de sex, apartenen\u021b\u0103 etnic\u0103, identitate sau orientare sexual\u0103, religie sau altceva)», — deci, nu ve\u021bi primi imagini cu panda \u00een ceea ce mamele lor le-au dat na\u0219tere, lupt\u00e2ndu-se cu draci desenat! Exclusiv pisici \u00een p\u0103l\u0103rii amuzante, c\u00e2ini \u00een jachete dr\u0103gu\u021be, sticle cu con\u021binut necunoscut \u0219i pr\u0103jituri proaspete, direct din cuptor!<\/p>\n

Din punct de vedere tehnic, este posibil ca modelul s\u0103 fi fost distorsionat prin excluderea imaginilor cu oameni \u00eentin\u0219i \u0219i alte imagini care ar putea implica o interpretare indecent\u0103 din setul de date de antrenament, - \u0219i din aceast\u0103 cauz\u0103, acum \u201etrei\u021ba\u201d pur \u0219i simplu nu \u201e\u00een\u021belege\u201d semnifica\u021bia cuv\u00e2ntului \u201ea sta \u00eentins\u201d. Sau noua arhitectur\u0103 SD3 a permis identificarea destul de sigur\u0103 a greut\u0103\u021bilor pe perceptronii activi \u00een timpul gener\u0103rii imaginilor \u201enecorespunz\u0103toare\u201d, - iar aceste greut\u0103\u021bi au fost selectiv resetate \u00eenainte de lansare, ceea ce a dus la \u201ehalucina\u021biile for\u021bate\u201d. Probabil, acest lucru poate fi comparat cu lobotomia<\/a><\/noindex>: codificatorul traduce corect textul \u00een token-uri, dar \u00een spa\u021biul latent \u201eprotejat\u201d aceste token-uri nu indic\u0103 nimic concret, - \u0219i din acest motiv, pixelii rezultan\u021bi sunt a\u0219eza\u021bi pe imagine practic f\u0103r\u0103 vreo structur\u0103 clar\u0103.<\/p>\n

\"Articol <\/p>\n

\u021ain\u00e2nd cont de disponibilitatea API-ului pentru modelul SD3 8B complet, dar \u00eenchis, de c\u00e2teva luni \u0219i de asigur\u0103rile calde ale managerilor de media de la Stability AI c\u0103 \u201emodelul compactificat\u201d 2B va avea o calitate a percep\u021biei textului \u0219i gener\u0103rii de imagini aproape identic\u0103<\/a><\/noindex>, entuzia\u0219tii desenului AI au \u00eent\u00e2mpinat lansarea public\u0103 a greut\u0103\u021bilor SD3M pe 12 iunie cu mult entuziasm: \u00een primele 24 de ore, modelul a fost desc\u0103rcat de 2,7 milioane de ori<\/a><\/noindex>. \u00cen prezent, acesta poate fi ob\u021binut \u00een continuare, de\u0219i printr-o metod\u0103 pu\u021bin mai complicat\u0103 dec\u00e2t este obi\u0219nuit pentru checkpoint-urile SDXL \u0219i SD 1.5. De fapt, calea obi\u0219nuit\u0103 este s\u0103 te adresezi site-ului Civitai, de unde majoritatea modelelor sunt desc\u0103rcate f\u0103r\u0103 \u00eenregistrare, dar din 17 iunie \u0219i p\u00e2n\u0103 \u00een momentul \u00een care acest articol a fost predat pentru publicare, pagina dedicat\u0103 \u201etrei\u021bei\u201d de pe acest site se afl\u0103 \u00eentr-un ban temporar<\/a><\/noindex>. \u0218i motivul este unul singur: licen\u021ba comercial\u0103 pentru SD3M este scris\u0103 \u00eentr-un limbaj at\u00e2t de vag, \u00eenc\u00e2t chiar \u0219i avoca\u021bii de la Civitai au luat o pauz\u0103 pentru a o studia mai atent. Pentru c\u0103, dac\u0103 un entuziast antreneaz\u0103 pe PC-ul s\u0103u LoRA pentru \u201etrei\u021b\u0103\u201d \u0219i o public\u0103 pe Civitai, iar Stability AI decide brusc c\u0103 rezultatul este inadecvat \u0219i retrage licen\u021ba de la cel responsabil, - cum ar trebui s\u0103 procedeze site-ul de hosting? Nu doar c\u0103 g\u0103zduie\u0219te checkpoint-uri, programe auxiliare \u0219i modele, ci ofer\u0103 vizitatorilor \u0219i posibilitatea de a genera imagini \u00een cloud, precum \u0219i de a antrena acelea\u0219i LoRA, inversiuni textuale etc. \u00cen general, p\u00e2n\u0103 la proces, fi\u0219ierele modelului \u0219i cele trei convertizoare de text \u00een token-uri incluse \u00een pachet pot fi ob\u021binute doar de pe pagina proprie a Stability AI de pe portalul Hugging Face<\/a><\/noindex>.<\/p>\n

\ud83d\udd3d<\/a><\/noindex>#<\/a><\/noindex>S\u0103 ne apuc\u0103m de treab\u0103<\/h2>\n

Totu\u0219i, exist\u0103 o nuan\u021b\u0103: pentru a accesa linkurile de desc\u0103rcare, este necesar s\u0103 te autentifici pe site \u0219i apoi s\u0103 confirmi acceptarea acordului de licen\u021b\u0103 draconian men\u021bionat mai devreme \u2014 \u00eens\u0103 aceast\u0103 procedur\u0103 este gratuit\u0103 \u0219i accesibil\u0103 din Rusia. Sunt disponibile patru modele propriu-zise \u0219i tot patru convertoare de sugestii textuale \u00een tokeni, plus trei cicluri de referin\u021b\u0103 pentru executarea \u00een mediul de lucru ComfyUI. despre care am discutat deja<\/a><\/noindex>:<\/p>\n

modele:<\/p>\n