{"id":117781,"date":"2024-07-18T03:43:48","date_gmt":"2024-07-18T01:43:48","guid":{"rendered":"https:\/\/prohoster.info\/blog\/novosti-interneta\/novaya-statya-praktikum-po-ii-risovaniyu-chast-devyataya-sd3m-troechka-na-troechku"},"modified":"2024-07-18T03:43:48","modified_gmt":"2024-07-18T01:43:48","slug":"novaya-statya-praktikum-po-ii-risovaniyu-chast-devyataya-sd3m-troechka-na-troechku","status":"publish","type":"post","link":"https:\/\/prohoster.info\/hr\/blog\/news\/novaya-statya-praktikum-po-ii-risovaniyu-chast-devyataya-sd3m-troechka-na-troechku","title":{"rendered":"Novi \u010dlanak: Praktikum o AI crtanju, deveti dio: SD3M \u2013 \u201etrojka\u201c na trojku","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

Zanimljivo je kako povijest izdanja otvorenih modela za pretvorbu tekstualnih upita u slike, koje razvija i trenira tvrtka Stability AI, nalikuje na niz uspona i padova razli\u010ditih verzija Microsoft operativnih sustava. Nakon legendarno uspje\u0161nog XP-a, podsjetimo, pojavila se problemati\u010dna Vista; zatim veli\u010danstvena \u201esedmica\u201c \u2014 a za njom besplodna Windows 8. Uz Stable Diffusion, nakon prvotno neprivla\u010dne, ali postupno dotjerane verzije 1.5, slijedila je otvoreno neuspje\u0161na SD 2.0 \u2014 neuspje\u0161na zato \u0161to je uklju\u010divala netipi\u010dni kodirnik OpenCLIP za modele ovog tipa. istreniran na prili\u010dno nejasno odabranim slikama<\/a><\/noindex> iz otvorenog skupa podataka LAION-5B<\/a><\/noindex>. Tijekom ovog odabira isklju\u010deni su ne samo neprimjereni (NSFW) vizualni referenti, ve\u0107 i slike i ilustracije popularnih umjetnika poput zloglasnog Grega Rutkovskog. Upravo je posljednje potpuno razbjesnilo entuzijaste: ako je za SD 1.5 \u010dak u izvornoj verziji, bez kori\u0161tenja posebno doteranih kontrolnih to\u010daka, jednostavne upute sa stilovima \u2014 \u201eepic medieval fantasy landscape, in the style of Greg Rutkowski\u201c \u2014 fantasti\u010dno funkcionirale, rezultati su bili impresivni, SD 2.0 prestala je \u201eprepoznavati\u201c imena najpoznatijih ilustratora \u010dija su autorska prava na stvorena djela i dalje aktuelna i koji nisu udostojili ustupiti ta djela za treniranje AI. Bilo je potrebno koristiti vi\u0161e rije\u010di za opisivanje \u017eeljenog, a s predugim uputama model je lo\u0161e funkcionirao.<\/p>\n

<\/center> \t\t\t\t
<\/center> \"Novi <\/p>\n

⇡<\/a><\/noindex>#<\/a><\/noindex>Sjeli \u2014 ustali, sjeli \u2014 ustali<\/h2>\n

U kombinaciji s izmijenjenim kodira\u010dem (konverterom tekstualnih upita u digitalne tokene, s kojima model kasnije izravno radi), nemogu\u0107nost primjene imenovanih stilova jednostavno je oduzela entuzijastima motivaciju da vlastitim snagama dorade \u201edvojku\u201c. Pa, stvarno: tu je trebalo paralelno odraditi i razjasniti kako prilagoditi ve\u0107 razvijenu tehniku sastavljanja upita novom kodira\u010du, i dodatno trenirati model u prepoznavanju onih obrazaca i tema s kojima ga kreatori na po\u010detku treninga nisu upoznali \u2014 a kvalitativna razlika izme\u0111u slika koje generira \u201edvojka\u201c i \u201epolutorca\u201c nije bila zagarantirana. Da, od standardne veli\u010dine za SD 1.5 od 512\u00d7512 piksela do\u0161lo je do kvalitativnog skoka na 768\u00d7768, ali do tog trenutka zajednica je ve\u0107 u punom jeku koristila upscalere, outpaintere i ostale alate za pove\u0107anje dimenzija kona\u010dne slike, tako da je SD 2.0 zapravo pro\u0161la gotovo nezapa\u017eeno. SDXL se vratila na standardnu<\/a><\/noindex> (razvijen od strane OpenAI i kori\u0161ten, izme\u0111u ostalog, u projektu DALL-E) kodera\u010d CLIP<\/a><\/noindex> \u2014 njegov kod tako\u0111er je otvoren, ali baza podataka na kojoj je treniran, za razliku od OpenCLIP<\/a><\/noindex>, je vlastni\u010dka. Osim toga, standardna veli\u010dina platna za \u201eOversize\u201c narasla je na 1024\u00d71024, a u plusu je do\u0161ao cijeli niz dodatnih pobolj\u0161anja \u2014 tako da su se entuzijasti rado prihvatili njegovog usavr\u0161avanja. A trenutno je upravo SDXL (a i noviji derivati koji su manji zahtjevni prema \u201ehardveru\u201c poput SDXL Turbo<\/a><\/noindex> i SDXL Lightning<\/a><\/noindex>) mogu smatrati najpopularnijim AI-generatorom slika s otvorenim kodom. Ipak, strastveni zaljubljenici u SD 1.5 to argumentirano osporavaju, isti\u010du\u0107i da tako bitni alati kao \u0161to je ControlNet nisu adekvatno preneseni u SDXL do danas nisu dostojno preneseni<\/a><\/noindex>.<\/p>\n

I tako, od 12. lipnja 2024. godine, od trenutka \u201eosloba\u0111anja u divljinu\u201c koda modela koji omogu\u0107uje lokalne generacije, trebalo je nastupiti vrijeme \u201eotvorene\u201c verzije SD 3 \u2014 ako budemo precizniji, Stable Diffusion 3 Medium<\/a><\/noindex> (SD3M ili SD3 2B) s 2 milijarde radnih parametara. Ovako, podsjetimo, taj broj odgovara ukupnom broju te\u017eina na ulazima svih perceptrona modela. Jo\u0161 ranije, u travnju, Stability AI je dotjerala i ponudila za komercijalnu upotrebu 8-milijunsku (po broju parametara) Stable Diffusion 3 Large<\/a><\/noindex>, ona tako\u0111er poznata kao SD3 8B. Podsjetimo, SDXL 1.0 \u2014 3,5 milijardi parametara<\/a><\/noindex>, me\u0111utim SD3M, prema tvrdnjama developera, predstavlja \u201enajsofisticiraniji model za generiranje slika od svih koje smo stvorili do sada\u201c<\/a><\/noindex>. Smatralo se da bi, uz manju potrebu za grafi\u010dkom memorijom od «Oversize», \u010dak i na jednostavne upute trebala isporu\u010divati slike «novog nivoa fotorealisti\u010dnosti». Me\u0111u prednostima «trojke» spominjalo se tako\u0111er «nevi\u0111eno kvalitetno tipografiju teksta koja se generira na slikama», «produbljeno razumijevanje uputa zahvaljuju\u0107i suradnji tri kodera» i «spremnost na u\u010dinkovito doku\u0107ivanje \u010dak i na ograni\u010denim skupovima podataka».<\/p>\n

\"Novi <\/p>\n

O\u010digledno se pretpostavljalo da \u0107e zajednica entuzijasta, dobiv\u0161i na raspolaganje novu dugo o\u010dekivanu igra\u010dku, nestrpljivo raditi na unapre\u0111enju na isti na\u010din kao i «polutorka» i «Oversize» u svoje vrijeme. Me\u0111utim, od samog po\u010detka sve je krenulo krivo: SD3M je u prvih nekoliko sati nakon objave datoteka modela na Hugging Face i Civitai uspjela duboko razo\u010darati<\/a><\/noindex> svojstvu publike, pritom dvostruko. Prvi put \u2014 neobja\u0161njivom na prvi pogled idiosinkrazijom prema uputama koje uklju\u010duju naizgled nevinu frazu «le\u017ee\u0107i na\/v travi»; drugi put \u2014 nevjerojatno zamagljenim formulacijama u korisni\u010dkom ugovoru, s kojima se nisu mogle sna\u0107i ni profesionalni odvjetnici. I iako se s gledi\u0161ta obi\u010dnog entuzijasta AI umjetnosti posljednje \u010dini nebitnim, na daljnji razvoj modela upravo \u0107e pravna strana pitanja imati najizravniji utjecaj \u2014 do te mjere da razvoj mo\u017eda i ne\u0107e uslijediti.<\/p>\n

Prethodna djela Stable Diffusion s otvorenim kodom (to\u010dnije, s otvorenim vrijednostima te\u017eina neuronskih mre\u017ea, dostupnih za besplatno preuzimanje i kasnije lokalno izvr\u0161avanje), kao \u0161to je SDXL, bila su pra\u0107ena jednim od tipi\u010dnih za generativne modele CreativeML Open RAIL++-M License<\/a><\/noindex> s takvim karakteristikama kao «neograni\u010dena, svjetska, neisklju\u010diva, besplatna, nenaplativa, neograni\u010dena licenca za autorska prava s ciljem reproduciranja, pripreme, javne demonstracije, javnog izvo\u0111enja, sublicenciranja i distribucije dodatnih materijala kako same modele, tako i derivata». «Trojka» predvi\u0111a dva tipa licenciranja: za nekomercijalnu upotrebu<\/a><\/noindex> — s veoma opu\u0161taju\u0107im formulacijama poput «Stability AI vam pru\u017ea neisklju\u010divu, svjetsku, nepremostivu, koja se ne mo\u017ee sublicencirati, povla\u010divu, nenaplativu i ograni\u010denu licencu na intelektualno vlasni\u0161tvo» — i zna\u010dajno optere\u0107uju\u0107u komercijalnu<\/a><\/noindex>.<\/p>\n

⇡<\/a><\/noindex>#<\/a><\/noindex>Trava ne\u0107e donijeti ni\u0161ta dobro<\/h2>\n

Nakon vrlo kratkog vremena, zajednica se slo\u017eila s tim da Stable Diffusion 3 — nije Open Source<\/a><\/noindex>. U su\u0161tini je proglasio bojkot kompaniji koja ga razvija, ne \u017eele\u0107i tro\u0161iti vrijeme i resurse na treniranje o\u010digledno nedovr\u0161ene i lo\u0161e optimizirane verzije \u2014 svjesni da Stability AI u bilo kojem trenutku mo\u017ee, prema svojim slobodnim raspolo\u017eenjima, povu\u0107i licencu koju je ranije dodijelio odre\u0111enom entuzijastu koji vr\u0161i to treniranje. Licencni ugovor je formuliran na na\u010din da stvara dojam kod onih koji ga prou\u010davaju da \u0107e, nakon povla\u010denja dozvole za komercijalnu upotrebu SD3M, biv\u0161i korisnik biti obavezan da izbri\u0161e sve \u0161to je stvorio kao izvedenice od licencirane intelektualne svojine, uklju\u010duju\u0107i kako same modelirane (LoRA, tekstualne inverzije, cjelovite ta\u010dke), tako i njihove izvedenice (citata: \u00abUpon termination of this Agreement, you shall delete and cease use of any Software Products or Derivative Works\u00bb) \u2014 tj. plodove rada drugih ljudi koji su koristili te izvedene modele kao polaznu ta\u010dku za svoj vlastiti rad, a koji su, u me\u0111uvremenu, ostali nepla\u0107eni, obavljeni isklju\u010divo iz \u010distog entuzijazma.<\/p>\n

Uskoro nakon \u0161to je val ogor\u010denja po tom pitanju dosegao stratosferske visine, po\u010dele su se pojavljivati poruke ve\u0107 od profesionalnih pravnika, da ipak nije sve tako lo\u0161e<\/a><\/noindex> I da bi se povla\u010denje sa zabranom daljnje upotrebe zapravo trebalo odnositi samo na neke pomo\u0107ne proizvode sa zatvorenim kodom koji \u0107e Stability AI prenijeti komercijalnom korisniku (recimo, za ubrzavanje i optimizaciju ponovnog treniranja SD3M) \u2014 no, sama kompanija jo\u0161 uvijek nije pru\u017eila kona\u010dna obja\u0161njenja o tome. I sama \u010dinjenica toliko opresivnog \u0107utanja ve\u0107 tri tjedna (u trenutku pisanja ovog \u010dlanka) od trenutka kada je \u00abtrojka\u00bb postala dostupna u javnosti, vi\u0161e \u0161teti reputaciji programera nego \u0161to to \u010dini trava \u2014 djevojkama koje generira njegovo stvaranje.<\/p>\n

\"Novi <\/p>\n

\u0160to se ti\u010de poznate trave, koja je doslovno u satima postala meme prvo na Hugging Face<\/a><\/noindex>, a nakon toga i prakti\u010dki na svim vi\u0161e ili manje specijaliziranim platformama na mre\u017ei, otkriveno je da prisutnost u pretrazi fraze poput «a girl lying on the grass» dovodi do rezultata «trojke» ne samo halucinacija, ve\u0107 i u\u017easnih proizvoda bolesne - u medicinskom smislu - ma\u0161te umjetnika i filmskih stvaralaca koji se specijaliziraju za body horror (opominjemo, ako vam je um i \u017eivot dragi, — dr\u017eite se podalje od sli\u010dnog i \u010dak ne poku\u0161avajte upisati ovu frazu u prozor pretra\u017eiva\u010da slika s isklju\u010denim sigurnosnim filtrima). Pri tome su slike stoje\u0107ih - i ne\u0161to manje sjede\u0107ih - ljudi uspje\u0161noj «trojci» ocijenjene s uvjerljivom \u010detvorkom s plusom, dok portreti ponekad izlaze posve besprijekorno; barem ne gore nego kod osnovnog modela SDXL 1.0, — caka je upravo u nekakvom unutarnjem tabu na horizontalni polo\u017eaj ljudskog tijela.<\/p>\n

Sude\u0107i prema komentaru Emada Mostaqua (Emad Mostaque), osniva\u010da i biv\u0161eg (do o\u017eujka 2024.) \u010delnika Stability AI, koji je napustio kompaniju da bi «baviti se decentraliziranim projektima u podru\u010dju umjetne inteligencije»<\/a><\/noindex>, brutalno nasilje nad SD3M neposredno prije nego \u0161to su njezine te\u017eine otvorene za ograni\u010denu nekomercijalnu uporabu (API ve\u0107e verzije SD3 8B za online generaciju, podsje\u0107amo, dostupno je putem partnerskih stranica jo\u0161 od travnja<\/a><\/noindex>, ali njezine te\u017eine i dalje ostaju skrivene) rezultat je te\u017enje trenutnog rukovodstva prema sigurnosti — «u vezi s regulativnim obvezama»<\/a><\/noindex>, formuliranih jo\u0161 u o\u017eujku ove godine kao Politika prihvatljive uporabe<\/a><\/noindex>. U okviru te politike uz kori\u0161tenje generativnog modela SD3M korisnicima nije dopu\u0161teno «izvr\u0161avati, poticati, olak\u0161avati, promicati, planirati, poticati ili omogu\u0107iti daljnje nasilje, terorizam ili stvaranje sadr\u017eaja koji poti\u010de mr\u017enju koja diskriminira ili prijeti za\u0161ti\u0107enoj grupi ljudi (bez obzira na spol, etni\u010dku pripadnost, seksualni identitet ili orijentaciju, religiju ili sli\u010dno)», — stoga nema slika pandi, ro\u0111enih u onome \u0161to mama rodila, koje se bore s nastranima zmajevima! Isklju\u010divo ma\u010dke u smije\u0161nim \u0161e\u0161irima, psi u slatkim jaknicama, boce s nepoznatim sadr\u017eajem i svje\u017ee, iz pe\u0107nice, pe\u010deni kola\u010di!<\/p>\n

Tehni\u010dki govore\u0107i, mogu\u0107e je da je isklju\u010divanje modela uklju\u010divalo jednostavno isklju\u010divanje slika le\u017ee\u0107ih ljudi iz skupa podataka za obuku i drugih slika koje su na neki na\u010din sugerirale nepristojno tuma\u010denje, i stoga sada \"trojka\" jednostavno \"ne razumije\" zna\u010denje rije\u010di \"le\u017eati\". Ili su mo\u017eda a\u017eurirana arhitektura SD3 omogu\u0107ila dovoljno pouzdanu identifikaciju te\u017eina na perceptronima koji se aktiviraju tijekom generiranja \"neprikladnih\" slika, i te te\u017eine su izabrano nullificirane neposredno prije objave, \u010diji je posljedi\u010dni efekat bilo \"prisilno haluciniranje\". Vjerojatno, to se ve\u0107 mo\u017ee usporediti s lobotomijom<\/a><\/noindex>: enkoder ispravno prevodi tekst u tokene, ali u \"za\u0161ti\u0107enom\" latentnom prostoru ti tokeni vi\u0161e ne ukazuju na ni\u0161ta konkretno, - i stoga se rezultantni pikseli nalaze na slici u su\u0161tini nasumi\u010dno.<\/p>\n

\"Novi <\/p>\n

Uzimaju\u0107i u obzir dostupnost API-ja pune, ali zatvorene verzije SD3 8B ve\u0107 nekoliko mjeseci i vru\u0107a uvjeravanja medijskih menad\u017eera Stability AI da je \"kompaktnirana\" 2B biti gotovo jednaka po kvaliteti percepcije teksta i generiranju slika<\/a><\/noindex>, entuzijasti za AI crtanje su s odu\u0161evljenjem do\u010dekali objavljivanje te\u017eina SD3M 12. lipnja: u prvih 24 sata model je preuzet 2,7 milijuna puta<\/a><\/noindex>. Trenutno je i dalje mogu\u0107e do\u0107i do nje, iako ne\u0161to zaobilaznijim putem nego \u0161to je uobi\u010dajeno za checkpointe SDXL i SD 1.5. Naime, uobi\u010dajeni put - to je pozivanje na web stranicu Civitai, s koje se ve\u0107ina modela preuzima bez registracije, ali od 17. lipnja pa sve do trenutka kada je ovaj \u010dlanak dostavljen u izradu, posve\u0107ena \"trojci\" stranica ove web stranice je u privremenoj suspenziji<\/a><\/noindex>. A razlog je jedan: komercijalna licenca za SD3M napisana je tako nejasnim jezikom da su \u010dak i pravnici Civitai uzeli pauzu za detaljnije prou\u010davanje. Naime, ako neki entuzijast trenira svoju LoRA za \"trojku\" na svom ra\u010dunalu i objavi je na Civitai, a Stability AI iznenada odlu\u010di da je rezultat neprimjeren, i opozove licencu od odgovornog, - kako u tom slu\u010daju postupiti s hosting stranicom? Ona ne samo da smje\u0161ta svoje checkpointe, pomo\u0107ne ciklograme i modele, ve\u0107 tako\u0111er pru\u017ea posjetiteljima mogu\u0107nost obla\u010dnog generiranja slika i obuke istih LoRA, tekstualnih inverzija itd. Ukratko, dok sud i posao, preuzimanje datoteka samog modela i tri prate\u0107a transformatora teksta u tokene mogu\u0107e je samo sa vlastite stranice Stability AI na portalu Hugging Face<\/a><\/noindex>.<\/p>\n

⇡<\/a><\/noindex>#<\/a><\/noindex>Hajdemo po\u010deti<\/h2>\n

Istina, postoji jedan detalj: da biste dobili pristup do preuzetih linkova, potrebno je prijaviti se na stranicu, a zatim potvrditi prihva\u0107anje ranije spomenutog drakonskog licencnog ugovora \u2014 me\u0111utim, ova procedura je besplatna i dostupna je iz Rusije. U ponudi su \u010detiri varijante modela (models) i \u010detiri pretvara\u010da tekstualnih uputa u tokene (encoders), plus tri referentne ciklograme za izvr\u0161enje u radnom okru\u017eenju ComfyUI. o kojoj smo ve\u0107 govorili<\/a><\/noindex>:<\/p>\n

modeli:<\/p>\n