Zanimljivo je kako povijest objava otvorenih modela za pretvaranje tekstualnih uputa u slike, koje razvija i trenira tvrtka Stability AI, nalikuje na seriju uspona i padova uzastopno objavljivanih verzija operativnog sustava Microsoft. Nakon legendarno uspješnog XP-a, podsjetimo, pojavila se problematična Vista; zatim fantastična 'sedmica' — a za njom bezdigurna Windows 8. Uz Stable Diffusion, za prvotno neprivlačnu, ali postupno dovedenu do savršenstva verziju 1.5, uslijedila je otvoreno neuspješna SD 2.0 — neuspješna, zapravo, jer je uključivala netipični za modele tog tipa enkoder OpenCLIP, iz . Tijekom takvog odabira su odbačene ne samo neprimjerene (NSFW) vizualne reference, već i slike i ilustracije popularnih umjetnika poput proslavljenog Grega Rutkowskog. Upravo je to dodatno razbjesnilo entuzijaste: dok su za SD 1.5 čak i u izvornom obliku, bez korištenja posebno istreniranih kontrolnih točaka, jednostavne poruke sa stilovima — 'epic medieval fantasy landscape, in the style of Greg Rutkowski' — davale impresivne rezultate, SD 2.0 je prestala 'prepoznavati' imena najpoznatijih ilustratora, čija autorska prava na stvorena djela su i dalje aktualna i koji nisu odobrili korištenje tih djela za treniranje AI. Bilo je potrebno koristiti više riječi za opis željenog, a s predugim uputama model nije dobro funkcionirao.
Sjedi — ustani, sjedi — ustani
Kombinacija s promijenjenim koderačem (pretvaračem tekstualnih uputa u digitalne tokene, s kojima model već radi) onemogućila je entuzijastima primjenu imenovanih stilova, jednostavno im oduzevši motivaciju da sami unaprijede „dvojku“. Pa stvarno: ovdje je trebalo istovremeno rješavati i kako prilagoditi već razvijenu tehniku sastavljanja uputa novom koderaču, a i ponovno obučiti model da prepoznaje one slike i teme s kojima ga razvijatelji nisu upoznali tijekom prvotnog treniranja — a kvalitetna razlika od „polutorke“ koju generira „dvojka“ ipak nije bila zajamčena. Da, od standardne veličine 512×512 točaka za SD 1.5 došlo je do kvalitativnog skoka na 768×768, ali u to vrijeme zajednica je već široko primjenjivala upscalere, outpaintere i ostale alate za povećanje veličine konačne slike, tako da je SD 2.0, u suštini, prošla nezapaženo. SDXL (razvijen od strane OpenAI i korišten, između ostalog, u projektu DALL-E) — njegov kod je također otvoren, ali baza podataka na kojoj je treniran, , je proprietarna. Osim toga, standardna veličina platna povećana je za „Oversize“ na 1024×1024, plus je uveden cijeli niz dodatnih poboljšanja, — tako da su se entuzijasti s veseljem uhvatili u rad na njegovom unapređenju. I do sada se upravo SDXL (da, i manje zahtjevne nasljednice kao što su i ) mogu smatrati najpopularnijim AI-generatorom slika s otvorenim kodom. Ipak, strastveni zaljubljenici u SD 1.5 to argumentirano osporavaju, ističući da tako bitni alati kao što je ControlNet nisu adekvatno preneseni u SDXL .
I tako, od 12. lipnja 2024., od trenutka „slobodnog puštanja“ koda modela koji omogućava lokalne generacije, trebao bi nastupiti trenutak „otvorenog“ izdanja SD 3 — točnije, (SD3M ili SD3 2B) s 2 milijarde radnih parametara. Ovako, podsjetimo, taj broj odgovara ukupnom broju težina na ulazima svih perceptrona modela. Još ranije, u travnju, Stability AI je dotjerala i ponudila za komercijalnu upotrebu 8-milijunsku (po broju parametara) , također poznat kao SD3 8B. Kod SDXL 1.0, podsjećamo, — , međutim SD3M, prema tvrdnjama developera, predstavlja . Imalo se na umu da, uz manje potrebe za video memorijom u odnosu na «Oversize», čak bi i na jednostavne upite trebao davati slike «s novim nivoom fotorealističnosti». Među vrlinama «trojke» navedeni su također «neviđeni kvalitet tipografije generiranog teksta na slikama», «produbljeno razumijevanje upita zahvaljujući suradnji triju kodera» i «spremnost na učinkovito dodatno treniranje čak i na ograničenim skupovima podataka».
Očigledno se pretpostavljalo da će zajednica entuzijasta, dobivši novu dugo očekivanu igračku, s istim žarom raditi na njenom usavršavanju kao što su to činili s «polutorkom» i «Oversize» u svoje vreme. Međutim, od samog početka, sve je krenulo nizbrdo: SD3M je već u prvih nekoliko sati nakon objave modela na Hugging Face i Civitai svoju publiku, i to dvaput. Prvi put — neobjašnjivom na prvi pogled idiosinkrazijom prema upitima koji uključuju naizgled nevinu frazu «ležati na/v travi» (lying on/in the grass); drugi put — nevjerojatno nejasnim formulacijama u korisničkom ugovoru, s kojima se nisu mogli odmah snaći ni profesionalni pravnici. Iako se s gledišta običnog entuzijasta AI umjetnosti, to čini manje bitnim, na daljnji razvoj modela upravo će pravna strana pitanja imati najdirektniji utjecaj — sve do toga da možda neće biti nikakvog daljnjeg razvoja.
Prethodna djela Stable Diffusion s otvorenim kodom (točnije, s otvorenim vrijednostima težina neuronskih mreža, dostupnih za besplatno preuzimanje i kasnije lokalno izvršavanje), kao što je SDXL, bila su praćena jednim od tipičnih za generativne modele s takvim karakteristikama kao što su „neograničena, svjetska, neisključiva, besplatna, bezuvjetna, nepovlačna licenca na autorska prava za reprodukciju, pripremu, javnu demonstraciju, javno izvođenje, sublicenciranje i distribuciju dodatnih materijala kako same modele, tako i izvedenih od njih“. „Troika“ predviđa dvije vrste licenciranja: — s izrazima koji su prilično opuštajući poput „Stability AI vam daje neisključivu, svjetsku, neprenosivu, ne podložnu sublicenciranju, povlačivu, besplatnu i ograničenu licencu na intelektualnu svojinu“ — i .
Trava neće donijeti ništa dobro
Nakon vrlo kratkog vremena, zajednica se složila s tim da . I u suštini je objavila bojkot razvojnog poduzeća, ne želeći trošiti vrijeme i napore na daljnje treniranje otvoreno nedovršenog i loše refiniranog modela — sa spoznajom da Stability AI može u bilo kojem trenutku, iz najmanjeg hira svojih medijskih menadžera, povući licencu ranije izdanu određenom entuzijastu koji vrši takvo daljnje treniranje. Licencni ugovor je formuliran tako da se onima koji ga proučavaju, a nisu pravnici, stvara dojam da će, nakon povlačenja dozvole za komercijalnu upotrebu SD3M, bivši korisnik biti obavezan ukloniti sve što je stvorio kao izvedene radove od njemu licencirane intelektualne svojine, uključujući i same dodatno obučene modele (LoRA, tekstualne inverzije, cijeli checkpointi), kao i njihove izvedene (citat: „Upon termination of this Agreement, you shall delete and cease use of any Software Products or Derivative Works“) — tj. plodove rada drugih ljudi koji su koristili te izvedene modele kao polazišnu tačku za svoj vlastiti rad; a to je rađeno bez ikakve nadoknade, na čistom entuzijazmu.
Uskoro nakon što je val ogorčenja po tom pitanju dosegao stratosferske visine, počele su se pojavljivati poruke već od profesionalnih pravnika, I što se tiče recenzije s zabranom daljnje uporabe, ona bi trebala obuhvatiti samo određene pomoćne proizvode sa zatvorenim kodom koje će Stability AI dodijeliti komercijalnom korisniku (recimo, za ubrzanje i optimizaciju iste te predobuke SD3M), no konačna objašnjenja o tome kompanija još nije pružila. A sama činjenica tog teškog šutnje već tri tjedna (u trenutku pisanja ovog članka) od kad je 'trojka' postala dostupna javnosti, mnogo više šteti reputaciji developera nego trava - generiranim njegovim djelom djevojkama.
Što se tiče poznate trave, koja je doslovno u satima postala meme , a potom i praktički na svim više-manje relevantnim platformama na mreži, otkriveno je da prisutnost u sugeriranoj frazi poput 'djevojka leži na travi' dovodi do pojavljivanja u rezultatima 'trojke' ne samo halucinacija, već i noćnih mora bolesne - u medicinskom smislu - mašte umjetnika i filmskih stvaratelja specijaliziranih za body horror (zaklinjemo vas, ako vam je razum i život dragi, držite se dalje od ovoga i ne pokušavajte upisivati ovu frazu u prozor za pretraživanje slika s isključenim sigurnosnim filtrima). U međuvremenu, slike stojećih - a nešto manje sjedećih - ljudi 'trojka' uspijeva prikazati sa sigurnom četvorkom s pozitivom, dok portreti ponekad ispadnu bezgranično; barem ne lošije nego kod osnovnog modela SDXL 1.0, - a problem se očituje u nekom unutarnjem tabu na horizontalni položaj ljudskog tijela.
Sudeći prema komentaru Emada Mostaqua (Emad Mostaque), osnivača i bivšeg (do ožujka 2024.) čelnika Stability AI, koji je napustio kompaniju da bi , brutalno nasilje nad SD3M neposredno prije nego što su njezine težine otvorene za ograničenu nekomercijalnu uporabu (API veće verzije SD3 8B za online generaciju, podsjećamo, , ali njezine težine još uvijek ostaju skrivene) postalo je posljedica želje trenutnog vodstva za sigurnošću - , formuliranih još u ožujku ove godine kao . U okviru ove politike, korištenjem generativnog modela SD3M, korisnicima nije dopušteno "izvršavati, promovirati, olakšavati, poticati, planirati, poticati ili olakšavati daljnje nasilje, terorizam ili stvaranje sadržaja koji izaziva mržnju i koji diskriminira ili prijeti zaštitnoj grupi ljudi (bilo prema spolu, etničkoj pripadnosti, seksualnoj identitetu ili orijentaciji, religiji ili drugome)" — tako da nema slika panda koje se bore s ognjenim zmajevima! Isključivo mačke u smiješnim šeširima, psi u slatkim jaknama, boce s nepoznatim sadržajem i svježi kolačići iz pećnice!
Tehnički govoreći, moguće je da je ishod modela bio u tome da su iz skupa podataka za obuku jednostavno isključene slike ležećih ljudi i druge fotografije koje su nekako sugerirale nepristojnu interpretaciju, — i stoga sada "trojka" jednostavno "ne razumije" značenje riječi "ležati". Ili je ažurirana arhitektura SD3 omogućila dovoljno sigurno prepoznavanje težina na perceptronima koji se aktiviraju tijekom generiranja "nebezbjednih" slika, — i te težine su neposredno prije objave selektivno resetirane, čiji je nusprodukt postalo "prisilno haluciniranje". Vjerojatno, : kodirač ispravno prevodi tekst u tokene, ali u "osiguranom" latentnom prostoru ti tokeni više ne ukazuju na ništa konkretno, — i stoga se rezultantni pikseli raspoređuju na slici zapravo kako im se hoće.
Uzimajući u obzir dostupnost API-ja pune, ali zatvorene verzije modela SD3 8B već nekoliko mjeseci i strastvene tvrdnje medijskih menadžera Stability AI da će "kompaktificirana" 2B , entuzijasti za AI crtanje su s oduševljenjem dočekali objavljivanje težina SD3M 12. lipnja: . Trenutno je i dalje moguće doći do nje, iako je postupak nešto složeniji nego što je to uobičajeno za SDXL i SD 1.5 checkpointove. Naime, uobičajeni put je odlazak na stranicu Civitai, s koje većina modela može biti preuzeta bez registracije, no od 17. lipnja pa do trenutka kada je ovaj članak prešao u reviziju, stranica posvećena "trojki" tog sajta . A razlog je jednostavan: komercijalna licenca za SD3M napisane je tako nejasnim jezikom da su i pravnici Civitai uzeli vremena za detaljnije proučavanje. Ako entuzijast obučava LoRA za "trojku" na svom računalu i objavi je na Civitai, a Stability AI odluči da je rezultat neprimjeren, i povuče licencu od krivca, – kako se tada ponašati prema hosting sajtu? On ne samo da smještava checkpointove, pomoćne cikluse i modele, već i omogućava posjetiteljima mogućnosti za cloud generaciju slika i treniranje istih LoRA, tekstualnih inverzija i sl. Ukratko, dok trajete proces, može se preuzeti datoteke same verzije modela i tri prateća pretvarača teksta u tokene samo .
Hajdemo početi
Istina, postoji jedan detalj: da biste dobili pristup linkovima za preuzimanje, potrebno je prijaviti se na web stranicu, a zatim potvrditi prihvaćanje ranije spomenutog drakonskog licenciog ugovora – međutim, ovaj postupak je besplatan i sasvim dostupan iz Rusije. Na raspolaganju su četiri opcije modela (models) i četiri pretvarača tekstualnog upita u tokene (encoders), kao i tri referentna ciklusa za izvođenje u radnom okruženju ComfyUI, :
modeli:
- sd3_medium.safetensors
- sd3_medium_incl_clips.safetensors
- sd3_medium_incl_clips_t5xxlfp8.safetensors
- sd3_medium_incl_clips_t5xxlfp16.safetensors
kodirajući modeli:
- clip_g.safetensors
- clip_l.safetensors
- t5xxl_fp8_e4m3fn.safetensors
- t5xxl_fp16.safetensors
ciklus:
- sd3_medium_example_workflow_basic.json
- sd3_medium_example_workflow_multi_prompt.json
- sd3_medium_example_workflow_upscaling.json
U okviru ove 'Radionice' ograničićemo se na osnovni model sd3_medium.safetensors (4,2 GB), tri kodera — clip_g.safetensors (1,3 GB), clip_l.safetensors (234 MB) i t5xxl_fp8_e4m3fn.safetensors (4,7 GB), kao i na ciklogram sd3_medium_example_workflow_multi_prompt.json. Naša testna mašina ima grafičku karticu GeForce GTX 1070 s 8 GB video RAM-a, a veći modeli sa svim integriranim konverterima ne mogu stati u taj prostor. Čekpointi na bazi SD 1.5 i SDXL imaju koderima ugrađenim u glavni fajl, ali ovdje imamo ne dva, nego tri konvertera, ukupno oko 6 GB, što može dovesti do više od 10 GB s modelom; a ako se uzme 16-bitna verzija kodera T5XXL, biće potrebna još jača grafička kartica. U slučaju da se najpre učitaju konverteri teksta u tokene u video memoriju, a zatim model koji koristi te tokene, može se odlično proći i s 6 GB grafičkog adaptera. U tom smislu, modularna 'trojka' bez sumnje prednjači u odnosu na tipični SDXL čekpoint od 5-7 GB.
SD3M je model zasnovan na multimodalnim difuzijskim transformatorima () — i tako se suštinski razlikuje od ranijih razvojnih rješenja Stability AI (i ne samo njih), koja se oslanjaju na 'Radionica' nije mesto za dubinsko istraživanje razlika između ovih pristupa generaciji slika pomoću AI; recimo samo da , sposobnost rada s većim brojem tokena (što, zauzvrat, omogućava operateru formuliranje vrlo opširnih tekstualnih uputstava, a sistemu da prilično precizno prati iste), kao i bolje kvalitete konačnih slika. Puna veličina SD3 8B sposobna je generisati slike na platnu od 4 MP (2048×2048 piksela), kao i u svojim kategorijama, kao što su reprodukcija teksta u slici, tačnost usklađenosti dobijene slike s tekstualnom uputom i opšta vizualna estetika. Konverzija teksta u vektorske tokene ovde se vrši pomoću tri kodera ( i jedan T5-XXL — 'T5', usput, od ) — i, općenito gledajući, nisu dužni raditi s istim upitom.
Ali dosta uvoda: pozabavimo se tim čime se bavi „Radionica“ — generacijom slika temeljenih na modelu SD3M. Koristit ćemo radno okruženje ComfyUI, koje se može preuzeti . Naglašavamo da je ova opcija samo za rad na grafičkim adapterima NVIDIA ili izravno na CPU-ima AMD ili Intel (što će, naravno, biti znatno sporije): vlasnicima AMD grafičkih kartica rocm i pytorch, koje se mogu instalirati putem menadžera za preuzimanje pip.
Nakon dovršetka instalacije radnog okruženja, potrebno je smjestiti prethodno preuzete datoteke .safetensors: modele — u direktorij ComfyUImodelscheckpoints, a tekstualne pretvarače u ComfyUImodelsclip. I — možemo početi!
Vrijeme je za ubrzanje.
Vrijedi spomenuti da je AUTOMATIC1111, dobro poznato čitateljima prethodnih „Radionica“ o AI slikanju, do kraja lipnja također međutim, u ComfyUI podrška za novi model ostaje najpotpunija. Nije ni čudo — do nedavno je autor „tjesteninskog čudovišta“, poznat zajednici entuzijasta pod nadimkom ComfyAnonimous, ili jednostavno Comfy, gdje je radio, između ostalog, na internoj radnoj okolini koju koriste sami razvojni programeri. Kao što ćemo vidjeti malo kasnije, najnovija verzija ComfyUI doista svjedoči o tome da njen autor ima određene insajderske informacije o tome kako je ova kontroverzna modela uređena i kako funkcionira — insajderske informacije koje stvoritelji drugih radnih okruženja za lokalno izvođenje Stable Diffusion 3 Medium iz razumljivih razloga ne mogu imati.
Instalirati ComfyUI u prijenosnoj (portable) verziji za Windows izuzetno je jednostavno: nakon preuzimanja odgovarajućeg ZIP arhiva samo ga treba raspakirati u bilo kojem prikladnom katalogu; poželjno, naravno, na logičkoj particiji koja koristi SSD, a ne HDD – jer se očekuje značajnija razmjena između spremnika i memorije s obzirom na predstojeće cikluse učitavanja-izbacivanja modela, čak i za generiranje jedne jedine slike (okruženje prvo mora smjestiti pretvarače teksta u tokene u video OZU, zatim očistiti video memoriju i učitati samo SD3M) što je još više izraženo što manje video memorije ima ovaj računar. Usput, prijenosna instalacija je dobra i zbog svoje potpune neovisnosti: ništa – osim slobodnog prostora na logičkom disku – ne sprječava da se lokalno rasporedi koliko god kopija ComfyUI da se želi, kako bi se slobodno eksperimentiralo s različitim ekstenzijama, ne plašeći se da će se pokvariti već podešen i savršeno funkcionirajući sustav.
Potvrdivši da je datoteka osnovnog modela SD3M bez ugrađenih kodera teksta u tokene (datoteka stableDiffusion3SD3_sd3Medium.safetensors, 4,2 GB) smještena u poddirektorij checkpoints (u slučaju naše testne instalacije potpuni put je C:Fun-n-GamesComfyUI-SD3ComfyUImodelscheckpoints), a sve tri datoteke kodera (datoteke stableDiffusion3SD3_textEncoderClipG.safetensors, stableDiffusion3SD3_textEncoderClipL.safetensors i stableDiffusion3SD3_textEncoderT5E4m3fn.safetensors; 1,3 GB, 234 MB i 4,7 GB respektivno) – u poddirektorij clip (C:Fun-n-GamesComfyUI-SD3ComfyUImodelsclip), može se pokrenuti radno okruženje dvostrukim klikom na datoteku run_nvidia_gpu.bat u glavnoj mapi (u našem slučaju C:Fun-n-GamesComfyUI-SD3). Nakon pokretanja poslužitelja u prozoru naredbenog retka Windowsa automatski će se (to podrazumijevaju postavke BAT datoteke) otvoriti nova kartica u zadanom pregledniku, s dostupnim web sučeljem na adresi 127.0.0.1/8188. (neka bude samo u prvom približavanju) "tjesteninskog čudovišta."
U načelu, ako posjedujete noviju NVIDIA grafičku karticu (RTX serije, a ne GTX, čak i s 6 GB video RAM-a), možete odmah učitati referentnu ciklogramu autora ComfyAnonimous, o kojoj je već bilo riječi — datoteku comfy_example_workflows_sd3_medium_example_workflow_multi_prompt.json s više prozora za unos upita, po jednom za svaki od tri enkodera — i raditi s njom. Međutim, prvo ćete morati uskladiti četiri imena datoteka modela (u čvorovima za učitavanje) s onima koje imate. Autor referentne ciklograme očito je radio na svom radnom mjestu (u Stability AI, kao što je već spomenuto) s lokalno dostupnim datotekama koje su se zvale malo drugačije, tako da, ako pritisnete gumb „Queue Prompt“ u spartanskom sučelju ComfyUI odmah nakon učitavanja ciklograme, radno okruženje će prikazati poruku o grešci.
Trostruko polje za AI-generaciju
Ipak, to nije teško popraviti: mnogo više frustrira činjenica da zastarjela GTX 1070 koju imamo nevjerojatno sporo obrađuje SD3M — generacija slike traje 27-30 sekundi po iteraciji, a ako se uzme u obzir da je parametar „Steps“ u referentnoj ciklogrami postavljen na vrijednost „28“, vrijeme se neprimjereno troši. Stoga ćemo provesti malu optimizaciju — iskoristit ćemo Python modul venv (, „virtualna okruženja“), koji je posebno osmišljen da ubrza rad generativnih AI modela. U paketu prijenosne verzije ComfyUI on nije uključen, , što se na kraju svodi na postavljanje punog Python okruženja na lokalnom računalu — i aktivaciju potrebnog modula iz tog okruženja.
Nadamo se da naši čitatelji koji prate „Radionice“ već imaju aktivnu radnu instalaciju AUTOMATIC1111 na svojim računalima. U tom slučaju, sve je znatno jednostavnije: modul venv je već postavljen, i sve što trebate učiniti da ga aktivirate pri pokretanju radnog okruženja ComfyUI je . Prvo treba završiti rad poslužitelja prelaskom na njegovo prozorsko okno i pritiskanjem „Ctrl“ + „C“, a zatim unijeti „y“ za potvrdu; nakon toga kopirati BAT datoteku run_nvidia_gpu.bat u novu, imenom, recimo, run_with_venv.bat. Izvorna datoteka za pokretanje je prilično sažeta — jednostavno poziva portabilnu verziju Pythona s parametrima —windows-standalone-build:
.python_embededpython.exe -s ComfyUImain.py —windows-standalone-build
pause
Ovaj parametar sam po sebi nije pretjerano očigledan — podrazumijeva određene optimizacije, koje su vjerojatno namijenjene novijim NVIDIA grafičkim karticama i stoga mogu pogoršati rad onih koji i dalje ostaju vjerni svojim zaslužnim GTX karticama. Iz tog razloga, uklonit ćemo —windows-standalone-build iz komandne linije, a istovremeno ćemo se odreći i druge modernizacije — aktivnog po defaultu „pametnog upravitelja memorije“, smart memory, koji , ne otpuštajući ih. To zaista ubrzava generiranje AI slika, međutim, zajedno s tim pretvara naš moralno zastarjeli računalni sustav u jednosmjerni sustav — ne može se istovremeno baviti web pregledavanjem, igranjem, pa čak ni radom s dokumentima i e-poštom paralelno s aktivnošću radnog okruženja. Tako da za one koji nemaju posvećen računalni sustav za AI umjetnost, optimalni pristup predstavlja ovakav BAT datoteku za pokretanje ComfyUI (ne samo za generaciju slika s SD3M, usput budi rečeno — i za SDXL također može poslužiti):
@echo off
call cd C:Fun-n-GamesGitstable-diffusion-webuivenvScripts
echo %
call activate.bat
echo venv aktiviran
call cd C:Fun-n-GamesComfyUI-SD3
echo %
call .python_embededpython.exe -s ComfyUImain.py —disable-smart-memory
pause
Ovdje se pretpostavlja da je portabilna instalacija ComfyUI obavljena u direktoriju C:Fun-n-GamesComfyUI-SD3, a AUTOMATIC1111 ranije instalirana u C:Fun-n-GamesGitstable-diffusion-webui . Brojni „echo“ su potrebni samo za vizualnu kontrolu da se promjena direktorija odvija normalno i da se potrebne komande izvršavaju, — nakon što sve bude ispravno podešeno, mogu se ukloniti iz BAT datoteke.
Ponovno pokrećemo radno okruženje, ovaj put dvostrukim klikom na run_with_venv.bat. Budući da smo prethodno samo zatvorili server, a web sučelje nismo dirali, na odgovarajućoj kartici bi trebala ostati ta ista referentna ciklograma ComfyUI sa ispravljenim nazivima modela. Obratimo pažnju na desnu stranu: tamo se nalazi čvor „Preview Image“, koji ne sprema gotovu sliku na disk, već je samo prikazuje. Ako iznova pokrećemo ciklogramu za generiranje isključivo jedne slike, vizualno je procjenjujemo, nešto mijenjamo u parametrima, ponovo pokrećemo — to je sasvim funkcionalna opcija: sviđenu sliku možemo uvijek ručno spremiti desnim klikom. No, ako se u radnom okruženju provodi mnogo generacija uzastopno, bolje bi bilo da se njihovi rezultati automatski pohranjuju u trajnu memoriju (u mapi ComfyUIoutput po defaultu).
Stoga je bolje odmah zamijeniti čvor „Preview Image“ s „Save Image“. Za to dvostruko kliknemo lijevim gumbom miša na bilo kojem slobodnom dijelu ciklograme — otvorit će se prozor za odabir čvorova s trakom za pretraživanje. U toj traci počinjemo upisivati „Save…“ — i gotovo odmah ćemo vidjeti traženi naziv. Zatim ostaje samo kliknuti na njega i spojiti ulaz novog čvora na izlaz „IMAGE“ čvora „VAE Decode“, na koji je izvorno bio spojen „Preview Image“. Sam „Preview Image“ možemo potom ukloniti — jednostavno ga označimo klikom na naslov i pritisnemo tipku „Del“ na tipkovnici.
I sada — pravo je vrijeme pokrenuti referentnu ciklogramu autora ComfyAnonimous (s našim skromnim ispravkama) na izvršenje. Rezultat je sljedeći:
Izvrsna slika, čak i s ambijentom — i ne bi se reklo da je stvorena uz pomoć istog modela koji u potpunosti zbunjuje upute za crtanje ljudi ležećih na travi. U isto vrijeme, sustav radi prilično brzo — otprilike 5-6 s po iteraciji za sliku veličine 1 MP na GTX 1070 može se smatrati pristojnim rezultatom. Za usporedbu: taj isti PC u istoj ComfyUI s istim BAT datotekom generira SDXL slike sličnih veličina, trošeći otprilike 6-7 s na svaku iteraciju, tako da se „trojka“ može smatrati manje zahtjevnom prema hardveru PC-a na kojem se vrši AI generacija.
Sada ćemo prilagoditi dimenzije platna. U blizini čvora „EmptySD3LatentImage“, koji ih postavlja, nalazi se „prazni“ (tj. nije povezan ni s čim) referentni čvor „Note“, u kojem se nalazi važno upozorenje: ukupna površina slike u slučaju SD3M treba biti oko 1 MPix, a prema tome treba odabrati dimenzije stranica pravokutnog platna. Postavit ćemo ih na 1344×768 — to je otprilike 1,03 MPix.
Obratite pažnju: iznad se nalazi čvor „Seed“, gdje je postavljen izvorni uzorak, u ovom slučaju „945512652412924“, i navedeno je da se nakon generiranja ne smije mijenjati (parametar „fixed“).
Izvršit ćemo istu ciklogramu s prethodnim uzorkom, ali sada za pravokutno platno. Odmah postaje primjetno da ukupno vrijeme izvođenja traje manje, iako je brzina crtanja ostala ista — manje od 6 sekundi po iteraciji. To je logično: budući da se tekstualne upute nisu mijenjale, ne treba ponovo učitavati kodere. Slika na izlazu, naravno, donekle se razlikuje od prve, kvadratne, ali nije od suštinskog značaja — opća kompozicija, kao što se i očekivalo, ostala je sačuvana.
Sada obratimo pažnju na čvorove „CLIPTextEncodeSD3“ i „CLIP Text Encode (Negative Prompt)“. Prvi se ističe po tome što sadrži tri uljna polja; ako uklonite tekst iz njih, postat će vidljive oznake za koje su kodere namijenjene — od vrha prema dnu to su CLIP G, CLIP L i T5XXL. Prije ovakvih čvorova u ComfyUI nije bilo iz očitih razloga. Osnovni ciklogram sadrži duplicirane kratke upute za prva dva tekstualna polja (za konvertere CLIP G i CLIP L) i znatno dužu za treće — T5XXL. Jasno je da sadržaj ovih polja može značajno varirati, a samo istraživanje u kojoj mjeri promjena teksta u njima utječe na konačnu sliku predstavlja ne trivijalan, ali iznimno zanimljiv zadatak. Ipak, iz razloga koji će ubrzo postati jasni, nećemo se posvetiti njemu neposredno.
Međutim, u čvoru „CLIP Text Encode (Negative Prompt)“ nema ništa posebno — no procijenite koliko je složen put od njega do odgovarajućeg ulaza „conditioning“ glavnog čvora „KSampler“! Ovaj put se razdvaja, pri čemu jedna od njegovih grana (gornja u ovom slučaju) pokazuje da od 10% koraka generacije i do njenog završetka sustav uopće neće uzeti u obzir negativnu poruku (prolazak kroz čvor „ConditioningZeroOut“ upravo znači poništavanje uvjeta). Dok druga grana propušta negativnu poruku (također uvjetno s polovičnom težinom) u daljnju obradu bez promjena — ali samo na prvih 10% od ukupnog broja koraka generacije.
Maglovita daljina
Još jednom: prvih 10%, tj. 3 od 28 dodijeljenih koraka generacije, negativna poruka se prenosi u čvor „KSampler“, koji se bavi formiranjem slike u latentnom prostoru (u prostor piksela, tj. u ljudski razumljivu sliku, rezultat njenog izlaza prevodi naredni čvor, „VAE Decoder“), na normalan način: gornja grana (s poništavanjem uvjeta) nije aktivna, radi samo donja. Preostalih 90% koraka (25 od 28 u našem slučaju) negativna poruka ne djeluje uopće: aktivna je upravo gornja grana prijenosa uvjeta — s njihovim poništavanjem, — a kretanje po donjoj je blokirano graničnom parametrizacijom djelovanja odgovarajućeg čvora „ConditioningSetTimestepRange“. Sada je jasno zašto neki recenzenti tvrde da , — efekt od njih (ako se razmatra baš ovaj, referentni, ciklogram i pretpostavlja da na stranicama s online generacijom prema modelu SD3 Medium vrijede slična pravila) je minimalan.
I ipak postoji: ako jednostavno povežete izlaz čvora «CLIP Text Encode (Negative Prompt)» s odgovarajućim ulazom «KSampler» (ili označite sve međučvorove s uvjetima na tom putu kao «preskočene», «Bypass», što će imati isti učinak), kvaliteta konačne slike će se znatno pogoršati. Ovo se, inače, može smatrati kao neizravni dokaz «nepečenosti» SD3M, budući da bi programeri trebali biti u mogućnosti regulirati snagu i značaj negativne poruke prije nego što su težine modela objavljene javnosti. Dvije grane pametno postavljenih uvjeta primjene negativne poruke — svojevrsna zakrpa, i u tom smislu očekivanja koja su bila pompezno postavljena od strane marketinškog odjela Stability AI u njenu korist, izgledaju sasvim opravdano.
Nedostatak barem kratkog službenog priručnika za rad sa SD3M doveo je do toga da su internetom već prošle glasine da ovu model . Što, naravno, nije točno, ali u svakom slučaju, ove poruke treba primijeniti na drugačiji način . Naime, entuzijasti ozbiljno tvrde da dodavanje detaljnih opisa što većeg broja nepristojnosti u negativno polje (da, da, starog dobrog «nsfw, nude» nije dovoljno — morat ćete stvarno naprezati maštu) čak i proklate djevojke koja leži na travi. Da li je tako ili nije — ne može se otkriti bez pažljivog provjeravanja (pritom, nije ni sigurno da će čak i oznaka «18+» na vrhu naše web stranice zaštititi izdanje od tužbi ljutitih branitelja morala, ako riskiramo objaviti entuzijastima sastavljenu «čudo-poruku» — iako je na engleskom). Ova zanimljiva situacija podsjeća na slučaj s , zahvaljujući kojima — upravo zato što su sadržavale prilično detaljne opise toga što i kako ne bi trebali raditi pošteni kršćani — do nas su došle barem fragmentarne pisane svjedočanstva o vjerovanjima i običajima predkršćanske Rusije.
Sada, nadamo se, postalo je jasnije zašto se produbljivati u proučavanje SD3M u ovoj fazi čini kao ne baš razumna potrošnja snage i vremena. Tu zaista ima mnogo toga za raspraviti i istražiti: i najočitije preporučeni parametri generiranja u čvoru "KSampler" (CFG - 4,5-5,0; broj koraka - oko 28; par sampler/scheduler - isključivo dpmpp_2m/sgm_uniform, inače kvaliteta isporuke značajno opada); i izrazito značajan raspon subjektivne kvalitete generacija pri strogo istim početnim parametrima, ali s različitim uzorcima; i oslobađanje od famozne "kletve ležanja u/nad travom" (za što su već ); i, zapravo, utvrđivanje koji od tri pretvornika teksta u tokene utječe na koje točno parametre generiranja — i kako, koristeći ih, postići dobijanje pravih remek-djela Umjetničke AI (ako je to moguće s "trojkom" uopće, naravno).
Tym više što je smjena Emada Mostaka u ožujku i ComfyAnonimousa u lipnju, , — nije jedina neugodnost koja je zadesila Stability AI. Kako javlja Reuters pozivajući se na The Information, ovaj britanski start-up je doslovno tek sada (u trenutku pisanja ovog članka) ponovno kojim je postao Prem Akkaraju, čovjek iz poznate globalne grupe IT-investitora — a oni su, zauzvrat, spremni uložiti značajnu svotu novca (). Sam položaj Stability AI kao poslovne strukture danas je otvoreno nestabilan; mnogi razočarani — i u takvoj situaciji teško je očekivati od tvrtke promišljeni rad čak i na tako očitim greškama.
Neprilagođena licencna politika, nažalost, odvraća zajednicu od samostalnog usavršavanja SD3M, kao što je to bio slučaj sa SD 1.5 i SDXL. Bar su izvođački checkpointi i alati poput LoRA za posljednje dvije verzije zagarantovano dostupni za lokalno korištenje, čak i kada (i ako) Stability AI završi svoj put kao komercijalna struktura. Odmah nakon poraznog neuspjeha 'trojke', na specijaliziranim forumima na mreži su se sve više čuli glasovi u podršku stvaranju neprofitnog projekta za razvoj generativnog modela za pretvaranje teksta u slike na osnovu crowdfunding-a, — i do danas se ovaj pokret počinje oblikovati pod imenom . O spremnosti da se aktivno pridruže već su izjavili Invoke (jedna od platformi za online AI generaciju, usmjerena na profesionalne studije), Comfy Org (tim koji se bavi podrškom i razvojem ComfyUI), Civitai (koji ne treba predstavljanje) i tim koji stoji iza LAION-a (baze anotiranih slika, na kojoj se u velikoj mjeri treniraju ovakvi modeli).
Dakle, u vidljivoj budućnosti novi izdanja 'Radionice' će, najvjerovatnije, biti usmjereni na rad s modelima za koje je zajednica već uspela stvoriti širok spektar poboljšanja i dodatnih alata, — na 'polutorku' i 'Oversize'. Možda vrijeme trijumfa SD3M još dolazi, — ali danas je teško čak i pretpostaviti kada to tačno. A dok nas zanimaju, mogu preuzeti arhiv s generacijama SD3M navedenim u ovom članku (ciklogrami su integrisani direktno u PNG datoteke; dovoljno je povući sliku na radno polje ComfyUI iz 'Explorera' Windows-a kako bi se ponovila cijela procedura i parametri generacije) . Možda će netko od naših čitatelja uspjeti ranije od stalnih korisnika Reddit-a i Hugging Face-a otkriti optimalan način raspodjele teksta u tri polja upute, na primjer?
Materijali o temi:
.
.
.
.
.
Izvor: 3dnews.ru
