🥇Uus artikkel: Praktikum AI-joonistamises, osa üheksas: SD3M — «kolm» kolme kohta

Naljakas, kuidas avatud mudelite väljalaskmise ajalugu, mille on välja töötanud ja treeninud ettevõte Stability AI, sarnaneb järjestikuste Microsofti operatsioonisüsteemide tõusude ja langustega. Pärast legendaarset ja edukat XP-d, meenutame, ilmus probleemne Vista; siis kaunis «seitsmes» — ja selle järel viljatuks osutunud Windows 8. Stable Diffusioni esialgu ebaühtlane, kuid entusiastide kätega kohendatud versioon 1.5 järgnes avameelselt ebaõnnestunud SD 2.0-le — ebaõnnestunud, kuna see sisaldas ebatüüpilist selliste mudelite jaoks OpenCLIP kooderijat, mis on treenitud väga kaheldavalt valitud piltidel API-s avatud LAION-5B andmestikul. Selle valiku käigus kõrvaldati mitte ainult sobimatud (NSFW) visuaalsed viidatud, vaid ka teosed ja illustratsioonid tuntud kunstnikelt, nagu tuntud Greg Rutkowski. Just viimane ajendas entusiaste pettuma: kui SD 1.5 puhul isegi algversioonis, ilma eriharitud kontrollpunktideta, töötasid lihtsalt stiilide suunised - „epic mediefal fantasy landscape, in the style of Greg Rutkowski” - ja tulemus oli muljetavaldav, siis SD 2.0 ei hakanud enam

Uus artikkel: AI-joonistamise praktikum, osa üheksa: SD3M — "kolm" kolme asja kohta

⇡#istunud — tõusnud, istunud — tõusnud

Muudetud kooderiga (tekstimärguande digitaalseteks tokeniteks muundamiseks, millega mudel hiljem töötab) ei olnud võimalik kasutada nimetatud stiile, mis lihtsalt võttis entusiasmidelt motivatsiooni "kahe" täiustamiseks oma kätega. Tõepoolest: siin tuli korraga tegeleda ka sellega, kuidas kohandada juba töötavat näpunäidete koostamise tehnikat uue koodriga ning edasi koolitada mudelit nende piltide ja teemade tuvastamiseks, millega loojad esialgsel treeningperioodil teda ei tutvustanud — ja kvaliteedierinevust "poolteise" genereeritud piltide vahel ei garanteerinud. Jah, standardse SD 1.5 suurusega 512×512 punkte toimus kvaliteedihüpe 768×768, kuid selleks ajaks kasutas kogukond juba aktiivselt suurendajaid, outpaintereid ja muud tööriista pildi lõppsuure suurendamiseks, nii et SD 2.0 läks suuresti märkamatuks. SDXL naasis standardse (OpenAI poolt välja töötatud ja mida rakendab muu hulgas DALL-E projekt) kooder CLIP — selle kood on samuti avatud, kuid andmebaas, mille peal see on treenitud, erinevalt OpenCLIPist, on proprietary. Lisaks on «Oversized» standardse lõuendi suurus kasvanud 1024×1024 juurde, pluss on ilmunud terve rida täiendavaid täiustusi, — nii et entusiasmid asusid rõõmuga selle täiustamisega tegelema. Ja tänaseks peetakse SDXL-i (ka tema hiljuti ilmunud vähem nõudlikud "rahatükid", nagu SDXL Turbo ja SDXL Lightning) tõeliselt populaarseks avatud lähtekoodiga pildigeneraatoriks. Siiski vaieldavad SD 1.5 innukad toetajad sellega argumenteeritult, väites, et sellised olulised tööriistad nagu ControlNet ei ole SDXL-is veel korralikult üle viidud.

Ja nii on alates 12. juunist 2024, mil mudeli kood "vabastatakse loodusesse", mis võimaldab kohalikke genereerimisi, pidanud saabuma "avatud" versioon SD 3 — täpsemalt öeldes, Stable Diffusion 3 Medium (SD3M või SD3 2B) koos 2 miljardi tööparameetriga. Üksikasjalikult, meenutame, vastab see number kõigi mudeli perceptronite sisendite kogusummale. Veel varem, aprillis, viis Stability AI liikuma 8-miljoni (parameetrite arvu järgi) täiustatud Stable Diffusion 3 Large, samuti SD3 8B. SDXL 1.0 puhul, meenutame, on 3,5 miljardit parameetrit, kuid SD3M, arendajate väidete kohaselt, on «kõige keerukam mudel piltide genereerimiseks, mida me oleme seni loonud». Tähendatud oli, et madalamate videomälu vajadustega, kui «Oversize», peab see isegi lihtsatele vihjetele vastates näitama pilte «uue fotorealistlikkuse tasemega». «Kolmiku» eeliste hulka kuulusid ka «enneolematu kvaliteet genereeritud piltidel olevas tüpograafias», «sügavam arusaam vihjetest tänu kolme kodeerija koostööle» ja «valmidus tõhusaks fine-tuning'iks isegi piiratud andmekogudel».

Oletati, et entusiastide kogukond, saades endale pikaoodatud mänguasja, asub seda sama innukalt parandama nagu «poolteist» ja «Oversize» omal ajal. Kuid algusest peale läks kõik valesti: SD3M suutis esimestel tundidel pärast mudeli failide avaldamist Hugging Face'is ja Civitai's süüdistada sügavale pettumusele oma publikule, ja seda kahel korral. Esimene kord — esmapilgul seletamatu idiosünkraatia vihjete suhtes, mis sisaldavad süütut lauset «lamades rohul» (lying on/in the grass); teine — ülihämarad sõnastused kasutajatingimustes, milles isegi professionaalsed juristid ei suutnud kohe aru saada. Ja kuigi tavalise entusiasti silmis tundub viimane tühine, mõjutab mudeli edasine areng kõige otsesemas mõttes just seaduslikku külge küsimusest — isegi nii kaugele, et areng ei pruugi üldse järgneda.

Eelnevad Stable Diffusion'i avatud lähtekoodiga loometeosed (täpsemalt, avatud närvivõrgumasside väärtused, mis on tasuta allalaadimiseks ja hilisemaks kohapealseks täitmiseks saadaval), nagu SDXL, olid seotud ühe tüüpilise generatiivsete mudelitega CreativeML Open RAIL++-M License selliste omadustega nagu „piiramatu, globaalne, mitteeksklusiivne, tasuta, kompensatsioonita, tagasivõetamatu autoriõiguse litsents, mis võimaldab paljundamist, ettevalmistamist, avalikku esitlust, alaliselt luba andmist ja täiendavate materjalide jagamist nii mudeli kui ka sellest tuletatud materjalide osas“. „Kolmik“ eeldab aga kahte litsentseerimise varianti: mittekommertsiaalset kasutamist — väga vabastavate sõnastustega, nagu „Stability AI annab teile mitteeksklusiivse, globaalse, mitteülekantava, alaliselt tagasivõetava, tasuta ja piiratud litsentsi intellektuaalomandi osas“ — ja oluliselt koormavama kaubandusliku.

⇡#Rohtu ei tooda head

Vahed, mis ei kesta kaua, leiti, et Stable Diffusion 3 ei ole Open Source. Ja sisuliselt kuulutas ta välja boikoti arendajafirmale, soovimata raisata aega ja energiat liialt toore ja vigase mudeli edasiõppimisele — teades, et Stability AI võib igal ajal oma meediajuhtide kapriisi tõttu tagasi võtta varasemalt konkreetsele entusiastile antud litsentsi, kes teostas selle edasiõpiku. Litsentsileping on sõnastatud nii, et mittejuristide jaoks tekib mulje, nagu oleks SD3M kaubandusliku kasutamise loa tagasivõtmise järel endine saaja kohustatud kustutama kõik loodud tuletised litsentsitud intellektuaalomandist, sealhulgas nii edasiõppinud mudelid (LoRA, tekstilised vastandid, täiskohustused) kui ka nende tuletised (tsitaat: „Selle lepingu lõppemisel peate kustutama ja lõpetama igasuguste tarkvara toodete või tuletatud tööde kasutamise“) — st teised inimesed, kes on kasutanud neid tuletatud mudeleid oma töö aluseks; eriti mitte kellegi poolt tasustatud, puhtal entusiasmial.

Peagi pärast seda, kui rahulolematuse laine jõudis stratosfääriliselt kõrgustesse, hakkasid ilmuma teated ametlikelt advokaatidelt, et ei ole kõik nii halb Ja, ja on oluline, et ülevaade kasutuskeelust puudutaks vaid mõningaid abitooteid, mille sulgudega kood Stability AI edastab kaubanduslikule kasutajale (ütleme, SD3M-i treenimise kiirendamiseks ja optimeerimiseks), kuid ettevõte pole veel selgitanud, mis see täpselt tähendab. Lisaks, see, et ettevõte on kolm nädalat hoidnud vaiki (kui vaadata käesoleva artikli kirjutamise hetke), alates «kolmiku» avalikustamisest, kahandab arendaja mainet oluliselt enam kui loodud algoritmi genereeritud tüdrukud.

Mis puutub kuulsa muruni, mis on mõne tunni jooksul muutunud meemiks esialgu Hugging Face-is, ja peaaegu kõigil teistel sarnastel platvormidel Internetis, siis selgus, et sõna „a girl lying on the grass” sisestamine viib «kolmiku» väljundis mitte lihtsalt hallutsinatsioonide, vaid ka õudsete ja haige - meditsiinilises mõttes - kunstnike ja filmitegijate kujutiste ilmumiseni, kes spetsialiseeruvad body horror'ile (palume, kui teie mõistus ja elu on teile kallid, hoiduge sellisest kaugel ja ärge proovige neid fraase pildiga otsingusse trükkida, kui turvafilter on välja lülitatud). Samuti saavutavad seisev - ja pisut vähem istuv - inimeste vaated «kolmikust» kindla nelja plussiga, samas kui portreed on mõnikord täiesti veatud; vähemalt pole nad halvemad kui põhiversiooni SDXL 1.0 omad, takistus peitub pigem mingis sisemises tabu inimese keha horisontaalse asendi suhtes.

Vastavalt Emad Mostaque'i kommentaarile, Stability AI asutajale ja endisele (enne märtsi 2024) juhile, kes lahkus ettevõttest, et „tegeleda detsentraliseeritud tehisintellekti projektidega”, SD3M-iga toimuv bruto vägivald, vahetult enne selle avamist piiratud mittekaubanduslikuks kasutamiseks (meenutame, et API suurema SD3 8B mudeli online genereerimiseks, on saadaval partnerite saitide kaudu juba aprillist, kuid selle kaalu on endiselt peidetud), tuleneb praeguse juhtkonna soovist tagada ohutus - „seoses regulatiivsete kohustustega”, mis formuleeriti juba käesoleva aasta märtsis kui Aktseptitav Kasutuspoliitika. Just in the framework of this policy using the generative model SD3M, users are prohibited from "committing, promoting, facilitating, encouraging, planning, inciting, or contributing to further violence, terrorism, or creating content that incites hatred, which discriminates against or threatens a protected group of people (whether based on gender, ethnicity, sexual identity or orientation, religion, etc.)" — so no images of pandas in their natural state fighting rabid dragons! Only cats in funny hats, dogs in cute jackets, bottles with unknown contents, and fresh cookies right out of the oven!

Technically speaking, it seems that the dilution of the model involved simply excluding images of people lying down and other pictures that somehow implied indecent interpretations from the training dataset — and for this reason, the "three" simply "doesn't understand" the meaning of the word "lie down." Alternatively, the updated SD3 architecture has allowed for confident identification of weights on perceptrons that activate during the generation of "unsafe" images — and these weights were selectively zeroed right before the release, a side effect of which was the "forced hallucination." Probably, this can already be compared to a lobotomy: the encoder correctly translates text into tokens, but in the "secured" latent space, these tokens no longer refer to anything specific — and therefore the resulting pixels are arranged on the image somewhat haphazardly.

Given the availability of a full but closed SD3 8B API for several months now and the enthusiastic assurances from media managers at Stability AI that the "compactified" 2B will be almost the same in terms of text perception and image generation quality,AI drawing enthusiasts welcomed the public release of the weights for SD3M on June 12 with great enthusiasm: in the first 24 hours, the model was downloaded 2.7 million times. Sel hetkel on seda siiski võimalik saada, ehkki veidi keerulisema tee kaudu, kui on tavaline SDXL ja SD 1.5 kontrollpunktide puhul. Tegelikult on tavapärane tee Civitai veebisaidi poole pöörduda, kust enamus mudeleid laaditakse alla ilma registreerimiseta, kuid alates 17. juunist ja kuni käesoleva artikli tõlkimiseni on selle saidi „kolmiku” leht ajutises keelus. Ja põhjus on üks: SD3M kaubanduslik litsents on kirjutatud nii segaselt, et isegi Civitai juristid võtsid pausi, et seda tähelepanelikumalt uurida. Kui mõni entusiasmist treenib oma arvutis LoRA „kolmikule” ja paneb selle Civitai'sse üles, ja Stability AI otsustab, et tulemus on sobimatu ning tühistab süüdlase litsentsi, - kuidas sellisel juhul hostimisveebile käituda? Ta ei paigalda lihtsalt oma kontrollpunkte, abitsükleid ja mudeleid, vaid pakub ka külastajatele võimalust nii pilte pilve genereerida kui ka samu LoRA-sid, tekstipõhiseid inversioone jne treenida. Üldiselt, seni kuni asi kohtus, on modelleid ja kolme neile kaasasolevat tekstiparandajat võimalik saada ainult oma Stability AI lehelt Hugging Face portaalis.

⇡#Hakkame minema

Kuid on nüanss: et laadimislinkidele juurde pääseda, on vajalik veebisaidil autentimine ja seejärel nimetatud eelnevalt mainitud raske litsentsilepinguga nõustumise kinnitamine - siiski on see protseduur tasuta ja Venemaalt täiesti ligipääsetav. Kokku on valimiseks neli variant mudelit (models) ja neli - tekstiparandajaid (encoders), lisaks kolm standardset töötsükki ComfyUI keskkonnas teostamiseks, millest oleme millalgi juba rääkinud:

mudelid:

sd3_medium.safetensors
sd3_medium_incl_clips.safetensors
sd3_medium_incl_clips_t5xxlfp8.safetensors
sd3_medium_incl_clips_t5xxlfp16.safetensors

kodeerijad:

clip_g.safetensors
clip_l.safetensors
t5xxl_fp8_e4m3fn.safetensors
t5xxl_fp16.safetensors

tsükloid:

sd3_medium_example_workflow_basic.json
sd3_medium_example_workflow_multi_prompt.json
sd3_medium_example_workflow_upscaling.json

Käesolevas „Töötubas” piirdume põhiversiooni sd3_medium.safetensors (4,2 GB) kasutamisega, kolme kodeerijaga — clip_g.safetensors (1,3 GB), clip_l.safetensors (234 MB) ja t5xxl_fp8_e4m3fn.safetensors (4,7 GB), samuti tsükloogrammiga sd3_medium_example_workflow_multi_prompt.json. Fakt on see, et meie testmasinal on, meenutamiseks, graafikakaart GeForce GTX 1070, millel on 8 GB videomälu, ja sellesse mahtu ei pruugi mahtuda suuremad mudelid koos kõigi integreeritud muundajatega. SD 1.5 ja SDXL põhipunktide puhul on kodeerijad vaikimisi integreeritud põhifaili, kuid antud juhul on neid muundajaid mitte kaks, vaid kolm, kokku üle 6 GB — koos ise mudeliga ületab see juba 10 GB; ja kui võtta 16-bitine versioon kodeerijast T5XXL, siis on vaja veelgi jõulisemat graafikakaarti. Kuid juhul, kui esmalt laaditakse videomälu tekstist tokeniteks muundajad ja seejärel töötleb mudel neid tokene, on täiesti piisav ka 6 GB graafikakaardist. Selle vaatenurgast modularne „kolmik” on kahtlemata parem tüüpilisest SDXL põhipunktist, mis on 5-7 GB suurune.

SD3M on multimodaalsete difusioonitransformaatide (Multimodal Diffusion Transformer, MMDiT) alusel töötav mudel — ja seega eristub see põhimõtteliselt varasemate Stability AI (ja mitte ainult tema) arenduste seast, mis põhinevad arhitektuuril U-Net, mis on esitatud juba 2015. aastal. „Töötuba” ei ole koht, kus süveneda sügavale nende lähenemiste vaheliste erinevuste uurimisse pildi AI genereerimisel; öelda tuleb vaid, et MMDiT tagab suurema mudeli jõudluse, selle võime töötada suurema arvu tokenitega (mis omakorda võimaldab operaatoril sõnastada üsna ulatuslikke tekstilisi vihjed ning süsteemil – neist piisavalt täpselt kinni pidada), aga ka parema kvaliteedi lõppkokkuvõttes saadud piltide osas. Täismõõtuline SD3 8B suudab genereerida pilte 4 MP (2048×2048 punkti) lõuenditel ja ületab DALL-E 3, Midjourney v6 ja Ideogram v1 nendes kategooriates, nagu teksti rekonstrueerimine pildil, saadud pildi täpsus tekstivihje suhtes ja üldine visuaalne esteetika. Teksti muundamine tokenite vektoriteks toimub siin kohe kolme kodeerijaga (kaks CLIP mudelit ja üks T5-XXL — „T5”, muide, on Text-To-Text Transfer Transformer) — ja, üleüldiselt, nad ei pea töötama sama vihjega.

Aga piisavalt eessõnu: läheme sellele, milleks "Töötuba" on pühendatud — piltide genereerimisele SD3M mudeli alusel. Kasutame selleks, nagu juba öeldud, ComfyUI töökeskkonda, mille saab alla laadida otsemingist GitHubist. Tõstame esile, et see variant on mõeldud ainult NVIDIA graafikakaartide jaoks või otse AMD või Intel protsessorite käivitamiseks (mis on loomulikult oluliselt aeglasem): AMD graafikakaardi omanikud peavad kasutama tööriista pakettide rocm ja pytorch, mis on installitavad pip allalaadimismanajeri kaudu.

Pärast töökeskkonna installimist tuleb varem alla laetud .safetensors failid paigutada: mudelid — ComfyUImodelscheckpoints katalooge, teksti tokenite konverterid — ComfyUImodelsclip. Ja — saame alustada!

⇡#Aeg kiirusel edasi liikuda

Tasub mainida, et AUTOMATIC1111, mis on hästi tuttav varasemate "Töötubade" lugejatele, mis käsitlesid AI-piltide genereerimist, on juuni lõpuks samuti saavutanud võimaluse teostada SD3M, kuid ComfyUI tugi uuele mudelile on endiselt kõige ulatuslikum. Pole üllatav — kuni üsna hiljuti oli "makaronide koletise" autor, tuntud entusiastide seas nimega ComfyAnonimous, või lihtsalt Comfy, Stability AI töötaja, kus ta töötas muu hulgas ka sise-ettevõtte töökeskkonna kallal, mida kasutavad arendajad ise. Nagu me peagi näha saame, näitab ComfyUI uusim versioon tõepoolest, et selle autori käes on teatud teadmised selle vastuolulise mudeli toimimise ja ülesehituse osas — teadmised, millega teiste kohalike teostuste loojad Stable Diffusion 3 Medium jaoks ei saa mõistlikel põhjustel uhkustada.

ComfyUI installimine Windowsi kaasaskantavas (portable) versioonis on äärmiselt lihtne: pärast vastava ZIP-arhiivi allalaadimist projekti ametlikult lehelt Piisab selle unbundle'i tegemiseks lihtsalt sobivasse kataloogi; eelistatavalt, muidugi, SSD-l põhinevasse loogilisse jaotisesse, mitte HDD-d, — vahetus mäluseadmest ja mälu vahel, arvestades tulevasi laadimis-tühjendamis tsükleid mudelite jaoks isegi üheainsa pildi genereerimiseks (keskkonda tuleb kõigepealt laadida videomälu tekstide tokeniteks teisendajad, seejärel tühjendada videomälu ja laadida SD3M ise) peaks olema seda rohkem märkimisväärne, mida vähem on antud arvutil videomälu. Muide, portatiivne installimine on hea ka oma täieliku sõltumatuse poolest: miski — välja arvatud vabade ruumide maht loogilisel diskil — ei takista kohalikult käivitamast nii palju ComfyUI koopiaid, kui soovite, et katsetada erinevaid laiendusi, kartmata, et rikutakse juba häälestatud ja suurepäraselt töötavat süsteemi.

Veenduge, et SD3M põhimasina fail, kus ei ole tekstide tokeniteks kodeerijaid (fail stableDiffusion3SD3_sd3Medium.safetensors, 4,2 GB) on asetatud alamkatalooge checkpoints (meie testinstallatsiooni puhul on täielik tee — C:Fun-n-GamesComfyUI-SD3ComfyUImodelscheckpoints), ja kõik kolm kodeerijate mudelit (failid stableDiffusion3SD3_textEncoderClipG.safetensors, stableDiffusion3SD3_textEncoderClipL.safetensors ja stableDiffusion3SD3_textEncoderT5E4m3fn.safetensors; 1,3 GB, 234 MB ja 4,7 GB vastavalt) — alamkatalooge clip (C:Fun-n-GamesComfyUI-SD3ComfyUImodelsclip). Nüüd saab töökeskkonda käivitada kahekordse klõpsuga failil run_nvidia_gpu.bat juurkataloogis (meie puhul C:Fun-n-GamesComfyUI-SD3). Serveri käivitamise järel avaneb Windowsi käsurea aknas automaatselt uues vahekaardis, mis põhineb vaikeseadetel, brauseris aadressil 127.0.0.1/8188 ja seal on kergesti ligipääsetav veebiliides. meie poolt juba tutvustatud (las see jääda ainult esimeses lähenemises) «makaronide kummitusele».

Põhimõtteliselt, kui teil on käsutuses uuem NVIDIA graafikakaart (RTX seeriast, mitte GTX, isegi kui sellel on vaid 6 GB videomälu), saate kohe laadida töökeskkonda tugitsükli, mille on loonud ComfyAnonimous, millest on juba varem räägitud — fail comfy_example_workflows_sd3_medium_example_workflow_multi_prompt.json, mis sisaldab mitmeid aknaid sisendi vihjete jaoks, ühe iga kolme kodeerija jaoks — ja töötada sellega. Tõsi, kõigepealt peate kuue faili nimed mudelite (nende laadimise sõlmedes) viima kooskõlla olemasolevatega. Tugitsükli autor on ilmselt töötanud oma töökojas (Stability AI-s, nagu juba mainitud) kohalikeks saanud failidega, mille nimed olid veidi teistsugused, nii et kui vajutate nuppu „Queue Prompt” ComfyUI spartani liideses vahetult pärast tsükli laadimist, annab töökeskkond veateate.

⇡#Kolme vilja mustand AI genereerimiseks

Kuid seda on üsna lihtne parandada: palju rohkem masendab see, et olemasolev GTX 1070, mis on oma aja läbi elanud, töötleb SD3M-d kohutavalt aeglaselt — pildi genereerimise aeg on 27-30 sekundit iga iteratsiooni kohta, ja arvestades, et tugitsükli parameeter „Steps” on seadistatud väärtusele „28”, kulub aega ülemäära palju. Seetõttu teeme väikese optimeerimise — kasutame Python-moodulit venv (virtuaalsed keskkonnad), mis on loodud muu hulgas kiirendama generatiivsete AI mudelite tööd. Portatiivse ComfyUI versiooni komplekti see ei kuulu, kuid paigaldamiseks on mitmeid viise, mis lõpuks seisnevad täieliku Python keskkonna käivitamises kohalikus arvutis — ja vajaliku mooduli aktiveerimises juba sellest keskkonnast.

Loodame, et meie „Ateljeed” jälgivad lugejad omavad juba aktiivset tööinstalleerimist AUTOMATIC1111 oma masinates. Sellisel juhul on kõik palju lihtsam: moodul venv on seal juba käivitatud ja kõik, mis on vajalik, et aktiveerida see ComfyUI töökeskkonna käivitamisel, on õigesti kutse teostamine. Esiteks tuleks server lõpetada, liitudes selle aknaga ja vajutades «Ctrl» + «C», seejärel sisestage «y» kinnitamiseks; pärast seda kopeerige BAT-fail run_nvidia_gpu.bat uude, näiteks run_with_venv.bat nimelisse failisse. Algne käivitusfail on üsna lakooniline — see kutsub lihtsalt esile kaasasoleva Python'i koopia parameetriga —windows-standalone-build:

.python_embededpython.exe -s ComfyUImain.py —windows-standalone-build

pause

See parameeter pole oma olemuselt liiga ühemõtteline — see viitab teatud optimeeringutele, mis on tõenäoliselt suunatud uuematele NVIDIA graafikakaartidele ja seetõttu võivad halvendada olukorda neil, kes on endiselt truud oma väärikatele GTX-idele. Seetõttu eemaldame käsurealt —windows-standalone-build ning loobume ka teisest stiilsest optimeerimisest — vaikimisi aktiveeritud «nutikast mäluhaldurist», smart memory, mis püüab hoida võimalikult palju teavet video RAM-is, mitte seda eemaldades. See tõepoolest kiirendab AI-piltide joonistamist, kuid samas muudab meie vaimselt aegunud arvuti ühesüsteemseks — ei saa enam veebisirvida, mängida ega isegi dokumentidena ja postiga töötada, samal ajal kui töökeskkond on aktiivne. Seega, neile, kes ei saa eraldi arvutit AI-kunsti jaoks, tundub optimaalseks selline BAT-fail ComfyUI käivitamiseks (mitte ainult SD3M piltide genereerimise eesmärgil, muide — see sobib ka SDXL jaoks):

@echo off

call cd C:Fun-n-GamesGitstable-diffusion-webuivenvScripts

echo %

call activate.bat

echo venv activated

call cd C:Fun-n-GamesComfyUI-SD3

echo %

call .python_embededpython.exe -s ComfyUImain.py —disable-smart-memory

pause

Siin eeldatakse, et ComfyUI kaasaskantav installatsioon on tehtud katalooge C:Fun-n-GamesComfyUI-SD3 ja AUTOMATIC1111 on varem paigaldatud C:Fun-n-GamesGitstable-diffusion-webui. Rohked «echo» on vajalikud lihtsalt visuaalse kontrolli jaoks, et vahetus direktorites on sujuv ja vajalikud käsud täidetakse — pärast tarkvara tõrkeotsingu lõppu saab need BAT-failist eemaldada.

Taaskäivitame töökeskkonna, seekord kahekordse klõpsuga run_with_venv.bat failil. Kuna me lihtsalt sulgesime serveri ja veebiliides jäi puutumatuks, peaks vastavas vahekaardis olema endiselt see sama alusprotsess ComfyUI, millega on modelle nimetatud. Pöörame tähelepanu selle paremale poolele: seal asub sõlm „Preview Image”, mis ei salvesta valmista pilti kõvakettale, vaid lihtsalt demonstreerib seda. Kui iga kord käivitada protsess ühe pildi genereerimiseks, hinnata seda visuaalselt, muuta parameetreid ja uuesti käivitada — on see täiesti toimiv variant: meeldinud pildi saab alati käsitsi salvestada hiire parema nupuga klõpsates. Aga kui töötada keskkonnas järjestikku mitme genereerimisega, on parem, kui nende tulemused automaatselt kogunevad püsivasse mällu (vaikimisi ComfyUIoutput kataloogis).

Seega on parem kohe muuta sõlme „Preview Image” sõlmeks „Save Image”. Selleks klõpsa vasaku hiire nupuga kahekordselt mõnel vabal kohal protsessis — avaneb sõlmede valimise aken koos otsingureaga. Sellele reale hakkame kirjutama „Save…” — ja peaaegu kohe näeme vajaliku nime. Edasi jääb vaid sellele klõpsata ja ühendada äsja ilmunud sõlme sisend „IMAGE” sõlmega „VAE Decode”, kuhu algselt oli ühendatud „Preview Image”. Isegi „Preview Image” saab edaspidi eemaldada — lihtsalt valige see, klõpsates pealkirjal, ja vajutage klaviatuuril klahvi „Del”.

Ja nüüd on just õige aeg käivitada alusprotsess ComfyAnonimous autorilt (meie tagasihoidlikud korrektuurid) täitmiseks. Tulemus on järgmine:

Väga muljetavaldav pilt, isegi meeleoluga — ja ei ütleks, et see on loodud sama mudeli abil, mille puhul on juhend tassitud, et joonistada maapinnal lamavaid inimesi. Samal ajal töötab süsteem üsna aktiivselt — umbes 5-6 sekundi jooksul pildi genereerimiseks, mille pindala on 1 Mpiks GTX 1070-l, võib pidada korralikuks näitajaks. Võrdlemiseks: sama arvuti sama ComfyUI-s sama BAT-failiga genereerib SDXL pilte sarnaste suurustega, kulutades umbes 6-7 sekundit iga iteratsiooni jaoks, seega on „kolm” täiesti õigustatud vähem nõudlik arvuti riistvarale, millega AI genereerimine toimub.

Korrigeerime nüüd lõuendi mõõtmed. Peagi nodi «EmptySD3LatentImage», mis need määrab, asub lähedal 'tühja' (mõttes, ei ole ühendatud milleski) abistamise nodi «Note», kus on oluline meeldetuletus: SD3M puhul peaks piltide kogupindala olema umbes 1 Mpx, — seega tuleks valida ristküliku lõuendi külgede suurused. Seame need siis väärtusteks 1344×768 — see on just umbes 1,03 Mpx ja sobib.

Tõmbame tähelepanu: ülal asub nodi «Seed», kus on määratud iseasi seeme, sel juhul «945512652412924», ja on märkitud, et see ei tohi pärast genereerimist muutuda (parameeter «fixed»).

Teostame sama tsükli varasema seemnega, kuid nüüd ristküliku lõuendi jaoks. Koheselt on märgata, et aega läheb kokkuvõttes vähem, kuigi joonistamise kiirus on jäänud samaks — vähem kui 6 s iteratsiooni kohta. Ja see on loogiline: kuna tekstilised vihjed ei muutunud, ei ole neid kodereid uuesti laadida vaja. Väljundpilt on, nagu oodata võib, veidi erinev esimesest, ruudukujulisest, kuid mitte põhimõtteliselt — üldine kompositsioon, nagu oodati, on säilinud.

Nüüd pöörame tähelepanu nodidele «CLIPTextEncodeSD3» ja «CLIP Text Encode (Negative Prompt)». Esimene eristub selle poolest, et sisaldab kohe kolme sisendvälja; kui nende tekst eemaldada, on nähtavad märkused, mille jaoks kodeerijad need mõeldud on, — ülevalt alla on need CLIP G, CLIP L ja T5XXL. Eelnevaid sarnaseid node ComfyUI-s ei olnud põhjusega. Toetav tsükkel sisaldab kahekordistuvaid lühikesi vihjeid kahe esimese tekstivälja (CLIP G ja CLIP L konverterite jaoks) ning palju mahukamat kolmanda jaoks — T5XXL. Selge on see, et nende väljade sisu osas saab laialdaselt mängida, ja tekstimuutuse mõju lõplikule pildile uurimine on mitte triviaalne, kuid ülihuvitav ülesanne. Kuid mõne aja pärast selguvad põhjused, nii et me ei tegele selle kiirelt hetkel.

Kuid sõlmes „CLIP Text Encode (Negative Prompt)” ei ole midagi erilist, - kuid hinnake, kui keeruline on teekond selle ja peamise sõlme „KSampler” vastava sisenemise „conditioning” vahel! See tee jaguneb kaheks haruks, kusjuures üks haru (ülemine antud juhul) näitab, et alates 10% genereerimise sammudest ja kuni selle lõpetamiseni ei võta süsteem negatiivset sisendit arvesse (tee ülemise sõlme „ConditioningZeroOut” kaudu tähendab tingimuse nullimist). Teine haru aga laseb negatiivsel sisendil (samuti tinglikult poole kaaluga) edasi töötlusse ilma muudatusteta - kuid ainult esimese 10% genereerimise kogu sammudest.

⇡#Udune kaugus

Veel kord: esimesed 10%, st 3 28-st määratud sammudest, negatiivne juhis edastatakse sõlmele „KSampler”, mis tegeleb pildi loomisega latentruumis (piksliruumi, st inimesega arusaadavasse pildiformaati, mille väljundi edastab järgmine sõlm, „VAE Decoder”), normaalses järjekorras: ülemine haru (tingimuse nullimisega) ei ole aktiivne, vaid töötab ainult alumine. Jäänud 90% sammudest (25 28-st meie puhul) negatiivne juhis ei toimi üldse: aktiivne on just ülemine haru, kus tingimused on nullitud, samas kui alumine liikumine blokeeritakse vastava sõlme „ConditioningSetTimestepRange” piirarvuga. Nüüd on selge, miks mitmed arvustajad väidavad, et negatiivseid juhiseid SD3M puhul ei ole põhimõtteliselt vaja kasutada, - nende mõju (kui arvestada just seda, tugitegurit ja oletada, et veebigeneratsioonis mudeli SD3 Medium juures kehtivad sarnased reeglid) on minimaalne.

Ja siiski on see olemas: kui lihtsalt võtta ja otse ühendada node 'CLIP Text Encode (Negative Prompt)' vastava 'KSampler' sisendiga (või märkida kõik vahepealsed nodid selle tee tingimustega kui 'põhi', 'Bypass', mis toob sama efekti), siis lõpp-pildi kvaliteet halveneb selgelt. Seda võib muide pidada kaudseks tõestuseks 'poolpõletamise' SD3M kohta, kuna arendada negatiivse näpunäite tugevust ja olulisust, rangelt öeldes, pidi arendajatele olema võimalik juba enne mudeli kaalude avalikustamist. Kaks kahest keeruliselt seatud tingimuste haru negatiivse näpunäite rakendamiseks on omamoodi tilk ja sellega seoses entusiastide kurtmine selle üle, et 'kolmik' jääb selgelt alla Stability AI turundusosakonna poolt selle suhtes seatud ootustele, on täiesti õigustatud.

Ahnuse mõningate ametlike juhendite puudumine SD3M kasutamiseks on viinud selleni, et internetis liiguvad kuulujutud, justkui seda mudelit oleks üldse mitte treenitud negatiivsete näpunäidete rakendamiseks.Mis, muidugi, ei ole tõsi, kuid igal juhul tuleb neid näpunäiteid rakendada täpselt teistmoodi kui SD 1.5 ja SDXL operaatorid on harjunud.Eelkõige väidavad entusiastid tõsiselt, et negatiivsete väljendite väljakutsumiseks on detailsete kirjelduste lisamine üha suurematele ebaviisakustele (jah- jah, vana hea 'nsfw, nude' ei piisa - peate tõsiselt oma kujutlusvõimet pingutama) toob märgatavat parandamist välimuses isegi kurikuulus tüdruk, kes lamab murul. Kas see nii on või ei - ei ole võimalik kontrollida põhjaliku kontrollimisega (ja see ei ole isegi kindel, et meie saidi ülaosas olev '18+' märgistus kaitseb meid moraalitunde kaitsjate kaebuste eest, kui riskime avaldamisega, mis on kokku pandud entusiastide 'ime-näpunäitega' - olgu see inglise keeles). See naljakas olukord meenutab juhtumit varakeskaja õpetustest paganluse vastu, mille tõttu - just seetõttu, et need sisaldasid suhteliselt detaile, milliseid asju ja kuidas ei tohiks korralikud kristlased teha, - on meieni jõudnud isegi killud kirjalikke tõendeid uskumustest ja harjumustest enne kristlikku Vene.

Nüüd tahaks loota, et on selgem, miks süveneda SD3M uurimisse sel hetkel ei tundu olevat kõige mõistlikum ajaraisk. Seal on tõepoolest sellest, millest rääkida, ja mida uurida: ja üsna jäigalt soovitatud genereerimise parameetrid sõlmes „KSampler“ (CFG – 4,5-5,0; sammude arv – umbes 28; paar sampler/scheduler – ainult dpmpp_2m/sgm_uniform, vastasel juhul kvaliteet lasub tõsiselt); ja äärmiselt suur subjektiivse kvaliteedi varieerumine rangelt ühesuguste algparameetrite puhul, kuid erinevate alamkäskude puhul; ning haledast „rohu peal lamamise needusest“ vabanemine (milleks on juba pakutud üsna ebatavalised lahendused); ja samuti selguse saavutamine, millistele just parameetritele genereerimine iga kolme tekstist tokeniteks muundaja mõju avaldab – ja kuidas neid kasutades tõeliselt suurepäraste kunstiteoste loomist saavutada (kui see on „kolmega” üldse võimalik, muidugi).

Eriti arvestades, et Emad Mostaqi vallandamine märtsis ja ComfyAnonimous'i juunis, ja kaugel mitte ainult nende kahte, – ei ole ainukesed probleemid, mis Stability AI'l on. Reutersi andmetel, viidates The Information'ile, on see briti idufirma just äsja (artikli kirjutamise hetkel) järjekordselt vahetanud tegevjuhti , kelleks sai Prem Akkaraju, tuntud globaalsete IT-investeerijate rühma soovitatud kandidaat – ja see, omakorda, on valmis ettevõttesse märkimisväärse summa sisenema (räägime 80 miljonist USA dollarist). Stability AI olukord äriüksusena on praegu ausalt öeldes ebastabiilne; paljud pettunud entusiastid ennustavad sellele kiiret lõppu – ja sellises olukorras on keeruline oodata ettevõttelt läbimõeldud tööd isegi nii ilmsete vigade üle.

Mõtlemata litsentsipoliitika hoiab, kahjuks, kogukonda tagasi SD3M iseseisvast täiustamisest, nagu seda tehti SD 1.5 ja SDXL puhul. Kuid vähemalt viimased kaks mudelit, koos nende tuletiste checkpoints ja tööriistade, nagu LoRA, jäävad kindlasti lokaalselt kasutatavaks, isegi kui (ja kui) Stability AI lõpetab oma tee kui äri. Kohe pärast "kolmiku" kohutavat fiaskot hakkasid erialafoorumites rohkem ja rohkem kostma hääli, mis toetasid mittekaubandusliku projekti loomist tekstide piltideks muutmiseks, mis põhineks rahastamisel — ja praeguseks on see liikumine hakanud kujunema nime alla Open Model Initiative. Valmisolek aktiivselt liituda on juba välja öelnud Invoke (üks platvorme veebipõhiseks AI-geneerimiseks, suunatud professionaalsetele stuudiotele), Comfy Org (meeskond, kes toetab ja arendab ComfyUI-d), Civitai (ei vaja tutvustamist) ja meeskond, kes seisab taga LAION-i (annotatsioonidega piltide andmebaas, millel enamik selliseid mudeleid treenitakse).

Nii et lähitulevikus on uued "Töötuba" väljaanded, tõenäoliselt suunatud mudelitele, mille jaoks on kogukond juba loonud laia kogumi täiustusi ja lisatööriistu — "poolteist" ja "Oversize". Võib-olla tuleb SD3M triumf veel, — kuid täna on raske isegi ennustada, millal täpselt. Ja seni saavad huvilised alla laadida arhiivi käesolevas artiklis toodud SD3M generaatsioonidega (tsükkelogrammid on integreeritud otse PNG-failidesse; piisab, kui lohistada pilt ComfyUI töölauale Windowsi „File Explorerist“, et taastada kogu genereerimise järjestus ja parameetrid) siin. Võib-olla suudab keegi meie lugejatest leida enne Redditi ja Hugging Face'i pidevaid külastajaid optimaalse viisi teksti jaotamiseks kolme väljundisse, näiteks?