Det Ă€r intressant hur historien om utgivningarna av öppna modeller för att omvandla textprompter till bilder, som utvecklats och trĂ€nats av Stability AI, liknar en serie av upp- och nedgĂ„ngar likt de successiva versionerna av Microsofts operativsystem. Efter den legendariska framgĂ„ngen med XP följde den problematiska Vista; sedan kom den fantastiska "sjua" â och dĂ€refter den fruktansvĂ€rda Windows 8. Stable Diffusion upplevde en initialt oansenlig, men gradvis förbĂ€ttrad version 1.5, följd av den uppenbarligen misslyckade SD 2.0 â misslyckad eftersom den inkluderade en atypisk kodare av detta slag, OpenCLIP, frĂ„n . Under denna urvalsprocess uteslöts inte bara olĂ€mpliga (NSFW) visuella referenser, utan ocksĂ„ mĂ„lningar och illustrationer av vĂ€lkĂ€nda konstnĂ€rer som den beryktade Greg Rutkowski. Just detta upprörde entusiasterna: för SD 1.5 fungerade det faktiskt bra med enkla prompts som "epic medieval fantasy landscape, in the style of Greg Rutkowski" â och resultatet blev imponerande, men SD 2.0 slutade "kĂ€nna igen" namnen pĂ„ de mest kĂ€nda illustratörerna vars upphovsrĂ€tt fortfarande Ă€r giltig och som inte tillĂ€t att deras verk anvĂ€ndes för att trĂ€na AI. Det blev nödvĂ€ndigt att anvĂ€nda fler ord för att beskriva önskat, och med alltför lĂ„nga prompter fungerade modellen dĂ„ligt.
Sitt ner â stig upp, sitt ner â stig upp
I kombination med den förĂ€ndrade kodaren (omvandlaren av textprompt till digitala tokens som modellen sedan arbetar med) gjorde oförmĂ„gan att anvĂ€nda namngivna stilar helt enkelt entusiasterna omotiverade att förbĂ€ttra "tvĂ„an" pĂ„ egen hand. För verkligen: hĂ€r var man tvungen att samtidigt lĂ€ra sig hur man anpassar den redan etablerade tekniken för att skapa promptar till den nya kodaren och att ytterligare trĂ€na modellen att kĂ€nna igen de bilder och teman som skaparna inte hade introducerat under den initiala trĂ€ningen - och det kvalitativa skillnaden frĂ„n "1,5:an" garanterade trots allt inte de bilder som "tvĂ„an" genererade. Ja, frĂ„n den standardmĂ„tt (512Ă512 punkter) som SD 1.5 hade, skedde ett kvalitetslyft till 768Ă768, men vid den tiden anvĂ€nde samhĂ€llet redan uppskalare, outpainters och andra verktyg för att öka storleken pĂ„ slutbilden, sĂ„ SD 2.0 passerade stort sett obemĂ€rkt förbi. SDXL (utvecklad av OpenAI och som anvĂ€nds av bland annat DALL-E-projektet) â koden Ă€r ocksĂ„ öppen, men databasen som den har trĂ€nats pĂ„, , Ă€r proprietĂ€r. Dessutom har den standardstorleken pĂ„ duken ökat för "Oversize" till 1024Ă1024, plus en rad ytterligare förbĂ€ttringar har tillkommit â sĂ„ entusiasterna har gladlynt tagit sig an att förbĂ€ttra den. Och vid det hĂ€r laget kan man med sĂ€kerhet sĂ€ga att det Ă€r SDXL (de mer nyligen utvecklade mindre resurskrĂ€vande varianterna som och ) som kan betraktas som den mest populĂ€ra AI-bildgeneratorn med öppen kĂ€llkod. Men hĂ€ngivna anhĂ€ngare av SD 1.5 argumenterar mot detta, och pĂ„pekar att sĂ„ viktiga verktyg som ControlNet i SDXL .
Och frĂ„n och med den 12 juni 2024, vid tidpunkten för "utslĂ€ppet i det vilda" av modellen som möjliggör lokala generationer, skulle tiden för den "öppna" versionen av SD 3 ha kommit â om vi ska vara mer exakta, sĂ„ (SD3M eller SD3 2B) med 2 miljarder arbetsparametrar. Som en pĂ„minnelse kan vi sĂ€ga att detta antal motsvarar det totala antalet vikter pĂ„ ingĂ„ngarna till alla perceptrons i modellen. Tidigare, i april, förbĂ€ttrade Stability AI och erbjöd en 8-miljoners (antalet parametrar) version för kommersiellt bruk , Ă€ven kĂ€nd som SD3 8B. För SDXL 1.0 pĂ„minner vi att , men SD3M, enligt utvecklarna, Ă€r Det innebar att med mindre Ă€n de "Oversize"-behov i videominne, ska den Ă€ven ge bilder âmed en ny nivĂ„ av fotorealismâ pĂ„ enkla kommandon. Bland fördelarna med "trean" nĂ€mndes ocksĂ„ "en utan motstycke kvalitet pĂ„ typografin i den genererade texten", "ett djupare förstĂ„else för kommandon genom att kombinera insatser frĂ„n tre kodare" och "beredskap för effektiv finjustering Ă€ven pĂ„ begrĂ€nsade dataset."
Det förvĂ€ntades uppenbarligen att gemenskapen av entusiaster, med en ny efterlĂ€ngtad leksak i sin Ă€go, skulle bli ivriga att förbĂ€ttra den med samma entusiasm som de gjorde med "halvan" och "Oversize" tidigare. Men redan frĂ„n början gick allt fel: SD3M blev direkt efter publiceringen av modellfilerna pĂ„ Hugging Face och Civitai sin publik, och gĂ„ngen tvĂ„ gĂ„nger. Första gĂ„ngen â av en till synes obegriplig idiosynkrasi till kommandon som inkluderade den till synes oskyldiga frasen "liggande pĂ„/i grĂ€set"; den andra â av de otroligt oklara formuleringarna i anvĂ€ndaravtalet, dĂ€r Ă€ven professionella jurister hade svĂ„rt att direkt förstĂ„. Och Ă€ven om detta kan verka ovĂ€sentligt för en vanlig AI-konstentusiast, kommer den juridiska sidan av problemet att pĂ„verka den fortsatta utvecklingen av modellen direkt â till och med sĂ„ att det kanske inte blir nĂ„gon utveckling alls.
Tidigare skapelser av Stable Diffusion med öppen kĂ€llkod (eller snarare med öppna neurala viktvĂ€rden, tillgĂ€ngliga för gratis nedladdning och efterföljande lokal körning), som SDXL, Ă„tföljdes av en typisk för generativa modeller med funktioner som "obefristad, global, icke-exklusiv, gratis, oĂ„terkallelig licens pĂ„ upphovsrĂ€tt för att reproducera, bearbeta, offentligt visa, offentligt framföra, sublicensiera och distribuera ytterligare material bĂ„de av modellen och av dess derivat." "Trean" förutsĂ€tter Ă„ sin sida tvĂ„ slags licensiering: â med ganska avspĂ€nda formuleringar som "Stability AI ger dig en icke-exklusiv, global, icke-överlĂ„tbar, som inte kan sublicensieras, Ă„terkallelig, gratis och begrĂ€nsad licens pĂ„ immateriella rĂ€ttigheter" â och .
GrÀset leder inte till nÄgot gott
Inom en mycket kort tid kom gemenskapen överens om att . Och i praktiken utropade de bojkott mot utvecklarföretaget, ovilliga att slösa tid och energi pĂ„ att förbĂ€ttra en uppenbart rĂ„ och klumpig modell â med medvetenheten om att Stability AI nĂ€r som helst kan, av de minsta nycker frĂ„n sina mediechefer, Ă„terkalla licensen som tidigare gavs till en specifik entusiast som utför denna förbĂ€ttring. Licensavtalet Ă€r formulerat pĂ„ ett sĂ€tt som fĂ„r icke-jurister som studerar det att fĂ„ intrycket av att efter Ă„terkallandet av tillĂ„telsen för kommersiell anvĂ€ndning av SD3M, kommer den tidigare mottagaren att vara skyldig att ta bort alla skapade av honom derivat av den licensierade immateriella egendomen, inklusive bĂ„de de sjĂ€lva förbĂ€ttrade modellerna (LoRA, textinversioner, hela checkpoints), samt deras derivat (citat: "Upon termination of this Agreement, you shall delete and cease use of any Software Products or Derivative Works") â dvs. resultaten av arbetet utfört av andra personer som anvĂ€nde dessa derivatmodeller som utgĂ„ngspunkt för sitt eget arbete; och vars arbete inte betalades av nĂ„gon och utfördes av ren entusiasm.
Snart efter att hĂ€ftigt missnöje över detta nĂ„tt stratosfĂ€riska höjder, började meddelanden dyka upp frĂ„n professionella jurister, Och att recensionen med förbud mot vidare anvĂ€ndning i praktiken endast ska beröra vissa stödprodukter med stĂ€ngd kod som Stability AI ska överlĂ€mna till kommersiella anvĂ€ndare (lĂ„ter oss sĂ€ga, för att pĂ„skynda och optimera just den dĂ€r trĂ€ningsprocessen med SD3M) â men företagets slutliga klargöranden i detta avseende har fortfarande inte offentliggjorts. Och sjĂ€lva faktumet av en sĂ„dan kvĂ€vande tystnad under redan tre veckor (vid tidpunkten för denna artikel) sedan "trean" blev tillgĂ€nglig för allmĂ€nheten skadar utvecklarens rykte mycket mer Ă€n grĂ€set â som genereras av hans skapelse.
NĂ€r det gĂ€ller det beryktade grĂ€set, som pĂ„ ett par timmar bokstavligen blev en meme , och sedan praktiskt taget pĂ„ alla mer eller mindre relevanta plattformar pĂ„ nĂ€tet, visade det sig att nĂ€r frasen "a girl lying on the grass" finns i prompten, resulterar det i att "trean" genererar inte bara hallucinationer, utan ocksĂ„ fruktansvĂ€rda skapelser frĂ„n en sjuk â i medicinsk mening â fantasi hos konstnĂ€rer och filmskapare som specialiserar sig pĂ„ body horror (vi bönar er, om förnuft och liv Ă€r dyra för er, â hĂ„ll er borta frĂ„n detta och Ă€ven inte försök att skriva in denna fras i sökrutan för bilder med sĂ€kerhetsfilter avstĂ€ngt). Samtidigt lyckas "trean" med bilder av stĂ„ende â och i nĂ„got mindre grad sittande â personer med ett klart betyg pĂ„ fyra plus, medan portrĂ€tten ibland blir helt perfekta; Ă„tminstone inte sĂ€mre Ă€n grundmodellen SDXL 1.0, â problemet ligger just i nĂ„got internt tabu pĂ„ horisontell position av den mĂ€nskliga kroppen.
Tydligen Ă€r kommentaren frĂ„n Emad Mostaque, grundaren och tidigare (till mars 2024) ledaren för Stability AI, som lĂ€mnade företaget för att , det rĂ„a vĂ„ldet mot SD3M precis innan öppnandet av dess vikter för begrĂ€nsad icke-kommersiell anvĂ€ndning (API:n för den större modellen SD3 8B för online-generering, lĂ„t oss pĂ„minna, , men dess vikter förblir dolda) blev en följd av den nuvarande ledningens strĂ€van efter sĂ€kerhet â , formulerade redan i mars i Ă„r som . I enlighet med denna policy, som anvĂ€nder den generativa modellen SD3M, fĂ„r anvĂ€ndare inte "utföra, frĂ€mja, underlĂ€tta, uppmuntra, planera, instiga eller pĂ„ nĂ„got sĂ€tt bidra till fortsatt vĂ„ld, terrorism, eller skapa innehĂ„ll som uppmanar till hat mot eller hotar skyddade grupper av mĂ€nniskor (oavsett kön, etnicitet, sexuell identitet eller lĂ€ggning, religion eller annat).", â sĂ„ det blir inga bilder av pandor som slĂ„ss med nakna drakar! Endast kattungar i roliga hattar, hundar i söta jackor, flaskor med okĂ€nt innehĂ„ll och fĂ€rskbakade kakor!
Tekniskt sett kan det ha varit sĂ„ att modellen gjordes mindre robust genom att bilder av liggande personer och andra bilder som pĂ„ nĂ„got sĂ€tt antydde oanstĂ€ndighet helt enkelt utelĂ€mnades frĂ„n trĂ€ningsdatamĂ€ngden, â och dĂ€rför "förstĂ„r" inte lĂ€ngre "trean" betydelsen av ordet "ligga". Alternativt har den uppdaterade SD3-arkitekturen gjort att vikterna pĂ„ perceptronerna som aktiveras under genereringen av "osĂ€kra" bilder identifieras med tillrĂ€cklig sĂ€kerhet, â och dessa vikter raderades selektivt direkt före releasen, vilket fick till följd att "tvingad hallucination" uppstod. Kanske, : kodaren översĂ€tter korrekt text till token, men i det "sĂ€kra" latenta rummet hĂ€nvisar dessa token inte lĂ€ngre till nĂ„got specifikt, â och dĂ€rför placeras de resulterande pixlarna pĂ„ bilden i praktiken hursomhelst.
Med tillgÄng till API:et för den fullstÀndiga, men stÀngda modellen SD3 8B under flera mÄnader och hetsiga försÀkringar frÄn mediecheferna pÄ Stability AI att den "kompakta" 2B , möttes entusiasterna för AI-teckning av den offentliga lanseringen av vikterna SD3M den 12 juni med stort jubel: . För nÀrvarande kan man fortfarande fÄ tag pÄ den, Àven om det Àr en nÄgot mer omstÀndlig vÀg Àn vanligt för SDXL och SD 1.5 checkpoints. Egentligen Àr den vanliga vÀgen att gÄ till Civitai-webbplatsen, dÀr de flesta modeller laddas ner utan registrering, men frÄn den 17 juni och fram till överlÀmnandet av denna artikel för layout Àr sidan om "trean" pÄ denna webbplats . Anledningen Àr enkel: den kommersiella licensen för SD3M Àr skriven pÄ ett sÄ otydligt sÀtt att till och med jurister frÄn Civitai har tagit en paus för att noggrant studera den. Eftersom om en entusiast trÀnar LoRA för "trean" pÄ sin PC och laddar upp den till Civitai, och Stability AI plötsligt anser att resultatet Àr olÀmpligt och Äterkallar licensen frÄn den skyldige, hur ska dÄ host-sidan agera? Den placerar inte bara checkpoints, hjÀlpscheman och modeller, utan ger ocksÄ besökare möjlighet till bÄde molngenerering av bilder och trÀning av samma LoRA, textinversioner och mer. SÄ tills rÀttsfrÄgan avgörs kan man bara hÀmta modellfilerna och de tre medföljande text-till-token omvandlarna .
LÄt oss börja
Det finns dock en nyans: för att fÄ tillgÄng till nedladdningslÀnkarna mÄste man registrera sig pÄ webbplatsen och sedan bekrÀfta acceptera det nÀmnda drakoniska licensavtalet - dock Àr denna procedur gratis och helt tillgÀnglig frÄn Ryssland. Totalt erbjuds fyra val av modeller (models) och fyra av textprompt-till-token omvandlare (encoders), plus tre referensscheman för anvÀndning i arbetsmiljön ComfyUI, :
modeller:
- sd3_medium.safetensors
- sd3_medium_incl_clips.safetensors
- sd3_medium_incl_clips_t5xxlfp8.safetensors
- sd3_medium_incl_clips_t5xxlfp16.safetensors
kodare:
- clip_g.safetensors
- clip_l.safetensors
- t5xxl_fp8_e4m3fn.safetensors
- t5xxl_fp16.safetensors
scheman:
- sd3_medium_example_workflow_basic.json
- sd3_medium_example_workflow_multi_prompt.json
- sd3_medium_example_workflow_upscaling.json
I denna "verkstad" kommer vi att begrĂ€nsa oss till den grundlĂ€ggande modellen sd3_medium.safetensors (4,2 GB), tre kodare â clip_g.safetensors (1,3 GB), clip_l.safetensors (234 MB) och t5xxl_fp8_e4m3fn.safetensors (4,7 GB), samt cykelogrammet sd3_medium_example_workflow_multi_prompt.json. Anledningen Ă€r att vĂ„r testmaskin Ă€r utrustad med ett grafikkort, GeForce GTX 1070 med 8 GB videominne, och denna volym kan inte rymma större modeller med alla integrerade omvandlare pĂ„ en gĂ„ng. För checkpoints baserade pĂ„ SD 1.5 och SDXL Ă€r kodarna som standard inbyggda i huvudfilen, men i detta fall handlar det faktiskt om tre omvandlare som i summan överstiger 6 GB â tillsammans med sjĂ€lva modellen blir det redan mer Ă€n 10 GB; om man anvĂ€nder den 16-bitars versionen av koden T5XXL, krĂ€vs ett Ă€nnu mer imponerande grafikkort. I fallet dĂ€r omvandlarna till textens token först laddas in i videominnet och modellen sedan arbetar med dessa tokens, gĂ„r det utmĂ€rkt att klara sig med ett grafikkort pĂ„ 6 GB. Ur den synvinkeln vinner den modulĂ€ra "trean" helt klart mot den typiska SDXL-checkpointen pĂ„ 5-7 GB.
SD3M Ă€r en modell baserad pĂ„ multimodala diffusionstransformatorer () â vilket i sin tur skiljer sig vĂ€sentligt frĂ„n tidigare utvecklingar av Stability AI (och inte bara deras), som bygger pĂ„ "Verkstaden" Ă€r inte en plats för att gĂ„ pĂ„ djupet med skillnaderna mellan dessa tillvĂ€gagĂ„ngssĂ€tt för AI-generering av bilder; vi kan bara sĂ€ga att , dess förmĂ„ga att arbeta med ett större antal tokens (vilket i sin tur gör det möjligt för operatören att formulera ganska omfattande textprompter, och systemet â att följa dem ganska exakt), samt bĂ€ttre kvalitet pĂ„ de slutprodukter som skapas. Fullstor SD3 8B kan generera bilder pĂ„ en duk med 4 MP (2048Ă2048 punkter), och dessutom i sĂ„dana aspekter som reproduktion av text i bilden, noggrannhet i överensstĂ€mmelsen mellan den resulterande bilden och textprompten, samt den övergripande visuella estetiken. Omvandlingen av text till vektorer av tokens görs hĂ€r omedelbart av tre kodare ( och en T5-XXL â "T5", förresten, frĂ„n ) â och, överlag, de mĂ„ste inte arbeta med samma prompt.
Men nog med förord: lĂ„t oss ta itu med vad "Workshop" handlar om â att generera bilder baserade pĂ„ modellen SD3M. Vi anvĂ€nder, som redan nĂ€mnts, arbetsmiljön ComfyUI, som kan laddas ner . Vi betonar att detta alternativ endast Ă€r för körning pĂ„ NVIDIA-grafikprocessorer eller direkt pĂ„ AMD- eller Intel-CPU (vilket sjĂ€lvklart kommer att vara betydligt lĂ„ngsammare): Ă€gare av AMD-grafikkort rocm och pytorch, som kan installeras via paketförvaltaren pip.
Efter att installationen av arbetsmiljön Ă€r klar ska de tidigare nedladdade .safetensors-filerna placeras: modeller i katalogen ComfyUImodelscheckpoints, text-till-token-omvandlare i ComfyUImodelsclip. Och â vi kan börja!
Dags att snabba pÄ
Det Ă€r vĂ€rt att nĂ€mna att AUTOMATIC1111, som Ă€r vĂ€lbekant för lĂ€sare av tidigare "Workshops" om AI-teckning, nu i slutet av juni Ă€ven , men i ComfyUI Ă€r stödet för den nya modellen fortfarande det mest fullstĂ€ndiga. Inte konstigt â tills vĂ€ldigt nyligen var författaren till "pastamonstret", som Ă€r kĂ€nd i entusiasternas gemenskap under namnet ComfyAnonimous, eller bara Comfy, , dĂ€r han jobbade, bland annat, med den interna arbetsmiljö som anvĂ€nds av utvecklarna sjĂ€lva. Som vi senare kommer att se, vittnar den senaste versionen av ComfyUI faktiskt om att dess skapare har vissa insikter i hur denna kontroversiella modell Ă€r uppbyggd och fungerar â insikter som skaparna av andra arbetsmiljöer för lokal körning av Stable Diffusion 3 Medium av uppenbara skĂ€l inte kan skryta om.
Att installera ComfyUI i en portabel version för Windows Ă€r enklare Ă€n nĂ„gonsin: efter att ha laddat ner den aktuella ZIP-arkivet Det rĂ€cker med att packa upp den i valfri bekvĂ€m katalog; helst, naturligtvis, pĂ„ en logisk enhet baserad pĂ„ SSD, snarare Ă€n HDD, eftersom utbytet mellan lagringsenheten och minnet, med tanke pĂ„ kommande lastnings- och avlastningscykler för modeller, Ă€ven för att generera en enda bild (miljön mĂ„ste först placera text-til-token-omvandlarna i videominnet, sedan rensa videominnet och ladda faktiskt SD3M) förvĂ€ntas vara desto mer omfattande ju mindre videominne som finns tillgĂ€ngligt pĂ„ denna dator. Förresten Ă€r den bĂ€rbara installationen ocksĂ„ bra pĂ„ grund av sin fullstĂ€ndiga oberoende: ingenting â förutom mĂ€ngden ledigt utrymme pĂ„ den logiska disken â hindrar att man lokalt utvecklar hur mĂ„nga kopior av ComfyUI som helst för att experimentera fritt med olika tillĂ€gg, utan att oroa sig för att förstöra ett redan fungerande och vĂ€lfungerande system.
NÀr du har bekrÀftat att filen för den primÀra SD3M-modellen utan inbyggda text-til-token-kodare (filen stableDiffusion3SD3_sd3Medium.safetensors, 4,2 GB) har placerats i underkatalogen checkpoints (i vÄrt testinstallation Àr den fullstÀndiga sökvÀgen C:Fun-n-GamesComfyUI-SD3ComfyUImodelscheckpoints), och att alla tre kodningsmodellerna (filerna stableDiffusion3SD3_textEncoderClipG.safetensors, stableDiffusion3SD3_textEncoderClipL.safetensors och stableDiffusion3SD3_textEncoderT5E4m3fn.safetensors; 1,3 GB, 234 MB och 4,7 GB respektive) finns i underkatalogen clip (C:Fun-n-GamesComfyUI-SD3ComfyUImodelsclip), kan du starta arbetsmiljön genom att dubbelklicka pÄ filen run_nvidia_gpu.bat i rotmappen (i vÄrt fall C:Fun-n-GamesComfyUI-SD3). Efter att servern har startat öppnas automatiskt en ny flik i standard webblÀsare i det nya kommandofönstret i Windows (detta underförstÄs i BAT-filens instÀllningar) pÄ adressen 127.0.0.1/8188, dÀr webbgrÀnssnittet blir tillgÀngligt. (Ätminstone bara i första hand) "pastamonstret".
I princip, om du har ett mer modernt NVIDIA-grafikkort (RTX-generationen, inte GTX, Ă€ven med bara 6 GB videominne), kan du omedelbart ladda in en referens arbetscykel skapad av ComfyAnonimous, som nĂ€mnts tidigare â filen comfy_example_workflows_sd3_medium_example_workflow_multi_prompt.json med flera fönster för att ange prompts, ett för varje av de tre kodarna â och arbeta med den. Först mĂ„ste dock fyra filnamn i modellerna (i noderna för deras inlĂ€sning) anpassas till de som finns. Författaren av referenscykeln arbetade uppenbarligen pĂ„ sin arbetsplats (hos Stability AI, som redan nĂ€mnts) med lokala filer som hade nĂ„got annan namn, sĂ„ om du trycker pĂ„ knappen 'Queue Prompt' i det spartanska grĂ€nssnittet ComfyUI direkt efter att ha laddat cykeln, kommer arbetsmiljön att ge ett felmeddelande.
Tredelat system för AI-generering
Det Ă€r dock inte svĂ„rt att Ă„tgĂ€rda: det som verkligen Ă€r frustrerande Ă€r att vĂ„r nĂ„got slitna GTX 1070 otroligt lĂ„ngsamt bearbetar SD3M â bildgenereringen tar 27-30 sekunder per iteration, och med tanke pĂ„ att parametern 'Steps' i referenscykeln Ă€r instĂ€lld pĂ„ '28', gĂ„r det orimligt mycket tid. SĂ„ vi gör en liten optimering â vi anvĂ€nder Python-modulen venv (), vilket bland annat syftar till att snabba upp arbetet för generativa AI-modeller. Den medföljande versionen av ComfyUI innehĂ„ller den inte, , som i slutĂ€ndan handlar om att sĂ€tta upp en fullstĂ€ndig Python-miljö pĂ„ din lokala dator â och aktivera den nödvĂ€ndiga modulen frĂ„n den hĂ€r miljön.
Vi fĂ„r förutsĂ€tta att lĂ€sarna som följer vĂ„ra 'Workshops' redan har en aktiv installation av AUTOMATIC1111 pĂ„ sina maskiner. I sĂ„ fall Ă€r allt mycket enklare: modulen venv Ă€r redan installerad och allt som behöver göras för att aktivera den vid start av arbetsmiljön ComfyUI Ă€r att . För att börja ska servern stĂ€ngas av genom att vĂ€xla till dess fönster och trycka pĂ„ «Ctrl» + «C», och sedan skriva «y» för att bekrĂ€fta; dĂ€refter kopiera BAT-filen run_nvidia_gpu.bat till en ny, med namnet, lĂ„t oss sĂ€ga, run_with_venv.bat. Den ursprungliga startfilen Ă€r ganska kortfattad â den anropar bara en portabelt installerad kopia av Python med parametern âwindows-standalone-build:
.python_embededpython.exe -s ComfyUImain.py âwindows-standalone-build
pause
Denna parameter Ă€r i sig inte sĂ€rskilt entydig â den antyder vissa optimeringar som troligen Ă€r berĂ€knade för nyare NVIDIA-grafikprocessorer och kan dĂ€rför försvĂ„ra livet för dem som fortfarande hĂ„ller fast vid sina vĂ€lförtjĂ€nta GTX. Av den anledningen kommer vi att ta bort âwindows-standalone-build frĂ„n kommandoraden, och vi avböjer ocksĂ„ en annan trendig optimering â standardaktiverad «smart memory» som , utan att frigöra den. Detta ökar verkligen hastigheten pĂ„ AI-bildskapande, men samtidigt gör det vĂ„r moraliskt förĂ„ldrade dator till ett enskilt uppgiftssystem â det blir omöjligt att surfa pĂ„ webben, spela eller ens arbeta med dokument och e-post pĂ„ PC:n parallellt med aktiviteten i arbetsmiljön. SĂ„ för dem som inte har en dedikerad dator för AI-konst, verkar en sĂ„dan BAT-fil för att starta ComfyUI (inte bara för att generera bilder med SD3M, för övrigt â den fungerar ocksĂ„ bra för SDXL):
@echo off
call cd C:Fun-n-GamesGitstable-diffusion-webuivenvScripts
echo %
call activate.bat
echo venv aktiverad
call cd C:Fun-n-GamesComfyUI-SD3
echo %
call .python_embededpython.exe -s ComfyUImain.py âdisable-smart-memory
pause
HĂ€r förutsĂ€tts att den portabla installationen av ComfyUI har genomförts i mappen C:Fun-n-GamesComfyUI-SD3, och AUTOMATIC1111 tidigare har installerats i C:Fun-n-GamesGitstable-diffusion-webui. MĂ„nga «echo» behövs bara för visuell kontroll av att byte av kataloger gĂ„r smidigt och att de nödvĂ€ndiga kommandona utförs â efter att allt har testats kan de tas bort frĂ„n BAT-filen.
Vi startar om arbetsmiljön igen, denna gĂ„ng genom att dubbelklicka pĂ„ run_with_venv.bat. Eftersom vi tidigare stĂ€ngde servern men inte rörde webbgrĂ€nssnittet, borde den relevanta fliken fortfarande innehĂ„lla samma bascykellogg för ComfyUI med justerade modellnamn. Notera den högra delen: dĂ€r finns noden "Preview Image", som inte sparar den fĂ€rdiga bilden pĂ„ disken, utan bara visar den. Om man kör cykelloggen för att generera ett enda bild varje gĂ„ng, bedöma den visuellt, Ă€ndra parametrar och köra den igen â det Ă€r en fullt fungerande metod: man kan alltid spara en bild genom att högerklicka pĂ„ den. Men om man producerar mĂ„nga generationer sekventiellt i arbetsmiljön, Ă€r det bĂ€ttre att resultaten automatiskt sparas i den permanenta minnet (i ComfyUIoutput-katalogen som standard).
SĂ„ det Ă€r bĂ€ttre att genast byta noden "Preview Image" till "Save Image". För detta dubbelklickar vi vĂ€nster musknapp pĂ„ ett ledigt omrĂ„de i cykelloggen â ett fönster för nodval öppnas med en sökstrĂ€ng. I denna sökstrĂ€ng börjar vi skriva "SaveâŠ" â och nĂ€stan omedelbart ser vi det efterfrĂ„gade namnet. NĂ€sta steg Ă€r att klicka pĂ„ det och koppla ingĂ„ngen av den nya noden till utgĂ„ngen "IMAGE" av noden "VAE Decode", dit "Preview Image" ursprungligen var kopplad. SjĂ€lva "Preview Image" kan sedan tas bort â bara markera den genom att klicka pĂ„ titeln och tryck pĂ„ "Del" pĂ„ tangentbordet.
Och nu â Ă€r det dags att köra den grundlĂ€ggande cykelloggen skapad av ComfyAnonimous (med vĂ„ra blygsamma justeringar) för utförande. SĂ„ hĂ€r ser det ut:
En mycket imponerande bild, till och med med en viss stĂ€mning â man skulle aldrig tro att den skapades med samma modell som bokstavligt talat har problem med att Ă„terskapa mĂ€nniskor som ligger pĂ„ grĂ€set. Samtidigt fungerar systemet ganska bra â cirka 5-6 sekunder per iteration för en bild pĂ„ 1 MP, vilket kan anses vara ett bra resultat för GTX 1070. För jĂ€mförelse: samma dator med samma ComfyUI och samma BAT-fil genererar SDXL-bilder av liknande storlek, vilket tar ungefĂ€r 6-7 sekunder per iteration, sĂ„ "trean" kan verkligen betraktas som mindre krĂ€vande för den hĂ„rdvara dĂ€r AI-generationen sker.
LĂ„t oss nu justera storlekarna pĂ„ duken. NĂ€ra noden "EmptySD3LatentImage", som definierar dessa, finns en "tom" (i meningen att den inte Ă€r ansluten till nĂ„got) hjĂ€lpnod "Note", dĂ€r det finns en viktig pĂ„minnelse: den totala ytan av bilden i SD3M bör vara cirka 1 Mpix, vilket Ă€r grunden för att vĂ€lja proportionerna pĂ„ den rektangulĂ€ra duken. Vi sĂ€tter dem dĂ„ till 1344Ă768 â som ligger ungefĂ€r pĂ„ 1,03 Mpix.
Notera: ovan finns noden "Seed", dÀr fröet Àr angivet, i detta fall "945512652412924", och det Àr angivet att det inte ska Àndras efter generationen (parameter "fixed").
Vi utför samma cyklogram med det gamla fröet, men för den rektangulĂ€ra duken. Det blir omedelbart uppenbart att den totala tiden för genomförandet tycks vara kortare, Ă€ven om ritningshastigheten förblir densamma â mindre Ă€n 6 sekunder per iteration. Och det Ă€r logiskt: eftersom de textuella ledtrĂ„darna inte har Ă€ndrats, krĂ€vs det inte att ladda om kodaren(na) för dem. Bilden som kommer ut Ă€r, förstĂ„s, nĂ„got annorlunda Ă€n den första, kvadratiska, men inte principiellt â den övergripande kompositionen, som förvĂ€ntat, har bevarats.
Nu ska vi titta pĂ„ noderna "CLIPTextEncodeSD3" och "CLIP Text Encode (Negative Prompt)". Den första kĂ€nnetecknas av att den innehĂ„ller tre inmatningsfĂ€lt; om vi tar bort texten kommer anteckningarna om vilka kodare de Ă€r avsedda för att bli synliga â uppifrĂ„n och ner CLIP G, CLIP L och T5XXL. Tidigare fanns sĂ„dana noder inte i ComfyUI av uppenbara skĂ€l. Bascyklogrammet innehĂ„ller upprepande, korta ledtrĂ„dar för de första tvĂ„ textfĂ€lten (för omvandlarna CLIP G och CLIP L) och en mycket mer omfattande för den tredje â T5XXL. Det Ă€r sjĂ€lvklart att innehĂ„llet i dessa fĂ€lt kan lekas med inom vidstrĂ€ckta grĂ€nser, och sjĂ€lva studiet av hur textĂ€ndringar i dem pĂ„verkar den slutliga bilden Ă€r en icke-trivial, men oerhört intressant uppgift. Men av skĂ€l som kommer att bli tydliga senare, kommer vi för tillfĂ€llet inte att Ă€gna oss Ă„t den pĂ„ djupet.
Men i noden «CLIP Text Encode (Negative Prompt)», finns det Ă„ andra sidan inget sĂ€rskilt â men vĂ€rdera hur komplicerad vĂ€gen Ă€r frĂ„n den till den relevanta ingĂ„ngen «conditioning» för huvudnoden «KSampler»! Denna vĂ€g delar sig, och en av dess grenar (den övre i det hĂ€r fallet) anger att under de första 10% av genereringsstegen och tills dess avslutning kommer systemet överhuvudtaget inte att ta den negativa prompten i beaktande (övergĂ„ngen genom noden «ConditioningZeroOut» innebĂ€r just att villkoret nollstĂ€lls). Den andra grenen slĂ€pper den negativa prompten (ocksĂ„ villkorligt med halv vikt) för vidare bearbetning utan förĂ€ndringar â men endast under de första 10% av det totala antalet genereringssteg.
Dimmiga fjÀrran
En gĂ„ng till: de första 10%, alltsĂ„ 3 av 28 som tilldelats i detta fall, överförs den negativa prompten till noden «KSampler», som Ă€r upptagen med att bilda bilden i det latenta rummet (till pixlarummet, det vill sĂ€ga i en bild som kan förstĂ„s av mĂ€nniskor, resultatet av denna överlĂ€mning översĂ€tter nĂ€sta nod, «VAE Decoder»), normalt: den övre grenen (med nollstĂ€llande av villkoret) Ă€r inaktiv, bara den nedre fungerar. De Ă„terstĂ„ende 90% av stegen (25 av 28 i vĂ„rt fall) fungerar inte alls för den negativa prompten: just den övre grenen av villkorsöverföringen Ă€r aktiv â med deras nollstĂ€llande, â medan rörelsen genom den nedre Ă€r blockerat av den grĂ€nsnivĂ„ som aktiverar den motsvarande noden «ConditioningSetTimestepRange». Nu Ă€r det klart varför flera recensenter hĂ€vdar att , â effekten av dem (om man betraktar just denna, referens, cyklogram och antar att samma regler gĂ€ller pĂ„ webbplatser med online-generering enligt SD3 Medium-modellen) Ă€r minimal.
Och den finns ÀndÄ: om man helt enkelt kopplar utgÄngen frÄn noden "CLIP Text Encode (Negative Prompt)" direkt till den motsvarande ingÄngen för "KSampler" (eller markerar alla mellanliggande noder med villkor lÀngs denna vÀg som "bypass", vilket ger samma effekt), kommer kvaliteten pÄ den slutliga bilden att försÀmras avsevÀrt. Detta kan för övrigt ses som ett indirekt bevis pÄ den "ofÀrdiga" SD3M, eftersom utvecklarna borde ha kunnat justera styrkan och betydelsen av den negativa prompten redan innan modellen slÀpptes offentligt. De tvÄ grenarna av smart formulerade tillÀmpningsvillkor för den negativa prompten Àr en sorts lagning, och i det avseendet. de förvÀntningar som den marknadsföringsavdelning som har stötts av Stability AI har förutspÄtt, verkar helt befogade.
Avsaknaden av Àven en kort officiell manual för att arbeta med SD3M har lett till att det redan cirkulerar rykten pÄ nÀtet om att denna modell . Vilket naturligtvis inte Àr sant, men i vilket fall som helst mÄste dessa prompts tillÀmpas pÄ ett annat sÀtt Àn vad som Àr vanligt för operatörer av SD 1.5 och SDXL leder till en mÀrkbar förbÀttring av utseendet senmedeltidalektioner mot hedendom , tack vare att de innehöll ganska detaljerade beskrivningar av vad och hur hederliga kristna inte bör göra, har vi Ätminstone fÄtt fragmentarisiska skriftliga vittnesbörd om tro och sedvÀnjor i förkristen Ryssland.
Nu, man hoppas, att det nu blivit tydligare varför det verkar vara mindre förnuftigt att fortsÀtta fördjupa sig i studiet av SD3M i detta skede, vilket inte Àr den bÀsta anvÀndningen av tid och energi. Det finns verkligen mycket att diskutera och utforska: bÄde de ganska strikt rekommenderade parametrarna för generering i noden "KSampler" (CFG - 4,5-5,0; antal steg - runt 28; samplings-/schemalÀggningsparet - uteslutande dpmpp_2m/sgm_uniform, annars faller kvaliteten mÀrkbart); och den stora variationen i subjektiv kvalitet pÄ generationerna med exakt samma startparametrar men med olika förutsÀttningar; och att bli av med det beryktade "förbannelsen av att ligga pÄ grÀset" (för vilket det redan ); och, i sjÀlva verket, att ta reda pÄ vilka specifika genereringsparametrar varje av de tre text-till-token-omvandlarna pÄverkar - och hur man genom att manipulera dem kan uppnÄ verkliga mÀsterverk av AI-konst (om det ens Àr möjligt med "trean", förstÄs).
Dessutom, med avskedandet av Emad Mostak i mars och ComfyAnonimous i juni, , - Àr inte de enda bekymmer som drabbat Stability AI. Enligt Reuters, med hÀnvisning till The Information, har denna brittiska startup just (vid tidpunkten för skrivandet av denna artikel) Äterigen , som nu Àr Prem Akkaraju, en representant för en vÀlkÀnd global IT-investerargrupp - som i sin tur Àr beredd att lÀgga in en betydande summa cash i företaget (). LÀget för Stability AI som affÀrsstruktur Àr idag öppet instabilt; mÄnga besvikna - och i en sÄdan situation Àr det svÄrt att förvÀnta sig eftertÀnksamhet frÄn företaget, Àven nÀr det gÀller sÄ uppenbara misstag.
Den oöverlagda licenspolitiken hÄller tyvÀrr kommunen tillbaka frÄn att sjÀlvmant förbÀttra SD3M, som det skedde med SD 1.5 och SDXL. à tminstone kommer derivatcheckpointar och verktyg som LoRA för de tvÄ senaste modellerna garanterat förbli tillgÀngliga för lokal körning, Àven nÀr (och om) Stability AI avslutar sin resa som kommersiell enhet. Omedelbart efter den tempofallande fiaskon av "trion" började röster pÄ specialiserade forum pÄ nÀtet allt oftare höras till stöd för skapandet av ett icke-kommerciellt projekt för utveckling av en generativ modell för text-till-bild-omvandling baserat pÄ crowdfunding, - och vid det hÀr laget börjar denna rörelse ta form under namnet . Redan har Invoke (en plattform för online AI-generering, inriktad pÄ professionella studior), Comfy Org (ett team som arbetar med stöd och utveckling av ComfyUI), Civitai (som inte behöver nÄgon presentation) och teamet bakom LAION (databasen med annoterade bilder, dÀr sÄdana modeller mestadels trÀnas) uttryckt sin beredvillighet att aktivt ansluta sig till det.
SÄ i den nÀrmaste framtiden kommer nya utgÄvor av "Ateljén" sannolikt att fokusera pÄ arbete med de modeller som samhÀllet redan har haft tid att skapa ett brett utbud av förbÀttringar och ytterligare verktyg för, - pÄ "ett och ett halvt" och "Oversize". Kanske kommer tiden för SD3M fortfarande att komma, - men idag Àr det svÄrt att ens förestÀlla sig exakt nÀr. Under tiden kan intresserade ladda ner arkivet med genereringarna av SD3M som nÀmns i denna artikel (cykelogrammen Àr integrerade direkt i PNG-filerna; det Àr tillrÀckligt att dra bilden till arbetsytan i ComfyUI frÄn "Utforskaren" i Windows för att Äterskapa hela ordningen och parametrarna för genereringen) . Kanske kommer nÄgon av vÄra lÀsare att lyckas upptÀcka det optimala sÀttet att fördela texten över de tre hintfÀlten tidigare Àn Reddit- och Hugging Face-vanorna?
Relaterade artiklar:
.
.
.
.
.
KĂ€lla: 3dnews.ru
