{"id":117781,"date":"2024-07-18T03:43:48","date_gmt":"2024-07-18T01:43:48","guid":{"rendered":"https:\/\/prohoster.info\/blog\/novosti-interneta\/novaya-statya-praktikum-po-ii-risovaniyu-chast-devyataya-sd3m-troechka-na-troechku"},"modified":"2024-07-18T03:43:48","modified_gmt":"2024-07-18T01:43:48","slug":"novaya-statya-praktikum-po-ii-risovaniyu-chast-devyataya-sd3m-troechka-na-troechku","status":"publish","type":"post","link":"https:\/\/prohoster.info\/et\/blog\/news\/novaya-statya-praktikum-po-ii-risovaniyu-chast-devyataya-sd3m-troechka-na-troechku","title":{"rendered":"Uus artikkel: AI-joonistamise praktikum, osa \u00fcheksa: SD3M \u2014 \"kolm\" kolme asja kohta","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

Naljakas, kuidas avatud mudelite v\u00e4ljaandmise ajalugu tekstip\u00f5histe piltide genereerimiseks, mida arendab ja treenib ettev\u00f5te Stability AI, meenutab Microsofti operatsioonis\u00fcsteemide j\u00e4rkj\u00e4rgulisi t\u00f5usude ja m\u00f5\u00f5nade seeriaid. P\u00e4rast legendaarselt edukat XP-d, meenutame, ilmus problemaatiline Vista; siis tuli suurep\u00e4rane Windows 7 \u2014 ja p\u00e4rast seda tulutuks osutunud Windows 8. Stable Diffusioni algne, mitte eriti silmapaistev, kuid entusiastide poolt j\u00e4rk-j\u00e4rgult parendatud versioon 1.5 j\u00e4rgnes selgelt eba\u00f5nnestunud SD 2.0 \u2014 eba\u00f5nnestunud just seet\u00f5ttu, et see sisaldas ebat\u00fc\u00fcpilist selliste mudelite jaoks OpenCLIP kodeerijat, mis on treenitud v\u00e4ga kaheldavalt valitud piltidel<\/a><\/noindex> API-s avatud LAION-5B andmestikul<\/a><\/noindex>. Selle valiku k\u00e4igus k\u00f5rvaldati mitte ainult sobimatud (NSFW) visuaalsed viidud, vaid ka populaarsete kunstnike, nagu kuulus Greg Rutkowski, teosed ja illustreerimised. Just viimane ajas entusiastid l\u00f5puks endast v\u00e4lja: kui SD 1.5 suutis isegi algversioonis, ilma eriliste treenitud kontrollpunktide kasutamiseta, kenasti t\u00f6\u00f6tada lihtsate stiilip\u00f5histe \u00fclesannetega \u2014 'epic medieval fantasy landscape, in the style of Greg Rutkowski' \u2014 ning tulemus oli muljetavaldav, siis SD 2.0 l\u00f5petas tuntud illustraatorite nimede 'tuvastamise', kelle autorikaitse nende loodud teoste osas kehtib endiselt ja kes ei olnud n\u00f5us neid teoseid AI koolitamiseks jagama. Kirjeldamiseks tuli kasutada rohkem s\u00f5nu, ja liiga pikkade viidete korral j\u00e4i mudeliga koost\u00f6\u00f6 kehvaks.<\/p>\n

<\/center> \t\t\t\t
<\/center> \"Uus <\/p>\n

\ud83d\udd3c<\/a><\/noindex>#<\/a><\/noindex>Istusime \u2014 t\u00f5usime, istusime \u2014 t\u00f5usime<\/h2>\n

Koos, muudetud kodeerijaga (teksti sisendi muutmine digitaalseteks tokeniteks, millega juba siis mudel t\u00f6\u00f6tab), on nimetatud stiilide rakendamise v\u00f5imatust reaalne motiveeriv platvorm, mis ei ole oluliselt arendajatele \"topelt\" parendamiseks. T\u00f5epoolest: siin pidi paralleelselt uurima, kuidas kohandada treenitud tehnikat uue kodeerija jaoks ning t\u00e4iendama mudelit nende kujundite ja teemade \u00e4ratundmisega, millega arendajad esimese koolituse etapis tutvustanud ei olnud, \u2014 ja kvaliteedierinevust \"poolteist\" genereeritud \"kahega\" siiski ei tagatud. Jah, traditsioonilisest SD 1.5 suurusest 512×512 pikslit toimus kvaliteetne h\u00fcpe suurusesse 768×768, kuid selleks ajaks kasutas kogukond juba aktiivselt skaalareid, v\u00e4ljunditeijad ja muud t\u00f6\u00f6riistad l\u00f5pp-pildi suuruse suurendamiseks, nii et SD 2.0 m\u00f6\u00f6dus suuresti m\u00e4rkamatult. SDXL naasis standardse<\/a><\/noindex> (OpenAI poolt v\u00e4lja t\u00f6\u00f6tatud ja mida rakendab muu hulgas DALL-E projekt) kooder CLIP<\/a><\/noindex> \u2014 kood on ka avatud, kuid andmebaas, millega see on treenitud, erinevalt OpenCLIPist<\/a><\/noindex>, on erakapital. Lisaks, standardne l\u00f5uendi suurus kasvas \"Oversize\" puhul 1024×1024-ni, pluss ilmus terve rida t\u00e4iendavaid t\u00e4iustusi, \u2014 nii et entusiastid haarasid r\u00f5\u00f5muga selle t\u00e4iustamise \u00fcle. Ja praeguseks on just SDXL (ka hiljuti ilmunud v\u00e4hem n\u00f5udlikud selle derivaatid, nagu SDXL Turbo<\/a><\/noindex> ja SDXL Lightning<\/a><\/noindex>) t\u00f5eliselt populaarseks avatud l\u00e4htekoodiga pildigeneraatoriks. Siiski vaieldavad SD 1.5 innukad toetajad sellega argumenteeritult, v\u00e4ites, et sellised olulised t\u00f6\u00f6riistad nagu ControlNet ei ole SDXL-is veel korralikult \u00fcle viidud<\/a><\/noindex>.<\/p>\n

Ja alates 12. juunist 2024, hetkest, mil kood mudelist \"v\u00e4lja lasti\", mis v\u00f5imaldab kohalikke genereerimisi, pidi tulema aeg \"avatud\" versioonile SD 3 \u2014 t\u00e4psemalt, Stable Diffusion 3 Medium<\/a><\/noindex> (SD3M v\u00f5i SD3 2B) koos 2 miljardi t\u00f6\u00f6parameetriga. \u00dcksikasjalikult, meenutame, vastab see number k\u00f5igi mudeli perceptronite sisendite kogusummale. Veel varem, aprillis, viis Stability AI liikuma 8-miljoni (parameetrite arvu j\u00e4rgi) t\u00e4iustatud Stable Diffusion 3 Large<\/a><\/noindex>, sama SD3 8B. SDXL 1.0, tuletame meelde, \u2014 3,5 miljardit parameetrit<\/a><\/noindex>, kuid SD3M, arendajate v\u00e4idete kohaselt, on \"k\u00f5ige rafineeritud mudel piltide genereerimiseks, mis me oleme seni loonud.\"<\/a><\/noindex>. Loodati, et kui videom\u00e4lu vajadused on v\u00e4iksemad kui «OverSize’ », peab see isegi lihtsatele sisendi korral esitama pilte «uus taseme fotorealismiga». Ära nimetati ka «kolmiku» eeliseid, sealhulgas «enn\u00e4gematu typograafia kvaliteet genereeritud piltidel olevas tekstis», «s\u00fcvitsi minev arusaam sisenditest kolmest kodeerijast k\u00e4e k\u00fcljes» ja «valmidus t\u00f5husaks t\u00e4iendmiseks isegi piiratud andmekogumitega».<\/p>\n

\"Uus <\/p>\n

Ootati, et entusiaste kogukond, saades k\u00e4tte kauaoodatud m\u00e4nguasja, hakkab seda viima t\u00e4iuseni sama innukalt nagu «Poolik» ja «OverSize» kunagi. Kuid algusest peale ei l\u00e4inud k\u00f5ik plaanip\u00e4raselt: SD3M avalikustamise esimestel tundidel p\u00e4rast mudelfailide \u00fcleslaadimist Hugging Face ja Civitai s\u00fc\u00fcdistada s\u00fcgavale pettumusele<\/a><\/noindex> oma publiku, ja kohe kahel korral. Esmalt - esialgu seletamatukse j\u00e4\u00e4va idios\u00fcnkraasi t\u00f5ttu sisendite puhul, mis sisaldasid n\u00e4iliselt kahjutut fraasi «lamades rohul» (lying on\/in the grass); teiseks - \u00fclimalt uduste s\u00f5nastustega kasutajalepingus, millega isegi professionaalsed juristid ei suutnud koheselt hakkama saada. Ja kuigi tavalisest entusiastist AI-kunstist vaadates tundub viimane ebaoluline, peegeldub mudeli edasine areng selle \u00f5igustiku seisundis k\u00f5ige vahetumalt - j\u00f5udes isegi selleni, et arengut v\u00f5ib \u00fcldse mitte j\u00e4rgida.<\/p>\n

Eelnevad Stable Diffusion'i avatud l\u00e4htekoodiga loometeosed (t\u00e4psemalt, avatud n\u00e4rviv\u00f5rgumasside v\u00e4\u00e4rtused, mis on tasuta allalaadimiseks ja hilisemaks kohapealseks t\u00e4itmiseks saadaval), nagu SDXL, olid seotud \u00fche t\u00fc\u00fcpilise generatiivsete mudelitega CreativeML Open RAIL++-M License<\/a><\/noindex> selliste omadustega nagu «ajaloo, maailmas, mitte-ainu\u00f5iguslik, tasuta, tasustamata, t\u00fchistamatu litsents autorikaitse kohta, et kopeerida, kohandada, avalikult demonstreerida, avalikult esitada, al-litsentseerida ja levitada t\u00e4iendavaid materjale mudeli endaga ja sellest s\u00f5ltuvate variantidega». «Kolmiku» puhul on ette n\u00e4htud kahte t\u00fc\u00fcpi litsentseerimist: mittekommertsiaalset kasutamist<\/a><\/noindex> — \u00e4\u00e4rmiselt rahustavate s\u00f5nastustega nagu «Stability AI kutsub teid \u00fcles ainulaadse, \u00fclemaailmse, mitte\u00fclekantava, mitteal-litsentseeritud, t\u00fchistatava, tasuta ja piiratud intellektuaalse omandi litsentsi» — ja oluliselt koormavama kaubandusliku<\/a><\/noindex>.<\/p>\n

\ud83d\udd3c<\/a><\/noindex>#<\/a><\/noindex>Rohtu ei tooda head<\/h2>\n

Vahed, mis ei kesta kaua, leiti, et Stable Diffusion 3 — see ei ole Open Source<\/a><\/noindex>Ja p\u00f5him\u00f5tteliselt kuulutas boikoti arendusettev\u00f5ttele, soovimata kulutada aega ja vaeva avatud ja k\u00e4\u00e4nulise mudeli t\u00e4iendamisele \u2014 teades, et Stability AI v\u00f5ib v\u00e4himagi soovi korral v\u00f5tta tagasi seni konkreetsele entusiastile antud litsentsi, kes sellist t\u00e4iendust\u00f6\u00f6d teeb. Litsentsileping on s\u00f5nastatud nii, et selle uurijatel, kes ei ole juristid, tekib mulje, nagu oleks ekslepingute kehtetuks tunnistamise korral endine saaja kohustatud kustutama k\u00f5ik loodud tuletatud teosed litsentseeritud vaimse omandi alusel, sealhulgas nii t\u00e4iendatud mudelid (LoRA, tekstilised inversioonid, t\u00e4iskoormused) kui ka nende tuletised (tsitaat: \u201eLepingu l\u00f5petamisel tuleb teil kustutada ja l\u00f5petada mis tahes tarkvaraliste toodete v\u00f5i tuletiste kasutamine\u201c) \u2014 st teiste inimeste t\u00f6\u00f6 viljad, kes on neid tuletatud mudeleid kasutanud oma t\u00f6\u00f6 alguspunktina; ja seda ei ole keegi kuidagi tasunud, vaid see on sooritatud puhtal entusiasmial.<\/p>\n

Peagi p\u00e4rast seda, kui rahulolematuse laine j\u00f5udis stratosf\u00e4\u00e4riliselt k\u00f5rgustesse, hakkasid ilmuma teated ametlikelt advokaatidelt, et ei ole k\u00f5ik nii halb<\/a><\/noindex> ja et tagasiv\u00f5tmine koos edasise kasutamise keelamisega peaks h\u00f5lmama vaid teatud abitooteid suletud koodiga, mille Stability AI edastab kommerts kasutajale (\u00fctleme, SD3M edasise t\u00e4iendamise ja optimeerimise jaoks), \u2014 kuid l\u00f5plikke selgitusi selle kohta pole sama ettev\u00f5te seni veel pakkunud. Ja juba kolm n\u00e4dalat (artikli kirjutamise hetkel) peale \u201ekolmiku\u201c avatud juurdep\u00e4\u00e4su ilmumist selline r\u00f5huv vaikus kahjustab arendaja mainet palju rohkem kui rohi \u2014 tema loominguga genereeritud t\u00fcdrukud.<\/p>\n

\"Uus <\/p>\n

Mis puutub kuulsa muruni, mis on m\u00f5ne tunni jooksul muutunud meemiks esialgu Hugging Face-is<\/a><\/noindex>, ning p\u00e4rast ja praktiliselt k\u00f5ikjal mujal rohkem v\u00f5i v\u00e4hem spetsialiseeritud saitidel Internetis selgus, et fraasi nagu « t\u00fcdruk, kes lamab rohul » olemasolu s\u00f5eluuringus toob esile mitte lihtsalt hallutsinatsioone, vaid \u00f5udseid teoseid haiget — meditsiinilises m\u00f5ttes — kunstnike ja filmitegijate haige fantaasia, kes on spetsialiseerunud body horror'ile (me palume, kui teie arusaam ja elu on olulised, — hoidke sellisest kaugele ja \u00e4rge proovige seda fraasi piltide otsingukasti tavatuid filtreid v\u00e4lja l\u00fclitades sisestada). Samal ajal saavad p\u00fcstiasendi {—} ja veidi v\u00e4hem istuva inimeste pildid « kolmandast » kindlalt neljanda plussiga, ning portreed m\u00f5nikord v\u00e4lja tulles t\u00e4iesti veatena; v\u00e4hemalt mitte halvemad kui baasmudeli SDXL 1.0 puhul, — probleem seisneb just mingisuguses sisemises tabu horisontaalse inimkeha positsiooni osas.<\/p>\n

Vastavalt Emad Mostaque'i kommentaarile, Stability AI asutajale ja endisele (enne m\u00e4rtsi 2024) juhile, kes lahkus ettev\u00f5ttest, et « tegeleda detsentraliseeritud tehisintellekti projektidega »<\/a><\/noindex>, SD3M-iga toimuv bruto v\u00e4givald, vahetult enne selle avamist piiratud mittekaubanduslikuks kasutamiseks (meenutame, et API suurema SD3 8B mudeli online genereerimiseks, on saadaval partnerite saitide kaudu juba aprillist<\/a><\/noindex>, kuid selle kaalud j\u00e4\u00e4vad endiselt varjatuks) on tulenenud praeguse juhtkonna soovist suurendada turvalisust — « seoses regulatiivsete kohustustega »<\/a><\/noindex>, mis formuleeriti juba k\u00e4esoleva aasta m\u00e4rtsis kui Aktseptitav Kasutuspoliitika<\/a><\/noindex>. Just selle poliitika raames, kasutades generatiivset mudelit SD3M, ei lubata kasutajatel « teostada, edendada, soodustada, h\u00f5lbustada, julgustada, planeerida, \u00f5hutada v\u00f5i toetada edasist v\u00e4givalda, terrorismi v\u00f5i vihak\u00f5net, mis diskrimineerib v\u00f5i ohustab kaitstud r\u00fchma inimesi (olgu need siis soo, etnilise kuuluvuse, seksuaalse identiteedi v\u00f5i orientatsiooni, religiooni vms alusel) », — nii et te ei saa pilti pandadest, kes on lahti riietatud, vaid ainult naljakas m\u00fctsides kassidest, armsates jakkides koertest, m\u00f5istatuslike vedelikega pudelitest ja v\u00e4rskelt ahjust tulnud k\u00fcpsistest!<\/p>\n

Kui r\u00e4\u00e4kida tehniliselt, siis v\u00f5ib-olla mudeli v\u00e4lja\u00f5petamine seisnes selles, et treeningandmestikust j\u00e4eti lihtsalt v\u00e4lja pildid lamavast inimestest ja muud pildid, mis kuidagi viitasid sobimatule t\u00f5lgendusele, \u2014 ja seet\u00f5ttu ei \u201em\u00f5ista\u201d n\u00fc\u00fcd \u201ekolm\u201d lihtsalt s\u00f5na \u201elamama\u201d t\u00e4hendust. V\u00f5i ehk uuendatud arhitektuur SD3 suutis piisavalt kindlalt tuvastada kaalu perceptorites, mis aktiveeruvad \u201eebaturvaliste\u201d piltide genereerimise k\u00e4igus, \u2014 ja need kaalu v\u00e4\u00e4rtused nulliti just enne vabastamist valikuliselt, mille k\u00f5rvaln\u00e4htuseks oli \u201esunni all tekkiv hallutsinatsioon\u201d. T\u00f5en\u00e4oliselt, this can already be compared to a lobotomy<\/a><\/noindex>: kodeerija t\u00f5lgib teksti tokeniteks \u00f5igesti, kuid \u201eturvatud\u201d latentruumis ei viita need tokenid enam millelegi konkreetsele, \u2014 ja seet\u00f5ttu paigutatakse tulemuseks olevad pikslid pildile sisuliselt t\u00e4iesti juhuslikult.<\/p>\n

\"Uus <\/p>\n

Arvestades selle t\u00e4ieliku, kuid suletud mudeli SD3 8B API k\u00e4ttesaadavust juba mitu kuud ja Stability AI meediajuhtide innukaid kinnitusi, et \u201ekompaktsustatud\u201d 2B will be almost the same in terms of text perception and image generation quality,<\/a><\/noindex>AI drawing enthusiasts welcomed the public release of the weights for SD3M on June 12 with great enthusiasm: in the first 24 hours, the model was downloaded 2.7 million times<\/a><\/noindex>. Praeguseks on selle hankimine endiselt v\u00f5imalik, kuigi pisut keerulisemas protsessis kui tavaliselt SDXL ja SD 1.5 kontrollpunktide jaoks. Need on tavap\u00e4rased teed \u2014 Civitai veebisaidi kaudu, kust enamik mudeleid laaditakse alla ilma registreerumiseta, kuid alates 17. juunist ja kuni selle artikli saatmiseni tr\u00fckki p\u00fchendatud \u201ekolme\u201d leht sellel saidil ajutises keelus<\/a><\/noindex>. Ja p\u00f5hjus on \u00fches; SD3M kommertslitsents on kirjutatud nii ebaselgelt, et isegi Civitai juristid on v\u00f5tnud pausi, et seda hoolikalt uurida. Sest kui m\u00f5ni entusiast treenib oma arvutis LoRA \u201ekolme\u201d jaoks ja laadib selle Civitai, ning Stability AI otsustab \u00e4kki, et tulemus on sobimatu, ja t\u00fchistab s\u00fc\u00fcdistatavale litsentsi, \u2014 kuidas sellisel juhul k\u00e4ituda hostimisveebisaidiga? Ta ei pane lihtsalt \u00fcles kontrollpunktide, abists\u00fcmbolite ja mudelitega, vaid pakub ka k\u00fclastajatele v\u00f5imalust nii pilte pilvese genereerimisel kui ka LoRA, tekstiversioonide ja muude treenimiseks. \u00dcldiselt, enne kui asi j\u00f5uab kohtusse, saab mudeli faile ja kolme kaasasolevat teksti tokeniteks muundamise t\u00f6\u00f6riista hankida vaid oma Stability AI lehelt Hugging Face portaalis<\/a><\/noindex>.<\/p>\n

\ud83d\udd3c<\/a><\/noindex>#<\/a><\/noindex>Hakkame minema<\/h2>\n

T\u00f5si, on \u00fcks n\u00fcanss: et saada ligip\u00e4\u00e4s allalaadimislinkidele, tuleb veebilehelt sisse logida ja seej\u00e4rel kinnitada varem mainitud karme litsentsilepingut \u2013 siiski, see protseduur on tasuta ja Venemaalt t\u00e4iesti teostatav. Kokku on valikus neli mudelit (models) ja neli tekstiparanduse kodeerijat (encoders), pluss kolm viidatud ts\u00fcklit, mis on m\u00f5eldud ComfyUI t\u00f6\u00f6keskkonnas t\u00e4itmiseks. millest oleme millalgi juba r\u00e4\u00e4kinud<\/a><\/noindex>:<\/p>\n

mudelid:<\/p>\n