Stability AI-ն հրապարակել է Stable Diffusion մեքենայական ուսուցման համակարգի երկրորդ հրատարակությունը, որն ի վիճակի է սինթեզել և փոփոխել պատկերները՝ հիմնվելով առաջարկվող ձևանմուշի կամ բնական լեզվով տեքստի նկարագրության վրա: Նյարդային ցանցերի ուսուցման և պատկերների ստեղծման գործիքների կոդը գրված է Python-ում՝ օգտագործելով PyTorch շրջանակը և հրապարակվում MIT լիցենզիայի ներքո: Արդեն պատրաստված մոդելները բաց են Creative ML OpenRAIL-M թույլատրելի լիցենզիայի ներքո, որը թույլ է տալիս առևտրային օգտագործումը: Բացի այդ, հասանելի է ցուցադրական առցանց պատկերների գեներատոր:
Հիմնական բարելավումները Stable Diffusion-ի նոր հրատարակության մեջ.
- Ստեղծվել է տեքստի նկարագրության հիման վրա պատկերների սինթեզի նոր մոդել՝ SD2.0-v, որն աջակցում է 768×768 լուծաչափով պատկերների ստեղծմանը։ Նոր մոդելը վերապատրաստվել է՝ օգտագործելով LAION-5B հավաքածուն՝ բաղկացած 5.85 միլիարդ պատկերներից՝ տեքստային նկարագրություններով: Մոդելը օգտագործում է պարամետրերի նույն շարքը, ինչ Stable Diffusion 1.5 մոդելը, բայց տարբերվում է սկզբունքորեն տարբեր OpenCLIP-ViT/H կոդավորիչի օգտագործման անցմամբ, ինչը հնարավորություն է տվել զգալիորեն բարելավել ստացված պատկերների որակը:
- Պատրաստվել է պարզեցված SD2.0 բազային տարբերակ, որը վերապատրաստվել է 256×256 պատկերների վրա՝ օգտագործելով աղմուկի կանխատեսման դասական մոդելը և աջակցելով պատկերների ստեղծմանը 512×512 լուծաչափով:
- Սուպերնմուշառման տեխնոլոգիայի (Super Resolution) օգտագործման հնարավորությունը տրամադրվում է բնօրինակ պատկերի լուծաչափը բարձրացնելու համար՝ առանց որակի նվազման՝ տարածական մասշտաբավորման և մանրամասների վերակառուցման ալգորիթմների կիրառմամբ։ Տրամադրված պատկերների մշակման մոդելը (SD20-upscaler) աջակցում է 2048x մեծացման, որը կարող է ստեղծել 2048×XNUMX լուծաչափով պատկերներ:
- Առաջարկվում է SD2.0-depth2img մոդելը, որը հաշվի է առնում օբյեկտների խորությունը և տարածական դասավորությունը։ MiDaS համակարգը օգտագործվում է մոնոկուլյար խորության գնահատման համար: Մոդելը թույլ է տալիս սինթեզել նոր պատկերներ՝ որպես ձևանմուշ օգտագործելով մեկ այլ պատկեր, որը կարող է արմատապես տարբերվել բնօրինակից, բայց պահպանել ընդհանուր կազմը և խորությունը: Օրինակ, դուք կարող եք օգտագործել լուսանկարում գտնվող մարդու կեցվածքը՝ նույն դիրքում մեկ այլ կերպար ձևավորելու համար:
- Թարմացվել է պատկերների փոփոխման մոդելը՝ SD 2.0-inpainting, որը թույլ է տալիս փոխարինել և փոխել պատկերի մասերը՝ օգտագործելով տեքստային հուշումները:
- Մոդելները օպտիմիզացվել են մեկ GPU-ով սովորական համակարգերում օգտագործելու համար:
Source: opennet.ru