Ang Stability AI nagpatik sa ikaduhang edisyon sa Stable Diffusion nga sistema sa pagkat-on sa makina, nga makahimo sa pag-synthesize ug pag-usab sa mga hulagway base sa gisugyot nga template o natural nga pinulongan nga paghulagway sa teksto. Ang code of tools para sa neural network training ug image generation kay gisulat sa Python gamit ang PyTorch framework ug gipatik ubos sa MIT license. Ang nabansay na nga mga modelo bukas ubos sa Creative ML OpenRAIL-M permissive nga lisensya, nga nagtugot sa komersyal nga paggamit. Dugang pa, ang usa ka demo online image generator anaa.
Pangunang mga pag-uswag sa bag-ong edisyon sa Stable Diffusion:
- Usa ka bag-ong modelo alang sa synthesis sa imahe base sa deskripsyon sa teksto β SD2.0-v β nahimo, nga nagsuporta sa paghimo sa mga imahe nga adunay resolusyon nga 768 Γ 768. Ang bag-ong modelo gibansay gamit ang LAION-5B nga koleksyon sa 5.85 bilyon nga mga imahe nga adunay mga paghulagway sa teksto. Gigamit sa modelo ang parehas nga set sa mga parameter sama sa Stable Diffusion 1.5 nga modelo, apan lahi sa pagbalhin sa paggamit sa usa ka sukaranan nga lahi nga OpenCLIP-ViT / H encoder, nga nagpaposible nga mapauswag ang kalidad sa mga sangputanan nga mga imahe.
- Usa ka gipasimple nga SD2.0-base nga bersyon ang giandam, gibansay sa 256 Γ 256 nga mga imahe gamit ang klasikal nga modelo sa prediksiyon sa kasaba ug pagsuporta sa paghimo sa imahe nga adunay resolusyon nga 512 Γ 512.
- Ang posibilidad sa paggamit sa teknolohiya sa supersampling (Super Resolution) gihatag aron madugangan ang resolusyon sa orihinal nga imahe nga dili makunhuran ang kalidad, gamit ang mga algorithm alang sa spatial scaling ug pagtukod pag-usab sa mga detalye. Ang gihatag nga modelo sa pagproseso sa imahe (SD20-upscaler) nagsuporta sa 2048x upscaling, nga makamugna og mga imahe nga adunay resolusyon nga 2048 Γ XNUMX.
- Ang SD2.0-depth2img nga modelo gisugyot, nga nagkonsiderar sa giladmon ug spatial nga kahikayan sa mga butang. Ang sistema sa MiDaS gigamit alang sa monocular depth estimation. Gitugotan ka sa modelo nga mag-synthesize sa bag-ong mga imahe gamit ang lain nga imahe ingon usa ka template, nga mahimong lahi kaayo sa orihinal, apan gipadayon ang kinatibuk-ang komposisyon ug giladmon. Pananglitan, mahimo nimong gamiton ang pose sa usa ka tawo sa usa ka litrato aron maporma ang lain nga karakter sa parehas nga pose.
- Ang modelo alang sa pagbag-o sa mga imahe gi-update - SD 2.0-inpainting, nga nagtugot kanimo sa pag-ilis ug pagbag-o sa mga bahin sa usa ka imahe gamit ang mga text prompt.
- Ang mga modelo gi-optimize alang sa paggamit sa naandan nga mga sistema nga adunay usa ka GPU.
Source: opennet.ru