Ang Stability AI nagpatik ug andam na nga mga modelo para sa Stable Diffusion nga sistema sa pagkat-on sa makina, nga makahimo sa pag-synthesize ug pag-usab sa mga hulagway base sa usa ka deskripsyon sa teksto sa natural nga pinulongan. Ang mga modelo lisensyado ubos sa permissive Creative ML OpenRAIL-M nga lisensya para sa komersyal nga paggamit. Aron mabansay ang sistema, gigamit ang usa ka kumpol sa 4000 NVIDIA A100 Ezra-1 GPU ug usa ka koleksyon sa LAION-5B, lakip ang 5.85 bilyon nga mga imahe nga adunay mga paghulagway sa teksto. Kaniadto, ang code alang sa mga himan alang sa pagbansay sa usa ka neural network ug paghimo og mga imahe bukas nga gigikanan sa ilawom sa lisensya sa MIT.
Ang pagkaanaa sa usa ka andam nga modelo ug medyo kasarangan nga mga kinahanglanon sa sistema nga nagtugot sa usa nga magsugod sa mga eksperimento sa usa ka PC nga adunay standard nga mga GPU nagdala sa pagtungha sa daghang mga may kalabutan nga proyekto:
- textual-inversion (code) - usa ka add-on nga nagtugot kanimo sa pag-synthesize sa mga imahe nga adunay gihatag nga karakter, butang o istilo. Sa orihinal nga Stable Diffusion, ang mga butang sa synthesized nga mga imahe random ug dili makontrol. Ang gisugyot nga add-on nagtugot kanimo sa pagdugang sa imong kaugalingon nga biswal nga mga butang, ihigot kini sa mga keyword ug gamiton kini sa synthesis.
Pananglitan, sa regular nga Stable Diffusion mahimo nimong hangyoon ang sistema sa paghimo og usa ka imahe nga adunay "iring sa usa ka sakayan". Dugang pa, mahimo nimong ipatin-aw ang mga kinaiya sa iring ug sakayan, apan dili matag-an kung unsang iring ug sakayan ang ma-synthesize. Ang textual-inversion nagtugot kanimo sa pagbansay sa sistema gamit ang usa ka imahe sa imong iring o sakayan ug i-synthesize ang imahe sa usa ka piho nga iring o bangka. Sa parehas nga paagi, mahimo usab nga ilisan ang mga elemento sa imahe sa pipila nga mga butang, maghimo usa ka pananglitan sa usa ka biswal nga istilo alang sa synthesis, ug ipiho ang mga konsepto (pananglitan, gikan sa tibuuk nga lainlaing mga doktor, mahimo nimong magamit ang usa ka labi ka tukma ug taas nga kalidad nga pagpili. sa gusto nga estilo).
- stable-diffusion-animation - paghimo og mga animated (moving) nga mga hulagway base sa interpolation tali sa mga hulagway nga namugna sa Stable Diffusion.
- stable_diffusion.openvino (code) - usa ka pantalan sa Stable Diffusion, nga naggamit lamang sa CPU alang sa mga kalkulasyon, nga nagtugot sa pag-eksperimento sa mga sistema nga walay gamhanang mga GPU. Nagkinahanglan ug processor nga gisuportahan sa OpenVINO library. Opisyal, ang OpenVINO naghatag og mga plugins para sa mga Intel processor nga adunay AVX2, AVX-512, AVX512_BF16 ug SSE extensions, ingon man sa Raspberry Pi 4 Model B, Apple Mac mini ug NVIDIA Jetson Nano boards. Dili opisyal, posible nga gamiton ang OpenVINO sa mga processor sa AMD Ryzen.
- Ang sdamd usa ka pantalan alang sa mga AMD GPU.
- Usa ka inisyal nga pagpatuman sa video synthesis.
- stable-diffusion-gui, stable-diffusion-ui, Artbreeder Collage, diffuse-the-rest - mga graphical interface para sa pagmugna og mga hulagway gamit ang Stable Diffusion.
- beta.dreamstudio.ai, Hugging Face Spaces, hlky Stable Diffusion WebUI - web interface para sa image synthesis gamit ang Stable Diffusion.
- Mga plugin alang sa paghiusa sa Stable Diffusion sa GIMP, Figma, Blender ug Photoshop.
Dugang pa, mamatikdan nato ang publikasyon sa Google sa code sa RawNeRF (RAW Neural Radiance Fields) nga sistema sa pagkat-on sa makina, nga nagtugot, base sa datos gikan sa daghang RAW nga mga hulagway, aron mapauswag ang kalidad sa saba kaayo nga mga hulagway nga gikuha sa kangitngit ug sa dili maayo nga suga. Gawas pa sa pagwagtang sa kasaba, ang mga himan nga gihimo sa proyekto nagpaposible sa pagdugang sa detalye, pagwagtang sa silaw, pag-synthesize sa HDR ug pagbag-o sa kinatibuk-ang suga sa mga litrato, ingon usab paghimo pag-usab sa tulo-ka-dimensional nga posisyon sa mga butang gamit ang daghang mga litrato gikan sa lainlaing mga anggulo, ibalhin ang punto sa panglantaw, pagmaniobra sa focus ug pagmugna og mga hulagway.
Source: opennet.ru