Natuklasan ang mga development na nauugnay sa Stable Diffusion machine learning system, na nag-synthesize ng mga larawan batay sa isang paglalarawan ng teksto sa natural na wika. Ang proyekto ay sama-samang binuo ng mga mananaliksik mula sa Stability AI at Runway, ang Eleuther AI at LAION na mga komunidad, at ang CompVis lab group (isang computer vision at machine learning research laboratory sa University of Munich). Sa mga tuntunin ng mga kakayahan at antas ng kalidad ng resulta, ang Stable Diffusion ay kahawig ng proyekto ng DALL-E 2, ngunit ito ay binuo bilang bukas at magagamit sa publiko. Ang pagpapatupad ng Stable Diffusion ay nakasulat sa Python at ipinamahagi sa ilalim ng lisensya ng MIT.
Kasalukuyang available ang mga ready-made na modelo sa hiwalay na kahilingan sa mga institusyong pang-edukasyon at mga independiyenteng mananaliksik, ngunit nangangako ang mga developer na buksan ang mga ito sa lahat pagkatapos makumpleto ang pagsubok at handa na ang unang release. Upang sanayin ang system, ginamit ang isang kumpol ng 4000 NVIDIA A100 Ezra-1 GPU at isang koleksyon ng LAION-5B, kabilang ang 5.85 bilyong larawan na may mga paglalarawan ng teksto. Ang mga bahagi para sa pagbuo ng imahe ay nabanggit bilang sapat na magaan upang gumana sa mga system ng gumagamit, halimbawa, upang i-synthesize ang mga imahe na may resolusyon na 512x512, sapat na ang isang GPU na may 10GB ng memorya ng video sa system.
Bilang karagdagan sa pag-synthesize ng mga larawan batay sa mga paglalarawan ng teksto, ang isang opsyon ay inaalok para sa pagbabago ng mga larawan, na maaaring, gamit ang paglilinaw ng mga senyas ng teksto, bumuo ng mga larawan mula sa mga schematic sketch, mag-edit at magpalit ng mga larawan, o ibalik ang mga nawawalang detalye kapag nag-zoom in. Gayundin sa pag-unlad ay ang Stable Diffusion para sa pag-edit ng video batay sa mga utos ng teksto ng natural na wika.
Pinagmulan: opennet.ru
