Stability AI tabiiy tildagi matn tavsifi asosida tasvirlarni sintez qilish va o'zgartirishga qodir bo'lgan Stable Diffusion mashinani o'rganish tizimi uchun tayyor modellarni nashr etdi. Modellar tijorat maqsadlarida foydalanish uchun ruxsat beruvchi Creative ML OpenRAIL-M litsenziyasi ostida litsenziyalangan. Tizimni o'qitish uchun 4000 NVIDIA A100 Ezra-1 GPU klasteri va LAION-5B to'plami, shu jumladan matn tavsiflari bilan 5.85 milliard tasvir ishlatilgan. Ilgari neyron tarmoqni o'rgatish va tasvirlarni yaratish vositalarining kodi MIT litsenziyasi ostida ochiq manba bo'lgan.
Tayyor modelning mavjudligi va standart GPU-larga ega shaxsiy kompyuterda tajribalarni boshlashga imkon beruvchi juda oddiy tizim talablari bir qator tegishli loyihalarning paydo bo'lishiga olib keldi:
- matn-inversiya (kod) - berilgan belgi, ob'ekt yoki uslub bilan tasvirlarni sintez qilish imkonini beruvchi qo'shimcha. Asl Stabil diffuziyada sintez qilingan tasvirlardagi ob'ektlar tasodifiy va boshqarilmaydigan bo'ladi. Taklif etilayotgan qo'shimcha sizga o'zingizning vizual ob'ektlaringizni qo'shish, ularni kalit so'zlar bilan bog'lash va ularni sintezda ishlatish imkonini beradi.
Misol uchun, muntazam Stabil Diffuziyada siz tizimdan "qayiqdagi mushuk" bilan tasvirni yaratishni so'rashingiz mumkin. Bundan tashqari, siz mushuk va qayiqning xususiyatlarini aniqlab olishingiz mumkin, ammo qaysi mushuk va qayiq sintez qilinishini oldindan aytib bo'lmaydi. Matn-inversiya tizimni mushuk yoki qayiq tasviriga o'rgatish va tasvirni ma'lum bir mushuk yoki qayiq bilan sintez qilish imkonini beradi. Xuddi shunday, u tasvir elementlarini ma'lum ob'ektlar bilan almashtirishi, sintez uchun vizual uslubning namunasini qo'yishi va tushunchalarni belgilashi mumkin (masalan, shifokorlarning barcha turlaridan siz aniqroq va sifatli tanlovdan foydalanishingiz mumkin. kerakli uslubda).
- barqaror-diffuziya-animatsiya - Barqaror diffuziyada yaratilgan rasmlar orasidagi interpolyatsiya asosida jonlantirilgan (harakatlanuvchi) tasvirlarni yaratish.
- stable_diffusion.openvino (kod) - barqaror diffuziya porti bo'lib, u faqat hisob-kitoblar uchun protsessordan foydalanadi, bu kuchli GPU'larsiz tizimlarda tajriba o'tkazish imkonini beradi. OpenVINO kutubxonasida qo'llab-quvvatlanadigan protsessorni talab qiladi. Rasmiy ravishda OpenVINO AVX2, AVX-512, AVX512_BF16 va SSE kengaytmali Intel protsessorlari, shuningdek, Raspberry Pi 4 Model B, Apple Mac mini va NVIDIA Jetson Nano platalari uchun plaginlarni taqdim etadi. Norasmiy ravishda OpenVINO-dan AMD Ryzen protsessorlarida foydalanish mumkin.
- sdamd - bu AMD GPUlari uchun port.
- Video sintezining dastlabki amalga oshirilishi.
- stable-diffusion-gui, stabil-diffusion-ui, Artbreeder Collage, diffuse-the-rest - Barqaror diffuziya yordamida tasvirlarni yaratish uchun grafik interfeyslar.
- beta.dreamstudio.ai, Hugging Face Spaces, hlky Stable Diffusion WebUI - Barqaror Diffuziya yordamida tasvir sintezi uchun veb-interfeyslar.
- Stabil diffuziyani GIMP, Figma, Blender va Photoshop bilan birlashtirish uchun plaginlar.
Bundan tashqari, biz Google tomonidan RawNeRF (RAW Neural Radiance Fields) mashinani o'rganish tizimining kodini e'lon qilganini ta'kidlashimiz mumkin, bu bir nechta RAW tasvirlari ma'lumotlariga asoslanib, qorong'ida va qorong'ida olingan yuqori shovqinli tasvirlarning sifatini yaxshilash imkonini beradi. yomon yoritish. Shovqinni bartaraf etishdan tashqari, loyiha tomonidan ishlab chiqilgan vositalar tafsilotlarni oshirish, porlashni yo'q qilish, HDRni sintez qilish va fotosuratlardagi umumiy yoritishni o'zgartirish, shuningdek, turli burchaklardagi bir nechta fotosuratlar yordamida ob'ektlarning uch o'lchovli holatini qayta yaratish, nuqtai nazarni o'zgartiring, diqqatni manipulyatsiya qiling va harakatlanuvchi rasmlarni yarating.
Manba: opennet.ru