Тұрақтылық AI табиғи тілдегі мәтіндік сипаттама негізінде кескіндерді синтездеуге және өзгертуге қабілетті Stable Diffusion машиналық оқыту жүйесіне арналған дайын үлгілерді жариялады. Модельдер коммерциялық пайдалануға рұқсат беретін Creative ML OpenRAIL-M лицензиясы бойынша лицензияланады. Жүйені оқыту үшін 4000 NVIDIA A100 Ezra-1 графикалық процессорының кластері және LAION-5B коллекциясы, оның ішінде мәтіндік сипаттамасы бар 5.85 миллиард кескін пайдаланылды. Бұрын нейрондық желіні оқытуға және кескіндерді генерациялауға арналған құралдардың коды MIT лицензиясы бойынша ашық болды.
Стандартты графикалық процессорлары бар компьютерде эксперименттерді бастауға мүмкіндік беретін дайын үлгінің және жеткілікті қарапайым жүйелік талаптардың болуы бірқатар байланысты жобалардың пайда болуына әкелді:
- мәтіндік-инверсия (код) – берілген таңбамен, нысанмен немесе стильмен кескіндерді синтездеуге мүмкіндік беретін қосымша. Түпнұсқа тұрақты диффузияда синтезделген кескіндердегі нысандар кездейсоқ және басқарылмайды. Ұсынылған қосымша өзіңіздің визуалды нысандарыңызды қосуға, оларды кілт сөздермен байланыстыруға және оларды синтездеуге мүмкіндік береді.
Мысалы, тұрақты тұрақты диффузияда жүйеден «қайықтағы мысық» кескінін жасауды сұрауға болады. Сонымен қатар, сіз мысық пен қайықтың сипаттамаларын нақтылай аласыз, бірақ қай мысық пен қайықтың синтезделуін болжау мүмкін емес. Мәтіндік-инверсия жүйені мысықтың немесе қайықтың суретіне үйретуге және кескінді белгілі бір мысық немесе қайықпен синтездеуге мүмкіндік береді. Сол сияқты, ол кескін элементтерін белгілі бір нысандармен алмастыра алады, синтез үшін визуалды стильдің үлгісін көрсете алады және тұжырымдамаларды көрсете алады (мысалы, дәрігерлердің барлық алуан түрлерінен сіз дәлірек және сапалы таңдауды пайдалана аласыз. қалаған стильде).
- тұрақты-диффузия-анимация - Тұрақты диффузияда генерацияланған суреттер арасындағы интерполяция негізінде анимациялық (жылжымалы) кескіндерді жасау.
- stable_diffusion.openvino (код) - тұрақты диффузия порты, ол есептеулер үшін тек орталық процессорды пайдаланады, ол қуатты графикалық процессоры жоқ жүйелерде тәжірибе жасауға мүмкіндік береді. OpenVINO кітапханасында қолдау көрсетілетін процессорды қажет етеді. Ресми түрде OpenVINO AVX2, AVX-512, AVX512_BF16 және SSE кеңейтімдері бар Intel процессорларына, сондай-ақ Raspberry Pi 4 Model B, Apple Mac mini және NVIDIA Jetson Nano тақталарына арналған плагиндерді ұсынады. Бейресми түрде OpenVINO-ны AMD Ryzen процессорларында пайдалануға болады.
- sdamd - AMD графикалық процессорларына арналған порт.
- Бейне синтезінің бастапқы іске асырылуы.
- stable-diffusion-gui,stable-diffusion-ui, Artbreeder Collage, diffuse-the-real - Тұрақты диффузия көмегімен кескіндерді жасауға арналған графикалық интерфейстер.
- beta.dreamstudio.ai, Hugging Face Spaces, hlky Stable Diffusion WebUI - Тұрақты диффузияны пайдаланып кескін синтезіне арналған веб-интерфейстер.
- GIMP, Figma, Blender және Photoshop бағдарламаларымен тұрақты диффузияны біріктіруге арналған плагиндер.
Сонымен қатар, Google компаниясының RawNeRF (RAW Neural Radiance Fields) машиналық оқыту жүйесінің кодын жариялағанын атап өтуге болады, ол бірнеше RAW кескіндерінің деректеріне сүйене отырып, қараңғыда және жоғары шулы суреттердің сапасын жақсартуға мүмкіндік береді. нашар жарықтандыру. Шуды жоюдан басқа, жоба әзірлеген құралдар егжей-тегжейлерді ұлғайтуға, жарқырауды жоюға, HDR синтезін жасауға және фотосуреттердегі жалпы жарықтандыруды өзгертуге, сондай-ақ әртүрлі бұрыштардан бірнеше фотосуреттерді пайдалана отырып, объектілердің үш өлшемді орнын қалпына келтіруге, көзқарасты өзгерту, фокусты басқару және қозғалатын суреттерді жасау.
Ақпарат көзі: opennet.ru