L-Istabbiltà AI ppubblikat mudelli lesti għas-sistema ta' tagħlim tal-magni Stable Diffusion, li kapaċi tisintetizza u timmodifika immaġini bbażati fuq deskrizzjoni ta' test f'lingwa naturali. Mudelli huma liċenzjati taħt liċenzja Creative ML OpenRAIL-M permissiva għall-użu kummerċjali. Biex titħarreġ is-sistema, intużaw raggruppament ta '4000 GPU NVIDIA A100 Ezra-1 u kollezzjoni LAION-5B, inklużi 5.85 biljun immaġini b'deskrizzjonijiet tat-test. Preċedentement, il-kodiċi għal għodod għat-taħriġ ta 'netwerk newrali u l-ġenerazzjoni ta' immaġini kien open source taħt il-liċenzja MIT.
Id-disponibbiltà ta 'mudell lest u rekwiżiti ta' sistema pjuttost modesti li jippermettu li wieħed jibda esperimenti fuq PC b'GPUs standard wasslu għall-emerġenza ta 'numru ta' proġetti relatati:
- testwali-inverżjoni (kodiċi) - add-on li jippermettilek tisintetizza immaġini b'karattru, oġġett jew stil partikolari. Fid-Diffużjoni Stabbli oriġinali, l-oġġetti fl-immaġini sintetizzati huma każwali u inkontrollabbli. L-add-on propost jippermettilek li żżid l-oġġetti viżwali tiegħek stess, torbothom mal-kliem kjavi u tużahom f'sinteżi.
Pereżempju, f'Diffużjoni Stabbli regolari tista 'titlob lis-sistema biex tiġġenera immaġni b'"qattus f'dgħajsa". Barra minn hekk, tista 'tiċċara l-karatteristiċi tal-qattus u d-dgħajsa, iżda huwa imprevedibbli liema qattus u dgħajsa se jiġu sintetizzati. L-inverżjoni tat-test jippermettilek li tħarreġ is-sistema fuq immaġni tal-qattus jew tad-dgħajsa tiegħek u tisintetizza l-immaġni ma 'qattus jew dgħajsa speċifika. B'mod simili, tista 'wkoll tissostitwixxi elementi ta' immaġini b'ċerti oġġetti, tistabbilixxi eżempju ta 'stil viżwali għas-sinteżi, u tispeċifika kunċetti (per eżempju, mill-varjetà sħiħa ta' tobba, tista 'tuża għażla aktar preċiża u ta' kwalità għolja fl-istil mixtieq).
- stable-diffusion-animation - ħolqien ta' immaġini animati (jiċċaqilqu) ibbażati fuq interpolazzjoni bejn stampi ġġenerati fi Stabbli Diffusion.
- stable_diffusion.openvino (kodiċi) - port ta 'Stable Diffusion, li juża biss is-CPU għall-kalkoli, li jippermetti esperimentazzjoni fuq sistemi mingħajr GPUs qawwija. Jeħtieġ proċessur appoġġjat fil-librerija OpenVINO. Uffiċjalment, OpenVINO jipprovdi plugins għall-proċessuri Intel b'estensjonijiet AVX2, AVX-512, AVX512_BF16 u SSE, kif ukoll għal Raspberry Pi 4 Mudell B, Apple Mac mini u bordijiet NVIDIA Jetson Nano. B'mod mhux uffiċjali, huwa possibbli li tuża OpenVINO fuq proċessuri AMD Ryzen.
- sdamd huwa port għall-GPUs AMD.
- Implimentazzjoni inizjali ta 'sintesi tal-vidjo.
- stable-diffusion-gui, stable-diffusion-ui, Artbreeder Collage, diffuse-the-rest - interfaces grafiċi għall-ġenerazzjoni ta 'immaġini bl-użu ta' Stable Diffusion.
- beta.dreamstudio.ai, Hugging Face Spaces, hlky Stable Diffusion WebUI - interfaces tal-web għas-sinteżi tal-immaġni bl-użu ta 'Stable Diffusion.
- Plugins għall-integrazzjoni tad-Diffużjoni Stabbli ma 'GIMP, Figma, Blender u Photoshop.
Barra minn hekk, nistgħu ninnotaw il-pubblikazzjoni minn Google tal-kodiċi tas-sistema ta’ tagħlim tal-magni RawNeRF (RAW Neural Radiance Fields), li tippermetti, abbażi ta’ dejta minn diversi stampi RAW, li tittejjeb il-kwalità ta’ immaġini storbjużi ħafna meħuda fid-dlam u fid-dlam. dawl fqir. Minbarra l-eliminazzjoni tal-istorbju, l-għodod żviluppati mill-proġett jagħmluha possibbli li jiżdied id-dettall, jelimina d-dija, sintetizza HDR u jibdel id-dawl ġenerali fir-ritratti, kif ukoll jirrikreaw il-pożizzjoni tridimensjonali ta 'oġġetti bl-użu ta' diversi ritratti minn angoli differenti, biddel il-perspettiva, timmanipula l-fokus u tiġġenera stampi li jiċċaqalqu.
Sors: opennet.ru