Stability AI ka publikuar modele të gatshme për sistemin e mësimit të makinerisë Stable Diffusion, të aftë për të sintetizuar dhe modifikuar imazhe bazuar në një përshkrim teksti në gjuhën natyrore. Modelet janë të licencuara nën një licencë lejuese Creative ML OpenRAIL-M për përdorim komercial. Për të trajnuar sistemin, u përdorën një grup prej 4000 GPU NVIDIA A100 Ezra-1 dhe një koleksion LAION-5B, duke përfshirë 5.85 miliardë imazhe me përshkrime teksti. Më parë, kodi për mjetet për trajnimin e një rrjeti nervor dhe gjenerimin e imazheve ishte me burim të hapur nën licencën MIT.
Disponueshmëria e një modeli të gatshëm dhe kërkesat mjaft modeste të sistemit që lejojnë fillimin e eksperimenteve në një PC me GPU standarde, kanë çuar në shfaqjen e një numri projektesh të lidhura:
- tekstual-inversion (kodi) - një shtesë që ju lejon të sintetizoni imazhe me një karakter, objekt ose stil të caktuar. Në origjinalin Stable Diffusion, objektet në imazhet e sintetizuara janë të rastësishme dhe të pakontrollueshme. Shtesa e propozuar ju lejon të shtoni objektet tuaja vizuale, t'i lidhni ato me fjalë kyçe dhe t'i përdorni ato në sintezë.
Për shembull, në Difuzionin e rregullt të Stabilitetit mund t'i kërkoni sistemit të gjenerojë një imazh me një "mace në një varkë". Për më tepër, ju mund të sqaroni karakteristikat e maces dhe varkës, por është e paparashikueshme se cila mace dhe varkë do të sintetizohen. Përmbysja tekstuale ju lejon të stërvitni sistemin në një imazh të maces ose varkës tuaj dhe të sintetizoni imazhin me një mace ose varkë specifike. Në mënyrë të ngjashme, ai gjithashtu mund të zëvendësojë elementet e imazhit me objekte të caktuara, të vendosë një shembull të një stili vizual për sintezë dhe të specifikojë konceptet (për shembull, nga e gjithë shumëllojshmëria e mjekëve, mund të përdorni një përzgjedhje më të saktë dhe më cilësore në stilin e dëshiruar).
- stable-diffusion-animation - krijimi i imazheve të animuara (lëvizëse) bazuar në interpolimin midis fotografive të krijuara në Stable Diffusion.
- stable_diffusion.openvino (kodi) - një port i Stable Diffusion, i cili përdor vetëm CPU për llogaritjet, i cili lejon eksperimentimin në sisteme pa GPU të fuqishme. Kërkon një procesor të mbështetur në bibliotekën OpenVINO. Zyrtarisht, OpenVINO ofron shtojca për procesorët Intel me shtesa AVX2, AVX-512, AVX512_BF16 dhe SSE, si dhe për bordet Raspberry Pi 4 Model B, Apple Mac mini dhe NVIDIA Jetson Nano. Jozyrtarisht, është e mundur të përdoret OpenVINO në procesorët AMD Ryzen.
- sdamd është një port për GPU-të AMD.
- Një zbatim fillestar i sintezës së videos.
- stable-diffusion-gui, stable-diffusion-ui, Artbreeder Collage, diffuse-the-rest - ndërfaqe grafike për gjenerimin e imazheve duke përdorur Stable Diffusion.
- beta.dreamstudio.ai, Hugging Face Spaces, hlky Stable Diffusion WebUI - ndërfaqe në ueb për sintezën e imazheve duke përdorur Difuzion të qëndrueshëm.
- Plugins për integrimin e Stable Diffusion me GIMP, Figma, Blender dhe Photoshop.
Për më tepër, mund të vërejmë publikimin nga Google të kodit të sistemit të mësimit të makinerisë RawNeRF (RAW Neural Radiance Fields), i cili lejon, bazuar në të dhënat nga disa imazhe RAW, të përmirësojë cilësinë e imazheve me shumë zhurmë të marra në errësirë dhe në ndriçim i dobët. Përveç eliminimit të zhurmës, mjetet e zhvilluara nga projekti bëjnë të mundur rritjen e detajeve, eliminimin e shkëlqimit, sintetizimin e HDR dhe ndryshimin e ndriçimit të përgjithshëm në fotografi, si dhe rikrijimin e pozicionit tredimensional të objekteve duke përdorur disa fotografi nga kënde të ndryshme. zhvendosni këndvështrimin, manipuloni fokusin dhe krijoni fotografi lëvizëse.
Burimi: opennet.ru