Stability AI on julkaissut valmiita malleja Stable Diffusion -koneoppimisjärjestelmälle, joka pystyy syntetisoimaan ja muokkaamaan kuvia luonnollisen kielen tekstikuvauksen perusteella. Mallit on lisensoitu kaupalliseen käyttöön sallitulla Creative ML OpenRAIL-M -lisenssillä. Järjestelmän kouluttamiseen käytettiin 4000 100 NVIDIA A1 Ezra-5 -grafiikkasuorittimen klusteria ja LAION-5.85B-kokoelmaa, joka sisälsi XNUMX miljardia tekstikuvauksen sisältävää kuvaa. Aikaisemmin neuroverkon koulutukseen ja kuvien luomiseen tarkoitettujen työkalujen koodi oli avoimen lähdekoodin MIT-lisenssillä.
Valmiin mallin saatavuus ja melko vaatimattomat järjestelmävaatimukset, jotka mahdollistavat kokeiden aloittamisen PC:llä tavallisilla GPU:illa, ovat johtaneet useiden asiaan liittyvien projektien syntymiseen:
- textual-inversion (koodi) - lisäosa, jonka avulla voit syntetisoida kuvia tietyllä hahmolla, esineellä tai tyylillä. Alkuperäisessä Stable Diffusionissa syntetisoiduissa kuvissa olevat kohteet ovat satunnaisia ja hallitsemattomia. Ehdotetun lisäosan avulla voit lisätä omia visuaalisia objekteja, sitoa niitä avainsanoihin ja käyttää niitä synteesissä.
Esimerkiksi tavallisessa Stable Diffusionissa voit pyytää järjestelmää luomaan kuvan "kissa veneessä". Lisäksi voit selventää kissan ja veneen ominaisuuksia, mutta on arvaamatonta, mikä kissa ja vene syntetisoidaan. Tekstin inversion avulla voit kouluttaa järjestelmää kissan tai veneen kuvan perusteella ja syntetisoida kuvan tietyn kissan tai veneen kanssa. Samalla tavalla se voi myös korvata kuvaelementtejä tietyillä objekteilla, näyttää esimerkkiä visuaalisesta tyylistä synteesiä varten ja määrittää käsitteitä (esimerkiksi koko lääkärivalikoimasta voit käyttää tarkempaa ja laadukkaampaa valikoimaa halutulla tyylillä).
- stable-diffusion-animation - animoitujen (liikkuvien) kuvien luominen Stable Diffusion -ohjelmassa luotujen kuvien välisen interpoloinnin perusteella.
- stable_diffusion.openvino (koodi) - Stable Diffusion -portti, joka käyttää vain CPU:ta laskelmiin, mikä mahdollistaa kokeilun järjestelmissä, joissa ei ole tehokkaita GPU:ita. Vaatii OpenVINO-kirjaston tuetun prosessorin. Virallisesti OpenVINO tarjoaa laajennuksia Intel-prosessoreille AVX2-, AVX-512-, AVX512_BF16- ja SSE-laajennuksilla sekä Raspberry Pi 4 Model B-, Apple Mac mini- ja NVIDIA Jetson Nano -korteille. Epävirallisesti OpenVINOa on mahdollista käyttää AMD Ryzen -prosessoreissa.
- sdamd on portti AMD GPU:ille.
- Videosynteesin ensimmäinen toteutus.
- stable-diffusion-gui, stable-diffusion-ui, Artbreeder Collage, diffuse-the-rest - graafiset rajapinnat kuvien luomiseen Stable Diffusion -sovelluksella.
- beta.dreamstudio.ai, Hugging Face Spaces, hlky Stable Diffusion WebUI - verkkokäyttöliittymät kuvien synteesiin Stable Diffusionia käyttämällä.
- Lisäosat Stable Diffusionin integroimiseksi GIMPiin, Figmaan, Blenderiin ja Photoshopiin.
Lisäksi voimme huomioida, että Google on julkaissut RawNeRF (RAW Neural Radiance Fields) -koneoppimisjärjestelmän koodin, jonka avulla useiden RAW-kuvien tietojen perusteella voidaan parantaa pimeässä ja pimeässä otettujen erittäin meluisten kuvien laatua. huono valaistus. Hankkeen kehittämät työkalut mahdollistavat kohinan eliminoinnin lisäksi yksityiskohtien lisäämisen, häikäisyn eliminoimisen, HDR:n syntetisoinnin ja valokuvien kokonaisvalaistuksen muuttamisen sekä kohteiden kolmiulotteisen sijainnin uudelleenluomisen useiden eri kulmista otettujen valokuvien avulla, siirtää näkökulmaa, käsitellä tarkennusta ja luoda liikkuvia kuvia.
Lähde: opennet.ru