Stability AI het gereedgemaakte modelle vir die Stable Diffusion-masjienleerstelsel gepubliseer, wat in staat is om beelde te sintetiseer en te wysig gebaseer op 'n teksbeskrywing in natuurlike taal. Modelle is gelisensieer onder 'n permissiewe Creative ML OpenRAIL-M-lisensie vir kommersiële gebruik. Om die stelsel op te lei, is 'n groep van 4000 NVIDIA A100 Ezra-1 GPU's en 'n LAION-5B-versameling, insluitend 5.85 miljard beelde met teksbeskrywings, gebruik. Voorheen was die kode vir gereedskap vir die opleiding van 'n neurale netwerk en die generering van beelde oopbron onder die MIT-lisensie.
Die beskikbaarheid van 'n klaargemaakte model en redelik beskeie stelselvereistes wat 'n mens toelaat om eksperimente op 'n rekenaar met standaard GPU's te begin, het gelei tot die ontstaan van 'n aantal verwante projekte:
- textual-inversion (kode) - 'n byvoeging wat jou toelaat om beelde met 'n gegewe karakter, voorwerp of styl te sintetiseer. In die oorspronklike Stable Diffusion is die voorwerpe in die gesintetiseerde beelde ewekansig en onbeheerbaar. Die voorgestelde byvoeging laat jou toe om jou eie visuele voorwerpe by te voeg, dit aan sleutelwoorde te bind en in sintese te gebruik.
Byvoorbeeld, in gewone Stable Diffusion kan jy die stelsel vra om 'n beeld te genereer met 'n "kat in 'n boot". Daarbenewens kan jy die eienskappe van die kat en die boot duidelik maak, maar dit is onvoorspelbaar watter kat en boot gesintetiseer sal word. Tekstuele inversie laat jou toe om die stelsel op 'n beeld van jou kat of boot op te lei en die beeld met 'n spesifieke kat of boot te sintetiseer. Op 'n soortgelyke manier kan dit ook beeldelemente met sekere voorwerpe vervang, 'n voorbeeld van 'n visuele styl vir sintese stel, en konsepte spesifiseer (byvoorbeeld, uit die hele verskeidenheid dokters kan u 'n meer akkurate en hoë kwaliteit seleksie gebruik in die gewenste styl).
- stable-diffusion-animation - skepping van geanimeerde (bewegende) beelde gebaseer op interpolasie tussen prente wat in Stable Diffusion gegenereer word.
- stable_diffusion.openvino (kode) - 'n poort van Stable Diffusion, wat slegs die SVE vir berekeninge gebruik, wat eksperimentering op stelsels sonder kragtige GPU's moontlik maak. Vereis 'n verwerker wat in die OpenVINO-biblioteek ondersteun word. Amptelik bied OpenVINO inproppe vir Intel-verwerkers met AVX2-, AVX-512-, AVX512_BF16- en SSE-uitbreidings, sowel as vir Raspberry Pi 4 Model B, Apple Mac mini en NVIDIA Jetson Nano-borde. Nie-amptelik is dit moontlik om OpenVINO op AMD Ryzen-verwerkers te gebruik.
- sdamd is 'n poort vir AMD GPU's.
- 'n Aanvanklike implementering van videosintese.
- stabiele-diffusie-gui, stabiele-diffusie-ui, Artbreeder Collage, diffuse-the-res - grafiese koppelvlakke vir die generering van beelde met behulp van Stable Diffusion.
- beta.dreamstudio.ai, Hugging Face Spaces, hlky Stable Diffusion WebUI - webkoppelvlakke vir beeldsintese met behulp van Stable Diffusion.
- Inproppe vir die integrasie van stabiele diffusie met GIMP, Figma, Blender en Photoshop.
Daarbenewens kan ons kennis neem van die publikasie deur Google van die kode van die RawNeRF (RAW Neural Radiance Fields) masjienleerstelsel, wat dit moontlik maak om, gebaseer op data van verskeie RAW-beelde, die kwaliteit van hoogs raserige beelde wat in die donker en in die donker geneem is, te verbeter swak beligting. Benewens die uitskakeling van geraas, maak die gereedskap wat deur die projek ontwikkel is, dit moontlik om detail te vergroot, glans uit te skakel, HDR te sintetiseer en die algehele beligting in foto's te verander, asook om die driedimensionele posisie van voorwerpe te herskep deur verskeie foto's vanuit verskillende hoeke te gebruik, verskuif die oogpunt, manipuleer fokus en genereer bewegende prente.
Bron: opennet.ru