Stability AI-k Stable Diffusion ikaskuntza automatikoaren sistemarako prest egindako ereduak argitaratu ditu, hizkuntza naturalean testu deskribapen batean oinarrituta irudiak sintetizatzeko eta aldatzeko gai direnak. Ereduek Creative ML OpenRAIL-M lizentzia baimendu baten pean daude erabilera komertzialerako. Sistema trebatzeko, 4000 NVIDIA A100 Ezra-1 GPU multzo bat eta LAION-5B bilduma bat erabili ziren, testu deskribapenekin 5.85 milioi irudi barne. Aurretik, sare neuronal bat entrenatzeko eta irudiak sortzeko tresnen kodea kode irekia zen MIT lizentziapean.
Prestatutako eredu baten eskuragarritasunak eta sistemaren eskakizun nahiko xumeak PC batean esperimentuak hasteko aukera ematen duten GPU estandarrekin lotutako hainbat proiektu sortu dira:
- testu-inbertsioa (kodea) - karaktere, objektu edo estilo jakin batekin irudiak sintetizatzeko aukera ematen duen gehigarria. Jatorrizko Stable Diffusion-en, sintetizatutako irudietako objektuak ausazkoak eta kontrolaezinak dira. Proposatutako gehigarriak zure objektu bisualak gehitzeko, gako-hitzekin lotzeko eta sintesian erabiltzeko aukera ematen du.
Esaterako, Stable Diffusion arruntean sistemari eska diezaiokezu irudi bat sortzea "txalupa batean katua" duen. Gainera, katuaren eta itsasontziaren ezaugarriak argi ditzakezu, baina ezustekoa da zein katu eta itsasontzi sintetizatuko diren. Testu-inbertsioak sistema zure katuaren edo itsasontziaren irudi batean trebatzeko eta irudia katu edo itsasontzi zehatz batekin sintetizatzeko aukera ematen du. Modu berean, irudi-elementuak objektu jakin batzuekin ordezkatu ditzake, sintesirako estilo bisual baten adibidea ezarri eta kontzeptuak zehaztu (adibidez, mediku guztien artean, aukeraketa zehatzagoa eta kalitate handikoa erabil dezakezu. nahi den estiloan).
- stable-diffusion-animation - Stable Diffusion-en sortutako irudien arteko interpolazioan oinarritutako animaziozko irudiak (mugigarriak) sortzea.
- Stable_diffusion.openvino (kodea) - Stable Diffusion-en ataka, kalkuluetarako CPUa soilik erabiltzen duena, GPU indartsurik gabeko sistemetan esperimentatzea ahalbidetzen duena. OpenVINO liburutegian onartzen den prozesadore bat behar du. Ofizialki, OpenVINO-k Intel prozesadoreetarako pluginak eskaintzen ditu AVX2, AVX-512, AVX512_BF16 eta SSE luzapenekin, baita Raspberry Pi 4 Model B, Apple Mac mini eta NVIDIA Jetson Nano plaketarako ere. Ofizialki, OpenVINO erabiltzea posible da AMD Ryzen prozesadoreetan.
- sdamd AMD GPUentzako ataka da.
- Bideo-sintesiaren hasierako ezarpena.
- stable-diffusion-gui, stable-diffusion-ui, Artbreeder Collage, diffuse-the-est - Stable Diffusion erabiliz irudiak sortzeko interfaze grafikoak.
- beta.dreamstudio.ai, Hugging Face Spaces, hlky Stable Diffusion WebUI - irudien sintesirako web interfazeak Stable Diffusion erabiliz.
- Stable Diffusion GIMP, Figma, Blender eta Photoshop-ekin integratzeko pluginak.
Horrez gain, Google-k RawNeRF (RAW Neural Radiance Fields) ikaskuntza automatikoko sistemaren kodearen argitalpena eman duela nabarmendu behar dugu, eta horri esker, hainbat RAW iruditako datuetan oinarrituta, ilunpetan eta ilunpetan ateratako irudi zaratatsuen kalitatea hobetzea. argiztapen eskasa. Zarata kentzeaz gain, proiektuak garatutako tresnek xehetasunak areagotu, distira ezabatu, HDR sintetizatu eta argazkietako argiztapen orokorra aldatzea ahalbidetzen dute, baita objektuen hiru dimentsioko posizioa birsortzea ere hainbat argazki angelu ezberdinetatik erabiliz. ikuspuntua aldatu, fokua manipulatu eta mugimenduan dauden irudiak sortu.
Iturria: opennet.ru