Bol objavený vývoj súvisiaci so systémom strojového učenia Stable Diffusion, ktorý syntetizuje obrázky na základe textového popisu v prirodzenom jazyku. Projekt spoločne vyvíjajú výskumníci zo Stability AI a Runway, komunity Eleuther AI a LAION a laboratórna skupina CompVis (výskumné laboratórium počítačového videnia a strojového učenia na univerzite v Mníchove). Schopnosťami a úrovňou kvality výsledku sa Stable Diffusion podobá projektu DALL-E 2, no vyvíja sa ako otvorený a verejne dostupný. Implementácia Stable Diffusion je napísaná v Pythone a distribuovaná pod licenciou MIT.
Hotové modely sú v súčasnosti k dispozícii na samostatnú žiadosť vzdelávacím inštitúciám a nezávislým výskumníkom, ale vývojári sľubujú, že ich po dokončení testovania a pripravenosti prvého vydania sprístupnia každému. Na trénovanie systému bol použitý klaster 4000 GPU NVIDIA A100 Ezra-1 a kolekcia LAION-5B vrátane 5.85 miliardy obrázkov s textovým popisom. Komponenty na generovanie obrazu sa považujú za dostatočne ľahké na to, aby fungovali na používateľských systémoch; napríklad na syntetizovanie obrázkov s rozlíšením 512 x 512 stačí GPU s 10 GB video pamäte v systéme.
Okrem syntézy obrázkov na základe textových popisov sa ponúka možnosť úpravy obrázkov, ktorá dokáže pomocou objasňujúcich textových výziev generovať obrázky zo schematických náčrtov, upravovať a meniť obrázky alebo pri priblížení obnoviť stratené detaily. Vo vývoji je aj Stable Diffusion na úpravu videa na základe textových príkazov v prirodzenom jazyku.
Zdroj: opennet.ru
