Stability AI публикува готови модели за своята система за машинно обучение Stable Diffusion, която може да синтезира и модифицира изображения въз основа на текстови описания на естествен език. Моделите са с отворен код под разрешителния лиценз Creative ML OpenRAIL-M, което позволява търговска употреба. Системата е обучена с помощта на клъстер от 4000 графични процесора NVIDIA A100 Ezra-1 и набора от данни LAION-5B, който съдържа 5.85 милиарда изображения с текстови описания. Инструментите за обучение на невронната мрежа и генериране на изображения преди това са били с отворен код под лиценз на MIT.
Наличието на готов модел и сравнително скромните системни изисквания, позволяващи експериментиране на компютър със стандартни графични процесори, доведоха до появата на редица свързани проекти:
- textual-inversion (code) е добавка, която ви позволява да синтезирате изображения с даден символ, обект или стил. В оригиналната Stable Diffusion обектите в синтезираните изображения са произволни и неконтролирани. Тази добавка ви позволява да добавяте свои собствени визуални обекти, да ги свързвате с ключови думи и да ги използвате в синтеза.
Например, в стандартната Stable Diffusion (Стабилна дифузия) можете да помолите системата да генерира изображение на „котка в лодка“. Можете допълнително да укажете характеристиките на котката и лодката, но точната котка и лодка, които ще бъдат синтезирани, са непредсказуеми. Текстовата инверсия ви позволява да обучите системата върху изображение на вашата собствена котка или лодка и след това да синтезирате изображение на конкретна котка или лодка. По подобен начин тя може да замени елементите на изображението с конкретни обекти, да укаже пример за визуален стил за синтез и да прецизира концепциите (например, от голямо разнообразие от лекари можете да изберете по-точен и висококачествен образец в желания стил).
- stable-diffusion-animation — създаване на анимирани (движещи се) изображения, базирани на интерполация между изображения, генерирани в Stable Diffusion.
- stable_diffusion.openvino (код) е порт на Stable Diffusion, който използва само процесора за изчисления, което позволява експериментиране на системи без мощни графични процесори. Необходим е процесор, поддържан от библиотеката OpenVINO. Официално OpenVINO предоставя плъгини за процесори Intel с разширения AVX2, AVX-512, AVX512_BF16 и SSE, както и за платките Raspberry Pi 4 Model B, Apple Mac mini и NVIDIA Jetson Nano. Неофициално OpenVINO може да се използва и на процесори AMD Ryzen.
- sdamd е порт за AMD графични процесори.
- Първоначална имплементация на видео синтез.
- stable-diffusion-gui, stable-diffusion-ui, Artbreeder Collage, diffuse-the-rest — графични интерфейси за генериране на изображения с помощта на Stable Diffusion.
- beta.dreamstudio.ai, Hugging Face Spaces, hlky Stable Diffusion WebUI — уеб интерфейси за синтез на изображения, използващи Stable Diffusion.
- Плъгини за интегриране на Stable Diffusion с GIMP, Figma, Blender и Photoshop.
Освен това, Google публикува кода за своята система за машинно обучение RawNeRF (RAW Neural Radiance Fields), която използва данни от множество RAW изображения, за да подобри качеството на силно шумни снимки, направени в тъмни и слабо осветени условия. В допълнение към намаляването на шума, инструментите на проекта позволяват на потребителите да подобрят детайлите, да премахнат отблясъците, да синтезират HDR и да променят цялостното осветление в снимките. Те могат също така да използват множество снимки от различни ъгли, за да реконструират триизмерното положение на обектите, да изместят гледната точка, да манипулират фокуса и да генерират движещи се изображения.
Източник: opennet.ru
