Системи за машинно обучение за синтез на изображения и намаляване на шума в нощни снимки

Stability AI публикува готови модели за системата за машинно обучение Stable Diffusion, способна да синтезира и модифицира изображения въз основа на текстово описание на естествен език. Моделите са лицензирани съгласно разрешителен лиценз Creative ML OpenRAIL-M за търговска употреба. За обучение на системата е използван клъстер от 4000 графични процесора NVIDIA A100 Ezra-1 и колекция LAION-5B, включваща 5.85 милиарда изображения с текстови описания. Преди това кодът за инструменти за обучение на невронна мрежа и генериране на изображения беше с отворен код под лиценза на MIT.

Наличието на готов модел и сравнително скромни системни изисквания, които позволяват да започнете експерименти на компютър със стандартни графични процесори, доведоха до появата на редица свързани проекти:

• textual-inversion (код) - добавка, която ви позволява да синтезирате изображения с даден символ, обект или стил. В оригиналната Stable Diffusion обектите в синтезираните изображения са произволни и неконтролируеми. Предложената добавка ви позволява да добавяте свои собствени визуални обекти, да ги свързвате с ключови думи и да ги използвате в синтез.

  Например, в обикновената стабилна дифузия можете да поискате от системата да генерира изображение с „котка в лодка“. Освен това можете да изясните характеристиките на котката и лодката, но е непредсказуемо коя котка и лодка ще бъдат синтезирани. Текстовата инверсия ви позволява да обучите системата върху изображение на вашата котка или лодка и да синтезирате изображението с конкретна котка или лодка. По подобен начин може също да замени елементите на изображението с определени обекти, да даде пример за визуален стил за синтез и да уточни концепции (например от цялото разнообразие от лекари можете да използвате по-точна и висококачествена селекция в желания стил).

  

• stable-diffusion-animation - създаване на анимирани (движещи се) изображения на базата на интерполация между картини, генерирани в Stable Diffusion.
• stable_diffusion.openvino (код) - порт на Stable Diffusion, който използва само CPU за изчисления, което позволява експериментиране на системи без мощни GPU. Изисква процесор, поддържан в библиотеката OpenVINO. Официално OpenVINO предоставя плъгини за процесори Intel с разширения AVX2, AVX-512, AVX512_BF16 и SSE, както и за Raspberry Pi 4 Model B, Apple Mac mini и NVIDIA Jetson Nano платки. Неофициално е възможно да се използва OpenVINO на процесори AMD Ryzen.
• sdamd е порт за AMD GPU.
• Първоначално внедряване на видео синтез.
• stable-diffusion-gui, stable-diffusion-ui, Artbreeder Collage, diffuse-the-rest - графични интерфейси за генериране на изображения с помощта на Stable Diffusion.
• beta.dreamstudio.ai, Hugging Face Spaces, hlky Stable Diffusion WebUI - уеб интерфейси за синтез на изображения с помощта на Stable Diffusion.
• Добавки за интегриране на Stable Diffusion с GIMP, Figma, Blender и Photoshop.

Освен това можем да отбележим публикуването от Google на кода на системата за машинно обучение RawNeRF (RAW Neural Radiance Fields), която позволява, въз основа на данни от няколко RAW изображения, да се подобри качеството на изображения със силен шум, направени на тъмно и в лошо осветление. В допълнение към елиминирането на шума, инструментите, разработени от проекта, позволяват увеличаване на детайлите, премахване на отблясъците, синтезиране на HDR и промяна на цялостното осветление във снимките, както и пресъздаване на триизмерната позиция на обекти с помощта на няколко снимки от различни ъгли, изместете гледната точка, манипулирайте фокуса и генерирайте движещи се картини.

Източник: opennet.ru