Системи за машинско учење за синтеза на слики и намалување на шумот во ноќните фотографии

Stability AI објави готови модели за системот за машинско учење Stable Diffusion, способен да синтетизира и менува слики врз основа на опис на текст на природен јазик. Моделите се лиценцирани според дозволата Creative ML OpenRAIL-M за комерцијална употреба. За обука на системот, користен е кластер од 4000 графички процесори NVIDIA A100 Ezra-1 и колекција LAION-5B, вклучувајќи 5.85 милијарди слики со описи на текст. Претходно, кодот за алатки за обука на невронска мрежа и генерирање слики беше со отворен код под лиценцата MIT.

Достапноста на готов модел и прилично скромните системски барања што овозможуваат да се започне експерименти на компјутер со стандардни графички процесори доведоа до појава на голем број поврзани проекти:

• текстуална инверзија (код) - додаток кој ви овозможува да синтетизирате слики со даден карактер, предмет или стил. Во оригиналната Стабилна дифузија, објектите во синтетизираните слики се случајни и неконтролирани. Предложениот додаток ви овозможува да додадете свои визуелни објекти, да ги врзувате за клучни зборови и да ги користите во синтеза.

  На пример, во обичната стабилна дифузија можете да побарате од системот да генерира слика со „мачка во чамец“. Дополнително, можете да ги разјасните карактеристиките на мачката и чамецот, но непредвидливо е која мачка и чамец ќе се синтетизираат. Текстуалната инверзија ви овозможува да го тренирате системот со слика на вашата мачка или чамец и да ја синтетизирате сликата со одредена мачка или чамец. На сличен начин, исто така може да ги замени елементите на сликата со одредени предмети, да постави пример за визуелен стил за синтеза и да специфицира концепти (на пример, од целата разновидност на лекари, можете да користите попрецизен и поквалитетен избор во саканиот стил).

  

• stable-diffusion-animation - создавање на анимирани (подвижни) слики врз основа на интерполација помеѓу сликите генерирани во Stable Diffusion.
• stable_diffusion.openvino (код) - порта на Stable Diffusion, која користи само процесорот за пресметки, што овозможува експериментирање на системи без моќни графички процесори. Потребен е процесор поддржан во библиотеката OpenVINO. Официјално, OpenVINO обезбедува приклучоци за процесори на Интел со екстензии AVX2, AVX-512, AVX512_BF16 и SSE, како и за Raspberry Pi 4 Model B, Apple Mac mini и NVIDIA Jetson Nano плочи. Неофицијално, можно е користење OpenVINO на AMD Ryzen процесорите.
• sdamd е порта за AMD графички процесори.
• Почетна имплементација на видео синтеза.
• stable-diffusion-gui, stable-diffusion-ui, Artbreeder Collage, diffuse-the-rest - графички интерфејси за генерирање слики со помош на Stable Diffusion.
• beta.dreamstudio.ai, Hugging Face Spaces, hlky Stable Diffusion WebUI - веб-интерфејси за синтеза на слики користејќи стабилна дифузија.
• Приклучоци за интегрирање на стабилна дифузија со GIMP, Figma, Blender и Photoshop.

Дополнително, можеме да го забележиме објавувањето од Google на кодот на системот за машинско учење RawNeRF (RAW Neural Radiance Fields), кој овозможува, врз основа на податоци од неколку RAW слики, да се подобри квалитетот на сликите со многу бучава сликани во темнина и во лошо осветлување. Покрај елиминирањето на бучавата, алатките развиени од проектот овозможуваат зголемување на деталите, елиминирање на отсјајот, синтетизирање на HDR и промена на целокупното осветлување на фотографиите, како и рекреирање на тродимензионалната положба на предметите користејќи неколку фотографии од различни агли, сменете ја гледната точка, манипулирајте со фокусот и генерирајте подвижни слики.

Извор: opennet.ru