Системи машинског учења за синтезу слике и смањење шума на ноћним фотографијама

Стабилити АИ је објавио готове моделе за систем машинског учења Стабле Диффусион, способан да синтетише и модификује слике на основу текстуалног описа на природном језику. Модели су лиценцирани под дозвољеном Цреативе МЛ ОпенРАИЛ-М лиценцом за комерцијалну употребу. За обуку система коришћен је кластер од 4000 НВИДИА А100 Езра-1 ГПУ-а и колекција ЛАИОН-5Б, укључујући 5.85 милијарди слика са текстуалним описима. Раније је код за алате за обуку неуронске мреже и генерисање слика био отвореног кода под лиценцом МИТ-а.

Доступност готовог модела и прилично скромни системски захтеви који омогућавају покретање експеримената на рачунару са стандардним ГПУ-има довели су до појаве низа повезаних пројеката:

• текстуална инверзија (код) - додатак који вам омогућава да синтетишете слике са датим карактером, објектом или стилом. У оригиналној стабилној дифузији, објекти на синтетизованим сликама су насумични и неконтролисани. Предложени додатак вам омогућава да додате сопствене визуелне објекте, повежете их са кључним речима и користите их у синтези.

  На пример, у редовној стабилној дифузији можете затражити од система да генерише слику са „мачком у чамцу“. Додатно, можете разјаснити карактеристике мачке и чамца, али је непредвидљиво која ће мачка и чамац бити синтетизовани. Текстуална инверзија вам омогућава да обучите систем на слици ваше мачке или чамца и да синтетишете слику са одређеном мачком или чамцем. На сличан начин, такође може заменити елементе слике одређеним објектима, поставити пример визуелног стила за синтезу и специфицирати концепте (на пример, из читавог низа лекара, можете користити прецизнији и квалитетнији избор у жељеном стилу).

  

• Стабле-диффусион-аниматион - креирање анимираних (покретних) слика на основу интерполације између слика генерисаних у Стабле Диффусион.
• стабле_диффусион.опенвино (код) - порт Стабле Диффусион, који користи само ЦПУ за прорачуне, што омогућава експериментисање на системима без моћних ГПУ-а. Захтева процесор подржан у ОпенВИНО библиотеци. Званично, ОпенВИНО обезбеђује додатке за Интел процесоре са АВКС2, АВКС-512, АВКС512_БФ16 и ССЕ екстензијама, као и за Распберри Пи 4 Модел Б, Аппле Мац мини и НВИДИА Јетсон Нано плоче. Незванично, могуће је користити ОпенВИНО на АМД Ризен процесорима.
• сдамд је порт за АМД ГПУ.
• Почетна имплементација видео синтезе.
• стабле-диффусион-гуи, стабле-диффусион-уи, Артбреедер Цоллаге, диффусе-тхе-рест - графички интерфејси за генерисање слика помоћу Стабле Диффусион.
• бета.дреамстудио.аи, Хуггинг Фаце Спацес, хлки Стабле Диффусион ВебУИ - веб интерфејси за синтезу слика помоћу Стабле Диффусион.
• Додаци за интеграцију Стабле Диффусион са ГИМП, Фигма, Блендер и Пхотосхоп.

Поред тога, можемо приметити објављивање кода РавНеРФ (РАВ Неурал Радианце Фиелдс) система за машинско учење од стране Гоогле-а, који омогућава, на основу података са неколико РАВ слика, да побољша квалитет високо бучних слика снимљених у мраку иу слабо осветљење. Поред елиминисања буке, алати које је пројекат развио омогућавају повећање детаља, елиминисање одсјаја, синтетизују ХДР и промену целокупног осветљења на фотографијама, као и рекреацију тродимензионалне позиције објеката користећи неколико фотографија из различитих углова, промените тачку гледишта, манипулишете фокусом и генеришете покретне слике.

Извор: опеннет.ру