Стабилити АИ је објавила друго издање система машинског учења Стабле Диффусион, способног да синтетише и модификује слике на основу предложеног шаблона или описа текста на природном језику. Код за обуку неуронске мреже и алате за генерисање слика је написан у Питхон-у користећи ПиТорцх оквир и објављен под МИТ лиценцом. Већ обучени модели су отворени под дозвољеном Цреативе МЛ ОпенРАИЛ-М лиценцом, што омогућава комерцијалну употребу. Поред тога, доступан је демо генератор слика на мрежи.
Кључна побољшања у новом издању Стабле Диффусион:
- Креиран је нови модел за синтезу слика на основу описа текста - СД2.0-в, који подржава генерисање слика резолуције 768к768. Нови модел је обучен помоћу колекције ЛАИОН-5Б, која укључује 5.85 милијарди слика са текстуалним описима. Модел користи исти скуп параметара као и модел Стабле Диффусион 1.5, али се разликује по преласку на коришћење фундаментално другачијег ОпенЦЛИП-ВиТ/Х енкодера, који је значајно побољшао квалитет добијених слика.
- Припремљена је поједностављена верзија СД2.0-базе, обучена на сликама величине 256×256 користећи класични модел предвиђања шума и подржава генерисање слика резолуције 512×512.
- Могуће је користити технологију суперсамплинга (Супер Ресолутион) за повећање резолуције оригиналне слике без смањења квалитета, коришћењем алгоритама просторног скалирања и реконструкције детаља. Обезбеђени модел за обраду слике (СД20-упсцалер) подржава четвороструки зум, што омогућава генерисање слика резолуције 2048к2048.
- Предложен је модел СД2.0-дептх2имг, узимајући у обзир дубину и просторни распоред објеката. За монокуларну процену дубине користи се МиДаС систем. Модел вам омогућава да синтетишете нове слике користећи другу слику као шаблон, који се може радикално разликовати од оригинала, али задржати укупну композицију и дубину. На пример, можете користити позу особе на фотографији да бисте формирали други лик у истој пози.
- Ажуриран је модел за модификовање слика - СД 2.0-инпаинтинг, који вам омогућава да замените и промените делове слике помоћу текстуалних упита.
- Модели су оптимизовани за употребу на конвенционалним системима са једним ГПУ-ом.
Извор: опеннет.ру