Відкрито напрацювання, пов'язані із системою машинного навчання Stable Diffusion, що синтезує зображення на основі текстового опису природною мовою. Проект розвивається спільними зусиллями дослідниками з компаній Stability AI та Runway, спільнот Eleuther AI та LAION, а також групи CompVis lab (лабораторія досліджень у галузі машинного зору та машинного навчання при Мюнхенському університеті). За можливостями та рівнем якості результату Stable Diffusion нагадує проект DALL-E 2, але розвивається як відкритий та загальнодоступний. Реалізація Stable Diffusion написана мовою Python та поширюється під ліцензією MIT.
Готові моделі зараз надаються на окремий запит освітнім установам та незалежним дослідникам, але розробники обіцяють відкрити їх для всіх бажаючих після завершення тестування та готовності першого релізу. Для навчання системи використовувався кластер із 4000 GPU NVIDIA A100 Ezra-1 та колекція LAION-5B, що включає 5.85 мільярдів зображень із текстовими описами. Компоненти для генерації зображення відзначаються як досить легковагі для роботи на системах користувача, наприклад, для синтезу зображень з роздільною здатністю 512×512 достатньо наявності в системі GPU з 10GB відеопам'яті.
Крім синтезу зображень за текстовим описом, пропонується варіант для модифікації зображень, який може з використанням уточнюючих текстових підказок генерувати картини за схематичними начерками, редагувати і змінювати зображення або відновлювати втрачені деталі при збільшенні масштабу. У розробці також є варіант Stable Diffusion для редагування відео на основі текстових команд природною мовою.
Джерело: opennet.ru
