Имплементација система машинског учења за синтезу слике на основу описа текста

Објављена је отворена имплементација система машинског учења ДАЛЛ-Е 2, коју је предложио ОпенАИ, која вам омогућава да синтетишете реалистичне слике и слике на основу текстуалног описа на природном језику, као и да примените команде на природном језику за уређивање слика ( на пример, додајте, избришите или померите објекте на слици). Оригинални ОпенАИ-јеви ДАЛЛ-Е 2 модели нису објављени, али је доступан рад који описује методу. На основу постојећег описа, независни истраживачи су припремили алтернативну имплементацију написану на Питхон-у, користећи Питорцх фрамеворк и дистрибуирану под МИТ лиценцом.

У поређењу са претходно објављеном имплементацијом прве генерације ДАЛЛ-Е, нова верзија обезбеђује тачније подударање слике са описом, омогућава већи фотореализам и омогућава генерисање слика у вишим резолуцијама. Систем захтева велике ресурсе за обуку модела, на пример, за обуку оригиналне верзије ДАЛЛ-Е 2 потребно је 100-200 хиљада сати рада на ГПУ-у, тј. око 2-4 недеље прорачуна са 256 НВИДИА Тесла В100 ГПУ-а.

Исти аутор је такође започео развој проширене верзије - ДАЛЛЕ2 Видео, чији је циљ био синтетизовање видеа из текстуалног описа. Одвојено, можемо приметити пројекат ру-далле који је развила Сбербанка, са отвореном имплементацијом прве генерације ДАЛЛ-Е, прилагођеном за препознавање описа на руском.

Извор: опеннет.ру