Имплементација на систем за машинско учење за синтеза на слики врз основа на опис на текст

Отворена имплементација на системот за машинско учење DALL-E 2, предложен од OpenAI, е објавена и ви овозможува да синтетизирате реални слики и слики врз основа на опис на текст на природен јазик, како и да применувате команди на природен јазик за уредување слики ( на пример, додавање, бришење или преместување на објекти на сликата). Оригиналните модели DALL-E 2 на OpenAI не се објавени, но достапен е труд со детали за методот. Врз основа на постоечкиот опис, независните истражувачи подготвија алтернативна имплементација напишана во Python, користејќи ја рамката Pytorch и дистрибуирана под лиценцата MIT.

Во споредба со претходно објавената имплементација на првата генерација DALL-E, новата верзија обезбедува попрецизно совпаѓање на сликата со описот, овозможува поголем фотореализам и овозможува генерирање слики во повисоки резолуции. Системот бара големи ресурси за да го обучи моделот, на пример, за обука на оригиналната верзија на DALL-E 2 потребни се 100-200 илјади часа пресметување на графичкиот процесор, т.е. околу 2-4 недели пресметки со 256 графички процесори NVIDIA Tesla V100.

Истиот автор, исто така, започна да развива проширена верзија - DALLE2 Video, насочена кон синтетизирање на видео од опис на текст. Одделно, можеме да го забележиме проектот ru-dalle развиен од Сбербанк, со отворена имплементација на првата генерација DALL-E, прилагодена за препознавање на описи на руски јазик.

Извор: opennet.ru