FlexGen е мотор за водење на AI ботови слични на ChatGPT на системи со еден графички процесор

Тим истражувачи од Универзитетот Стенфорд, Универзитетот во Калифорнија во Беркли, ЕТХ Цирих, Факултетот за дипломирање за економија, Универзитетот Карнеги Мелон, како и Јандекс и Мета, го објавија изворниот код на моторот за водење на големи јазични модели на ресурси -ограничени системи. На пример, моторот обезбедува можност за создавање функционалност што потсетува на ChatGPT и Copilot со вклучување на претходно обучен модел OPT-175B, кој покрива 175 милијарди параметри, на обичен компјутер со графичка картичка за игри NVIDIA RTX3090 опремена со 24 GB видео меморија. Кодот е напишан во Python, ја користи рамката PyTorch и се дистрибуира под лиценцата Apache 2.0.

Вклучува пример скрипта за создавање ботови што ви овозможува да преземете еден од јавно достапните јазични модели и веднаш да започнете да комуницирате (на пример, со извршување на командата „python apps/chatbot.py — model facebook/opt-30b — -procent 0 100 100 0 100 0“). Како основа, се предлага да се користи голем јазичен модел објавен од Facebook, обучен за збирките на BookCorpus (10 илјади книги), CC-Stories, Pile (OpenSubtitles, Wikipedia, DM Mathematics, HackerNews итн.), Pushshift. io (врз основа на податоците на Reddit ) и CCNewsV2 (архива на вести). Моделот покрива приближно 180 милијарди токени (800 GB податоци). За обука на моделот беа потрошени 33 дена работа на кластерот со 992 графички процесори NVIDIA A100 од 80 GB.

При извршување на моделот OPT-175B на систем со еден графички процесор NVIDIA T4 (16GB), моторот FlexGen покажа перформанси до 100 пати побрзи од претходно понудените решенија, правејќи ја употребата на моделите на големи јазици поприфатлива и овозможувајќи им да работат на системи без наменски акцелератори. Во исто време, FlexGen може да скалира за паралелизирање на пресметките со повеќе графички процесори. За да се намали големината на моделот, дополнително се користат комерцијална шема за компресија на параметри и механизам за кеширање на моделот.

Во моментов, FlexGen поддржува само модели на јазици OPT, но во иднина програмерите ветуваат и поддршка за BLOOM (176 милијарди параметри, поддржува 46 јазици и 13 програмски јазици), CodeGen (може да генерира код на 22 програмски јазици) и GLM модели. Пример за дијалог со бот базиран на FlexGen и моделот OPT-30B:

Човек: Како се вика највисоката планина во светот?

Асистент: Еверест.

Човек: Планирам патување за нашата годишнина. Кои работи можеме да ги направиме?

Асистент: Па, има голем број работи што можете да ги направите за вашата годишнина. Прво, можете да играте карти. Второ, можете да одите на пешачење. Трето, можете да одите во музеј.

Извор: opennet.ru