🥇FlexGen — енджин за стартиране на AI ботове, подобни на ChatGPT, на системи с един GPU

Екип от изследователи от Станфордския университет, Калифорнийския университет в Бъркли, ETH Zurich, Висшето училище по икономика, университета Карнеги Мелън, както и Yandex и Meta, публикуваха изходния код на енджин за изпълнение на големи езикови модели в системи с ограничени ресурси. Например, енджинът позволява създаването на функционалност, подобна на ChatGPT и Copilot, чрез стартиране на предварително обучения модел OPT-175B, обхващащ 175 милиарда параметъра, на типичен компютър с геймърска графична карта NVIDIA RTX3090 и 24GB видеопамет. Кодът е написан на Python, използва рамката PyTorch и се разпространява под лиценз Apache 2.0.

Комплектът включва примерен скрипт за създаване на бот, който ви позволява да заредите един от публично достъпните езикови модели и да започнете да чатите веднага (например, като изпълните командата "python apps/chatbot.py --model facebook/opt-30b -- -percent 0 100 100 0 100 0"). Базовият модел е голям езиков модел, публикуван от Facebook, обучен върху колекции от BookCorpus (10 000 книги), CC-Stories, Pile (OpenSubtitles, Wikipedia, DM Mathematics, HackerNews и др.), Pushshift.io (базиран на данни от Reddit) и CCNewsV2 (архив с новини). Моделът обхваща приблизително 180 милиарда токена (800 GB данни). Обучението на модела отне 33 дни на клъстер с 992 графични процесора NVIDIA A100 80GB.

При стартиране на модела OPT-175B на система с един графичен процесор NVIDIA T4 (16GB), енджинът FlexGen демонстрира производителност до 100 пъти по-бърза от досегашните решения, което прави големите езикови модели по-достъпни и им позволява да работят на системи без специализирани ускорители. FlexGen може също така да се мащабира, за да паралелизира изчисленията между множество графични процесори. Размерът на модела е допълнително намален чрез патентована схема за компресиране на параметри и механизъм за кеширане на модели.

FlexGen в момента поддържа само OPT езикови модели, но разработчиците обещават да добавят и поддръжка за BLOOM (176 милиарда параметъра, поддържа 46 езика и 13 езика за програмиране), CodeGen (може да генерира код на 22 езика за програмиране) и GLM модели в бъдеще. Ето пример за разговор с бот, базиран на FlexGen, използващ модела OPT-30B:

Човек: Как се казва най-високата планина в света?
Асистент: Еверест.
Човек: Планирам пътуване за годишнината ни. Какво можем да правим?
Асистент: Ами, има редица неща, които можете да направите за годишнината си. Първо, можете да играете карти. Второ, можете да отидете на поход. Трето, можете да отидете на музей.

Източник: opennet.ru