FlexGen е двигател за стартиране на подобни на ChatGPT AI ботове на системи с един GPU

Екип от изследователи от Станфордския университет, Калифорнийския университет в Бъркли, ETH Zurich, Висшето училище по икономика, Университета Карнеги Мелън, както и Yandex и Meta, публикуваха изходния код на двигател за изпълнение на големи езикови модели на ресурс - ограничени системи. Например, двигателят предоставя възможност за създаване на функционалност, напомняща на ChatGPT и Copilot, чрез стартиране на предварително обучен модел OPT-175B, покриващ 175 милиарда параметри, на обикновен компютър с игрална графична карта NVIDIA RTX3090, оборудвана с 24 GB видео памет. Кодът е написан на Python, използва рамката PyTorch и се разпространява под лиценза Apache 2.0.

Той включва примерен скрипт за създаване на ботове, който ви позволява да изтеглите един от публично достъпните езикови модели и незабавно да започнете да общувате (например, като изпълните командата „python apps/chatbot.py —model facebook/opt-30b — -percent 0 100 100 0 100 0” ). Като база се предлага да се използва голям езиков модел, публикуван от Facebook, обучен върху колекциите на BookCorpus (10 хиляди книги), CC-Stories, Pile (OpenSubtitles, Wikipedia, DM Mathematics, HackerNews и др.), Pushshift. io (въз основа на данни от Reddit) и CCNewsV2 (архив на новини). Моделът обхваща приблизително 180 милиарда токена (800 GB данни). 33 дни клъстерна работа с 992 графични процесора NVIDIA A100 80GB бяха изразходвани за обучение на модела.

При стартиране на модела OPT-175B на система с един NVIDIA T4 GPU (16GB), FlexGen енджинът демонстрира производителност до 100 пъти по-бърза от предишните предлагани решения, което прави големите езикови модели по-достъпни и им позволява да работят на системи без специален ускорители. В същото време FlexGen може да мащабира, за да паралелизира изчисленията с множество GPU. За да се намали размерът на модела, допълнително се използват собствена схема за компресиране на параметри и механизъм за кеширане на модела.

Понастоящем FlexGen поддържа само OPT езикови модели, но в бъдеще разработчиците обещават също да добавят поддръжка за BLOOM (176 милиарда параметри, поддържа 46 езика и 13 езика за програмиране), CodeGen (може да генерира код на 22 езика за програмиране) и GLM модели. Пример за диалог с бот, базиран на FlexGen и модела OPT-30B:

Човекът: Как се казва най-високата планина в света?

Помощник: Еверест.

Човек: Планирам пътуване за нашата годишнина. Какви неща можем да направим?

Асистент: Е, има много неща, които можете да направите за годишнината си. Първо, можете да играете карти. Второ, можете да отидете на поход. Трето, можете да отидете в музей.

Източник: opennet.ru