Stanfordi ülikooli, Berkeley ülikooli, Zürichis asuva Šveitsi Föderaalse Tehnikaülikooli, Loodus- ja Sotsiaalteaduste Kõrgkooli, Carnegie Melloni ülikooli ning ettevõtete Yandex ja Meta teadlaste rühm avaldas avatud lähtekoodiga mootorid suurte keelemudelite käitamiseks piiratud ressurssidega süsteemides. Näiteks võimaldab mootor luua ChatGPT ja Copilot'i sarnast funktsionaalsust, käivitades eelnevalt treenitud mudeli OPT-175B, mis hõlmab 175 miljardit parameetrit, tavalises arvutis, millel on mängukaart NVIDIA RTX3090, millel on 24GB videomuisti. Kood on kirjutatud Pythonis, kasutab PyTorchi raamistikku ja on litsentseeritud Apache 2.0 all.
Komplekt sisaldab skripti näidet, mis võimaldab luua bot'e, laadides alla ühe avalikult kergesti kütustava keele mudeli ja alustades vestlust (näiteks täites käsu „python apps/chatbot.py —model facebook/opt-30b — -percent 0 100 100 0 100 0”). Alusena soovitatakse kasutada Facebooki avaldatud suurt keelemudelit, mis on koolitatud BookCorpus (10 000 raamatut), CC-Stories, Pile (OpenSubtitles, Wikipedia, DM Mathematics, HackerNews jne), Pushshift.io (Redditi andmete põhjal) ja CCNewsV2 (uudiste arhiiv) kogumite peal. Mudel katab umbes 180 miljardit tokenit (800 GB andmeid). Mudeli treenimisele kulus 33 päeva 992 NVIDIA A100 80GB GPU klastritööd.
OPT-175B mudeli käitamisel ühe NVIDIA T4 (16 GB) GPU süsteemis näitas FlexGen jõudlust, mis on kuni 100 korda parem kui varem pakutud lahendused, muutes suurte keelemudelite kasutamise kergemaks ja võimaldades nende käitamise süsteemides ilma spetsialiseeritud kiirendajateta. Samuti suudab FlexGen skaleeruda paralleelselt arvutuste tegemiseks mitme GPU olemasolul. Mudeli suuruse vähendamiseks kasutatakse ka enda välja töötatud parameetrite tihendamise skeemi ja mudelite vahemälu mehhanismi.
Praegu toetab FlexGen ainult OPT keelemudeleid, kuid tulevikus lubavad arendajad lisada toetuse ka BLOOM mudelitele (176 miljardit parameetrit, toetab 46 keelt ja 13 programmeerimiskeelt), CodeGen (suudab genereerida koodi 22 programmeerimiskeeles) ja GLM. Näide vestlusest FlexGen ja mudeli OPT-30B baasil:
Inimene: Mis on maailma kõrgeima mäe nimi?
Assistendid: Everest.
Inimene: Plaanin reisida meie aastapäeva jaoks. Milliseid asju me saame teha?
Assistendid: Noh, teie aastapäeva jaoks on palju asju, mida teha. Esiteks, saate mängida kaarte. Teiseks, saate minna matka. Kolmandaks, saate minna muuseumisse.
Allikas: opennet.ru
