Tîmek lêkolînerên ji Zanîngeha Stanford, Zanîngeha Kalîforniyayê li Berkeley, ETH Zurich, Dibistana Bilind a Aboriyê, Zanîngeha Carnegie Mellon, û her weha Yandex û Meta, koda çavkaniya motorek ji bo xebitandina modelên zimanên mezin li ser çavkaniyê weşandin. - sîstemên bisînorkirî. Mînakî, motor kapasîteya afirandina fonksiyonek ku ChatGPT û Copilot tîne bîra xwe bi xebitandina modelek OPT-175B-ya pêş-perwerdekirî, ku 175 mîlyar parametre vedihewîne, li ser komputerek birêkûpêk bi qerta grafîkê ya lîstika NVIDIA RTX3090 ku bi 24 GB bîranîna vîdyoyê ve girêdayî ye peyda dike. Kod di Python de hatî nivîsandin, çarçoveya PyTorch bikar tîne û di bin lîsansa Apache 2.0 de tê belav kirin.
Ew ji bo çêkirina botan skrîptek mînakek vedihewîne ku dihêle hûn yek ji modelên zimanên berdest ên gelemperî dakêşin û tavilê dest bi danûstandinê bikin (mînak, bi xebitandina fermana "python apps/chatbot.py - modela facebook/opt-30b - -ji sedî 0 100 100 0 100 0” ). Wekî bingeh, tê pêşniyar kirin ku modelek zimanek mezin a ku ji hêla Facebook ve hatî weşandin, bikar bînin, ku li ser berhevokên BookCorpus (10 hezar pirtûk), CC-Stories, Pile (OpenSubtitles, Wikipedia, DM Mathematics, HackerNews, hwd.), Pushshift hatine perwerde kirin. io (li ser bingeha daneyên Reddit) û CCNewsV2 (arşîva nûçeyan). Model bi qasî 180 mîlyar token (800 GB dane) vedigire. 33 rojên xebata komê bi 992 GPU-yên NVIDIA A100 80 GB ji perwerdekirina modelê re derbas bûn.
Dema ku modela OPT-175B li ser pergalek bi yek NVIDIA T4 GPU (16 GB) dimeşîne, motora FlexGen ji çareseriyên berê 100 qat zûtir performansê nîşan da, karanîna modelên zimanên mezin erzantir dike û dihêle ku ew li ser bixebitin. pergalên bêyî lezkerên taybetî. Di heman demê de, FlexGen dikare pîvandin ku hesabên bi gelek GPU re paralel bike. Ji bo kêmkirina mezinahiya modelê, pêvek pêvekek pêvekirina parameterê ya xwedan û mekanîzmayek cachkirina modelê jî tê bikar anîn.
Heya nuha, FlexGen tenê modelên zimanê OPT piştgirî dike, lê di pêşerojê de pêşdebiran jî soz didin ku piştgiriyê ji bo BLOOM (176 mîlyar parametre, 46 ziman û 13 zimanên bernamekirinê piştgirî dike), CodeGen (dikare kodê bi 22 zimanên bernamekirinê çêbike) û Modelên GLM. Nimûneyek diyalogek bi botek li ser bingeha FlexGen û modela OPT-30B:
Mirov: Navê çiyayê herî bilind ê cîhanê çi ye?
Alîkar: Everest.
Mirov: Ez ji bo salvegera me rêwîtiyek plan dikim. Em dikarin çi tiştan bikin?
Alîkar: Welê, çend tişt hene ku hûn dikarin ji bo salvegera xwe bikin. Pêşîn, hûn dikarin qertan bilîzin. Ya duyemîn, hûn dikarin ji bo meşê biçin. Ya sêyemîn, hûn dikarin biçin muzeyekê.
Source: opennet.ru