Mae tîm o ymchwilwyr o Brifysgol Stanford, Prifysgol California yn Berkeley, ETH Zurich, Ysgol Economeg y Graddedigion, Prifysgol Carnegie Mellon, yn ogystal â Yandex a Meta, wedi cyhoeddi cod ffynhonnell injan ar gyfer rhedeg modelau iaith mawr ar adnoddau. - systemau cyfyngedig. Er enghraifft, mae'r injan yn darparu'r gallu i greu ymarferoldeb sy'n atgoffa rhywun o ChatGPT a Copilot trwy redeg model OPT-175B wedi'i hyfforddi ymlaen llaw, sy'n cwmpasu 175 biliwn o baramedrau, ar gyfrifiadur rheolaidd gyda cherdyn graffeg hapchwarae NVIDIA RTX3090 gyda 24GB o gof fideo. Mae'r cod wedi'i ysgrifennu yn Python, yn defnyddio fframwaith PyTorch ac yn cael ei ddosbarthu o dan drwydded Apache 2.0.
Mae'n cynnwys sgript enghreifftiol ar gyfer creu bots sy'n eich galluogi i lawrlwytho un o'r modelau iaith sydd ar gael yn gyhoeddus a dechrau cyfathrebu ar unwaith (er enghraifft, trwy redeg y gorchymyn “python apps/chatbot.py —model facebook/opt-30b — -percent 0 100 100 0 100 0”). Fel sylfaen, cynigir defnyddio model iaith mawr a gyhoeddir gan Facebook, wedi'i hyfforddi ar gasgliadau BookCorpus (10 mil o lyfrau), CC-Stories, Pile (OpenSubtitles, Wikipedia, DM Mathematics, HackerNews, etc.), Pushshift. io (yn seiliedig ar ddata Reddit ) a CCNewsV2 (archif newyddion). Mae'r model yn cwmpasu tua 180 biliwn o docynnau (800 GB o ddata). Treuliwyd 33 diwrnod o weithredu clwstwr gyda 992 NVIDIA A100 80GB GPUs ar hyfforddi'r model.
Wrth redeg y model OPT-175B ar system gydag un NVIDIA T4 GPU (16GB), dangosodd yr injan FlexGen berfformiad hyd at 100 gwaith yn gyflymach nag atebion a gynigiwyd yn flaenorol, gan wneud y defnydd o fodelau iaith mawr yn fwy fforddiadwy a chaniatáu iddynt redeg ymlaen systemau heb gyflymwyr pwrpasol. Ar yr un pryd, gall FlexGen raddfa i gyfateb cyfrifiadau â GPUs lluosog. Er mwyn lleihau maint y model, defnyddir cynllun cywasgu paramedr perchnogol a mecanwaith caching model hefyd.
Ar hyn o bryd, dim ond modelau iaith OPT y mae FlexGen yn eu cefnogi, ond yn y dyfodol mae'r datblygwyr hefyd yn addo ychwanegu cefnogaeth i'r BLOOM (176 biliwn o baramedrau, yn cefnogi 46 o ieithoedd a 13 o ieithoedd rhaglennu), CodeGen (yn gallu cynhyrchu cod mewn 22 o ieithoedd rhaglennu) a modelau GLM. Enghraifft o ddeialog gyda bot yn seiliedig ar FlexGen a'r model OPT-30B:
Dynol: Beth yw enw'r mynydd talaf yn y byd?
Cynorthwy-ydd: Everest.
Dynol: Rwy'n cynllunio taith ar gyfer ein pen-blwydd. Pa bethau allwn ni eu gwneud?
Cynorthwy-ydd: Wel, mae yna nifer o bethau y gallwch chi eu gwneud ar gyfer eich pen-blwydd. Yn gyntaf, gallwch chi chwarae cardiau. Yn ail, gallwch fynd am dro. Yn drydydd, gallwch fynd i amgueddfa.
Ffynhonnell: opennet.ru