Tha sgioba de luchd-rannsachaidh bho Oilthigh Stanford, Oilthigh California aig Berkeley, ETH Zurich, Sgoil Cheumnach an Eaconamas, Oilthigh Charnegie Mellon, a bharrachd air Yandex agus Meta, air còd stòr einnsean fhoillseachadh airson modalan cànain mòra a ruith air goireas. - siostaman cuingealaichte. Mar eisimpleir, tha an einnsean a’ toirt seachad comas comas-gnìomh a chruthachadh a tha coltach ri ChatGPT agus Copilot le bhith a’ ruith modal OPT-175B ro-thrèanadh, a’ còmhdach paramadairean 175 billean, air coimpiutair cunbhalach le cairt grafaiceachd gèam NVIDIA RTX3090 uidheamaichte le 24GB de chuimhne bhidio. Tha an còd sgrìobhte ann am Python, a’ cleachdadh frèam PyTorch agus air a chuairteachadh fo chead Apache 2.0.
Tha e a’ toirt a-steach sgriobt eisimpleir airson botaichean a chruthachadh a leigeas leat aon de na modalan cànain a tha rim faighinn gu poblach a luchdachadh sìos agus tòiseachadh air conaltradh sa bhad (mar eisimpleir, le bhith a’ ruith an àithne “python apps/chatbot.py —model facebook/opt-30b — -percent 0 100 100 0 100 0”). Mar bhunait, thathas a’ moladh modal cànain mòr a chaidh fhoillseachadh le Facebook a chleachdadh, air a thrèanadh air na cruinneachaidhean de BookCorpus (10 mìle leabhar), CC-Stories, Pile (OpenSubtitles, Wikipedia, DM Mathematics, HackerNews, msaa), Pushshift. io (stèidhichte air dàta Reddit ) agus CCNewsV2 (tasglann naidheachdan). Tha am modail a’ còmhdach timcheall air 180 billean comharran (800 GB de dhàta). Chaidh 33 latha de dh’ obair brabhsair le 992 NVIDIA A100 80GB GPUs a chaitheamh air trèanadh a’ mhodail.
Nuair a bha e a’ ruith modal OPT-175B air siostam le aon NVIDIA T4 GPU (16GB), sheall an einnsean FlexGen coileanadh suas ri 100 uair nas luaithe na fuasglaidhean a chaidh a thabhann roimhe, a’ dèanamh feum de mhodalan cànain mòra nas saoire agus a’ leigeil leotha ruith air adhart. siostaman às aonais luathadairean sònraichte. Aig an aon àm, faodaidh FlexGen sgèile gus àireamhachadh a cho-thaobhadh le ioma GPUs. Gus meud a ’mhodail a lughdachadh, thathas a’ cleachdadh sgeama teannachaidh paramadair seilbh agus inneal caching modail a bharrachd.
An-dràsta, chan eil FlexGen a’ toirt taic ach do mhodalan cànain OPT, ach san àm ri teachd tha an luchd-leasachaidh cuideachd a’ gealltainn taic a chuir ris airson BLOOM (176 billean paramadairean, a’ toirt taic do 46 cànan agus 13 cànan prògramaidh), CodeGen (is urrainn dhaibh còd a ghineadh ann an 22 cànan prògramaidh) agus Modailean GLM saor an asgaidh. Eisimpleir de chòmhradh le bot stèidhichte air FlexGen agus am modal OPT-30B:
Duine: Dè an t-ainm a th’ air a’ bheinn as àirde san t-saoghal?
Neach-taic: Everest.
Daonna: Tha mi a 'dealbhadh turas airson ar ceann-bliadhna. Dè na rudan as urrainn dhuinn a dhèanamh?
Neach-cuideachaidh: Uill, tha grunn rudan ann as urrainn dhut a dhèanamh airson do cheann-bliadhna. An toiseach, faodaidh tu cairtean a chluich. San dàrna h-àite, faodaidh tu a dhol airson cuairt. San treas àite, faodaidh tu a dhol gu taigh-tasgaidh.
Source: fosgailtenet.ru