D'fhoilsigh foireann taighdeoirí ó Ollscoil Stanford, Ollscoil California ag Berkeley, ETH Zurich, Scoil Iarchéime na hEacnamaíochta, Ollscoil Carnegie Mellon, chomh maith le Yandex agus Meta, cód foinse an innill chun samhlacha móra teanga a reáchtáil ar acmhainn. -córais srianta. Mar shampla, soláthraíonn an t-inneall an cumas feidhmiúlacht a chruthú a mheabhraíonn ChatGPT agus Copilot trí mhúnla OPT-175B réamh-oilte a reáchtáil, a chlúdaíonn 175 billiún paraiméadair, ar ríomhaire rialta le cárta grafaicí cearrbhachais NVIDIA RTX3090 atá feistithe le 24GB de chuimhne físeáin. Tá an cód scríofa i Python, úsáideann creat PyTorch agus déantar é a dháileadh faoi cheadúnas Apache 2.0.
Cuimsíonn sé script shamplach chun róbónna a chruthú a ligeann duit ceann de na samhlacha teanga atá ar fáil go poiblí a íoslódáil agus tús a chur le cumarsáid láithreach (mar shampla, tríd an ordú “python apps/chatbot.py —model facebook/opt-30b — -percent 0 a rith 100 100 0 100 0”). Mar bhonn, tá sé beartaithe múnla mór teanga arna fhoilsiú ag Facebook a úsáid, atá oilte ar bhailiúcháin BookCorpus (10 míle leabhar), CC-Stories, Pile (OpenSubtitles, Wikipedia, DM Mathematics, HackerNews, etc.), Pushshift. io (bunaithe ar shonraí Reddit ) agus CCNewsV2 (cartlann nuachta). Clúdaíonn an tsamhail thart ar 180 billiún tokens (800 GB de shonraí). Caitheadh 33 lá d'oibríocht braisle le 992 NVIDIA A100 80GB GPU ar oiliúint an tsamhail.
Agus an tsamhail OPT-175B á rith ar chóras le NVIDIA T4 GPU amháin (16GB), léirigh an t-inneall FlexGen feidhmíocht suas le 100 uair níos tapúla ná réitigh a tairgeadh roimhe seo, rud a fhágann go bhfuil úsáid samhlacha móra teanga níos inacmhainne agus ag ligean dóibh rith ar aghaidh. córais gan luasairí tiomnaithe. Ag an am céanna, is féidir le FlexGen scála chun ríomhaireachtaí a chomhthreomharú le il GPUanna. Chun méid an mhúnla a laghdú, úsáidtear scéim chomhbhrú paraiméadar dílseánaigh agus meicníocht caching múnla freisin.
Faoi láthair, ní thacaíonn FlexGen ach le samhlacha teanga OPT, ach sa todhchaí geallann na forbróirí freisin tacaíocht a chur leis do BLOOM (176 billiún paraiméadair, tacaíonn sé le 46 teanga agus 13 theanga ríomhchlárúcháin), CodeGen (is féidir cód a ghiniúint i 22 teanga ríomhchlárúcháin) agus Samhlacha GLM. Sampla de chomhphlé le bot bunaithe ar FlexGen agus an tsamhail OPT-30B:
Duine: Cad is ainm don sliabh is airde ar domhan?
Cúntóir: Everest.
Duine: Tá turas á phleanáil agam dár gcomóradh. Cad iad na rudaí is féidir linn a dhéanamh?
Cúntóir: Bhuel, tá roinnt rudaí is féidir leat a dhéanamh do do chomóradh. Gcéad dul síos, is féidir leat cártaí a imirt. Dara, is féidir leat dul ar hike. Sa tríú háit, is féidir leat dul chuig músaem.
Foinse: oscailtenet.ru