Hópur vísindamanna frá Stanford University, University of California í Berkeley, ETH Zurich, Graduate School of Economics, Carnegie Mellon University, auk Yandex og Meta, hefur gefið út frumkóða vélar til að keyra stór tungumálalíkön á auðlindum -takmörkuð kerfi. Til dæmis gefur vélin möguleika á að búa til virkni sem minnir á ChatGPT og Copilot með því að keyra fyrirfram þjálfaða OPT-175B gerð, sem nær yfir 175 milljarða breytur, á venjulegri tölvu með NVIDIA RTX3090 leikjaskjákorti sem er búið 24GB af myndminni. Kóðinn er skrifaður í Python, notar PyTorch ramma og er dreift undir Apache 2.0 leyfinu.
Það felur í sér dæmi um skriftu til að búa til vélmenni sem gerir þér kleift að hlaða niður einu af almenningi tiltækum tungumálalíkönum og hefja strax samskipti (til dæmis með því að keyra skipunina „python apps/chatbot.py —model facebook/opt-30b — -percent 0 100 100 0 100 0“). Sem grunn er lagt til að nota stórt tungumálalíkan útgefið af Facebook, þjálfað á söfnum BookCorpus (10 þúsund bækur), CC-Stories, Pile (OpenSubtitles, Wikipedia, DM Mathematics, HackerNews, o.fl.), Pushshift. io (byggt á Reddit gögnum) og CCNewsV2 (fréttasafn). Líkanið nær yfir um það bil 180 milljarða tákn (800 GB af gögnum). 33 daga klasarekstur með 992 NVIDIA A100 80GB GPU var eytt í að þjálfa líkanið.
Þegar OPT-175B gerðin var keyrð á kerfi með einni NVIDIA T4 GPU (16GB), sýndi FlexGen vélin frammistöðu allt að 100 sinnum hraðari en áður var boðið upp á lausnir, sem gerði notkun stórra tungumálagerða á viðráðanlegu verði og gerði þeim kleift að keyra á kerfi án sérstakra eldsneytisgjafa. Á sama tíma getur FlexGen skalað til að samhliða útreikningum með mörgum GPU. Til að minnka stærð líkansins er sérstakt þjöppunarkerfi fyrir færibreytur og skyndiminniskerfi líkans notað til viðbótar.
Eins og er styður FlexGen aðeins OPT tungumálalíkön, en í framtíðinni lofa verktaki einnig að bæta við stuðningi við BLOOM (176 milljarðar breytur, styður 46 tungumál og 13 forritunarmál), CodeGen (getur búið til kóða á 22 forritunarmálum) og GLM módel. Dæmi um samræður við vélmenni byggt á FlexGen og OPT-30B líkaninu:
Manneskja: Hvað heitir hæsta fjall í heimi?
Aðstoðarmaður: Everest.
Mannlegur: Ég er að skipuleggja ferð í tilefni afmælisins okkar. Hvaða hluti getum við gert?
Aðstoðarmaður: Jæja, það er ýmislegt sem þú getur gert fyrir afmælið þitt. Í fyrsta lagi geturðu spilað á spil. Í öðru lagi geturðu farið í gönguferð. Í þriðja lagi er hægt að fara á safn.
Heimild: opennet.ru