O se vaega o tagata suʻesuʻe mai le Iunivesite o Stanford, le Iunivesite o Kalefonia i Berkeley, ETH Zurich, le Graduate School of Economics, Carnegie Mellon University, faʻapea foʻi ma Yandex ma Meta, ua faʻasalalau le faʻailoga autu o se afi mo le faʻaogaina o gagana tetele i luga o punaoa. -pulea faiga. Mo se faʻataʻitaʻiga, o le afi e maua ai le gafatia e fatu ai galuega faʻamanatuina o ChatGPT ma Copilot e ala i le faʻatinoina o se faʻataʻitaʻiga OPT-175B muaʻi aʻoaʻoina, e aofia ai le 175 piliona taʻaloga, i luga o se komepiuta masani ma le NVIDIA RTX3090 taʻaloga faʻataʻitaʻi kata faʻapipiʻiina i le 24GB o le manatua vitio. O loʻo tusia le code i le Python, faʻaaoga le PyTorch framework ma tufatufaina i lalo ole laisene Apache 2.0.
O loʻo aofia ai se faʻataʻitaʻiga faʻataʻitaʻiga mo le fatuina o bots e mafai ai ona e siiina se tasi o faʻataʻitaʻiga gagana faʻasalalau ma amata loa ona fesoʻotaʻi (mo se faʻataʻitaʻiga, e ala i le faʻatonuina o le "python apps/chatbot.py —model facebook/opt-30b — -percent 0 100 100 0 100 0” ). I le avea ai o se faavae, ua fautuaina e faʻaaoga se faʻataʻitaʻiga gagana tele na lomia e le Facebook, aʻoaʻoina i le aoina o BookCorpus (10 afe tusi), CC-Stories, Pile (OpenSubtitles, Wikipedia, DM Mathematics, HackerNews, ma isi), Pushshift. io (faʻavae i luga o Reddit data) ma CCNewsV2 (tala fou faʻamaumauga). O le faʻataʻitaʻiga e aofia ai le tusa ma le 180 piliona faʻailoga (800 GB o faʻamaumauga). 33 aso o le faʻaogaina faʻatasi ma le 992 NVIDIA A100 80GB GPU na faʻaalu i le aʻoaʻoina o le faʻataʻitaʻiga.
Pe a faʻatautaia le faʻataʻitaʻiga OPT-175B i luga o se faiga faʻatasi ma le NVIDIA T4 GPU (16GB), o le FlexGen engine na faʻaalia le faʻatinoga e oʻo atu i le 100 taimi sili atu nai lo fofo na ofoina atu muamua, faʻaogaina le faʻaogaina o gagana tetele faʻataʻitaʻiga sili atu le taugofie ma faʻatagaina i latou e taʻavale i luga. faiga e aunoa ma ni fa'atauva'a fa'apitoa. I le taimi lava e tasi, e mafai e FlexGen ona fua e faʻatusatusa faʻatusatusaga ma le tele o GPU. Ina ia fa'aitiitia le lapo'a o le fa'ata'ita'iga, o lo'o fa'aogaina fo'i se faiga fa'apipi'i fa'amaufa'ailoga fa'apitoa ma se masini fa'ata'ita'i fa'ata'ita'i.
I le taimi nei, e naʻo FlexGen e lagolagoina faʻataʻitaʻiga gagana OPT, ae i le lumanaʻi o loʻo folafola mai e le au atinaʻe le faʻaopoopoina o le lagolago mo le BLOOM (176 piliona taʻiala, lagolagoina le 46 gagana ma le 13 polokalame gagana), CodeGen (e mafai ona gaosia le code i 22 polokalame gagana) ma GLM fa'ata'ita'iga. O se faʻataʻitaʻiga o se talanoaga ma se bot e faʻavae i luga o FlexGen ma le OPT-30B faʻataʻitaʻiga:
Tagata: O le a le igoa o le mauga maualuga i le lalolagi?
Fesoasoani: Everest.
Tagata: O loʻo ou fuafuaina se malaga mo le tatou aso faamanatu. O a mea e mafai ona tatou faia?
Fesoasoani: Ia, e tele mea e mafai ona e faia mo lou aso faamanatu. Muamua, e mafai ona e ta'alo kata. Lona lua, e mafai ona e alu e sopo. Lona tolu, e mafai ona e alu i se falemataaga.
puna: opennet.ru