Ua paʻi kekahi pūʻulu o nā mea noiʻi mai ke Kulanui o Stanford, ke Kulanui o Kaleponi ma Berkeley, ETH Zurich, ke Kula Nui o Economics, Ke Kula Nui ʻo Carnegie Mellon, a me Yandex a me Meta, i ke kumu kumu o ka ʻenekini no ka holo ʻana i nā ʻano ʻōlelo nui ma nā kumuwaiwai. - nā ʻōnaehana hoʻopaʻa ʻia. No ka laʻana, hāʻawi ka ʻenekini i ka hiki ke hana i nā hana e like me ChatGPT a me Copilot ma ka holo ʻana i kahi kumu hoʻohālike OPT-175B i hoʻomaʻamaʻa mua ʻia, e uhi ana i 175 billion mau palena, ma kahi kamepiula maʻamau me kahi kāleka kiʻi pāʻani NVIDIA RTX3090 i lako me 24GB o ka hoʻomanaʻo wikiō. Ua kākau ʻia ke code ma Python, hoʻohana i ka PyTorch framework a māhele ʻia ma lalo o ka laikini Apache 2.0.
Loaʻa iā ia kahi hōʻailona laʻana no ka hana ʻana i nā bots e hiki ai iā ʻoe ke hoʻoiho i kekahi o nā ʻōlelo hoʻohālike i loaʻa i ka lehulehu a hoʻomaka koke e kamaʻilio (no ka laʻana, ma ka holo ʻana i ke kauoha “python apps/chatbot.py —model facebook/opt-30b — -percent 0 100 100 0 100 0” ). Ma ke ʻano he kumu, ua manaʻo ʻia e hoʻohana i kahi ʻano ʻōlelo nui i paʻi ʻia e Facebook, i aʻo ʻia ma nā hōʻiliʻili o BookCorpus (10 tausani puke), CC-Stories, Pile (OpenSubtitles, Wikipedia, DM Mathematics, HackerNews, etc.), Pushshift. io (ma muli o ka ʻikepili Reddit) a me CCNewsV2 (ka waihona nūhou). Hoʻopili ke kumu hoʻohālike ma kahi o 180 biliona hōʻailona (800 GB o ka ʻikepili). 33 mau lā o ka hui pū ʻana me 992 NVIDIA A100 80GB GPU i hoʻohana ʻia ma ke aʻo ʻana i ke kumu hoʻohālike.
I ka holo ʻana i ka hiʻohiʻona OPT-175B ma kahi ʻōnaehana me hoʻokahi NVIDIA T4 GPU (16GB), ua hōʻike ka ʻenekini FlexGen i ka hana a hiki i ka 100 manawa wikiwiki ma mua o nā hāʻina i hāʻawi ʻia ma mua, e ʻoi aku ka maʻalahi o ka hoʻohana ʻana i nā hiʻohiʻona ʻōlelo nui a hiki iā lākou ke holo ma luna. nā ʻōnaehana me ka hoʻolaʻa ʻole ʻia. I ka manawa like, hiki iā FlexGen ke hoʻohālikelike i nā helu helu me nā GPU he nui. No ka hoʻemi ʻana i ka nui o ke kŘkohu, hoʻohana pū ʻia kahi ʻōnaehana hoʻopaʻa hoʻohālikelike ponoʻī a me kahi mīkini hoʻohālike hoʻohālike.
I kēia manawa, kākoʻo wale ʻo FlexGen i nā hiʻohiʻona ʻōlelo OPT, akā i ka wā e hiki mai ana nā mea hoʻomohala e hoʻohiki e hoʻohui i ke kākoʻo no ka BLOOM (176 billion mau ʻāpana, kākoʻo i nā ʻōlelo 46 a me 13 mau ʻōlelo papahana), CodeGen (hiki ke hana i nā code ma 22 mau ʻōlelo papahana) a Nā hiʻohiʻona GLM. ʻO kahi hiʻohiʻona o kahi kamaʻilio me kahi bot e pili ana iā FlexGen a me ke kumu hoʻohālike OPT-30B:
Kanaka: ʻO wai ka inoa o ka mauna kiʻekiʻe loa o ka honua?
Kokua: Everest.
Kanaka: Ke hoʻolālā nei au i kahi huakaʻi no kā mākou lā hānau. He aha nā mea hiki iā mākou ke hana?
Kōkua: ʻAe, he nui nā mea hiki iā ʻoe ke hana no kāu lā makahiki. ʻO ka mea mua, hiki iā ʻoe ke pāʻani i nā kāleka. ʻO ka lua, hiki iā ʻoe ke hele i kahi huakaʻi. ʻO ke kolu, hiki iā ʻoe ke hele i kahi hale hōʻikeʻike.
Source: opennet.ru