Koox cilmi-baarayaal ah oo ka socda Jaamacadda Stanford, Jaamacadda California, Berkeley, ETH Zurich, Dugsiga Sare ee Dhaqaalaha, Jaamacadda Carnegie Mellon, iyo sidoo kale Yandex iyo Meta, ayaa daabacay koodhka isha ee mashiinka loogu talagalay socodsiinta moodooyinka luqadaha waaweyn ee nidaamyada xaddidan ee kheyraadka. Tusaale ahaan, matoorku wuxuu awood u siinayaa abuurista shaqeyn la mid ah ChatGPT iyo Copilot iyadoo la adeegsanayo qaabka horay loo tababaray ee OPT-175B, oo daboolaya 175 bilyan oo cabbir, kumbuyuutar caadi ah oo leh NVIDIA RTX3090 kaararka garaafyada ciyaarta iyo 24GB ee xusuusta fiidiyowga. Nambarku wuxuu ku qoran yahay Python, wuxuu isticmaalaa qaabka PyTorch, waxaana lagu qaybiyaa shatiga Apache 2.0.
Qalabka waxa ku jira muunad script abuurka bot ah kaas oo kuu ogolaanaya inaad ku shubto mid ka mid ah moodooyinka luqadda ee la heli karo oo aad isla markiiba bilowdo inaad la sheekeysato (tusaale ahaan, adigoo socodsiinaya amarka "python apps/chatbot.py --model facebook/opt-30b -- -boqolkiiba 0 100 100 0 100 0"). Qaabka salku waa nooc luuqadeed oo weyn oo ay daabacday Facebook, laguna tababaray ururinta BookCorpus (10 buug), CC-Stories, Pile (OpenSubtitles, Wikipedia, DM Mathematics, HackerNews, iwm.), Pushshift.io (ku salaysan xogta Reddit), iyo CCNewsV2 (khadka wararka). Qaabku wuxuu daboolayaa qiyaastii 180 bilyan oo calaamad (800 GB oo xog ah). Tababarka moodeelku wuxuu qaatay 33 maalmood koox koox wadata 992 NVIDIA A100 80GB GPUs.
Marka lagu shaqeynayo qaabka OPT-175B ee nidaamka leh hal NVIDIA T4 (16GB) GPU, mashiinka FlexGen wuxuu muujiyay waxqabad ilaa 100x ka dhakhso badan xalalka hore ee la heli karo, taasoo ka dhigaysa moodooyinka luqadaha waaweyn ee la heli karo oo awood u siinaya inay ku shaqeeyaan nidaamyada iyada oo aan lahayn dardar-geliyayaal khaas ah. FlexGen sidoo kale wuu qiyaasi karaa si uu u barbar dhigo xisaabinta GPU-yo badan. Cabbirka moodelku waxa lagu sii yareeyaa nidaamka isku xidhka cabbirka lahaanshaha iyo habka kaydinta moodeelka.
FlexGen hadda kaliya waxay taageertaa moodooyinka luqadda OPT, laakiin horumariyayaashu waxay sidoo kale ballanqaadayaan inay ku dari doonaan taageerada BLOOM (176 bilyan oo cabbir, waxay taageertaa luqadaha 46 iyo luqadaha barnaamijyada 13), CodeGen (waxay soo saari kartaa koodka 22 luqadaha barnaamijyada), iyo moodooyinka GLM mustaqbalka. Waa kuwan tusaale wadahadal lala yeeshay bot-ku-saleysan FlexGen iyadoo la adeegsanayo qaabka OPT-30B:
Aadane: Waxaad sheegtaa magaca buurta ugu dheer aduunka?
Kaaliyaha: Everest.
Aadane: Waxaan qorsheynayaa safar sannad-guuradayada. Maxaan samayn karnaa?
Kaaliyaha: Hagaag, waxa jira dhawr waxyaalood oo aad samayn karto sannad-guuradaada. Marka hore, waxaad ciyaari kartaa kaararka. Marka labaad, waxaad aadi kartaa tamashle. Saddex, waxaad tagi kartaa madxaf.
Source: opennet.ru
