FlexGen waa mishiin loogu talagalay in lagu socodsiiyo ChatGPT-sida AI bots ee hal nidaam GPU

Koox cilmi-baarayaal ah oo ka socda Jaamacadda Stanford, Jaamacadda California ee Berkeley, ETH Zurich, Dugsiga Sare ee Dhaqaalaha, Jaamacadda Carnegie Mellon, iyo sidoo kale Yandex iyo Meta, ayaa daabacay lambarka isha ee mashiinka loogu talagalay socodsiinta moodooyinka luqadaha waaweyn ee kheyraadka. Nidaamyada xaddidan. Tusaale ahaan, mishiinku wuxuu bixiyaa awood u leh inuu abuuro shaqeyn u eg ChatGPT iyo Copilot isagoo ku shaqeynaya qaabka horay loo tababaray ee OPT-175B, oo daboolaya 175 bilyan oo cabbir, kombuyuutar joogto ah oo leh NVIDIA RTX3090 kaararka garaafyada ciyaaraha ee ku qalabaysan 24GB ee xusuusta fiidiyowga. Nambarku wuxuu ku qoran yahay Python, wuxuu isticmaalaa qaabka PyTorch waxaana lagu qaybiyaa shatiga Apache 2.0.

Waxa ku jira tusaale qoraal ah oo loo samaynayo bots kaas oo kuu ogolaanaya inaad soo dejiso mid ka mid ah moodooyinka luqadda ee dadweynaha la heli karo oo isla markiiba bilaabi wada-xidhiidh (tusaale ahaan, adiga oo socodsiinaya amarka “python apps/chatbot.py —model facebook/opt-30b — -boqolkiiba 0 100 100 0 100 0”). Saldhig ahaan, waxaa la soo jeediyay in la isticmaalo qaab luqadeed weyn oo ay daabacday Facebook, oo lagu tababaray ururinta BookCorpus (10 kun oo buug), CC-Sheekooyin, Pile (OpenSubtitles, Wikipedia, Xisaabta DM, HackerNews, iwm.), Pushshift. io (ku salaysan xogta Reddit) iyo CCNewsV2 (khadka wararka). Qaabku wuxuu daboolayaa qiyaastii 180 bilyan oo calaamad (800 GB oo xog ah). 33 maalmood oo hawlgal kooxeed ah oo leh 992 NVIDIA A100 80GB GPUs ayaa lagu kharash gareeyay tababarka moodeelka.

Marka lagu shaqeynayo qaabka OPT-175B ee nidaamka leh hal NVIDIA T4 GPU (16GB), matoorka FlexGen wuxuu muujiyay waxqabad ilaa 100 jeer ka dhakhso badan xalalkii hore ee la bixiyay, taasoo ka dhigaysa isticmaalka moodooyinka luqadaha waaweyn mid la awoodi karo oo u oggolaanaya inay ku shaqeeyaan. Nidaamyo aan lahayn dardar-geliyayaal u go'ay. Isla mar ahaantaana, FlexGen wuxuu cabbiri karaa si uu u barbar dhigo xisaabinta GPU-yo badan. Si loo dhimo cabbirka moodeelka, nidaamka isku-buufinta cabbirka lahaanshaha iyo habka kaydinta moodeelka ayaa sidoo kale la isticmaalaa.

Waqtigan xaadirka ah, FlexGen kaliya waxay taageertaa moodooyinka luqadda OPT, laakiin mustaqbalka horumariyayaashu waxay sidoo kale ballanqaadayaan inay ku dari doonaan taageerada BLOOM (176 bilyan oo cabbir, waxay taageertaa luqadaha 46 iyo luqadaha barnaamijyada 13), CodeGen (waxay soo saari kartaa koodka 22 luqadaha barnaamijyada) iyo moodooyinka GLM. Tusaale wada-hadal lala yeesho bot ku salaysan FlexGen iyo qaabka OPT-30B:

Aadane: Waxaad sheegtaa magaca buurta ugu dheer aduunka?

Kaaliyaha: Everest.

Aadane: Waxaan qorsheynayaa safar sannad-guuradayada. Maxaan samayn karnaa?

Kaaliyaha: Hagaag, waxa jira dhawr waxyaalood oo aad samayn karto sannad-guuradaada. Marka hore, waxaad ciyaari kartaa kaararka. Marka labaad, waxaad aadi kartaa tamashle. Saddex, waxaad tagi kartaa madxaf.

Source: opennet.ru