FlexGen ni injini ya kuendesha roboti za AI kama ChatGPT kwenye mifumo moja ya GPU

Timu ya watafiti kutoka Chuo Kikuu cha Stanford, Chuo Kikuu cha California huko Berkeley, ETH Zurich, Shule ya Wahitimu wa Uchumi, Chuo Kikuu cha Carnegie Mellon, pamoja na Yandex na Meta, wamechapisha msimbo wa chanzo wa injini ya kuendesha modeli za lugha kubwa kwenye rasilimali. -mifumo yenye vikwazo. Kwa mfano, injini hutoa uwezo wa kuunda utendaji unaofanana na ChatGPT na Copilot kwa kuendesha mfano wa OPT-175B uliofunzwa awali, unaofunika vigezo bilioni 175, kwenye kompyuta ya kawaida iliyo na kadi ya picha ya michezo ya kubahatisha ya NVIDIA RTX3090 iliyo na 24GB ya kumbukumbu ya video. Nambari hiyo imeandikwa kwa Python, hutumia mfumo wa PyTorch na inasambazwa chini ya leseni ya Apache 2.0.

Inajumuisha hati ya mfano ya kuunda roboti inayokuruhusu kupakua mojawapo ya miundo ya lugha inayopatikana kwa umma na kuanza kuwasiliana mara moja (kwa mfano, kwa kutekeleza amri "python apps/chatbot.py -model facebook/opt-30b — -percent 0 100 100 0 100 0”). Kama msingi, inapendekezwa kutumia modeli kubwa ya lugha iliyochapishwa na Facebook, iliyofunzwa juu ya makusanyo ya BookCorpus (vitabu elfu 10), CC-Stories, Rundo (OpenSubtitles, Wikipedia, DM Mathematics, HackerNews, nk.), Pushshift. io (kulingana na data ya Reddit ) na CCNewsV2 (kumbukumbu ya habari). Mfano huo unashughulikia takriban tokeni bilioni 180 (GB 800 za data). Siku 33 za uendeshaji wa nguzo na GPU 992 za NVIDIA A100 80GB zilitumika kufunza modeli.

Wakati wa kuendesha kielelezo cha OPT-175B kwenye mfumo ulio na NVIDIA T4 GPU (16GB), injini ya FlexGen ilionyesha utendaji kazi hadi mara 100 kuliko suluhu zilizotolewa hapo awali, na kufanya matumizi ya miundo mikubwa ya lugha kuwa nafuu zaidi na kuziruhusu kuendelea na uendeshaji. mifumo isiyo na viongeza kasi vilivyojitolea. Wakati huo huo, FlexGen inaweza kuongeza ili kusawazisha hesabu na GPU nyingi. Ili kupunguza ukubwa wa mfano, mpango wa ukandamizaji wa parameta ya wamiliki na utaratibu wa kuakibisha wa mfano hutumiwa kwa ziada.

Hivi sasa, FlexGen inasaidia tu mifano ya lugha ya OPT, lakini katika siku zijazo watengenezaji pia wanaahidi kuongeza msaada kwa BLOOM (vigezo bilioni 176, inasaidia lugha 46 na lugha 13 za programu), CodeGen (inaweza kutoa nambari katika lugha 22 za programu) na Mifano ya GLM. Mfano wa mazungumzo na roboti kulingana na FlexGen na muundo wa OPT-30B:

Mwanadamu: Jina la mlima mrefu zaidi ulimwenguni ni nini?

Msaidizi: Everest.

Binadamu: Ninapanga safari kwa ajili ya maadhimisho yetu. Je, tunaweza kufanya mambo gani?

Msaidizi: Kweli, kuna mambo kadhaa unayoweza kufanya kwa siku yako ya kumbukumbu. Kwanza, unaweza kucheza kadi. Pili, unaweza kwenda kwa matembezi. Tatu, unaweza kwenda kwenye jumba la kumbukumbu.

Chanzo: opennet.ru