FlexGen ChatGPT antzeko AI bot-ak GPU sistemetan exekutatzeko motor bat da

Stanford Unibertsitateko, Kaliforniako Berkeleyko Unibertsitateko, Zuricheko ETH, Graduate School of Economics, Carnegie Mellon Unibertsitateko eta Yandex eta Metako ikertzaile talde batek baliabideetan hizkuntza-eredu handiak exekutatzeko motor baten iturburu-kodea argitaratu du. -Sistema mugatuak. Esate baterako, motorrak ChatGPT eta Copilot gogorarazten dituen funtzionaltasuna sortzeko gaitasuna eskaintzen du aurrez prestatutako OPT-175B modelo bat exekutatzen duena, 175 milioi parametro dituena, 3090 GB bideo-memoriaz hornitutako NVIDIA RTX24 joko-txartel grafiko batekin ordenagailu arrunt batean. Kodea Python-en idatzita dago, PyTorch esparrua erabiltzen du eta Apache 2.0 lizentziapean banatzen da.

Jendaurrean eskuragarri dauden hizkuntza-ereduetako bat deskargatu eta berehala komunikatzen hasteko aukera ematen duen robotak sortzeko script adibide bat dakar (adibidez, "python apps/chatbot.py —model facebook/opt-30b — -percent 0" komandoa exekutatuz. 100 100 0 100 0” ). Oinarri gisa, Facebookek argitaratutako hizkuntza eredu handi bat erabiltzea proposatzen da, BookCorpus (10 mila liburu), CC-Stories, Pile (OpenSubtitles, Wikipedia, DM Mathematics, HackerNews, etab.), Pushshift-en bildumetan trebatua. io (Reddit datuetan oinarrituta) eta CCNewsV2 (albisteen artxiboa). Ereduak 180 milioi token (800 GB datu) hartzen ditu gutxi gorabehera. 33 eguneko kluster funtzionamenduan 992 NVIDIA A100 80GB GPUrekin eman ziren eredua entrenatzen.

OPT-175B modeloa NVIDIA T4 GPU bakarra duen sistema batean (16 GB) exekutatzen denean, FlexGen motorrak lehen eskainitako soluzioek baino 100 aldiz azkarrago errendimendua erakutsi du, hizkuntza eredu handien erabilera merkeago bihurtuz eta exekutatzeko aukera emanez. azeleragailu dedikaturik gabeko sistemak. Aldi berean, FlexGen-ek GPU anitzekin kalkuluak paralelizatzeko eskalatu dezake. Ereduaren tamaina murrizteko, parametroen konpresio-eskema jabeduna eta ereduaren cache-mekanismoa ere erabiltzen dira.

Gaur egun, FlexGen-ek OPT hizkuntza ereduak soilik onartzen ditu, baina etorkizunean garatzaileek BLOOM (176 milioi parametro, 46 ​​hizkuntza eta 13 programazio lengoaia onartzen dituzte), CodeGen (22 programazio lengoaiatan kodea sor dezakete) eta GLM ereduak. FlexGen eta OPT-30B ereduan oinarritutako bot batekin elkarrizketa baten adibidea:

Gizakia: Nola du izena munduko mendirik altuenak?

Laguntzailea: Everest.

Gizakia: gure urteurrenerako bidaia bat antolatzen ari naiz. Zer gauza egin ditzakegu?

Laguntzailea: Bada, hainbat gauza egin ditzakezu zure urteurrenerako. Lehenik eta behin, kartetan jolastu dezakezu. Bigarrenik, ibilaldi bat egitera joan zaitezke. Hirugarrenik, museo batera joan zaitezke.

Iturria: opennet.ru