Tim peneliti ti Stanford University, University of California di Berkeley, ETH Zurich, Graduate School of Economics, Carnegie Mellon University, ogé Yandex sareng Meta, parantos nyebarkeun kode sumber mesin pikeun ngajalankeun modél basa ageung dina sumber. -sistem konstrain. Contona, mesin nyadiakeun kamampuhan pikeun nyieun fungsionalitas reminiscent tina ChatGPT na Copilot ku ngajalankeun pre-dilatih modél OPT-175B, ngawengku 175 milyar parameter, dina komputer biasa kalawan kartu grafik kaulinan NVIDIA RTX3090 dilengkepan 24GB memori video. Kodeu ditulis dina Python, ngagunakeun kerangka PyTorch sareng disebarkeun dina lisénsi Apache 2.0.
Éta kalebet conto naskah pikeun nyiptakeun bot anu ngamungkinkeun anjeun ngaunduh salah sahiji modél basa anu sayogi pikeun umum sareng langsung ngamimitian komunikasi (contona, ku ngajalankeun paréntah "python apps/chatbot.py —model facebook/opt-30b — -percent 0 100 100 0 100 0” ). Salaku dasarna, diusulkeun ngagunakeun modél basa ageung anu diterbitkeun ku Facebook, dilatih dina kumpulan BookCorpus (10 rébu buku), CC-Stories, Pile (OpenSubtitles, Wikipedia, DM Mathematics, HackerNews, jsb.), Pushshift. io (dumasar kana data Reddit) jeung CCNewsV2 (arsip warta). Model nyertakeun kira-kira 180 milyar token (800 GB data). 33 dinten operasi kluster sareng 992 NVIDIA A100 80GB GPU diséépkeun pikeun ngalatih modél éta.
Nalika ngajalankeun modél OPT-175B dina sistem anu nganggo GPU NVIDIA T4 tunggal (16GB), mesin FlexGen nunjukkeun kinerja dugi ka 100 kali langkung gancang tibatan solusi anu ditawarkeun sateuacana, ngajantenkeun panggunaan modél basa ageung langkung mirah sareng ngamungkinkeun aranjeunna jalan. sistem tanpa akselerator dedicated. Dina waktos anu sami, FlexGen tiasa skala pikeun parallelize itungan sareng sababaraha GPU. Pikeun ngirangan ukuran modél, skéma komprési parameter proprietary sareng mékanisme cache modél ogé dianggo.
Ayeuna, FlexGen ngan ukur ngadukung modél basa OPT, tapi di hareup pamekar ogé janji bakal nambihan dukungan pikeun BLOOM (176 milyar parameter, ngadukung 46 basa sareng 13 basa pamrograman), CodeGen (tiasa ngahasilkeun kode dina 22 basa pamrograman) sareng model GLM. Conto dialog sareng bot dumasar kana FlexGen sareng modél OPT-30B:
Manusa: Naon nami gunung pangluhurna di dunya?
Asisten: Everest.
Manusa: Abdi ngarencanakeun perjalanan pikeun ulang taun urang. Naon anu bisa urang pigawé?
Asisten: Nya, aya sababaraha hal anu anjeun tiasa laksanakeun pikeun ulang taun anjeun. Kahiji, anjeun tiasa maén kartu. Kadua, anjeun tiasa angkat leumpang. Katilu, anjeun tiasa angkat ka musium.
sumber: opennet.ru