Стэнфордын их сургууль, Калифорнийн их сургууль, Беркли, ETH Цюрих, Эдийн засгийн дээд сургууль, Карнеги Меллоны их сургууль, мөн Yandex, Мета зэрэг судлаачдын баг нөөц хязгаарлагдмал систем дээр том хэлний загвар ажиллуулах хөдөлгүүрийн эх кодыг нийтэлжээ. Жишээлбэл, уг хөдөлгүүр нь NVIDIA RTX3090 тоглоомын график карт, 24 ГБ видео санах ой бүхий ердийн компьютер дээр 175 тэрбум параметрийг хамарсан, урьдчилан бэлтгэгдсэн OPT-175B загварыг ажиллуулснаар ChatGPT болон Copilot-тэй төстэй функцуудыг бий болгох боломжийг олгодог. Код нь Python хэл дээр бичигдсэн, PyTorch хүрээг ашигладаг бөгөөд Apache 2.0 лицензийн дагуу түгээгддэг.
Энэхүү хэрэгсэлд олон нийтэд нээлттэй хэлний загваруудын аль нэгийг ачаалж шууд чатлах боломжтой (жишээ нь "python apps/chatbot.py --model facebook/opt-30b -- -percent 0 100 100 0 100 0" командыг ажиллуулж) бот үүсгэх жишээний скрипт багтсан болно. Үндсэн загвар нь BookCorpus (10 ном), CC-Stories, Pile (OpenSubtitles, Wikipedia, DM Mathematics, HackerNews гэх мэт), Pushshift.io (Reddit өгөгдөл дээр суурилсан), CCNewsV2 (мэдээний архив) цуглуулгууд дээр бэлтгэгдсэн Facebook-ээс гаргасан том хэлний загвар юм. Загвар нь ойролцоогоор 180 тэрбум жетон (800 ГБ өгөгдөл) хамардаг. Загварыг 992 NVIDIA A100 80GB GPU бүхий кластер дээр сургахад 33 хоног зарцуулагдсан.
OPT-175B загварыг нэг NVIDIA T4 (16 ГБ) график процессортой систем дээр ажиллуулах үед FlexGen хөдөлгүүр нь өмнөх хувилбаруудаас 100 дахин хурдан гүйцэтгэлийг үзүүлж, том хэлний загваруудыг илүү хүртээмжтэй болгож, тусгай хурдасгуургүй систем дээр ажиллах боломжийг олгосон. FlexGen нь мөн олон GPU-ийн тооцооллыг зэрэгцүүлэн тохируулах боломжтой. Загварын хэмжээг хувийн параметрийн шахалтын схем болон загварыг кэшлэх механизмаар улам бүр багасгасан.
FlexGen одоогоор зөвхөн OPT хэлний загваруудыг дэмждэг боловч хөгжүүлэгчид нь BLOOM (176 тэрбум параметр, 46 хэл, 13 програмчлалын хэлийг дэмждэг), CodeGen (22 програмчлалын хэл дээр код үүсгэх боломжтой) болон GLM загваруудад дэмжлэг үзүүлэхээ амлаж байна. OPT-30B загварыг ашиглан FlexGen-д суурилсан роботтой хийсэн ярианы жишээ энд байна.
Хүн: Дэлхийн хамгийн өндөр уулын нэр юу вэ?
Туслах: Эверест.
Хүн: Би ойдоо зориулж аялал хийхээр төлөвлөж байна. Бид ямар зүйлсийг хийж чадах вэ?
Туслах: За, ойдоо зориулж хэд хэдэн зүйл хийж болно. Эхлээд та хөзөр тоглож болно. Хоёрдугаарт, та явган аялал хийж болно. Гуравдугаарт, та музейд очиж болно.
Эх сурвалж: opennet.ru
