Стэнфордын их сургууль, Беркли дэх Калифорнийн их сургууль, ETH Цюрих, Эдийн засгийн дээд сургууль, Карнеги Меллон их сургуулийн судлаачдын баг, мөн Yandex болон Мета нар том хэлний загваруудыг ажиллуулах хөдөлгүүрийн эх кодыг эх сурвалж дээр нийтлэв. - хязгаарлагдмал системүүд. Жишээлбэл, уг хөдөлгүүр нь 175 ГБ видео санах ойгоор тоноглогдсон NVIDIA RTX175 тоглоомын график карттай энгийн компьютер дээр 3090 тэрбум параметрийг хамарсан урьдчилан бэлтгэгдсэн OPT-24B загварыг ажиллуулснаар ChatGPT болон Copilot-ийг санагдуулам функцийг бий болгох боломжийг олгодог. Код нь Python хэл дээр бичигдсэн, PyTorch хүрээг ашигладаг бөгөөд Apache 2.0 лицензийн дагуу түгээгддэг.
Үүнд олон нийтэд нээлттэй хэлний загваруудын аль нэгийг татаж аваад шууд харилцаж эхлэх боломжтой бот үүсгэх жишээ скрипт багтсан болно (жишээ нь "python apps/chatbot.py —model facebook/opt-30b — -хувь 0" командыг ажиллуулснаар). 100 100 0 100 0”). Үүний үндэс болгон BookCorpus (10 мянган ном), CC-Stories, Pile (OpenSubtitles, Wikipedia, DM Mathematics, HackerNews гэх мэт), Pushshift-ийн цуглуулгад бэлтгэгдсэн Facebook-ээс гаргасан том хэлний загварыг ашиглахыг санал болгож байна. io (Reddit өгөгдөл дээр үндэслэсэн) болон CCNewsV2 (мэдээний архив). Загвар нь ойролцоогоор 180 тэрбум жетон (800 ГБ өгөгдөл) хамардаг. Загварыг сургахад 33 NVIDIA A992 100 ГБ график процессортой кластерын 80 хоног ажилласан.
OPT-175B загварыг нэг NVIDIA T4 GPU (16 ГБ) систем дээр ажиллуулах үед FlexGen хөдөлгүүр нь өмнө нь санал болгож байсан шийдлүүдээс 100 дахин хурдан гүйцэтгэлийг үзүүлж, том хэлний загваруудыг ашиглахыг илүү хямд болгож, тэдгээрийг ажиллуулах боломжийг олгосон. тусгай зориулалтын хурдасгуургүй системүүд. Үүний зэрэгцээ, FlexGen нь тооцооллыг олон GPU-тай зэрэгцүүлэн тохируулах боломжтой. Загварын хэмжээг багасгахын тулд хувийн параметрийн шахалтын схем болон загварыг кэшлэх механизмыг нэмж ашигладаг.
Одоогоор FlexGen нь зөвхөн OPT хэлний загваруудыг дэмждэг боловч ирээдүйд хөгжүүлэгчид BLOOM (176 тэрбум параметр, 46 хэл, 13 програмчлалын хэлийг дэмждэг), CodeGen (22 програмчлалын хэл дээр код үүсгэх боломжтой) болон GLM загварууд. FlexGen болон OPT-30B загварт суурилсан роботтой харилцах жишээ:
Хүн: Дэлхийн хамгийн өндөр уулын нэр юу вэ?
Туслах: Эверест.
Хүн: Би ойдоо зориулж аялал хийхээр төлөвлөж байна. Бид ямар зүйлсийг хийж чадах вэ?
Туслах: За, ойдоо зориулж хэд хэдэн зүйл хийж болно. Эхлээд та хөзөр тоглож болно. Хоёрдугаарт, та явган аялал хийж болно. Гуравдугаарт, та музейд очиж болно.
Эх сурвалж: opennet.ru