FlexGen - bu ChatGPT-ga o'xshash AI botlarini bitta GPU tizimlarida ishlatish uchun vosita

Stenford universiteti, Berklidagi Kaliforniya universiteti, ETH Tsyurix, Oliy iqtisodiyot maktabi, Karnegi Mellon universiteti, shuningdek Yandex va Meta tadqiqotchilari guruhi resursda katta til modellarini ishga tushirish uchun dvigatelning manba kodini nashr etdilar. -cheklangan tizimlar. Masalan, dvigatel 175 Gb video xotira bilan jihozlangan NVIDIA RTX175 o‘yin grafik kartasi bilan oddiy kompyuterda 3090 milliard parametrni qamrab oluvchi, oldindan tayyorlangan OPT-24B modelini ishga tushirish orqali ChatGPT va Copilotni eslatuvchi funksionallikni yaratish imkoniyatini beradi. Kod Python-da yozilgan, PyTorch ramkasidan foydalanadi va Apache 2.0 litsenziyasi ostida tarqatiladi.

U hammaga ochiq til modellaridan birini yuklab olish va darhol muloqot qilishni boshlash imkonini beruvchi botlarni yaratish uchun misol skriptini o‘z ichiga oladi (masalan, “python apps/chatbot.py —model facebook/opt-30b — -foiz 0” buyrug‘ini ishga tushirish orqali 100 100 0 100 0”). Baza sifatida Facebook tomonidan nashr etilgan, BookCorpus (10 ming kitob), CC-Stories, Pile (OpenSubtitles, Wikipedia, DM Mathematics, HackerNews va boshqalar), Pushshift to'plamlarida o'qitilgan katta til modelidan foydalanish taklif etiladi. io (Reddit ma'lumotlari asosida) va CCNewsV2 (yangiliklar arxivi). Model taxminan 180 milliard tokenni (800 GB ma'lumotni) qamrab oladi. Modelni o'qitishga 33 NVIDIA A992 100 Gb grafik protsessorlari bilan klasterning 80 kunlik ishlashi sarflandi.

OPT-175B modelini bitta NVIDIA T4 GPU (16 GB) ga ega tizimda ishga tushirganda, FlexGen dvigateli ilgari taklif qilingan echimlarga qaraganda 100 baravar tezroq ishlashni namoyish etdi, bu esa katta tilli modellardan foydalanishni yanada qulayroq qildi va ularni ishlatishga imkon berdi. maxsus tezlatgichlarsiz tizimlar. Shu bilan birga, FlexGen bir nechta GPU bilan hisob-kitoblarni parallellashtirish uchun masshtablashtira oladi. Modelning hajmini kamaytirish uchun qo'shimcha ravishda xususiy parametrlarni siqish sxemasi va modelni keshlash mexanizmi qo'llaniladi.

Hozirda FlexGen faqat OPT tili modellarini qo'llab-quvvatlaydi, ammo kelajakda ishlab chiquvchilar BLOOM (176 milliard parametr, 46 til va 13 dasturlash tilini qo'llab-quvvatlaydi), CodeGen (22 dasturlash tilida kod yaratishi mumkin) va qo'llab-quvvatlashni qo'shishga va'da berishadi. GLM modellari. FlexGen va OPT-30B modeliga asoslangan bot bilan dialogga misol:

Inson: Dunyodagi eng baland tog'ning nomi nima?

Yordamchi: Everest.

Inson: Men yubileyimizga sayohat qilishni rejalashtiryapman. Biz qanday ishlarni qila olamiz?

Yordamchi: Xo'sh, yubileyingiz uchun bir nechta narsalarni qilishingiz mumkin. Birinchidan, siz kartalarni o'ynashingiz mumkin. Ikkinchidan, siz sayrga chiqishingiz mumkin. Uchinchidan, siz muzeyga borishingiz mumkin.

Manba: opennet.ru