Стэнфорд университетінің, Берклидегі Калифорния университетінің, ETH Цюрихтің, Жоғары экономика мектебінің, Карнеги Меллон университетінің, сондай-ақ Яндекс пен Метаның зерттеушілер тобы ресурста үлкен тіл үлгілерін іске қосу үшін қозғалтқыштың бастапқы кодын жариялады. - шектеулі жүйелер. Мысалы, қозғалтқыш 175 ГБ бейне жадымен жабдықталған NVIDIA RTX175 ойын графикалық картасы бар қарапайым компьютерде 3090 миллиард параметрді қамтитын алдын ала дайындалған OPT-24B моделін іске қосу арқылы ChatGPT және Copilot-ты еске түсіретін функционалдылықты жасау мүмкіндігін қамтамасыз етеді. Код Python тілінде жазылған, PyTorch құрылымын пайдаланады және Apache 2.0 лицензиясы бойынша таратылады.
Ол жалпыға қолжетімді тіл үлгілерінің бірін жүктеп алуға және бірден байланыс орнатуға мүмкіндік беретін боттарды жасауға арналған мысал сценарийін қамтиды (мысалы, «python apps/chatbot.py —model facebook/opt-30b — -percent 0 пәрменін орындау арқылы) 100 100 0 100 0”). Негіз ретінде BookCorpus (10 мың кітап), CC-Stories, Pile (OpenSubtitles, Wikipedia, DM Mathematics, HackerNews және т.б.), Pushshift жинақтарында оқытылатын Facebook шығарған үлкен тілдік үлгіні пайдалану ұсынылады. io (Reddit деректеріне негізделген) және CCNewsV2 (жаңалықтар мұрағаты). Модель шамамен 180 миллиард таңбалауышты (800 ГБ деректер) қамтиды. Модельді оқытуға 33 NVIDIA A992 100 ГБ графикалық процессорларымен кластерлік жұмыстың 80 күні жұмсалды.
OPT-175B моделін бір NVIDIA T4 GPU (16 ГБ) бар жүйеде іске қосқан кезде, FlexGen қозғалтқышы бұрын ұсынылған шешімдерге қарағанда өнімділікті 100 есеге дейін жылдам көрсетіп, үлкен тілдік үлгілерді пайдалануды арзанырақ етіп, олардың жұмыс істеуіне мүмкіндік берді. арнайы үдеткіштері жоқ жүйелер. Сонымен қатар, FlexGen бірнеше GPU көмегімен есептеулерді параллельдеу үшін масштабтай алады. Модельдің өлшемін азайту үшін меншікті параметрді қысу схемасы және модельді кэштеу механизмі қосымша қолданылады.
Қазіргі уақытта FlexGen тек OPT тіл үлгілерін қолдайды, бірақ болашақта әзірлеушілер сонымен қатар BLOOM (176 миллиард параметр, 46 тіл мен 13 бағдарламалау тілін қолдайды), CodeGen (22 бағдарламалау тілінде код жасай алады) және қолдауды қосуға уәде береді. GLM модельдері. FlexGen және OPT-30B үлгісіне негізделген ботпен диалогтың мысалы:
Адам: Дүниедегі ең биік тау қалай аталады?
Көмекші: Эверест.
Адам: Мен мерейтойымызға сапар жоспарлап отырмын. Біз не істей аламыз?
Көмекші: Сіздің мерейтойыңызға бірнеше нәрсе жасауға болады. Біріншіден, сіз карта ойнай аласыз. Екіншіден, жаяу серуендеуге болады. Үшіншіден, мұражайға баруға болады.
Ақпарат көзі: opennet.ru