Гурӯҳи муҳаққиқон аз Донишгоҳи Стэнфорд, Донишгоҳи Калифорнияи Беркли, ETH Zurich, Мактаби олии иқтисод, Донишгоҳи Карнеги Меллон ва инчунин Яндекс ва Мета рамзи сарчашмаи муҳаррикро барои идора кардани моделҳои забонҳои калон дар манбаъ нашр карданд. - системаҳои маҳдуд. Масалан, муҳаррик имкон медиҳад, ки функсияҳои ChatGPT ва Copilot-ро ба хотир оранд, тавассути иҷро кардани модели қаблан омӯзонидашудаи OPT-175B, ки 175 миллиард параметрро дар бар мегирад, дар компютери муқаррарӣ бо корти графикаи бозикунии NVIDIA RTX3090, ки бо хотираи видеоии 24 ГБ муҷаҳҳаз шудааст. Рамз дар Python навишта шудааст, чаҳорчӯбаи PyTorch -ро истифода мебарад ва таҳти иҷозатномаи Apache 2.0 паҳн карда мешавад.
Он як скрипти намунавӣ барои эҷоди ботҳоро дар бар мегирад, ки ба шумо имкон медиҳад, ки яке аз моделҳои забони дастрасро зеркашӣ кунед ва фавран муоширатро оғоз кунед (масалан, бо иҷро кардани фармони "python apps/chatbot.py —model facebook/opt-30b — -фоиз 0" 100 100 0 100 0”). Ҳамчун база пешниҳод шудааст, ки модели бузурги забони нашркардаи Facebook, ки дар маҷмӯаҳои BookCorpus (10 ҳазор китоб), CC-Stories, Pile (OpenSubtitles, Wikipedia, DM Mathematics, HackerNews ва ғайра), Pushshift омӯзонида шудааст, истифода шавад. io (дар асоси маълумоти Reddit) ва CCNewsV2 (бойгонии ахбор). Модел тақрибан 180 миллиард токенро (800 ГБ маълумот) фаро мегирад. Барои омӯзиши модел 33 рӯзи кори кластер бо 992 NVIDIA A100 80 ГБ GPU сарф шуд.
Ҳангоми кор кардани модели OPT-175B дар система бо як GPU NVIDIA T4 (16 ГБ), муҳаррики FlexGen иҷроишро то 100 маротиба тезтар нисбат ба қарорҳои қаблан пешниҳодшуда нишон дод, ки истифодаи моделҳои забонҳои калонро дастрастар кард ва ба онҳо имкон дод системаҳои бе суръатбахшии махсус. Ҳамзамон, FlexGen метавонад миқёсро барои параллелизатсия кардани ҳисобҳо бо GPU-ҳои сершумор андоза кунад. Барои кам кардани андозаи модел, ба таври иловагӣ схемаи фишурдани параметрҳои хусусӣ ва механизми кэшкунии модел истифода мешаванд.
Дар айни замон, FlexGen танҳо моделҳои забони OPT-ро дастгирӣ мекунад, аммо дар оянда таҳиягарон инчунин ваъда медиҳанд, ки дастгирии BLOOM (176 миллиард параметр, 46 забон ва 13 забони барномасозиро дастгирӣ мекунад), CodeGen (метавонад дар 22 забони барномасозӣ код тавлид кунад) ва Моделҳои GLM. Намунаи муколама бо бот дар асоси FlexGen ва модели OPT-30B:
Одам: Баландтарин кӯҳ дар ҷаҳон чӣ ном дорад?
Ёрдамчӣ: Эверест.
Одам: Ман ба солгарди мо сафар карданӣ ҳастам. Мо чӣ кор карда метавонем?
Ёрдамчӣ: Хуб, шумо метавонед барои солгарди худ як қатор корҳоро анҷом диҳед. Аввалан, шумо метавонед кортҳоро бозӣ кунед. Дуюм, шумо метавонед ба сайру гашт равед. Сеюм, шумо метавонед ба осорхона равед.
Манбаъ: opennet.ru