Stenford Universiteti, Kaliforniya Berkli Universiteti, ETH Sürix, İqtisadiyyat Məktəbi, Karnegi Mellon Universiteti, həmçinin Yandex və Meta-dan olan tədqiqatçılar qrupu resursda böyük dil modellərini idarə etmək üçün mühərrikin mənbə kodunu dərc ediblər. -məhdud sistemlər. Məsələn, mühərrik 175 GB video yaddaşla təchiz edilmiş NVIDIA RTX175 oyun qrafik kartı ilə adi kompüterdə 3090 milyard parametri əhatə edən əvvəlcədən hazırlanmış OPT-24B modelini işlətməklə ChatGPT və Copilot-u xatırladan funksionallıq yaratmaq imkanı verir. Kod Python-da yazılmışdır, PyTorch çərçivəsindən istifadə edir və Apache 2.0 lisenziyası altında paylanır.
Buraya ictimai əlçatan dil modellərindən birini yükləməyə və dərhal ünsiyyətə başlamağa imkan verən botlar yaratmaq üçün nümunə skript daxildir (məsələn, “python apps/chatbot.py —model facebook/opt-30b — -faiz 0” əmrini işlətməklə 100 100 0 100 0”). Əsas olaraq, Facebook tərəfindən nəşr olunan, BookCorpus (10 min kitab), CC-Stories, Pile (OpenSubtitles, Wikipedia, DM Mathematics, HackerNews və s.), Pushshift kolleksiyalarında təlim keçmiş böyük dil modelindən istifadə etmək təklif olunur. io (Reddit məlumatlarına əsasən) və CCNewsV2 (xəbər arxivi). Model təxminən 180 milyard tokeni (800 GB məlumat) əhatə edir. Modelin hazırlanmasına 33 NVIDIA A992 100GB GPU ilə 80 günlük klaster əməliyyatı sərf olunub.
OPT-175B modelini tək NVIDIA T4 GPU (16GB) ilə bir sistemdə işləyərkən FlexGen mühərriki əvvəllər təklif olunan həllərdən 100 dəfəyə qədər sürətli performans nümayiş etdirərək, böyük dilli modellərin istifadəsini daha sərfəli edib və onların üzərində işləməyə imkan verib. xüsusi sürətləndiriciləri olmayan sistemlər. Eyni zamanda, FlexGen birdən çox GPU ilə hesablamaları paralelləşdirmək üçün miqyaslandıra bilər. Modelin ölçüsünü azaltmaq üçün əlavə olaraq mülkiyyət parametrlərinin sıxılma sxemi və modelin keşləmə mexanizmi istifadə olunur.
Hazırda FlexGen yalnız OPT dil modellərini dəstəkləyir, lakin gələcəkdə tərtibatçılar həmçinin BLOOM (176 milyard parametr, 46 dil və 13 proqramlaşdırma dilini dəstəkləyir), CodeGen (22 proqramlaşdırma dilində kod yarada bilir) və GLM modelləri. FlexGen və OPT-30B modelinə əsaslanan bot ilə dialoq nümunəsi:
İnsan: Dünyanın ən hündür dağının adı nədir?
Köməkçi: Everest.
İnsan: Yubileyimiz üçün səyahət planlaşdırıram. Biz nə edə bilərik?
Köməkçi: Yaxşı, yubileyiniz üçün edə biləcəyiniz bir sıra şeylər var. Birincisi, kart oynaya bilərsiniz. İkincisi, gəzintiyə çıxa bilərsiniz. Üçüncüsü, muzeyə gedə bilərsiniz.
Mənbə: opennet.ru