Stanford Üniversitesi, Berkeley'deki Kaliforniya Üniversitesi, ETH Zürih, Ekonomi Enstitüsü, Carnegie Mellon Üniversitesi ile Yandex ve Meta'dan bir araştırmacı ekibi, kaynaklar üzerinde büyük dil modellerini çalıştıran bir motorun kaynak kodunu yayınladı. -kısıtlı sistemler. Örneğin motor, 175 GB video belleğiyle donatılmış NVIDIA RTX175 oyun grafik kartına sahip normal bir bilgisayarda, 3090 milyar parametreyi kapsayan önceden eğitilmiş bir OPT-24B modelini çalıştırarak ChatGPT ve Copilot'u anımsatan işlevsellik oluşturma yeteneği sağlıyor. Kod Python'da yazılmıştır, PyTorch çerçevesini kullanır ve Apache 2.0 lisansı altında dağıtılır.
Herkese açık dil modellerinden birini indirmenize ve hemen iletişim kurmaya başlamanıza olanak tanıyan bot oluşturmaya yönelik örnek bir komut dosyası içerir (örneğin, "python apps/chatbot.py —model facebook/opt-30b — -percent 0 komutunu çalıştırarak) 100 100 0 100 0"). Temel olarak Facebook tarafından yayınlanan, BookCorpus (10 bin kitap), CC-Stories, Pile (OpenSubtitles, Wikipedia, DM Mathematics, HackerNews, vb.), Pushshift koleksiyonları üzerinde eğitilmiş geniş bir dil modelinin kullanılması öneriliyor. io (Reddit verilerine dayanmaktadır) ve CCNewsV2 (haber arşivi). Model yaklaşık 180 milyar jetonu (800 GB veri) kapsıyor. Modelin eğitimi için 33 adet NVIDIA A992 100 GB GPU ile 80 günlük küme çalışması harcandı.
OPT-175B modelini tek bir NVIDIA T4 GPU'ya (16 GB) sahip bir sistemde çalıştırırken FlexGen motoru, daha önce sunulan çözümlere göre 100 kata kadar daha hızlı performans göstererek, büyük dil modellerinin kullanımını daha uygun maliyetli hale getirdi ve bunların daha fazla çalışmasına olanak tanıdı. özel hızlandırıcıları olmayan sistemler. FlexGen aynı zamanda hesaplamaları birden fazla GPU ile paralel hale getirecek şekilde ölçeklenebilir. Modelin boyutunu azaltmak için ayrıca özel bir parametre sıkıştırma şeması ve bir model önbelleğe alma mekanizması kullanılır.
Şu anda FlexGen yalnızca OPT dil modellerini desteklemektedir, ancak gelecekte geliştiriciler ayrıca BLOOM (176 milyar parametre, 46 dili ve 13 programlama dilini destekler), CodeGen (22 programlama dilinde kod üretebilir) ve CodeGen (30 programlama dilinde kod üretebilir) için destek ekleme sözü vermektedir. GLM modelleri. FlexGen ve OPT-XNUMXB modelini temel alan bir botla diyalog örneği:
İnsan: Dünyanın en yüksek dağının adı nedir?
Asistan: Everest.
İnsan: Yıldönümümüz için bir gezi planlıyorum. Ne gibi şeyler yapabiliriz?
Asistan: Yıldönümünüz için yapabileceğiniz birçok şey var. İlk önce kart oynayabilirsiniz. İkincisi yürüyüşe çıkabilirsiniz. Üçüncüsü müzeye gidebilirsiniz.
Kaynak: opennet.ru