İlon Maskın təsis etdiyi və süni intellektlə bağlı texnologiyaların inkişafı üçün bir milyard dollara yaxın vəsait alan xAI şirkəti X (Twitter) sosial şəbəkəsinə inteqrasiya olunmuş chatbotda istifadə edilən böyük Grok dil modelinin kəşf edildiyini açıqlayıb. Ağırlıq əmsalları, neyron şəbəkə arxitekturası və istifadə halları dəsti Apache 2.0 lisenziyası altında dərc olunur. 296 GB ölçüsündə (maqnit) model ilə istifadəyə hazır arxiv yükləmək üçün mövcuddur.
Grok modeli xAI-nin xüsusi öyrənmə yığınından istifadə edərək böyük bir mətn məlumatı toplusunda əvvəlcədən hazırlanmışdır və təxminən 314 milyard parametri əhatə edir ki, bu da onu mövcud olan ən böyük açıq böyük dil modeli edir. Müqayisə üçün qeyd edək ki, Google-un bu yaxınlarda açdığı Gemma modeli 7 milyard, Sber GigaChat - 29 milyard parametr, Meta LLaMA - 65 milyard, Yandex YaLM - 100 milyard, OpenAI GPT-3.5 - 175 milyard, bazar lideri GPT- 4 modeli, guya 1.76 trilyon parametri ehtiva edir.
Grok-1 modelinin açıq versiyası əsas təqdimatda dərc olunur və dialoq sistemlərinin təşkili kimi müəyyən istifadə sahələri üçün optimallaşdırmaları ehtiva etmir. Sınaq üçün böyük həcmdə yaddaşa malik GPU tələb olunur (dəqiq olaraq hansı yaddaş növü göstərilməyib). Modelin statik heyəti ictimaiyyətə açıqdır, Twitter üçün hazırlanan Grok chatbotunun xüsusiyyətlərindən biri yeni yaranan məzmuna dinamik uyğunlaşmadır (X/Twitter platforması ilə inteqrasiya yeni biliklərə daxil olmaq üçün istifadə olunur).
Grok üzərində qurulan chatbot orta məktəb riyaziyyat problemlərinin həlli (GSM3.5k), fənlərarası suallara (MMLU) cavablar yaratmaq, Python kodunu doldurmaq (HumanEval) və LaTeX formatında (MATH) təsvir olunan universitet riyaziyyat problemlərini həll etmək üçün testlərdə GPT-8-dən üstündür. .
Mənbə: opennet.ru
