Компанія xAI, заснована Ілоном Маском і що отримала близько мільярда доларів на розвиток технологій, пов'язаних штучним інтелектом, оголосила про відкриття великої мовної моделі Grok, яка застосовується в чату, інтегрованому в соціальну мережу X (Twitter). Набір вагових коефіцієнтів, архітектура нейронної мережі та приклади використання, опубліковані під ліцензією Apache 2.0. Для завантаження доступний готовий до застосування архів з моделлю розміром 296 ГБ (magnet).
Модель Grok попередньо навчена на великій колекції текстових даних, використовуючи розроблений в xAI власний стек навчання, і охоплює близько 314 мільярдів параметрів, що робить її найбільшою з доступних відкритих великих мовних моделей. Для порівняння нещодавно відкрита Google модель Gemma налічує 7 млрд параметрів, Sber GigaChat – 29 млрд параметрів, Meta LLaMA – 65 млрд, Yandex YaLM – 100 млрд, OpenAI GPT-3.5 – 175 млрд, а лідер ринку, модель GPT-4, імовірно включає 1.76 трильйона параметрів.
Відкритий варіант моделі Grok-1 опублікований у базовому поданні та не включає оптимізації для певних областей використання, таких як організація діалогових систем. Для тестування потрібно GPU з більшим обсягом пам'яті (яким саме не уточнюється). У відкритому доступі розміщений статичний зліпок моделі, в той час як однією з особливостей розвивається для Twitter-а робота Grok є динамічна адаптація до нового вмісту, що з'являється (для доступу до нових знань використовується інтеграція з платформою X/Twitter).
Побудований на базі Grok чатбот випереджає GPT-3.5 у тестах на вирішення математичних завдань середньої школи (GSM8k), формування відповідей на міждисциплінарні питання (MMLU), доповнення коду мовою Python (HumanEval) та рішення математичних вузівських завдань, описаних у форматі LaTeX (MAT ).
Джерело: opennet.ru