伊隆馬斯克的 xAI 公司已籌集約 2.0 億美元用於開發人工智慧技術，該公司宣布發現了一種大型語言模型 Grok，該模型用於整合到 X（Twitter）社交網路中的聊天機器人。權重集、神經網路架構和使用範例均根據 Apache 296 授權發布。包含此模型的現成檔案（大小為 XNUMX GB，磁力連結）可供下載。
Grok 模型使用 xAI 專有的學習堆疊在大量文字資料上進行預訓練，涵蓋約 314 億個參數，使其成為最大的開源大型語言模型。相較之下，Google最近發現的 Gemma 模型有 7 億個參數，Sber GigaChat 有 29 億個參數，Meta LLaMA 有 65 億個參數，Yandex YaLM 有 100 億個參數，OpenAI GPT-3.5 有 175 億個參數，而市場領導者 GPT-4. 1.76 兆個參數，而市場領導者 GPT-XNUMX. XNUMX 百萬個參數。
Grok-1 模型的開源版本以其基本形式發布，並不包括針對某些使用領域（例如組織對話系統）的最佳化。測試需要具有大量記憶體的 GPU（具體數量未指定）。靜態模型副本在公共領域可用，而正在為 Twitter 開發的 Grok 聊天機器人的功能之一是動態適應新興內容（與 X/Twitter 平台整合用於獲取新知識）。
由 Grok 驅動的聊天機器人在解決高中數學問題（GSM3.5k）、產生多學科問題答案（MMLU）、完成 Python 程式碼（HumanEval）以及解決用 LaTeX 編寫的大學數學問題（MATH）方面均優於 GPT-8。
來源： opennet.ru
