Perusahaan xAI, sing didegake dening Elon Musk lan wis nampa kira-kira milyar dolar kanggo pangembangan teknologi sing ana hubungane karo intelijen buatan, ngumumake panemuan model basa Grok gedhe sing digunakake ing chatbot sing terintegrasi menyang jaringan sosial X (Twitter). Set koefisien bobot, arsitektur jaringan saraf, lan kasus panggunaan diterbitake miturut lisensi Apache 2.0. A arsip siap-kanggo-nggunakake karo model, 296 GB ing ukuran (magnet), kasedhiya kanggo download.
Model Grok wis dilatih ing koleksi akeh data teks nggunakake tumpukan learning proprietary xAI lan mbentang kira-kira 314 milyar paramèter, dadi model basa gedhe mbukak paling gedhe kasedhiya. Kanggo mbandhingake, model Gemma sing bubar dibukak dening Google duwe 7 milyar paramèter, Sber GigaChat - 29 milyar paramèter, Meta LLaMA - 65 milyar, Yandex YaLM - 100 milyar, OpenAI GPT-3.5 - 175 milyar, lan pimpinan pasar, GPT- 4, mesthine kalebu 1.76 triliun paramèter.
Versi mbukak model Grok-1 diterbitake ing perwakilan dhasar lan ora kalebu optimasi kanggo wilayah tartamtu panggunaan, kayata ngatur sistem dialog. Kanggo testing, GPU karo jumlah gedhe saka memori dibutuhake (persis apa jenis memori ora kasebut). Model statis model kasedhiya kanggo umum, dene salah sawijining fitur chatbot Grok sing dikembangake kanggo Twitter yaiku adaptasi dinamis kanggo konten anyar sing muncul (integrasi karo platform X/Twitter digunakake kanggo ngakses kawruh anyar).
Dibangun ing Grok, chatbot ngluwihi GPT-3.5 ing tes kanggo ngrampungake masalah matematika sekolah menengah (GSM8k), ngasilake jawaban kanggo pitakonan interdisipliner (MMLU), ngrampungake kode Python (HumanEval), lan ngrampungake masalah matematika universitas sing diterangake ing format LaTeX (MATH). .
Source: opennet.ru
