La società xAI, fondata da Elon Musk e che ha ricevuto circa un miliardo di dollari per lo sviluppo di tecnologie legate all'intelligenza artificiale, ha annunciato la scoperta di un grande modello linguistico Grok utilizzato in un chatbot integrato nel social network X (Twitter). L'insieme di coefficienti di ponderazione, architettura di rete neurale e casi d'uso sono pubblicati sotto la licenza Apache 2.0. È disponibile per il download un archivio pronto all'uso con il modello, di 296 GB di dimensione (magnete).
Il modello Grok è pre-addestrato su un'ampia raccolta di dati di testo utilizzando lo stack di apprendimento proprietario di xAI e copre circa 314 miliardi di parametri, rendendolo il più grande modello di linguaggio aperto di grandi dimensioni disponibile. Per fare un confronto, il modello Gemma recentemente aperto da Google ha 7 miliardi di parametri, Sber GigaChat - 29 miliardi di parametri, Meta LLaMA - 65 miliardi, Yandex YaLM - 100 miliardi, OpenAI GPT-3.5 - 175 miliardi e il leader di mercato, il GPT- 4, presumibilmente include 1.76 trilioni di parametri.
La versione aperta del modello Grok-1 è pubblicata in una rappresentazione di base e non include ottimizzazioni per alcune aree di utilizzo, come l'organizzazione dei sistemi di dialogo. Per i test è necessaria una GPU con una grande quantità di memoria (non è specificato esattamente quale tipo di memoria). Un cast statico del modello è disponibile al pubblico, mentre una delle caratteristiche del chatbot Grok in fase di sviluppo per Twitter è l'adattamento dinamico ai nuovi contenuti emergenti (l'integrazione con la piattaforma X/Twitter viene utilizzata per accedere a nuove conoscenze).
Costruito su Grok, il chatbot supera GPT-3.5 nei test per risolvere problemi di matematica delle scuole superiori (GSM8k), generare risposte a domande interdisciplinari (MMLU), completare codice Python (HumanEval) e risolvere problemi di matematica universitari descritti in formato LaTeX (MATH ). .
Fonte: opennet.ru