La kompanio xAI, fondita de Elon Musk kaj kiu ricevis ĉirkaŭ miliardon da dolaroj por la disvolviĝo de teknologioj rilataj al artefarita inteligenteco, anoncis la malkovron de granda Grok-lingva modelo uzata en babilejo integrita en la socia reto X (Twitter). La aro de pezkoeficientoj, neŭrala reto-arkitekturo kaj uzkazoj estas publikigitaj sub la licenco Apache 2.0. Preta uzebla arkivo kun la modelo, 296 GB en grandeco (magneto), estas havebla por elŝuto.
La Grok-modelo estas antaŭtrejnita sur granda kolekto de tekstaj datumoj uzante la proprietan lernan stakon de xAI kaj ampleksas proksimume 314 miliardojn da parametroj, igante ĝin la plej granda malferma granda lingvomodelo disponebla. Por komparo, la lastatempe malfermita Gemma-modelo de Google havas 7 miliardojn da parametroj, Sber GigaChat - 29 miliardojn da parametroj, Meta LLaMA - 65 miliardojn, Yandex YaLM - 100 miliardojn, OpenAI GPT-3.5 - 175 miliardojn, kaj la merkatgvidanto, la GPT- 4 modelo, supozeble inkluzivas 1.76 duilionojn da parametroj.
La malferma versio de la Grok-1-modelo estas publikigita en baza reprezentado kaj ne inkluzivas optimumojn por certaj uzfakoj, kiel organizi dialogsistemojn. Por testado necesas GPU kun granda kvanto da memoro (precize kia memoro ne estas specifita). Senmova rolantaro de la modelo estas publike havebla, dum unu el la funkcioj de la Grok-babilboteto disvolvita por Twitter estas dinamika adapto al emerĝanta nova enhavo (integriĝo kun la platformo X/Twitter estas uzata por aliri novajn sciojn).
Konstruita sur Grok, la babilbotisto superas GPT-3.5 en testoj por solvado de mezlernejaj matematikproblemoj (GSM8k), generante respondojn al interfakaj demandoj (MMLU), kompletigante Python-kodon (HumanEval), kaj solvante universitatajn matematikproblemojn priskribitajn en LaTeX-formato (MATH). .
fonto: opennet.ru