Ang kompanya nga xAI, nga gitukod ni Elon Musk ug nakadawat mga usa ka bilyon nga dolyar alang sa pagpalambo sa mga teknolohiya nga may kalabutan sa artipisyal nga paniktik, nagpahibalo sa pagkadiskobre sa usa ka dako nga modelo sa pinulongang Grok nga gigamit sa usa ka chatbot nga gisagol sa social network X (Twitter). Ang set sa weighting coefficients, neural network architecture, ug use cases gimantala ubos sa Apache 2.0 license. Usa ka andam nga gamiton nga archive nga adunay modelo, 296 GB ang gidak-on (magnet), magamit alang sa pag-download.
Ang modelo sa Grok gibansay na daan sa usa ka dako nga koleksyon sa datos sa teksto gamit ang proprietary learning stack sa xAI ug nagsangkap sa gibana-bana nga 314 bilyon nga mga parameter, nga naghimo niini nga pinakadako nga bukas nga dako nga modelo sa pinulongan nga anaa. Alang sa pagtandi, ang bag-ong giablihan nga modelo sa Gemma sa Google adunay 7 bilyon nga mga parameter, Sber GigaChat - 29 bilyon nga mga parameter, Meta LLaMA - 65 bilyon, Yandex YaLM - 100 bilyon, OpenAI GPT-3.5 - 175 bilyon, ug ang lider sa merkado, ang GPT- 4 nga modelo, naglakip kuno sa 1.76 trilyon nga mga parameter.
Ang bukas nga bersyon sa Grok-1 nga modelo gipatik sa usa ka batakang representasyon ug wala maglakip sa mga pag-optimize alang sa pipila ka mga bahin sa paggamit, sama sa pag-organisar sa mga sistema sa dialogo. Alang sa pagsulay, gikinahanglan ang usa ka GPU nga adunay daghang memorya (kon unsa nga matang sa memorya ang wala matino). Ang usa ka static nga cast sa modelo magamit sa publiko, samtang ang usa sa mga bahin sa Grok chatbot nga gihimo alang sa Twitter mao ang dinamikong pagpahiangay sa mga bag-ong sulud (ang panagsama sa X/Twitter platform gigamit aron ma-access ang bag-ong kahibalo).
Gitukod sa Grok, ang chatbot milabaw sa GPT-3.5 sa mga pagsulay alang sa pagsulbad sa mga problema sa matematika sa high school (GSM8k), pagmugna og mga tubag sa interdisciplinary nga mga pangutana (MMLU), pagkompleto sa Python code (HumanEval), ug pagsulbad sa mga problema sa matematika sa unibersidad nga gihulagway sa LaTeX format (MATH) .
Source: opennet.ru
