Khampani ea xAI, e thehiloeng ke Elon Musk mme e fumane hoo e ka bang lidolara tse limilione tse likete bakeng sa nts'etsopele ea theknoloji e amanang le bohlale ba maiketsetso, e phatlalalitse ho sibolloa ha mohlala o moholo oa puo ea Grok o sebelisoang moqoqong oa chatbot o kopantsoeng le marang-rang a sechaba X (Twitter). Sehlopha sa li-coefficients tsa boima, meralo ea neural network, le linyeoe tsa ts'ebeliso li phatlalalitsoe tlasa laesense ea Apache 2.0. Sebaka sa polokelo ea khale se seng se loketse ho sebelisoa se nang le mohlala, 296 GB ka boholo (magnet), se teng bakeng sa ho khoasolla.
Moetso oa Grok o koetlisitsoe esale pele mabapi le pokello e kholo ea data ea mongolo o sebelisang pokello ea thuto ea mong'a xAI 'me o akaretsa liparamente tse ka bang limilione tse likete tse 314, e leng se etsang hore e be mohlala o moholo ka ho fetisisa oa puo e bulehileng o fumanehang. Ha ho bapisoa, mofuta oa Gemma o sa tsoa buloa ke Google o na le li-parameter tse limilione tse likete tse 7, Sber GigaChat - li-parameter tse limilione tse likete tse 29, Meta LLaMA - limilione tse likete tse 65, Yandex YaLM - limilione tse likete tse 100, OpenAI GPT-3.5 - 175 limilione tse likete, le moetapele oa 'maraka, GPT- 4, eo ho thoeng e kenyelletsa li-parameter tsa 1.76 trillion.
Mofuta o bulehileng oa mofuta oa Grok-1 o phatlalalitsoe ka boemeli ba mantlha mme ha o kenyelle lintlafatso bakeng sa likarolo tse itseng tsa ts'ebeliso, joalo ka ho hlophisa litsamaiso tsa lipuisano. Bakeng sa tlhahlobo, GPU e nang le mohopolo o mongata oa hlokahala (hantle-ntle mofuta oa memori o sa hlalosoang). Sebopeho se tsitsitseng sa mohlala se fumaneha phatlalatsa, ha e 'ngoe ea likarolo tsa Grok chatbot e ntseng e ntlafatsoa bakeng sa Twitter ke ho ikamahanya le maemo a macha a hlahang (ho kopanngoa le sethala sa X / Twitter se sebelisetsoa ho fumana tsebo e ncha).
E hahiloe ho Grok, chatbot e feta GPT-3.5 litekong tsa ho rarolla mathata a lipalo sekolong se phahameng (GSM8k), ho hlahisa likarabo tsa lipotso tse fapaneng (MMLU), ho tlatsa khoutu ea Python (HumanEval), le ho rarolla mathata a lipalo a univesithi a hlalositsoeng ka mokhoa oa LaTeX (MATH) .
Source: opennet.ru
