{"id":114737,"date":"2024-04-03T00:25:44","date_gmt":"2024-04-02T22:25:47","guid":{"rendered":"https:\/\/prohoster.info\/blog\/novosti-interneta\/databricks-otkryl-bolshuyu-yazykovuyu-model-dbrx-operezhayushhuyu-v-testah-gpt-3-5"},"modified":"2024-04-03T00:25:44","modified_gmt":"2024-04-02T22:25:47","slug":"databricks-otkryl-bolshuyu-yazykovuyu-model-dbrx-operezhayushhuyu-v-testah-gpt-3-5","status":"publish","type":"post","link":"https:\/\/prohoster.info\/sl\/blog\/news\/databricks-otkryl-bolshuyu-yazykovuyu-model-dbrx-operezhayushhuyu-v-testah-gpt-3-5","title":{"rendered":"Databricks je predstavil novo veliko jezikovno model DBRX, ki preka\u0161a GPT-3.5 v testih","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"
Podjetje Databricks je napovedalo odprtje velike jezikovne modela DBRX, ki se lahko uporablja za ustvarjanje klepetalnih robotov, ki odgovarjajo na vpra\u0161anja v naravnem jeziku, re\u0161ujejo predlagane matemati\u010dne naloge, zmorejo generirati vsebino na dolo\u010deno temo ter ustvarjati kodo v razli\u010dnih programskih jezikih. Model je razvilo podjetje Mosaic ML, ki ga je Databricks kupil za 1,3 milijarde dolarjev. Za u\u010denje je bil uporabljen klaster z 3072 GPU NVIDIA H100 Tensor Core. Za zagon kon\u010dnega modela priporo\u010damo 320 GB pomnilnika. <\/p>\n
Pri usposabljanju modela je bila uporabljena arhitektura MoE (Me\u0161anica strokovnjakov), ki omogo\u010da natan\u010dnej\u0161o oceno ekspertov, in zbirka besedil in kode v velikosti 12 Tb. Velikost konteksta, ki ga model DBRX upo\u0161teva, zna\u0161a 32.000 tokenov (\u0161tevilo tokenov, ki jih model lahko obdela in si zapomni pri generiranju besedila). Za primerjavo, velikost konteksta za modele Google Gemini in OpenAI GPT-4 zna\u0161a 32.000 tokenov, Google Gemma \u2014 8.000, medtem ko model GPT-4 Turbo obsega 128.000 tokenov. <\/p>\n
Model zajema 132 milijard parametrov in je razdeljen na 16 ekspertnih omre\u017eij, od katerih lahko ob obdelavi poizvedbe uporablja najve\u010d 4 (obseg ne ve\u010d kot 36 milijard parametrov za vsak token). Za primerjavo, model GPT-4 naj bi vklju\u010dil 1,76 trilijona parametrov, nedavno odkrito X\/Twitter model Grok (X\/Twitter) \u2014 314 milijard, GPT-3.5 \u2014 175 milijard, YaLM (Yandex) \u2014 100 milijard, LLaMA (Meta) \u2014 65 milijard, GigaChat (Sber) \u2014 29 milijard, Gemma (Google) \u2014 7 milijard. <\/p>\n
Model in s tem povezani sestavni deli se distribuirajo pod licenco Databricks Open Model License, ki omogo\u010da uporabo, reprodukcijo, kopiranje, spreminjanje in ustvarjanje izpeljanih izdelkov, vendar z nekaterimi omejitvami. Na primer, licenca prepoveduje uporabo DBRX, izpeljanih modelov in kakr\u0161nih koli rezultatov na njihovi osnovi za izbolj\u0161anje drugih jezikovnih modelov, razen DBRX. Licenca prav tako prepoveduje uporabo modela na podro\u010djih, ki kr\u0161ijo zakone in predpise. Izpeljani modeli morajo biti distribuirani pod isto licenco. Pri uporabi v izdelkih in storitvah, ki jih uporablja ve\u010d kot 700 milijonov uporabnikov na mesec, je potrebno pridobiti posebno dovoljenje. <\/p>\n
Po trditvah ustvarjalcev modela DBRX, po svojih zna\u010dilnostih in zmo\u017enostih presega modele GPT-3.5 podjetja OpenAI in Grok-1 podjetja Twitter ter lahko konkuren\u010dno deluje z modelom Gemini 1.0 Pro pri testiranju razumevanja jezika, sposobnosti pisanja kode v programskih jezikih in re\u0161evanja matemati\u010dnih problemov. V nekaterih aplikacijah, na primer pri generiranju SQL poizvedb, se DBRX po u\u010dinkovitosti pribli\u017euje modelu GPT-4 Turbo, ki vodi na trgu. Poleg tega se model od konkurentov razlikuje po zelo hitrem delovanju in omogo\u010da skoraj trenutne odgovore. Zlasti lahko DBRX generira besedilo s hitrostjo do 150 tokenov na sekundo na uporabnika, kar je pribli\u017eno dvakrat hitreje kot model LLaMA2-70B.
<\/center>
<\/center> <\/p>\n
Dodatno lahko omenjamo objavo tehni\u010dnega opisa odprte velike jezikovne modele InternLM2, ki je dostopna pod licenco Apache 2.0 in je na voljo v razli\u010dicah s 20, 7 in 1.8 milijardami parametrov. Model je v razvoju v laboratoriju za umetno inteligenco v \u0160anghaju v sodelovanju z ve\u010d kitajskimi univerzami in se odlikuje po upo\u0161tevanju do 200K tokenov konteksta ter podpira ne le angle\u0161ki, temve\u010d tudi kitajski jezik. V mnogih testih se model pribli\u017euje GPT-4.
<\/center>
<\/center>
<\/center> <\/p>\n
Poleg tega poro\u010dajo o razvoju 84 novih jeder za mno\u017eenje matrik za orodje llamafile, ki ga razvija Mozilla in omogo\u010da ustvarjanje univerzalnih izvr\u0161nih datotek za zagon velikih jezikovnih modelov strojnega u\u010denja (LLM). Spremembe so omogo\u010dile znatno pospe\u0161itev delovanja modelov v llamafile pri izvajanju na CPU. Na primer, izvajanje modelov z uporabo llamafile je zdaj hitrej\u0161e kot pri uporabi llama.cpp od 30% do 500% odvisno od okolja, medtem ko v primerjavi z knji\u017enico MKL matrike, ki se prilegajo v L2 predpomnilnik, v novi izvedbi delujejo dvakrat hitreje. \n Izvor: opennet.ru<\/a> <\/p>","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"excerpt":{"rendered":"
![\"Databricks](\"\/wp-content\/uploads\/2024\/04\/d46e64df9ccd0933e38912f561c6d137.png\")
<\/center> ![\"Databricks](\"\/wp-content\/uploads\/2024\/04\/ab1bfbed106ba989fc5732d1424d30c5.png\")
<\/center> <\/p>\n![\"Databricks](\"\/wp-content\/uploads\/2024\/04\/a8e99d24da8c97b82707305694061bb6.png\")
<\/center> ![\"Databricks](\"\/wp-content\/uploads\/2024\/04\/a4b4d1a46b99ac7872a4dfd7bcf117bc.png\")
<\/center> ![\"Databricks](\"\/wp-content\/uploads\/2024\/04\/1ee229046c62e435a286b871f08e3de4.png\")
<\/center> <\/p>\n