{"id":114737,"date":"2024-04-03T00:25:44","date_gmt":"2024-04-02T22:25:47","guid":{"rendered":"https:\/\/prohoster.info\/blog\/novosti-interneta\/databricks-otkryl-bolshuyu-yazykovuyu-model-dbrx-operezhayushhuyu-v-testah-gpt-3-5"},"modified":"2024-04-03T00:25:44","modified_gmt":"2024-04-02T22:25:47","slug":"databricks-otkryl-bolshuyu-yazykovuyu-model-dbrx-operezhayushhuyu-v-testah-gpt-3-5","status":"publish","type":"post","link":"https:\/\/prohoster.info\/sv\/blog\/news\/databricks-otkryl-bolshuyu-yazykovuyu-model-dbrx-operezhayushhuyu-v-testah-gpt-3-5","title":{"rendered":"Databricks har lanserat den stora spr\u00e5kmodellen DBRX, som \u00f6vertr\u00e4ffar GPT-3.5 i tester.","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"
F\u00f6retaget Databricks har meddelat lanseringen av den stora spr\u00e5kmodellen DBRX, som kan anv\u00e4ndas f\u00f6r att skapa chattbotar som svarar p\u00e5 fr\u00e5gor p\u00e5 naturligt spr\u00e5k, l\u00f6ser f\u00f6reslagna matematiska problem, kan generera inneh\u00e5ll om ett givet \u00e4mne och skapa kod p\u00e5 olika programmeringsspr\u00e5k. Modellen har utvecklats av f\u00f6retaget Mosaic ML, som f\u00f6rv\u00e4rvades av Databricks f\u00f6r 1,3 miljarder dollar. F\u00f6r tr\u00e4ning anv\u00e4ndes en kluster med 3072 NVIDIA H100 Tensor Core GPU:er. F\u00f6r att k\u00f6ra den f\u00e4rdiga modellen rekommenderas 320 GB minne. <\/p>\n
Vid tr\u00e4ningen av modellen anv\u00e4ndes MoE-arkitekturen (Mixture of Experts), som m\u00f6jligg\u00f6r en mer exakt expertutv\u00e4rdering, samt en samling texter och kod p\u00e5 12 TB. Storleken p\u00e5 kontexten som modellen DBRX beaktar \u00e4r 32 000 token (antalet token som modellen kan bearbeta och komma ih\u00e5g vid texts generering). Som j\u00e4mf\u00f6relse har modellerna Google Gemini och OpenAI GPT-4 en kontextstorlek p\u00e5 32 000 token, Google Gemma \u2014 8 000, medan modellen GPT-4 Turbo har 128 000. <\/p>\n
Modellen omfattar 132 miljarder parametrar och \u00e4r uppdelad i 16 expert-n\u00e4tverk, av vilka h\u00f6gst 4 kan anv\u00e4ndas vid bearbetning av en f\u00f6rfr\u00e5gan (med ett t\u00e4ckning av h\u00f6gst 36 miljarder parametrar f\u00f6r varje token). F\u00f6r j\u00e4mf\u00f6relse inkluderar modellen GPT-4 uppskattningsvis 1.76 biljoner parametrar, den nyligen uppt\u00e4ckta modellen Grok (X\/Twitter) \u2014 314 miljarder, GPT-3.5 \u2014 175 miljarder, YaLM (Yandex) \u2014 100 miljarder, LLaMA (Meta) \u2014 65 miljarder, GigaChat (Sber) \u2014 29 miljarder, Gemma (Google) \u2014 7 miljarder. <\/p>\n
Modellen och dess relaterade komponenter distribueras under Databricks Open Model License, som till\u00e5ter anv\u00e4ndning, reproduktion, kopiering, modifiering och skapande av derivatprodukter, men med vissa begr\u00e4nsningar. Till exempel f\u00f6rbjuder licensen att anv\u00e4nda DBRX, derivatmodeller och n\u00e5gon output baserat p\u00e5 dem f\u00f6r att f\u00f6rb\u00e4ttra andra spr\u00e5kmodeller \u00e4n DBRX. Licensen f\u00f6rbjuder ocks\u00e5 att anv\u00e4nda modellen inom omr\u00e5den som bryter mot lagar och f\u00f6rordningar. Derivatmodeller m\u00e5ste distribueras under samma licens. Vid anv\u00e4ndning i produkter och tj\u00e4nster som anv\u00e4nds av mer \u00e4n 700 miljoner anv\u00e4ndare i m\u00e5naden kr\u00e4vs s\u00e4rskilt tillst\u00e5nd. <\/p>\n
Enligt skaparna av modellen \u00f6vertr\u00e4ffar DBRX i sina egenskaper och m\u00f6jligheter modellerna GPT-3.5 fr\u00e5n OpenAI och Grok-1 fr\u00e5n Twitter, och kan konkurrera med modellen Gemini 1.0 Pro vid tester av spr\u00e5kf\u00f6rst\u00e5else, kodskrivning p\u00e5 programmeringsspr\u00e5k och l\u00f6sningar av matematiska problem. I vissa till\u00e4mpningar, till exempel vid generering av SQL-fr\u00e5gor, kommer DBRX n\u00e4ra effektiviteten hos modellen GPT-4 Turbo, som \u00e4r ledande p\u00e5 marknaden. Dessutom k\u00e4nnetecknas modellen av mycket snabb prestanda och kan generera svar n\u00e4stan omedelbart. Specifikt kan DBRX generera text med en hastighet p\u00e5 upp till 150 token per sekund per anv\u00e4ndare, vilket \u00e4r ungef\u00e4r tv\u00e5 g\u00e5nger snabbare \u00e4n modellen LLaMA2-70B.
<\/center>
<\/center> <\/p>\n
Dessutom kan man n\u00e4mna publiceringen av den tekniska beskrivningen av den \u00f6ppna stora spr\u00e5kmodellen InternLM2, som distribueras under licensen Apache 2.0, och \u00e4r tillg\u00e4nglig i varianter med 20, 7 och 1.8 miljarder parametrar. Modellen utvecklas av ett AI-laboratorium i Shanghai med deltagande av flera kinesiska universitet och \u00e4r anm\u00e4rkningsv\u00e4rd f\u00f6r sin m\u00f6jlighet att hantera upp till 200K token kontext och st\u00f6d f\u00f6r b\u00e5de engelska och kinesiska spr\u00e5ket. I m\u00e5nga tester \u00e4r modellen n\u00e4ra GPT-4.
<\/center>
<\/center>
<\/center> <\/p>\n
Dessutom rapporteras det om utvecklingen av 84 nya k\u00e4rnor f\u00f6r matrisber\u00e4kningar f\u00f6r verktyget llamafile, som utvecklas av Mozilla och m\u00f6jligg\u00f6r skapandet av universella k\u00f6rbara filer f\u00f6r att k\u00f6ra stora spr\u00e5kmodeller f\u00f6r maskininl\u00e4rning (LLM). \u00c4ndringarna har betydligt \u00f6kat hastigheten p\u00e5 modellerna i llamafile n\u00e4r de k\u00f6rs p\u00e5 CPU. Till exempel \u00e4r utf\u00f6randet av modeller med anv\u00e4ndning av llamafile nu snabbare \u00e4n med llama.cpp med mellan 30% och 500% beroende p\u00e5 milj\u00f6n, och j\u00e4mf\u00f6rt med MKL-biblioteket utf\u00f6rs matrisoperationer som f\u00e5r plats i L2-cachen nu dubbelt s\u00e5 snabbt i den nya implementationen. \n K\u00e4lla: opennet.ru<\/a> <\/p>","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"excerpt":{"rendered":"
![\"Databricks](\"\/wp-content\/uploads\/2024\/04\/d46e64df9ccd0933e38912f561c6d137.png\")
<\/center> ![\"Databricks](\"\/wp-content\/uploads\/2024\/04\/ab1bfbed106ba989fc5732d1424d30c5.png\")
<\/center> <\/p>\n![\"Databricks](\"\/wp-content\/uploads\/2024\/04\/a8e99d24da8c97b82707305694061bb6.png\")
<\/center> ![\"Databricks](\"\/wp-content\/uploads\/2024\/04\/a4b4d1a46b99ac7872a4dfd7bcf117bc.png\")
<\/center> ![\"Databricks](\"\/wp-content\/uploads\/2024\/04\/1ee229046c62e435a286b871f08e3de4.png\")
<\/center> <\/p>\n