Företaget Databricks har meddelat lanseringen av den stora sprÄkmodellen DBRX, som kan anvÀndas för att skapa chattbotar som svarar pÄ frÄgor pÄ naturligt sprÄk, löser föreslagna matematiska problem, kan generera innehÄll om ett givet Àmne och skapa kod pÄ olika programmeringssprÄk. Modellen har utvecklats av företaget Mosaic ML, som förvÀrvades av Databricks för 1,3 miljarder dollar. För trÀning anvÀndes en kluster med 3072 NVIDIA H100 Tensor Core GPU:er. För att köra den fÀrdiga modellen rekommenderas 320 GB minne.
Vid trĂ€ningen av modellen anvĂ€ndes MoE-arkitekturen (Mixture of experts), som möjliggör en mer exakt expertbedömning, samt en samling texter och kod pĂ„ 12 TB. Den kontext som modellen DBRX beaktar Ă€r 32 000 token (antal token som modellen kan bearbeta och komma ihĂ„g vid textgenerering). Som jĂ€mförelse har modellerna Google Gemini och OpenAI GPT-4 en kontextstorlek pĂ„ 32 000 token, Google Gemma â 8 000, och modellen GPT-4 Turbo â 128 000.
Modellen omfattar 132 miljarder parametrar och Ă€r indelad i 16 expert-nĂ€tverk, dĂ€r högst 4 kan anvĂ€ndas vid förfrĂ„gan (med ett tĂ€ckning pĂ„ högst 36 miljarder parametrar per token). För jĂ€mförelse antas modellen GPT-4 omfatta 1,76 biljoner parametrar, den nyligen lanserade modellen Grok (X/Twitter) â 314 miljarder, GPT-3.5 â 175 miljarder, YaLM (Yandex) â 100 miljarder, LLaMA (Meta) â 65 miljarder, GigaChat (Sber) â 29 miljarder, och Gemma (Google) â 7 miljarder.
Modellen och dess relaterade komponenter distribueras under Databricks Open Model License, som tillÄter anvÀndning, reproduktion, kopiering, modifiering och skapande av derivatprodukter, men med vissa begrÀnsningar. Till exempel förbjuder licensen att anvÀnda DBRX, derivatmodeller och nÄgon output baserat pÄ dem för att förbÀttra andra sprÄkmodeller Àn DBRX. Licensen förbjuder ocksÄ att anvÀnda modellen inom omrÄden som bryter mot lagar och förordningar. Derivatmodeller mÄste distribueras under samma licens. Vid anvÀndning i produkter och tjÀnster som anvÀnds av mer Àn 700 miljoner anvÀndare i mÄnaden krÀvs sÀrskilt tillstÄnd.
Enligt skaparna av modellen övertrÀffar DBRX i sina egenskaper och möjligheter modellerna GPT-3.5 frÄn OpenAI och Grok-1 frÄn Twitter, och kan konkurrera med modellen Gemini 1.0 Pro vid tester av sprÄkförstÄelse, kodskrivning pÄ programmeringssprÄk och lösningar av matematiska problem. I vissa tillÀmpningar, till exempel vid generering av SQL-frÄgor, kommer DBRX nÀra effektiviteten hos modellen GPT-4 Turbo, som Àr ledande pÄ marknaden. Dessutom kÀnnetecknas modellen av mycket snabb prestanda och kan generera svar nÀstan omedelbart. Specifikt kan DBRX generera text med en hastighet pÄ upp till 150 token per sekund per anvÀndare, vilket Àr ungefÀr tvÄ gÄnger snabbare Àn modellen LLaMA2-70B.
Dessutom kan man nÀmna publiceringen av den tekniska beskrivningen av den öppna stora sprÄkmodellen InternLM2, som distribueras under licensen Apache 2.0, och Àr tillgÀnglig i varianter med 20, 7 och 1.8 miljarder parametrar. Modellen utvecklas av ett AI-laboratorium i Shanghai med deltagande av flera kinesiska universitet och Àr anmÀrkningsvÀrd för sin möjlighet att hantera upp till 200K token kontext och stöd för bÄde engelska och kinesiska sprÄket. I mÄnga tester Àr modellen nÀra GPT-4.
Dessutom rapporteras det om utvecklingen av 84 nya kĂ€rnor för matrisberĂ€kningar för verktyget llamafile, som utvecklas av Mozilla och möjliggör skapandet av universella körbara filer för att köra stora sprĂ„kmodeller för maskininlĂ€rning (LLM). Ăndringarna har betydligt ökat hastigheten pĂ„ modellerna i llamafile nĂ€r de körs pĂ„ CPU. Till exempel Ă€r utförandet av modeller med anvĂ€ndning av llamafile nu snabbare Ă€n med llama.cpp med mellan 30% och 500% beroende pĂ„ miljön, och jĂ€mfört med MKL-biblioteket utförs matrisoperationer som fĂ„r plats i L2-cachen nu dubbelt sĂ„ snabbt i den nya implementationen.
KĂ€lla: opennet.ru
