Databricks kuulutas välja suure keelemudeli DBRX, mida saab kasutada vestlusrobotite loomisel, mis vastavad loomuliku keele küsimustele, lahendavad esitatud matemaatilisi ülesandeid, genereerivad sisu määratud teemal ja kirjutavad koodi erinevates programmeerimiskeeltes. Mudeli arendas Mosaic ML, mille Databricks ostis 1,3 miljardi dollari eest. Koolitamiseks kasutati 3072 NVIDIA H100 Tensor Core GPU klastrit. Valmis mudeli käitamiseks on soovitatav 320 GB mälu.
Mudeli koolitamisel rakendati MoE (mixture of experts) arhitektuuri, mis võimaldab saavutada täpsemaid eksperdi hinnanguid, ja 12 TB suuruses tekstide ja koodi kogumikus. DBRX mudeli konteksti suurus on 32 000 tokenit (number tokenitest, mille mudel suudab teksti genereerimise ajal töödelda ja meeles pidada). Võrdluseks, Google Gemini ja OpenAI GPT-4 mudeli konteksti suurus on 32 000 tokenit, Google Gemma – 8000 tokenit, GPT-4 Turbo mudelil on see aga 128 000 tokenit.
Mudeli sees on 132 miljardit parameetrit ja see on jagatud 16 ekspertvõrku, millest töötluse käigus tohib kasutada kuni 4 (iga tokeni jaoks maksimaalne katvus 36 miljardit parameetrit). Võrdluseks võib tuua, et GPT-4 mudel sisaldab eeldatavalt 1,76 triljonit parameetrit, hiljuti avatud X/Twitteri mudel Grok – 314 miljardit, GPT-3.5 – 175 miljardit, YaLM (Yandex) – 100 miljardit, LLaMA (Meta) – 65 miljardit, GigaChat (Sber) – 29 miljardit, Gemma (Google) – 7 miljardit.
Mudelit ja sellega seotud komponente levitatakse Databricks Open Model License'i alusel, mis võimaldab neid kasutada, kopeerida, muuta ja luua derivaatooteid, kuid teatud piirangutega. Näiteks keelab litsents DBRX, derivaadi mudelite ja nende põhjal tehtud väljundite kasutamise teiste keelemudelite, mis erinevad DBRX-ist, täiustamiseks. Litsents keelab ka mudeli kasutamise valdkondades, mis rikuvad seadusi ja määrusi. Derivaadi mudelid peavad olema levitatud sama litsentsi alusel. Tooteid ja teenuseid, mida kasutavad üle 700 miljoni kasutaja kuus, kasutades, on nõutav eraldi luba.
Mudeli koostajate sõnul ületab DBRX oma omaduste ja võimetega OpenAI GPT-3.5 ja Twitteri Grok-1 mudeleid ning suudab konkureerida Gemini 1.0 Pro mudeliga keele mõistmise, programmeerimiskeelte kirjutamise võimaluste ja matemaatiliste probleemide lahendamise testimisel. Teatud rakendustes, näiteks SQL-päringute genereerimisel, on DBRX tõhusus lähedane mudelile GPT-4 Turbo, mis on turuliider. Lisaks eristab mudelit konkurentidest äärmiselt kiire töö ja see võimaldab vastuseid peaaegu koheselt genereerida. Eriti DBRX suudab genereerida teksti kiirusel kuni 150 tokenit sekundis ühe kasutaja kohta, mis on ligikaudu kaks korda kiirem kui LLaMA2-70B mudel.
Samuti tasub ära märkida tehnilise kirjelduse avaldamine avatud suure keelemudeli InternLM2 kohta, mis levib Apache 2.0 litsentsi alusel ja on saadaval variantides, millel on 20, 7 ja 1,8 miljardit parameetrit. Mudelit arendab Shanghai tehisintellekti labor koostöös mitmete Hiina ülikoolidega ning sellel on kuni 200K tokeni konteksi arvestamine ning see toetab mitte ainult inglise, vaid ka hiina keelt. Paljusid teste on mudel GPT-4-le lähedane.
Lisaks on teatatud 84 uue maatriksi korrutamise sõlme arendamisest llamafile tööriistakomplektile, mille arendab Mozilla ja mis võimaldab luua universaalseid täidetavaid faile suurte keelemudelite masinõppe (LLM) käitamiseks. Muudatused on oluliselt kiirendanud mudelite töötlust llamafile'is, kui neid käitatakse CPU-l. Näiteks aitab llamafile'i kasutamine nüüd mudelite käitamisel saavutada kiirusetõusu 30% kuni 500%, võrreldes llama.cpp'ga keskkonnast sõltuvalt, ning uues teostuses täidetakse maatriksite toimingud, mis mahuvad L2 vahemälu, kaks korda kiiremini kui MKL teek.
Allikas: opennet.ru
