Ettevõte Databricks teatas suure keelemudeli DBRX avamisest, mida saab kasutada looma vestlusrobotite, mis vastavad küsimustele loomulikus keeles, lahendavad esitatud matemaatilisi ülesandeid, genereerivad sisu antud teema kohta ja loovad koodi erinevates programmeerimiskeeltes. Mudeli arendas välja ettevõte Mosaic ML, mille Databricks omandas 1,3 miljardi dollari eest. Treenimiseks kasutati 3072 NVIDIA H100 Tensor Core GPU klastrit. Valmis mudeli käivitamiseks soovitatakse 320 GB mälu.
Mudeli treenimisel kasutati MoE (Mix of Experts) arhitektuuri, mis võimaldab saada täpsemat ekspertide hinnangut, ja 12 TB tekstide ja koodi kogu. DBRX mudeli arvesse võetud konteksti suurus on 32 tuhat tokenit (tokenite arv, mida mudel suudab töödelda ja meeles pidada teksti genereerimisel). Võrdluseks, Google Gemini ja OpenAI GPT-4 mudelite konteksti suurus on 32 tuhat tokenit, Google Gemma - 8 tuhat, GPT-4 Turbo mudeli puhul - 128 tuhat.
Mudel hõlmab 132 miljardit parameetrit ja on jagatud 16 ekspertvõrku, millest töötlemise ajal saab kasutada kuni 4 (kattega mitte rohkem kui 36 miljardit parameetrit iga tokeni kohta). Võrdluseks, mudel GPT-4 sisaldab eeldatavalt 1,76 triljonit parameetrit, hiljuti avatud X/Twitter mudel Grok (X/Twitter) - 314 miljardit, GPT-3.5 - 175 miljardit, YaLM (Yandex) - 100 miljardit, LLaMA (Meta) - 65 miljardit, GigaChat (Sber) - 29 miljardit, Gemma (Google) - 7 miljardit.
Mudelit ja sellega seotud komponente levitatakse Databricks Open Model License litsentsi alusel, mis lubab kasutada, taastada, kopeerida, muuta ja luua tuletatud tooteid, kuid teatud piirangutega. Näiteks keelab litsents DBRX, tuletatud mudelite ja nende alusel saadud väljavõtete kasutamise teiste keelemudelite, mis ei ole DBRX, parandamiseks. Litsents keelab ka mudeli kasutamise valdkondades, mis rikuvad seadusi ja regulatiivnorme. Tuletatud mudelid peavad olema levitatud sama litsentsi alusel. Tooteid ja teenuseid, mida kasutavad enam kui 700 miljonit kasutajat kuus, kasutades on vaja eraldi luba.
Loovijate väitel ületab DBRX oma omaduste ja võimalustega OpenAI GPT-3.5 ja Twitteri Grok-1 mudeleid ning suudab konkureerida Gemini 1.0 Pro mudeliga, kui hinnata keele mõistmise taset, programmeerimiskeeles koodi kirjutamise võimalusi ja matemaatiliste probleemide lahendamist. Mõnedes rakendustes, näiteks SQL-päringute genereerimisel, on DBRX efektiivsuse osas peaaegu jõudnud GPT-4 Turbo mudeli tasemele, mis liigub turul esikohal. Lisaks iseloomustab mudelit konkurentidest väga kiire töö, võimaldades vastuste peaaegu kohest genereerimist. Eriti suudab DBRX genereerida teksti kiirusel kuni 150 märki sekundis ühe kasutaja kohta, mis on umbes kaks korda kiirem kui LLaMA2-70B mudel.
Lisaks tasub märkida, et on avaldatud avatud suurt keelemudelit InternLM2 tehniline kirjeldus, mis jaotatakse Apache 2.0 litsentsi alusel ja on saadaval variantides, millel on 20, 7 ja 1,8 miljardit parameetrit. Mudelit arendab Shanghai tehisintellekti labor koos mitme Hiina ülikooliga ja sellel on märkimisväärne omadus arvesse võtta kuni 200K konteksti tokenit ning see toetab mitte ainult ingliskeelt, vaid ka hiinakeelt. Paljude testide käigus on mudel üsna lähedane GPT-4-le.
Lisaks teatakse, et Mozilla arendab 84 uut maatriksi korrutamise tuuma llamafile tööriistakomplekti jaoks, mis võimaldab luua universaalseid käitatavaid faile suurte masinõppe keelemudelite (LLM) käivitamiseks. Muudatused on võimaldanud oluliselt kiirendada mudelite tööd llamafile'is CPU-l töötamisel. Näiteks on mudelite käitamine llamafile'i kasutamisel nüüd 30% kuni 500% kiirem kui llama.cpp kasutamisel, sõltuvalt keskkonnast, ja võrreldes MKL raamatukoguga, toimub maatriksskandaalid, mis mahuvad L2 vahemälusse, uusi rakendusi kasutades ka poole kiiremini.
Allikas: opennet.ru
