A Databricks bejelentette, hogy elérhetővé tette a DBRX nevű nagyméretű nyelvi modellt, amely alkalmazható csevegőrobotok létrehozására, amelyek természetes nyelven válaszolnak a kérdésekre, megoldják a felvetett matematikai feladatokat, képesek tartalmat generálni egy adott témában és kódot írni különböző programozási nyelveken. A modellt a Mosaic ML készítette, amelyet a Databricks 1,3 milliárd dollárért vásárolt meg. Az oktatás során egy 3072 GPU NVIDIA H100 Tensor Core klasztert használtak. A kész modell futtatásához ajánlott 320 GB memória.
A modell képzésénél a MoE (Mixture of Experts) architektúrát alkalmazták, amely lehetővé teszi a pontosabb szakértői értékelések elérését, és 12 TB terjedelmű szöveg- és kódgyűjteményt használtak. A DBRX által figyelembe vett kontextus mérete 32 ezer token (a model által feldolgozható és a szöveg generálása során megjegyezhető tokenek száma). Összehasonlításképpen, a Google Gemini és az OpenAI GPT-4 modellek kontextusa is 32 ezer token, a Google Gemma 8 ezer, míg a GPT-4 Turbo modell 128 ezer token.
A modell 132 milliárd paramétert ölel fel, és 16 szakértői hálózatra van felosztva, amelyek közül a lekérdezés feldolgozása során legfeljebb 4 használható (bármely tokenhez legfeljebb 36 milliárd paraméter tartozik). Összehasonlításképpen, a GPT-4 modell állítólag 1,76 trillió paramétert tartalmaz, a nemrég bemutatott X/Twitter Grok modell 314 milliárd, a GPT-3.5 175 milliárd, a YaLM (Yandex) 100 milliárd, a LLaMA (Meta) 65 milliárd, a GigaChat (Sber) 29 milliárd, míg a Gemma (Google) 7 milliárd paraméterrel rendelkezik.
A modell és a hozzá kapcsolódó komponensek a Databricks Open Model License alatt terjeszthetők, amely lehetővé teszi a használatot, reprodukálást, másolást, módosítást és származékos termékek létrehozását, de bizonyos korlátozásokkal. Például a licenc megtiltja a DBRX, a származékos modellek és ezek alapján készült bármely kimenet más nyelvi modellek, például a DBRX-n kívüli modellek javítására való használatát. A licenc megtiltja a modell jogszabályoknak és előírásoknak való ellenszegülés területeken való használatát is. A származékos modelleknek ugyanazon licenc alatt kell terjedniük. Olyan termékekben és szolgáltatásokban, amelyeket havonta több mint 700 millió felhasználó használ, külön engedély beszerzése szükséges.
A model szövege szerint a DBRX jellemzői és lehetőségei felülmúlják az OpenAI GPT-3.5 és a Twitter Grok-1 modellekét, és versenyezhet a Gemini 1.0 Pro modellel a nyelv megértésének, a programozási nyelveken való kódírás képességének és matematikai feladatok megoldásának tesztjeiben. Bizonyos alkalmazásokban, például SQL lekérdezések generálásakor, a DBRX hatékonysága megközelíti a piacon vezető GPT-4 Turbo modellt. Ezen felül a modell nagyon gyors működésével tűnik ki, lehetővé téve, hogy szinte azonnal generáljon válaszokat. Különösen a DBRX képes akár 150 token másodpercenkénti generálására egy felhasználó számára, ami körülbelül kétszer gyorsabb, mint az LLaMA2-70B modell.
Fontos megjegyezni a 20, 7 és 1.8 milliárd paraméterrel rendelkező InternLM2 nagy nyílt nyelvi modell technikai leírásának közzétételét, amely az Apache 2.0 licenc alatt érhető el. A modellt egy sanghaji mesterséges intelligencia laboratórium fejleszti, több kínai egyetem közreműködésével, és figyelemre méltó, hogy 200K token kontextust képes figyelembe venni, valamint támogatja az angol és kínai nyelvet is. Sok tesztben a modell közel áll a GPT-4-hez.
Továbbá arról számolnak be, hogy 84 új mátrixszorzó mag fejlesztés alatt áll a Mozilla által fejlesztett llamafile eszközkészlethez, amely lehetővé teszi nagy nyelvi modellek (LLM) futtatható fájlok létrehozását. A módosítások jelentősen felgyorsították a llamafile-ban futó modellek munkáját CPU-n. Például a llamafile használatával végzett modellek most 30%-tól 500%-ig gyorsabbak, mint a llama.cpp használatakor az adott környezet függvényében, és az MKL könyvtárral összehasonlítva a cache-be beleférő mátrix műveletek az új implementációban kétszer gyorsabban hajtódnak végre.
Forrás: opennet.ru
