Databricks je razvio veliki jezični model DBRX, koji nadmašuje GPT-3.5 u testovima.

Tvrtka Databricks najavila je otvaranje velike jezične modele DBRX, koja se može koristiti za izradu chatbota koji odgovaraju na pitanja na prirodnom jeziku, rješavaju predložene matematičke zadatke, sposobne generirati sadržaj na zadanu temu i stvarati kod na raznim programskim jezicima. Model je razvila tvrtka Mosaic ML, koju je Databricks kupio za 1,3 milijarde dolara. Za obuku korišten je klaster od 3072 GPU NVIDIA H100 Tensor Core. Za pokretanje gotovog modela preporučuje se 320GB memorije.

Pri obuci modela korištena je arhitektura MoE (Mišljenja stručnjaka), koja omogućuje dobivanje preciznije stručne procjene, i kolekcija tekstova i koda veličine 12 TB. Veličina konteksta koji model DBRX uzima u obzir iznosi 32 tisuće tokena (broj tokena koje model može obraditi i zapamtiti prilikom generiranja teksta). U usporedbi, veličina konteksta modela Google Gemini i OpenAI GPT-4 iznosi 32 tisuće tokena, Google Gemma — 8 tisuća, a model GPT-4 Turbo — 128 tisuća.

Model obuhvaća 132 milijarde parametara i podijeljen je na 16 stručnih mreža, od kojih se pri obradi zahtjeva može koristiti najviše 4 (opseg ne više od 36 milijardi parametara za svaki token). U usporedbi, model GPT-4 pretpostavlja se da uključuje 1,76 trilijuna parametara, nedavno otkriveni model X/Twitter Grok — 314 milijardi, GPT-3.5 — 175 milijardi, YaLM (Yandex) — 100 milijardi, LLaMA (Meta) — 65 milijardi, GigaChat (Sber) — 29 milijardi, Gemma (Google) — 7 milijardi.

Model i povezane komponente distribuiraju se pod licencom Databricks Open Model License, koja omogućuje korištenje, reprodukciju, kopiranje, izmjenu i stvaranje derivativnih proizvoda, ali uz neka ograničenja. Na primjer, licenca zabranjuje korištenje DBRX-a, izvedenih modela i bilo kakvih rezultata na temelju njih za poboljšanje drugih jezičnih modela, osim DBRX-a. Licenca također zabranjuje korištenje modela u područjima koja krše zakone i propise. Derivativni modeli moraju se distribuirati pod istom licencom. Pri korištenju u proizvodima i uslugama koje koristi više od 700 milijuna korisnika mjesečno, potrebno je dobiti posebno odobrenje.

Prema riječima stvaratelja modela, DBRX po svojim karakteristikama i mogućnostima nadmašuje modele GPT-3.5 kompanije OpenAI i Grok-1 od Twittera, te može konkurirati modelu Gemini 1.0 Pro u testiranju razumijevanja jezika, mogućnosti pisanja koda na programskim jezicima i rješavanja matematičkih zadataka. U nekim primjenama, poput generiranja SQL upita, DBRX se približava po učinkovitosti modelu GPT-4 Turbo, koji prednjači na tržištu. Osim toga, model se od konkurenata izdvaja vrlo brzom obradom i omogućava gotovo trenutne odgovore. Konkretno, DBRX može generirati tekst brzinom do 150 tokena u sekundi po korisniku, što je otprilike dvostruko brže od modela LLaMA2-70B.

Dodatno, treba istaknuti objavu tehničkog opisa otvorenog velikog jezičnog modela InternLM2, koji se distribuira pod licencom Apache 2.0, dostupan je u varijantama s 20, 7 i 1.8 milijardi parametara. Model se razvija u šangajskoj laboratoriji umjetne inteligencije uz sudjelovanje nekoliko kineskih sveučilišta i značajan je zbog podrške do 200K tokena konteksta i podrške ne samo engleskom, već i kineskom jeziku. U mnogim testovima model je blizu GPT-4.

Osim toga, prijavljeno je o razvoju 84 novih jezgara za množenje matrica za alat llamafile, koji se razvija u Mozilli i omogućuje stvaranje univerzalnih izvršnih datoteka za pokretanje velikih jezičnih modela strojnog učenja (LLM). Promjene su značajno ubrzale rad modela u llamafile-u prilikom izvršavanja na CPU-u. Na primjer, izvođenje modela pri korištenju llamafile-a sada je brže od 30% do 500% u usporedbi s korištenjem llama.cpp, ovisno o okruženju, a u odnosu na biblioteku MKL, matricne operacije koje stanu u L2 cache se u novoj implementaciji izvršavaju dvostruko brže.

Izvor: opennet.ru