Podjetje Databricks je napovedalo odprtje velike jezikovne modela DBRX, ki se lahko uporablja za ustvarjanje klepetalnih robotov, ki odgovarjajo na vprašanja v naravnem jeziku, rešujejo predlagane matematične naloge, zmorejo generirati vsebino na določeno temo ter ustvarjati kodo v različnih programskih jezikih. Model je razvilo podjetje Mosaic ML, ki ga je Databricks kupil za 1,3 milijarde dolarjev. Za učenje je bil uporabljen klaster z 3072 GPU NVIDIA H100 Tensor Core. Za zagon končnega modela priporočamo 320 GB pomnilnika.
Pri učenju modela se je uporabljala arhitektura MoE (Mešanica strokovnjakov), ki omogoča pridobitev natančnejših strokovnih ocen, ter zbirka besedil in kode, velikosti 12 TB. Velikost konteksta, ki ga model DBRX upošteva, znaša 32 tisoč tokenov (število tokenov, ki jih model lahko obdeluje in pomni pri generiranju besedila). Za primerjavo, velikost konteksta modelov Google Gemini in OpenAI GPT-4 znaša 32 tisoč tokenov, Google Gemma znaša 8 tisoč, medtem ko model GPT-4 Turbo obsega 128 tisoč.
Model pokriva 132 milijard parameterov in je razdeljen na 16 strokovnih mrež, od katerih lahko pri obdelavi zahtevka uporablja največ 4 (pokrivanje ne več kot 36 milijard parameterov za vsak token). Za primerjavo model GPT-4 domnevno vključuje 1,76 trilijona parameterov, nedavno odprta X/Twitter modela Grok (X/Twitter) — 314 milijard, GPT-3.5 — 175 milijard, YaLM (Yandex) — 100 milijard, LLaMA (Meta) — 65 milijard, GigaChat (Sber) — 29 milijard, Gemma (Google) — 7 milijard.
Model in s tem povezani sestavni deli se distribuirajo pod licenco Databricks Open Model License, ki omogoča uporabo, reprodukcijo, kopiranje, spreminjanje in ustvarjanje izpeljanih izdelkov, vendar z nekaterimi omejitvami. Na primer, licenca prepoveduje uporabo DBRX, izpeljanih modelov in kakršnih koli rezultatov na njihovi osnovi za izboljšanje drugih jezikovnih modelov, razen DBRX. Licenca prav tako prepoveduje uporabo modela na področjih, ki kršijo zakone in predpise. Izpeljani modeli morajo biti distribuirani pod isto licenco. Pri uporabi v izdelkih in storitvah, ki jih uporablja več kot 700 milijonov uporabnikov na mesec, je potrebno pridobiti posebno dovoljenje.
Po trditvah ustvarjalcev modela DBRX, po svojih značilnostih in zmožnostih presega modele GPT-3.5 podjetja OpenAI in Grok-1 podjetja Twitter ter lahko konkurenčno deluje z modelom Gemini 1.0 Pro pri testiranju razumevanja jezika, sposobnosti pisanja kode v programskih jezikih in reševanja matematičnih problemov. V nekaterih aplikacijah, na primer pri generiranju SQL poizvedb, se DBRX po učinkovitosti približuje modelu GPT-4 Turbo, ki vodi na trgu. Poleg tega se model od konkurentov razlikuje po zelo hitrem delovanju in omogoča skoraj trenutne odgovore. Zlasti lahko DBRX generira besedilo s hitrostjo do 150 tokenov na sekundo na uporabnika, kar je približno dvakrat hitreje kot model LLaMA2-70B.
Dodatno lahko omenjamo objavo tehničnega opisa odprte velike jezikovne modele InternLM2, ki je dostopna pod licenco Apache 2.0 in je na voljo v različicah s 20, 7 in 1.8 milijardami parametrov. Model je v razvoju v laboratoriju za umetno inteligenco v Šanghaju v sodelovanju z več kitajskimi univerzami in se odlikuje po upoštevanju do 200K tokenov konteksta ter podpira ne le angleški, temveč tudi kitajski jezik. V mnogih testih se model približuje GPT-4.
Poleg tega poročajo o razvoju 84 novih jeder za množenje matrik za orodje llamafile, ki ga razvija Mozilla in omogoča ustvarjanje univerzalnih izvršnih datotek za zagon velikih jezikovnih modelov strojnega učenja (LLM). Spremembe so omogočile znatno pospešitev delovanja modelov v llamafile pri izvajanju na CPU. Na primer, izvajanje modelov z uporabo llamafile je zdaj hitrejše kot pri uporabi llama.cpp od 30% do 500% odvisno od okolja, medtem ko v primerjavi z knjižnico MKL matrike, ki se prilegajo v L2 predpomnilnik, v novi izvedbi delujejo dvakrat hitreje.
Izvor: opennet.ru
