Společnost Databricks oznámila spuštění velkého jazykového modelu DBRX, který lze použít k vytváření chatbotů odpovídajících na otázky v přirozeném jazyce, řešení navržených matematických úloh, generování obsahu na dané téma a psaní kódu v různých programovacích jazycích. Model vyvinula společnost Mosaic ML, kterou Databricks koupil za 1,3 miliardy dolarů. K učení byl použit klastr s 3072 GPU NVIDIA H100 Tensor Core. Pro spuštění hotového modelu se doporučuje 320 GB paměti.
Při trénování modelu byla použita architektura MoE (Mixture of Experts), která umožňuje získat přesnější odborné posouzení, a kolekce textů a kódů o velikosti 12 TB. Velikost kontextu, kterou model DBRX zohledňuje, činí 32 tisíc tokenů (počet tokenů, které může model zpracovat a zapamatovat si při generování textu). Pro srovnání, velikost kontextu u modelů Google Gemini a OpenAI GPT-4 činí 32 tisíc tokenů, Google Gemma — 8 tisíc, a model GPT-4 Turbo — 128 tisíc.
Model zahrnuje 132 miliard parametrů a je rozdělen do 16 odborných sítí, z nichž může být při zpracování dotazu použito maximálně 4 (pokrývá až 36 miliard parametrů pro každý token). Pro srovnání model GPT-4 předpokládá 1,76 bilionu parametrů, nedávno uvedený model Grok (X/Twitter) má 314 miliard, GPT-3.5 — 175 miliard, YaLM (Yandex) — 100 miliard, LLaMA (Meta) — 65 miliard, GigaChat (Sber) — 29 miliard, Gemma (Google) — 7 miliard.
Model a s ním související komponenty jsou šířeny pod licencí Databricks Open Model License, která umožňuje používat, reprodukovat, kopírovat, měnit a vytvářet odvozené produkty, ale s určitými omezeními. Například licence zakazuje využívat DBRX, odvozené modely a jakékoli výstupy na jejich základě k vylepšení jiných jazykových modelů odlišných od DBRX. Licence také zakazuje používání modelu v oblastech, které porušují zákony a předpisy. Odvozené modely musí být šířeny pod stejnou licencí. Při používání v produktech a službách, které využívá více než 700 milionů uživatelů měsíčně, je nutné získat zvláštní povolení.
Podle tvrzení tvůrců modelu překonává DBRX svými vlastnostmi a schopnostmi modely GPT-3.5 od společnosti OpenAI a Grok-1 od Twitteru a může konkurovat modelu Gemini 1.0 Pro při testování porozumění jazyku, schopnostem psaní kódu v programovacích jazycích a řešení matematických úloh. V některých aplikacích, například při generování SQL dotazů, se DBRX efektivitou přibližuje modelu GPT-4 Turbo, který dominuje na trhu. Kromě toho se model od konkurujících služeb vyznačuje velmi rychlou prací a umožňuje generovat odpovědi téměř okamžitě. Zejména může DBRX generovat text rychlostí až 150 tokenů za sekundu na uživatele, což je přibližně dvakrát rychleji než model LLaMA2-70B.
Dále je možné zmínit publikaci technického popisu otevřeného velkého jazykového modelu InternLM2, který je dostupný pod licencí Apache 2.0, a to ve variantách s 20, 7 a 1.8 miliardami parametrů. Model se vyvíjí ve šanghajské laboratoři umělé inteligence za účasti několika čínských univerzit a je pozoruhodný s ohledem na 200K tokenů kontextu a podporou nejen anglického, ale i čínského jazyka. V mnoha testech se model blíží k GPT-4.
Kromě toho se uvádí, že byly vyvinuty 84 nových jader pro násobení matic pro nástroj llamafile, který vyvíjí Mozilla a který umožňuje vytvářet univerzální spustitelné soubory pro spuštění velkých jazykových modelů strojového učení (LLM). Změny umožnily výrazně urychlit práci modelů v llamafile při provádění na CPU. Například provádění modelů při používání llamafile je nyní rychlejší než při používání llama.cpp o 30 % až 500 % v závislosti na prostředí, a v porovnání s knihovnou MKL se maticové operace, které se vejdou do cache L2, nyní provádějí dvakrát rychleji v nové implementaci.
Zdroj: opennet.ru
