JetBrains otvoril model Mellum2, určený na použitie v nástrojoch umelej inteligencie pre vývoj softvéru. Model je publikovaný na základe licencie Apache 2.0Váhy sú dostupné na Hugging Face. JetBrains zdôrazňuje, že Mellum2 bol natrénovaný od základov a je navrhnutý nie pre multimodálne úlohy, ale pre prácu s textom a kódom: smerovanie požiadaviek, RAG pipelines, sumarizácia, pomocní agenti a súkromné nasadenie v podnikovej infraštruktúre.
Mellum2 je postavený na architektúre Zmes odborníkovS celkovou veľkosťou 12 miliardy parametrov Na jeden token sa aktivuje iba približne 1 000 2.5 miliardy parametrov, čo by malo znížiť výpočtové náklady a latenciu počas inferencie. Podľa JetBrains je výkon modelu v benchmarku porovnateľný s modelmi s otvoreným zdrojovým kódom podobnej veľkosti, ale prináša viac ako dvojnásobné zrýchlenie inferencie.
Spoločnosť JetBrains opisuje Mellum2 ako evolúciu pôvodného modelu Mellum, ktorý bol pôvodne vytvorený na dokončovanie kódu. Nová verzia sa rozširuje na širšiu triedu úloh, ktoré vyžadujú prácu s programovým kódom aj prirodzeným jazykom. Spoločnosť prezentuje Mellum2 ako „zameraný“ model – nie ako náhradu za rozsiahle, univerzálne LLM, ale ako rýchly, špecializovaný komponent pre časté medzioperácie v rámci komplexných systémov umelej inteligencie.
Medzi navrhované prípady použitia patria sa volajú Klasifikácia a smerovanie požiadaviek medzi modelmi a nástrojmi, kompresia a spracovanie kontextu v RAG systémoch, príprava údajov pre agentov, plánovanie, validácia medzivýsledkov a lokálne vykonávanie v prostrediach, kde nie je možné odoslať zdrojový kód alebo interné údaje do externých API.
Na objímajúcej tvári publikovaný zbierka Mellum 2, ktorý zahŕňa niekoľko variantov modelu: Thinking, Instruct, Thinking-SFT, Instruct-SFT, Base a Base-Pretrain. Modely sú distribuované vo formáte Safetensors pod licenciou Apache 2.0.
Na spustenie sú uvedené príklady použitia prostredníctvom Transformers, vLLM, SGLang a Docker Model Runner.
Technicky zaujímavejší nie je vznik ďalšieho open source modelu, ale špecializácia, ktorú si JetBrains zvolil. Spoločnosť sa nezameriava na konkurenciu s najväčšími univerzálnymi modelmi, ale na lacné a rýchle komponenty, ktoré je možné integrovať priamo do IDE, interných asistentov, firemných RAG systémov a agentových kanálov. Pre vývojárov a spoločnosti to znamená možnosť spúšťať časť logiky AI lokálne alebo na vlastných serveroch a zároveň si zachovať kontrolu nad nákladmi na kód, dáta a inferenciu.
Zdroj: linux.org.ru
