JetBrains je otvorio model Mellum2, dizajniran za korištenje u AI alatima za razvoj softvera. Model je objavljen pod licencom Apache 2.0Težine su dostupne na Hugging Faceu. JetBrains naglašava da je Mellum2 obučen od nule i da nije dizajniran za multimodalne zadatke, već za rad s tekstom i kodom: usmjeravanje zahtjeva, RAG cjevovodi, sažimanje, pomoćni agenti i privatno raspoređivanje u infrastrukturi tvrtke.
Mellum2 je izgrađen na arhitekturi Mješavina stručnjakaS ukupnom veličinom od 12 milijardi parametara Samo oko 1000 se aktivira po tokenu 2.5 milijardi parametara, što bi trebalo smanjiti računalne troškove i latenciju tijekom zaključivanja. Prema JetBrainsu, performanse modela u referentnim vrijednostima usporedive su s modelima otvorenog koda slične veličine, ali pružaju više nego dvostruko ubrzanje zaključivanja.
JetBrains opisuje Mellum2 kao evoluciju izvornog Mellum modela, koji je izvorno stvoren za dovršavanje koda. Nova verzija proširuje se na širu klasu zadataka koji zahtijevaju rad i s programskim kodom i s prirodnim jezikom. Tvrtka pozicionira Mellum2 kao "fokusirani" model - ne kao zamjenu za velike, općenite LLM-ove, već kao brzu, specijaliziranu komponentu za česte međuoperacije unutar složenih AI sustava.
Među predloženim slučajevima upotrebe su se zovu Klasifikacija i usmjeravanje zahtjeva između modela i alata, kompresija i obrada konteksta u RAG sustavima, priprema podataka za agente, raspoređivanje, validacija međurezultata i lokalno izvršavanje u okruženjima gdje nije moguće poslati izvorni kod ili interne podatke vanjskim API-jima.
Na licu koje grli Objavljeno zbirka Mellum 2, koji uključuje nekoliko varijanti modela: Thinking, Instruct, Thinking-SFT, Instruct-SFT, Base i Base-Pretrain. Modeli se distribuiraju u Safetensors formatu pod Apache 2.0 licencom.
Za pokretanje su navedeni primjeri korištenja putem Transformersa, vLLM-a, SGLanga i Docker Model Runnera.
Tehnički zanimljivije nije pojava još jednog modela otvorenog koda, već niša koju je JetBrains odabrao. Tvrtka se ne fokusira na natjecanje s najvećim modelima opće namjene, već na jeftine i brze komponente koje se mogu izravno integrirati u IDE-ove, interne asistente, korporativne RAG sustave i agentske cjevovode. Za razvojne programere i tvrtke to znači mogućnost pokretanja neke AI logike lokalno ili na vlastitim poslužiteljima, uz održavanje kontrole nad troškovima koda, podataka i inferencije.
Izvor: linux.org.ru
