JetBrains je otvorio model Mellum2, dizajniran za upotrebu u AI alatima za razvoj softvera. Model je objavljen pod licencom Apache 2.0Težine su dostupne na Hugging Face-u. JetBrains naglašava da je Mellum2 obučen od nule i da nije dizajniran za multimodalne zadatke, već za rad s tekstom i kodom: usmjeravanje zahtjeva, RAG cjevovodi, sumiranje, pomoćni agenti i privatno raspoređivanje u infrastrukturi kompanije.
Mellum2 je izgrađen na arhitekturi Mješavina stručnjakaSa ukupnom veličinom od 12 milijardi parametara Samo oko 1000 se aktivira po tokenu 2.5 milijardi parametara, što bi trebalo smanjiti računarske troškove i latenciju tokom zaključivanja. Prema JetBrains-u, performanse modela u testovima su uporedive sa modelima otvorenog koda slične veličine, ali pružaju više nego dvostruko ubrzanje zaključivanja.
JetBrains opisuje Mellum2 kao evoluciju originalnog Mellum modela, koji je prvobitno kreiran za dovršavanje koda. Nova verzija se proširuje na širu klasu zadataka koji zahtijevaju rad i s programskim kodom i s prirodnim jezikom. Kompanija pozicionira Mellum2 kao "fokusirani" model - ne kao zamjenu za velike, općenamjenske LLM-ove, već kao brzu, specijaliziranu komponentu za česte međuoperacije unutar složenih AI sistema.
Među predloženim slučajevima upotrebe su su pozvani Klasifikacija i usmjeravanje zahtjeva između modela i alata, kompresija i obrada konteksta u RAG sistemima, priprema podataka za agente, raspoređivanje, validacija međurezultata i lokalno izvršavanje u okruženjima gdje nije moguće slati izvorni kod ili interne podatke eksternim API-jima.
Na licu koje grli objavljeno zbirka Mellum 2, koji uključuje nekoliko varijanti modela: Thinking, Instruct, Thinking-SFT, Instruct-SFT, Base i Base-Pretrain. Modeli se distribuiraju u Safetensors formatu pod Apache 2.0 licencom.
Za pokretanje su dati primjeri korištenja putem Transformersa, vLLM-a, SGLanga i Docker Model Runnera.
Ono što je tehnički zanimljivije nije pojava još jednog modela otvorenog koda, već niša koju je JetBrains odabrao. Kompanija se ne fokusira na konkurenciju s najvećim modelima opće namjene, već na jeftine i brze komponente koje se mogu direktno integrirati u IDE-ove, interne asistente, korporativne RAG sisteme i agentske cjevovode. Za programere i kompanije, ovo znači mogućnost pokretanja neke AI logike lokalno ili na vlastitim serverima, uz održavanje kontrole nad troškovima koda, podataka i inferencije.
izvor: linux.org.ru
