JetBrains a deschis un model Mellum2, conceput pentru utilizare în instrumente de inteligență artificială pentru dezvoltarea de software. Modelul este publicat sub o licență Apache 2.0Ponderările sunt disponibile pe Hugging Face. JetBrains subliniază faptul că Mellum2 a fost antrenat de la zero și este conceput nu pentru sarcini multimodale, ci pentru lucrul cu text și cod: rutare a cererilor, conducte RAG, sumarizare, agenți auxiliari și implementare privată în infrastructura companiei.
Mellum2 este construit pe arhitectura Amestecul de experțiCu o dimensiune totală de 12 miliarde de parametri Doar aproximativ 1000 sunt activate per token 2.5 miliarde de parametri, ceea ce ar trebui să reducă costurile de calcul și latența în timpul inferenței. Potrivit JetBrains, performanța modelului în benchmark este comparabilă cu modelele open-source de dimensiuni similare, dar oferă o accelerare a inferenței de peste două ori mai mare.
JetBrains descrie Mellum2 ca o evoluție a modelului original Mellum, care a fost creat inițial pentru completarea codului. Noua versiune se extinde la o clasă mai largă de sarcini care necesită lucrul atât cu codul programului, cât și cu limbajul natural. Compania poziționează Mellum2 ca un model „focalizat” - nu un înlocuitor pentru LLM-urile mari, de uz general, ci o componentă rapidă și specializată pentru operațiuni intermediare frecvente în cadrul sistemelor complexe de inteligență artificială.
Printre cazurile de utilizare propuse se numără se numesc Clasificarea și rutarea cererilor între modele și instrumente, compresia și procesarea contextului în sistemele RAG, pregătirea datelor pentru agenți, programarea, validarea rezultatelor intermediare și execuția locală în medii în care nu este posibilă trimiterea codului sursă sau a datelor interne către API-uri externe.
Pe fața îmbrățișătoare publicat o colecție Mellum 2, care include mai multe variante de model: Thinking, Instruct, Thinking-SFT, Instruct-SFT, Base și Base-Pretrain. Modelele sunt distribuite în formatul Safetensors sub licența Apache 2.0.
Sunt furnizate exemple de utilizare prin Transformers, vLLM, SGLang și Docker Model Runner pentru lansare.
Mai interesant din punct de vedere tehnic nu este apariția unui alt model open source, ci nișa aleasă de JetBrains. Compania nu se concentrează pe concurența cu cele mai mari modele de uz general, ci pe componente rapide și cu costuri reduse, care pot fi integrate direct în IDE-uri, asistenți interni, sisteme RAG corporative și conducte de agenți. Pentru dezvoltatori și companii, aceasta înseamnă capacitatea de a rula o anumită logică AI local sau pe propriile servere, menținând în același timp controlul asupra codului, datelor și costurilor de inferență.
Sursa: linux.org.ru
