A JetBrains megnyitott egy modellt Mellum2, amelyet szoftverfejlesztéshez használt mesterséges intelligencia eszközökben való használatra terveztek. A modell licenc alapján kerül közzétételre Apache 2.0A súlyok elérhetők a Hugging Face-en. A JetBrains hangsúlyozza, hogy a Mellum2-t a nulláról képezték ki, és nem multimodális feladatokra, hanem szöveggel és kóddal való munkára tervezték: kérésirányítás, RAG-folyamatok, összegzés, segédügynökök és privát telepítés a vállalati infrastruktúrában.
A Mellum2 a következő architektúrára épül: Szakértők keverékeTeljes mérettel 12 milliárd paraméter Tokenenként csak körülbelül 1000 aktiválódik 2.5 milliárd paraméter, aminek csökkentenie kell a számítási költségeket és a következtetés során fellépő késleltetést. A JetBrains szerint a modell teljesítménye összehasonlítható a hasonló méretű nyílt forráskódú modellekével, de több mint kétszeres következtetési sebességet biztosít.
A JetBrains a Mellum2-t az eredeti Mellum modell továbbfejlesztéseként írja le, amelyet eredetileg kódkiegészítésre hoztak létre. Az új verzió a feladatok szélesebb körére terjed ki, amelyek mind programkóddal, mind természetes nyelvvel való munkát igényelnek. A vállalat a Mellum2-t „fókuszált” modellként pozicionálja – nem a nagy, általános célú LLM-ek helyettesítőjeként, hanem egy gyors, specializált komponensként a komplex mesterséges intelligencia rendszereken belüli gyakori köztes műveletekhez.
A javasolt felhasználási esetek közé tartozik hívják Kérések osztályozása és irányítása modellek és eszközök között, kontextus tömörítése és feldolgozása RAG rendszerekben, adatok előkészítése ágensek számára, ütemezés, köztes eredmények validálása, valamint helyi végrehajtás olyan környezetekben, ahol nem lehetséges forráskódot vagy belső adatokat küldeni külső API-kra.
Ölelő arc közzétett egy gyűjtemény Mellum 2, amely számos modellváltozatot tartalmaz: Thinking, Instruct, Thinking-SFT, Instruct-SFT, Base és Base-Pretrain. A modellek Safetensors formátumban, Apache 2.0 licenc alatt érhetők el.
Az indításhoz példákat biztosítunk a Transformers, vLLM, SGLang és Docker Model Runner használatával történő használatra.
Ami technikailag érdekesebb, az nem egy újabb nyílt forráskódú modell megjelenése, hanem a JetBrains által választott piaci rés. A vállalat nem a legnagyobb általános célú modellekkel való versenyre összpontosít, hanem az alacsony költségű és gyors komponensekre, amelyek közvetlenül integrálhatók az IDE-kbe, belső asszisztensekbe, vállalati RAG-rendszerekbe és ügynökfolyamatokba. A fejlesztők és a vállalatok számára ez azt jelenti, hogy bizonyos MI-logikákat helyben vagy saját szervereiken futtathatnak, miközben megtarthatják az ellenőrzést a kód, az adatok és a következtetések költségei felett.
Forrás: linux.org.ru
