JetBrains heeft een model geopend Mellum2, ontworpen voor gebruik in AI-tools voor softwareontwikkeling. Het model is gepubliceerd onder een licentie. Apache 2.0De gewichten zijn beschikbaar op Hugging Face. JetBrains benadrukt dat Mellum2 volledig opnieuw is getraind en niet is ontworpen voor multimodale taken, maar voor het werken met tekst en code: aanvraagroutering, RAG-pipelines, samenvatting, hulpagenten en implementatie in een eigen bedrijfsomgeving.
Mellum2 is gebouwd op de architectuur. Mengsel van deskundigenMet een totale omvang van 12 miljard parameters Er worden slechts ongeveer 1000 tokens per token geactiveerd. 2.5 miljard parametersDit zou de rekenkosten en latentie tijdens de inferentie moeten verlagen. Volgens JetBrains zijn de benchmarkprestaties van het model vergelijkbaar met open-source modellen van vergelijkbare omvang, maar levert het meer dan het dubbele van de inferentiesnelheid op.
JetBrains beschrijft Mellum2 als een evolutie van het oorspronkelijke Mellum-model, dat aanvankelijk werd ontwikkeld voor codeaanvulling. De nieuwe versie is uitgebreid naar een breder scala aan taken die zowel met programmacode als met natuurlijke taal werken vereisen. Het bedrijf positioneert Mellum2 als een "gericht" model – geen vervanging voor grote, algemene LLM's, maar een snelle, gespecialiseerde component voor frequente tussenbewerkingen binnen complexe AI-systemen.
Tot de voorgestelde gebruiksscenario's behoren: worden genoemd Classificatie en routering van verzoeken tussen modellen en tools, compressie en verwerking van context in RAG-systemen, voorbereiding van gegevens voor agenten, planning, validatie van tussenresultaten en lokale uitvoering in omgevingen waar het niet mogelijk is om broncode of interne gegevens naar externe API's te verzenden.
Op een knuffelgezicht gepubliceerd коллекция Mellum 2Dit omvat verschillende modelvarianten: Thinking, Instruct, Thinking-SFT, Instruct-SFT, Base en Base-Pretrain. De modellen worden gedistribueerd in het Safetensors-formaat onder de Apache 2.0-licentie.
Voorbeelden van gebruik via Transformers, vLLM, SGLang en Docker Model Runner worden gegeven voor het opstarten.
Wat technisch gezien interessanter is, is niet zozeer de opkomst van wéér een open-sourcemodel, maar de niche die JetBrains heeft gekozen. Het bedrijf richt zich niet op concurrentie met de grootste algemene modellen, maar op goedkope en snelle componenten die direct kunnen worden geïntegreerd in IDE's, interne assistenten, RAG-systemen van bedrijven en agent-pipelines. Voor ontwikkelaars en bedrijven betekent dit de mogelijkheid om bepaalde AI-logica lokaal of op hun eigen servers uit te voeren, terwijl ze de controle behouden over de code, de data en de inferentiekosten.
Bron: linux.org.ru
