JetBrains отваря Mellum2, MoE модел за бързи сценарии с изкуствен интелект в процес на разработка

JetBrains отвори модел Мелъм2, предназначен за използване в инструменти с изкуствен интелект за разработка на софтуер. Моделът е публикуван под лиценз Apache 2.0Тежестите са достъпни на Hugging Face. JetBrains подчертава, че Mellum2 е обучен от нулата и е проектиран не за мултимодални задачи, а за работа с текст и код: маршрутизиране на заявки, RAG конвейери, обобщаване, спомагателни агенти и частно внедряване в корпоративна инфраструктура.

Mellum2 е изграден върху архитектурата Смес от експертиС общ размер от 12 милиарда параметри Само около 1000 се активират на токен 2.5 милиарда параметри, което би трябвало да намали изчислителните разходи и латентността по време на извода. Според JetBrains, производителността на модела в бенчмарк тестовете е сравнима с модели с отворен код с подобен размер, но осигурява повече от два пъти по-бързо извода.

JetBrains описва Mellum2 като еволюция на оригиналния модел Mellum, който първоначално е създаден за довършване на код. Новата версия се разширява до по-широк клас задачи, които изискват работа както с програмен код, така и с естествен език. Компанията позиционира Mellum2 като „фокусиран“ модел – не заместител на големи, универсални LLM, а бърз, специализиран компонент за чести междинни операции в рамките на сложни AI системи.

Сред предложените случаи на употреба са са наречени Класификация и маршрутизиране на заявки между модели и инструменти, компресиране и обработка на контекст в RAG системи, подготовка на данни за агенти, планиране, валидиране на междинни резултати и локално изпълнение в среди, където не е възможно изпращането на изходен код или вътрешни данни към външни API.

На прегръщащо лице публикувано колекция Мелъм 2, който включва няколко варианта на модела: Thinking, Instruct, Thinking-SFT, Instruct-SFT, Base и Base-Pretrain. Моделите се разпространяват във формат Safetensors под лиценза Apache 2.0.
Предоставени са примери за използване чрез Transformers, vLLM, SGLang и Docker Model Runner за стартиране.

По-интересното от техническа гледна точка не е появата на поредния модел с отворен код, а нишата, която JetBrains е избрала. Компанията не се фокусира върху конкуренцията с най-големите модели с общо предназначение, а върху евтини и бързи компоненти, които могат да бъдат интегрирани директно в IDE, вътрешни асистенти, корпоративни RAG системи и агентни канали. За разработчиците и компаниите това означава възможността да изпълняват част от AI логиката локално или на собствените си сървъри, като същевременно поддържат контрол върху разходите за код, данни и изводи.

Източник: linux.org.ru