JetBrains отвори модел Мелум2, дизајниран за употреба во алатки за вештачка интелигенција за развој на софтвер. Моделот е објавен под лиценца Апачи 2.0Тежините се достапни на Hugging Face. JetBrains нагласува дека Mellum2 е обучен од нула и е дизајниран не за мултимодални задачи, туку за работа со текст и код: рутирање на барања, RAG цевководи, сумирање, помошни агенти и приватно распоредување во инфраструктурата на компанијата.
Mellum2 е изграден врз архитектурата Мешавина на експертиСо вкупна големина од 12 милијарди параметри Само околу 1000 се активираат по токен 2.5 милијарди параметри, што треба да ги намали трошоците за пресметување и латенцијата за време на инференцијата. Според JetBrains, бенчмарк перформансите на моделот се споредливи со моделите со отворен код со слична големина, но испорачуваат повеќе од двојно побрзо забрзување на инференцијата.
JetBrains го опишува Mellum2 како еволуција на оригиналниот модел Mellum, кој првично беше создаден за дополнување на код. Новата верзија се проширува на поширока класа на задачи што бараат работа и со програмски код и со природен јазик. Компанијата го позиционира Mellum2 како „фокусиран“ модел - не замена за големи, општонаменски LLM, туку брза, специјализирана компонента за чести средни операции во рамките на сложени системи со вештачка интелигенција.
Меѓу предложените случаи на употреба се се нарекуваат Класификација и насочување на барања помеѓу модели и алатки, компресија и обработка на контекст во RAG системи, подготовка на податоци за агенти, распоред, валидација на средни резултати и локално извршување во средини каде што не е можно да се испрати изворен код или внатрешни податоци до надворешни API-ја.
На прегрнувачко лице објавено колекција Мелум 2, кој вклучува неколку варијанти на моделот: Thinking, Instruct, Thinking-SFT, Instruct-SFT, Base и Base-Pretrain. Моделите се дистрибуираат во формат Safetensors под лиценцата Apache 2.0.
За стартување се дадени примери за употреба преку Transformers, vLLM, SGLang и Docker Model Runner.
Она што е технички поинтересно не е појавата на уште еден модел со отворен код, туку нишата што ја избра JetBrains. Компанијата не се фокусира на натпреварување со најголемите модели за општа намена, туку на нискобуџетни и брзи компоненти што можат да се интегрираат директно во IDE, внатрешни асистенти, корпоративни RAG системи и агентски цевководи. За програмерите и компаниите, ова значи можност за извршување на одредена AI логика локално или на сопствени сервери, додека се одржува контролата врз кодот, податоците и трошоците за инференција.
Извор: linux.org.ru
