JetBrains Malfermas Mellum2, MoE-Modelon por Rapidaj AI-Scenaroj en Disvolviĝo









JetBrains malfermis modelon Mellum2, desegnita por uzo en artefarita inteligenteco-iloj por programara disvolviĝo. La modelo estas publikigita sub licenco Apache 2.0La pezoj estas haveblaj ĉe Hugging Face. JetBrains emfazas, ke Mellum2 estis trejnita de nulo kaj estas desegnita ne por multimodalaj taskoj, sed por labori kun teksto kaj kodo: peto-vojigo, RAG-duktoj, resumigo, helpagentoj kaj privata deplojo en kompania infrastrukturo.

Mellum2 estas konstruita sur la arkitekturo Miksaĵo de FakulojKun totala grandeco de 12 miliardoj da parametroj Nur ĉirkaŭ 1000 estas aktivigitaj por ĉiu ĵetono 2.5 miliardoj da parametroj, kio devus redukti komputilajn kostojn kaj latentecon dum inferenco. Laŭ JetBrains, la kompara agado de la modelo estas komparebla al malfermfontaj modeloj de simila grandeco, sed liveras pli ol duoblan rapidigon de inferenco.

JetBrains priskribas Mellum2 kiel evoluon de la originala Mellum-modelo, kiu estis komence kreita por kodkompletigo. La nova versio etendiĝas al pli larĝa klaso de taskoj, kiuj postulas laboron kun kaj programkodo kaj natura lingvo. La kompanio pozicias Mellum2 kiel "fokusitan" modelon — ne anstataŭaĵon por grandaj, ĝeneraluzeblaj LLM-oj, sed rapidan, specialigitan komponenton por oftaj interaj operacioj ene de kompleksaj AI-sistemoj.

Inter la proponitaj uzkazoj estas nomiĝas Klasifiko kaj vojigo de petoj inter modeloj kaj iloj, kunpremo kaj prilaborado de kunteksto en RAG-sistemoj, preparado de datumoj por agentoj, planado, validigo de mezaj rezultoj, kaj loka efektivigo en medioj kie ne eblas sendi fontkodon aŭ internajn datumojn al eksteraj API-oj.

Sur Brakuma Vizaĝo eldonita la kolekto Mellum 2, kiu inkluzivas plurajn modelvariaĵojn: Thinking, Instruct, Thinking-SFT, Instruct-SFT, Base, kaj Base-Pretrain. La modeloj estas distribuitaj en la Safetensors-formato sub la permesilo Apache 2.0.
Ekzemploj de uzado per Transformers, vLLM, SGLang, kaj Docker Model Runner estas provizitaj por lanĉo.

Pli teknike interesa ne estas la apero de ankoraŭ alia malfermitkoda modelo, sed la niĉo, kiun JetBrains elektis. La kompanio ne celas konkurenci kun la plej grandaj ĝeneraluzeblaj modeloj, sed malaltkostajn kaj rapidajn komponantojn, kiuj povas esti integritaj rekte en IDE-ojn, internajn asistantojn, entreprenajn RAG-sistemojn kaj agentajn duktojn. Por programistoj kaj kompanioj, tio signifas la kapablon funkciigi iom da AI-logiko loke aŭ sur siaj propraj serviloj, samtempe konservante kontrolon super la kodo, datumoj kaj inferencaj kostoj.

fonto: linux.org.ru

Aĉetu fidindan gastigadon por retejoj kun DDoS-protekto, VPS-VDS-serviloj 🔥 Aĉetu fidindan retejan gastigadon kun DDoS-protekto, VPS VDS-servilojn | ProHoster