JetBrains bir model açtı. Mellum2Yazılım geliştirme için yapay zeka araçlarında kullanılmak üzere tasarlanmıştır. Model bir lisans altında yayınlanmıştır. Apache 2.0Ağırlıklar Hugging Face'te mevcuttur. JetBrains, Mellum2'nin sıfırdan eğitildiğini ve çok modlu görevler için değil, metin ve kodla çalışmak için tasarlandığını vurguluyor: istek yönlendirme, RAG işlem hatları, özetleme, yardımcı ajanlar ve şirket altyapısında özel dağıtım.
Mellum2, mimari üzerine inşa edilmiştir. Uzmanların KarmasıToplam büyüklüğü ile 12 milyar parametre Her token için yalnızca yaklaşık 1000 adet etkinleştiriliyor. 2.5 milyar parametreBu da çıkarım sırasında hesaplama maliyetlerini ve gecikmeyi azaltmalıdır. JetBrains'e göre, modelin kıyaslama performansı benzer boyuttaki açık kaynaklı modellerle karşılaştırılabilir düzeydedir, ancak çıkarım hızında iki katından fazla bir artış sağlar.
JetBrains, Mellum2'yi başlangıçta kod tamamlama için oluşturulan orijinal Mellum modelinin bir evrimi olarak tanımlıyor. Yeni sürüm, hem program kodu hem de doğal dil ile çalışmayı gerektiren daha geniş bir görev sınıfına genişliyor. Şirket, Mellum2'yi "odaklanmış" bir model olarak konumlandırıyor; büyük, genel amaçlı dil öğrenme modellerinin yerini alan bir model değil, karmaşık yapay zeka sistemlerinde sık kullanılan ara işlemler için hızlı, özel bir bileşen olarak tanımlıyor.
Önerilen kullanım alanları arasında şunlar yer almaktadır: denir Modeller ve araçlar arasında isteklerin sınıflandırılması ve yönlendirilmesi, RAG sistemlerinde bağlamın sıkıştırılması ve işlenmesi, aracılar için verilerin hazırlanması, zamanlama, ara sonuçların doğrulanması ve kaynak kodunun veya dahili verilerin harici API'lere gönderilmesinin mümkün olmadığı ortamlarda yerel yürütme.
Sarılma Yüzünde yayınlanan коллекция Mellum 2Bu paket, Thinking, Instruct, Thinking-SFT, Instruct-SFT, Base ve Base-Pretrain olmak üzere çeşitli model varyantlarını içermektedir. Modeller, Apache 2.0 lisansı altında Safetensors formatında dağıtılmaktadır.
Başlatma için Transformers, vLLM, SGLang ve Docker Model Runner aracılığıyla kullanım örnekleri sunulmuştur.
Teknik açıdan daha ilgi çekici olan şey, bir başka açık kaynak modelinin ortaya çıkması değil, JetBrains'in seçtiği niş alandır. Şirket, en büyük genel amaçlı modellerle rekabet etmeye odaklanmak yerine, doğrudan IDE'lere, dahili asistanlara, kurumsal RAG sistemlerine ve ajan işlem hatlarına entegre edilebilen düşük maliyetli ve hızlı bileşenlere odaklanıyor. Geliştiriciler ve şirketler için bu, kod, veri ve çıkarım maliyetleri üzerinde kontrolü korurken, bazı yapay zeka mantığını yerel olarak veya kendi sunucularında çalıştırma yeteneği anlamına geliyor.
Kaynak: linux.org.ru
