JetBrains 開設了一個模型 梅勒姆2該模型專為用於軟體開發的 AI 工具而設計,並以許可協議發布。 阿帕奇2.0這些權重可在 Hugging Face 上找到。 JetBrains 強調 Mellum2 是從零開始訓練的,其設計目的並非用於多模態任務,而是處理文字和程式碼:請求路由、RAG 管道、摘要、輔助代理以及在公司基礎設施中的私人部署。
Mellum2 是建立在架構之上的 混合專家總面積為 12億個參數 每個代幣僅啟動約 1000 個。 2.5億個參數這應該可以降低推理過程中的計算成本和延遲。據 JetBrains 稱,該模型的基準測試性能與規模相近的開源模型相當,但推理速度卻提升了一倍以上。
JetBrains 將 Mellum2 描述為原始 Mellum 模型的升級版,後者最初是為程式碼補全而設計的。新版本擴展到更廣泛的任務類別,這些任務需要同時處理程式碼和自然語言。該公司將 Mellum2 定位為「專注型」模型——它並非大型通用語言學習模型 (LLM) 的替代品,而是複雜人工智慧系統中用於頻繁中間操作的快速、專用組件。
建議的應用案例包括 叫做 模型和工具之間的請求分類和路由、RAG 系統中的上下文壓縮和處理、代理的資料準備、調度、中間結果驗證以及在無法將原始程式碼或內部資料傳送到外部 API 的環境中的本機執行。
在擁抱臉上 發表 一個集合 梅勒姆 2其中包括多個模型變體:Thinking、Instruct、Thinking-SFT、Instruct-SFT、Base 和 Base-Pretrain。這些模型以 Safetensors 格式發布,並遵循 Apache 2.0 授權。
提供了透過 Transformers、vLLM、SGLang 和 Docker Model Runner 啟動的使用範例。
更具技術趣味性的並非另一個開源模型的出現,而是JetBrains選擇的細分市場。該公司並未專注於與大型通用模型競爭,而是致力於開發低成本、高速度的元件,這些元件可以直接整合到整合開發環境(IDE)、內部助理、企業級紅黃綠系統(RAG)和代理流程中。對於開發者和企業而言,這意味著他們可以在本地或自有伺服器上運行部分AI邏輯,同時也能掌控程式碼、資料和推理成本。
來源: linux.org.ru




