JetBrains 发布了 Mellum2,这是一款用于快速人工智能场景开发的 MoE 模型。









JetBrains 已开设了一个模型 梅勒姆2该模型专为用于软件开发的 AI 工具而设计,并以许可协议发布。 阿帕奇2.0这些权重可在 Hugging Face 上找到。JetBrains 强调 Mellum2 是从零开始训练的,其设计目的并非用于多模态任务,而是处理文本和代码:请求路由、RAG 管道、摘要、辅助代理以及在公司基础设施中的私有部署。

Mellum2 是建立在架构之上的 混合专家总面积为 12亿个参数 每个代币仅激活约 1000 个。 2.5亿个参数这应该可以降低推理过程中的计算成本和延迟。据 JetBrains 称,该模型的基准测试性能与规模相近的开源模型相当,但推理速度提升了一倍以上。

JetBrains 将 Mellum2 描述为原始 Mellum 模型的升级版,后者最初是为代码补全而设计的。新版本扩展到更广泛的任务类别,这些任务需要同时处理程序代码和自然语言。该公司将 Mellum2 定位为一个“专注型”模型——它并非大型通用语言学习模型 (LLM) 的替代品,而是复杂人工智能系统中用于频繁中间操作的快速、专用组件。

拟议的应用案例包括 被称为 模型和工具之间的请求分类和路由、RAG 系统中的上下文压缩和处理、代理的数据准备、调度、中间结果验证以及在无法将源代码或内部数据发送到外部 API 的环境中的本地执行。

在拥抱脸上 发表 一个集合 梅勒姆 2其中包括多个模型变体:Thinking、Instruct、Thinking-SFT、Instruct-SFT、Base 和 Base-Pretrain。这些模型以 Safetensors 格式发布,并遵循 Apache 2.0 许可证。
提供了通过 Transformers、vLLM、SGLang 和 Docker Model Runner 启动的使用示例。

更具技术趣味性的并非又一个开源模型的出现,而是JetBrains选择的细分市场。该公司并未专注于与大型通用模型竞争,而是致力于开发低成本、高速度的组件,这些组件可以直接集成到集成开发环境(IDE)、内部助手、企业级红黄绿系统(RAG)和代理流程中。对于开发者和企业而言,这意味着他们可以在本地或自有服务器上运行部分AI逻辑,同时还能掌控代码、数据和推理成本。

来源: linux.org.ru

为具有 DDoS 保护、VPS VDS 服务器的站点购买可靠的主机 🔥 购买具备 DDoS 防护的可靠网站托管服务,包括 VPS 和 VDS 服务器 | ProHoster