জেটব্রেইনস মেলুম২ উন্মোচন করেছে, যা দ্রুত এআই সিনারিও তৈরির জন্য একটি MoE মডেল।

জেটব্রেইনস একটি মডেল চালু করেছে মেলুম২সফ্টওয়্যার উন্নয়নের জন্য এআই টুলগুলিতে ব্যবহারের উদ্দেশ্যে ডিজাইন করা হয়েছে। মডেলটি একটি লাইসেন্সের অধীনে প্রকাশিত। আপাচি 2.0ওয়েটগুলো হাগিং ফেস-এ পাওয়া যায়। জেটব্রেইনস জোর দিয়ে বলেছে যে, মেলুম২-কে স্ক্র্যাচ থেকে প্রশিক্ষণ দেওয়া হয়েছে এবং এটি মাল্টিমোডাল টাস্কের জন্য নয়, বরং টেক্সট ও কোড নিয়ে কাজ করার জন্য ডিজাইন করা হয়েছে: যেমন রিকোয়েস্ট রাউটিং, র‍্যাগ পাইপলাইন, সামারাইজেশন, অক্সিলিয়ারি এজেন্ট এবং কোম্পানির ইনফ্রাস্ট্রাকচারে প্রাইভেট ডেপ্লয়মেন্ট।

মেলুম২ এই আর্কিটেকচারের উপর নির্মিত। বিশেষজ্ঞদের মিশ্রণমোট আকারের 12 বিলিয়ন প্যারামিটার প্রতি টোকেনে মাত্র প্রায় ১০০০টি সক্রিয় করা হয়। 2.5 বিলিয়ন প্যারামিটারযা ইনফারেন্সের সময় কম্পিউটেশনাল খরচ এবং ল্যাটেন্সি কমিয়ে দেবে। জেটব্রেইনসের মতে, মডেলটির বেঞ্চমার্ক পারফরম্যান্স একই আকারের ওপেন-সোর্স মডেলগুলোর সাথে তুলনীয়, কিন্তু এটি ইনফারেন্সের গতি দ্বিগুণেরও বেশি বাড়িয়ে দেয়।

জেটব্রেইনস মেলুম২-কে মূল মেলুম মডেলের একটি উন্নত সংস্করণ হিসেবে বর্ণনা করে, যা প্রাথমিকভাবে কোড কমপ্লিশনের জন্য তৈরি করা হয়েছিল। নতুন সংস্করণটি এমন আরও বিস্তৃত পরিসরের কাজ করতে পারে, যেগুলোতে প্রোগ্রাম কোড এবং স্বাভাবিক ভাষা উভয়ের সাথেই কাজ করার প্রয়োজন হয়। সংস্থাটি মেলুম২-কে একটি "সুনির্দিষ্ট" মডেল হিসেবে উপস্থাপন করে—এটি বড়, সাধারণ-উদ্দেশ্যের এলএলএম-এর বিকল্প নয়, বরং জটিল এআই সিস্টেমের মধ্যে ঘন ঘন অন্তর্বর্তী অপারেশনের জন্য একটি দ্রুত ও বিশেষায়িত উপাদান।

প্রস্তাবিত ব্যবহারের ক্ষেত্রগুলোর মধ্যে রয়েছে ডাকল মডেল ও টুলগুলির মধ্যে অনুরোধের শ্রেণিবিন্যাস ও রাউটিং, RAG সিস্টেমে কনটেক্সটের কম্প্রেশন ও প্রসেসিং, এজেন্টদের জন্য ডেটা প্রস্তুতকরণ, শিডিউলিং, অন্তর্বর্তী ফলাফলের বৈধতা যাচাই, এবং এমন পরিবেশে স্থানীয়ভাবে কার্য সম্পাদন যেখানে সোর্স কোড বা অভ্যন্তরীণ ডেটা বাহ্যিক API-তে পাঠানো সম্ভব নয়।

আলিঙ্গনরত মুখে প্রকাশিত সংগ্রহ মেলুম ২যার মধ্যে বেশ কয়েকটি মডেল ভ্যারিয়েন্ট রয়েছে: Thinking, Instruct, Thinking-SFT, Instruct-SFT, Base, এবং Base-Pretrain। মডেলগুলো Apache 2.0 লাইসেন্সের অধীনে Safetensors ফরম্যাটে বিতরণ করা হয়।
Transformers, vLLM, SGLang, এবং Docker Model Runner-এর মাধ্যমে চালু করার জন্য ব্যবহারের উদাহরণ দেওয়া হয়েছে।

প্রযুক্তিগতভাবে আরও আকর্ষণীয় বিষয়টি হলো আরেকটি ওপেন সোর্স মডেলের আবির্ভাব নয়, বরং জেটব্রেইনস যে বিশেষ ক্ষেত্রটি বেছে নিয়েছে সেটি। কোম্পানিটি সবচেয়ে বড় সাধারণ-উদ্দেশ্যমূলক মডেলগুলোর সাথে প্রতিযোগিতা করার দিকে মনোযোগ দিচ্ছে না, বরং এমন স্বল্প-মূল্যের এবং দ্রুত উপাদান তৈরির দিকে মনোযোগ দিচ্ছে যা সরাসরি IDE, অভ্যন্তরীণ অ্যাসিস্ট্যান্ট, কর্পোরেট RAG সিস্টেম এবং এজেন্ট পাইপলাইনে একীভূত করা যায়। ডেভেলপার এবং কোম্পানিগুলোর জন্য এর অর্থ হলো, কোড, ডেটা এবং ইনফারেন্স খরচের উপর নিয়ন্ত্রণ বজায় রেখে কিছু AI লজিক স্থানীয়ভাবে বা তাদের নিজস্ব সার্ভারে চালানোর ক্ষমতা।

উত্স: linux.org.ru