සංවර්ධනයේ වේගවත් AI අවස්ථා සඳහා MoE ආකෘතියක් වන Mellum2, JetBrains විසින් විවෘත කරයි









JetBrains විසින් ආකෘතියක් විවෘත කර ඇත මෙලම්2, මෘදුකාංග සංවර්ධනය සඳහා AI මෙවලම්වල භාවිතය සඳහා නිර්මාණය කර ඇත. ආකෘතිය බලපත්‍රයක් යටතේ ප්‍රකාශයට පත් කර ඇත. Apache 2.0බර කිරන ආකාරය Hugging Face හි ඇත. Mellum2 මුල සිටම පුහුණු කරන ලද බවත් එය බහුමාධ්‍ය කාර්යයන් සඳහා නොව පෙළ සහ කේත සමඟ වැඩ කිරීම සඳහා නිර්මාණය කර ඇති බවත් JetBrains අවධාරණය කරයි: ඉල්ලීම් මාර්ගගත කිරීම, RAG නල මාර්ග, සාරාංශකරණය, සහායක නියෝජිතයන් සහ සමාගම් යටිතල පහසුකම්වල පුද්ගලික යෙදවීම.

Mellum2 ගෘහ නිර්මාණ ශිල්පය මත ගොඩනගා ඇත ප්‍රවීණයන්ගේ මිශ්‍රණයමුළු ප්‍රමාණය සමඟ බිලියන 12 පරාමිති ටෝකනයකට සක්‍රිය කර ඇත්තේ 1000ක් පමණ පමණි. බිලියන 2.5 පරාමිති, එමඟින් අනුමාන කිරීමේදී පරිගණක පිරිවැය සහ ප්‍රමාදය අඩු කළ යුතුය. JetBrains ට අනුව, ආකෘතියේ මිණුම් සලකුණු කාර්ය සාධනය සමාන ප්‍රමාණයේ විවෘත මූලාශ්‍ර ආකෘති හා සැසඳිය හැකි නමුත්, අනුමාන වේගය මෙන් දෙගුණයකටත් වඩා වැඩි ප්‍රමාණයක් ලබා දෙයි.

JetBrains විසින් Mellum2 මුල් Mellum ආකෘතියේ පරිණාමයක් ලෙස විස්තර කරන අතර එය මුලින් කේත සම්පූර්ණ කිරීම සඳහා නිර්මාණය කරන ලදී. නව අනුවාදය වැඩසටහන් කේතය සහ ස්වාභාවික භාෂාව යන දෙකම සමඟ වැඩ කිරීම අවශ්‍ය වන පුළුල් කාර්යයන් පන්තියකට ව්‍යාප්ත වේ. සමාගම Mellum2 "නාභිගත" ආකෘතියක් ලෙස ස්ථානගත කරයි - විශාල, පොදු කාර්ය LLM සඳහා ආදේශකයක් නොව, සංකීර්ණ AI පද්ධති තුළ නිතර අතරමැදි මෙහෙයුම් සඳහා වේගවත්, විශේෂිත සංරචකයකි.

යෝජිත භාවිත අවස්ථා අතරට ලෙස හැඳින්වේ ආකෘති සහ මෙවලම් අතර ඉල්ලීම් වර්ගීකරණය සහ මාර්ගගත කිරීම, RAG පද්ධතිවල සන්දර්භය සම්පීඩනය සහ සැකසීම, නියෝජිතයන් සඳහා දත්ත සකස් කිරීම, කාලසටහන්ගත කිරීම, අතරමැදි ප්‍රතිඵල වලංගු කිරීම සහ මූලාශ්‍ර කේත හෝ අභ්‍යන්තර දත්ත බාහිර API වෙත යැවීමට නොහැකි පරිසරවල දේශීය ක්‍රියාත්මක කිරීම.

වැළඳ ගන්නා මුහුණ මත පළ කර ඇත එකතුව මෙලම් 2, එයට ආකෘති ප්‍රභේද කිහිපයක් ඇතුළත් වේ: Thinking, Instruct, Thinking-SFT, Instruct-SFT, Base, සහ Base-Pretrain. ආකෘති Apache 2.0 බලපත්‍රය යටතේ Safetensors ආකෘතියෙන් බෙදා හරිනු ලැබේ.
ට්‍රාන්ස්ෆෝමර්, vLLM, SGLang, සහ Docker Model Runner හරහා භාවිතය පිළිබඳ උදාහරණ දියත් කිරීම සඳහා සපයා ඇත.

වඩාත් තාක්ෂණික වශයෙන් සිත්ගන්නා කරුණ වන්නේ තවත් විවෘත මූලාශ්‍ර ආකෘතියක් මතුවීම නොව, JetBrains තෝරාගෙන ඇති ස්ථානයයි. සමාගම අවධානය යොමු කරන්නේ විශාලතම පොදු කාර්ය ආකෘති සමඟ තරඟ කිරීම කෙරෙහි නොව, IDE, අභ්‍යන්තර සහායකයින්, ආයතනික RAG පද්ධති සහ නියෝජිත නල මාර්ගවලට සෘජුවම ඒකාබද්ධ කළ හැකි අඩු වියදම් සහ වේගවත් සංරචක කෙරෙහි ය. සංවර්ධකයින් සහ සමාගම් සඳහා, මෙයින් අදහස් කරන්නේ කේතය, දත්ත සහ අනුමාන පිරිවැය පාලනය කරමින් දේශීයව හෝ තමන්ගේම සේවාදායකයන් මත යම් AI තර්කනයක් ක්‍රියාත්මක කිරීමේ හැකියාවයි.

මූලාශ්රය: linux.org.ru

DDoS ආරක්ෂාව, VPS VDS සේවාදායකයන් සහිත අඩවි සඳහා විශ්වාසදායක සත්කාරකත්වය මිලදී ගන්න 🔥 DDoS ආරක්ෂාව, VPS VDS සේවාදායකයන් සහිත විශ්වාසදායක වෙබ් අඩවි සත්කාරකත්වය මිලදී ගන්න | ProHoster