ஜெட்பிரைன்ஸ் ஒரு மாதிரியைத் திறந்துள்ளது மெல்லம்2மென்பொருள் உருவாக்கத்திற்கான செயற்கை நுண்ணறிவு கருவிகளில் பயன்படுத்துவதற்காக வடிவமைக்கப்பட்டது. இந்த மாதிரி ஒரு உரிமத்தின் கீழ் வெளியிடப்பட்டுள்ளது. அப்பாச்சி XXஎடைகள் ஹக்கிங் ஃபேஸில் கிடைக்கின்றன. மெல்லம்2 ஆரம்பத்திலிருந்தே பயிற்றுவிக்கப்பட்டது என்றும், அது பல்முனைப் பணிகளுக்காக அல்ல, மாறாக உரை மற்றும் குறியீட்டுடன் பணிபுரிவதற்காக வடிவமைக்கப்பட்டுள்ளது என்றும் ஜெட்பிரெய்ன்ஸ் வலியுறுத்துகிறது: கோரிக்கை வழித்தடம், RAG பைப்லைன்கள், சுருக்கமாக்கல், துணை முகவர்கள் மற்றும் நிறுவன உள்கட்டமைப்பில் தனியார் வரிசைப்படுத்தல் போன்றவை இதில் அடங்கும்.
மெல்லம்2 இந்த கட்டமைப்பின் மீது உருவாக்கப்பட்டுள்ளது நிபுணர்களின் கலவைமொத்த அளவுடன் 12 பில்லியன் அளவுருக்கள் ஒவ்வொரு டோக்கனுக்கும் சுமார் 1000 மட்டுமே செயல்படுத்தப்படுகின்றன. 2.5 பில்லியன் அளவுருக்கள்இது, அனுமானத்தின் போது ஏற்படும் கணக்கீட்டுச் செலவுகளையும் தாமதத்தையும் குறைக்கும். ஜெட்பிரெய்ன்ஸின் கூற்றுப்படி, இந்த மாதிரியின் ஒப்பீட்டு செயல்திறன், இதே போன்ற அளவிலான திறந்த மூல மாதிரிகளுக்கு இணையாக உள்ளது, ஆனால் அனுமான வேகத்தில் இரண்டு மடங்குக்கும் அதிகமான அதிகரிப்பை வழங்குகிறது.
ஜெட்பிரெய்ன்ஸ், மெல்லம்2-ஐ, தொடக்கத்தில் நிரல் நிறைவுக்காக உருவாக்கப்பட்ட அசல் மெல்லம் மாதிரியின் ஒரு பரிணாம வளர்ச்சியாக விவரிக்கிறது. இந்தப் புதிய பதிப்பு, நிரல் குறியீடு மற்றும் இயற்கை மொழி ஆகிய இரண்டிலும் பணியாற்ற வேண்டிய பரந்த அளவிலான பணிகளுக்கு விரிவடைகிறது. இந்நிறுவனம் மெல்லம்2-ஐ ஒரு "கவனக்குவிப்புள்ள" மாதிரியாக நிலைநிறுத்துகிறது—இது பெரிய, பொது நோக்கத்திற்கான LLM-களுக்கு மாற்றல்ல, மாறாக சிக்கலான செயற்கை நுண்ணறிவு அமைப்புகளுக்குள் அடிக்கடி நிகழும் இடைநிலைச் செயல்பாடுகளுக்கான ஒரு வேகமான, சிறப்பு வாய்ந்த கூறு ஆகும்.
முன்மொழியப்பட்ட பயன்பாட்டு நேர்வுகளில் அடங்குபவை அழைக்கப்படுகின்றன மாடல்களுக்கும் கருவிகளுக்கும் இடையேயான கோரிக்கைகளை வகைப்படுத்துதல் மற்றும் வழிப்படுத்துதல், RAG அமைப்புகளில் சூழலைச் சுருக்கிச் செயலாக்குதல், ஏஜென்ட்டுகளுக்கான தரவைத் தயாரித்தல், திட்டமிடுதல், இடைநிலை முடிவுகளைச் சரிபார்த்தல், மற்றும் மூலக் குறியீடு அல்லது உள் தரவை வெளிப்புற API-களுக்கு அனுப்ப முடியாத சூழல்களில் உள்ளூரில் செயல்படுத்துதல்.
முகத்தை அணைக்கும்போது வெளியிடப்பட்ட சேகரிப்பு மெல்லம் 2இதில் திங்கிங், இன்ஸ்ட்ரக்ட், திங்கிங்-எஸ்எஃப்டி, இன்ஸ்ட்ரக்ட்-எஸ்எஃப்டி, பேஸ் மற்றும் பேஸ்-ப்ரீட்ரெய்ன் ஆகிய பல மாதிரி வகைகள் அடங்கும். இந்த மாதிரிகள் அப்பாச்சி 2.0 உரிமத்தின் கீழ் சேஃப்டென்சர்ஸ் வடிவத்தில் விநியோகிக்கப்படுகின்றன.
Transformers, vLLM, SGLang மற்றும் Docker Model Runner வழியாகப் பயன்படுத்துவதற்கான எடுத்துக்காட்டுகள் தொடங்குவதற்காக வழங்கப்பட்டுள்ளன.
தொழில்நுட்ப ரீதியாக மிகவும் சுவாரஸ்யமானது, மற்றுமொரு திறந்த மூல மாதிரியின் தோற்றம் அல்ல; மாறாக, ஜெட்பிரெய்ன்ஸ் தேர்ந்தெடுத்துள்ள பிரத்யேகத் துறையே ஆகும். இந்நிறுவனம், மிகப்பெரிய பொது-நோக்கு மாதிரிகளுடன் போட்டியிடுவதில் கவனம் செலுத்தாமல், IDE-கள், உள்ளக உதவியாளர்கள், பெருநிறுவன RAG அமைப்புகள் மற்றும் ஏஜென்ட் பைப்லைன்களில் நேரடியாக ஒருங்கிணைக்கக்கூடிய குறைந்த விலை மற்றும் வேகமான கூறுகளில் கவனம் செலுத்துகிறது. டெவலப்பர்கள் மற்றும் நிறுவனங்களைப் பொறுத்தவரை, இதன் பொருள் என்னவென்றால், குறியீடு, தரவு மற்றும் அனுமானச் செலவுகள் ஆகியவற்றின் மீதான கட்டுப்பாட்டைத் தக்கவைத்துக்கொண்டே, சில AI தர்க்கங்களை உள்ளூரிலோ அல்லது தங்களின் சொந்த சர்வர்களிலோ இயக்கும் திறன் கிடைப்பதாகும்.
ஆதாரம்: linux.org.ru
