जेटब्रेन्सने विकासाधीन असलेल्या वेगवान एआय परिस्थितींसाठीचे एमओई मॉडेल, मेलम२, सादर केले.

जेटब्रेन्सने एक मॉडेल उघडले आहे मेलम२सॉफ्टवेअर डेव्हलपमेंटसाठी एआय साधनांमध्ये वापरण्याकरिता डिझाइन केलेले. हे मॉडेल एका परवान्याअंतर्गत प्रकाशित केले आहे. अपाचे 2.0वेट्स हगिंग फेसवर उपलब्ध आहेत. जेटब्रेन्स यावर जोर देते की मेलम२ ला सुरुवातीपासून प्रशिक्षित केले गेले आहे आणि ते मल्टीमोडल कार्यांसाठी नव्हे, तर मजकूर आणि कोडसह काम करण्यासाठी डिझाइन केलेले आहे: रिक्वेस्ट रूटिंग, RAG पाइपलाइन्स, सारांशीकरण, सहाय्यक एजंट्स आणि कंपनीच्या पायाभूत सुविधांमध्ये खाजगी डिप्लॉयमेंट.

Mellum2 हे आर्किटेक्चरवर आधारित आहे तज्ञांचे मिश्रणएकूण आकारासह 12 अब्ज पॅरामीटर्स प्रत्येक टोकनमागे फक्त सुमारे १००० सक्रिय केले जातात. 2.5 अब्ज पॅरामीटर्सज्यामुळे इन्फरन्स दरम्यान संगणकीय खर्च आणि विलंब कमी होईल. जेटब्रेन्सच्या मते, मॉडेलची बेंचमार्क कामगिरी समान आकाराच्या ओपन-सोर्स मॉडेल्सच्या तुलनेत आहे, परंतु इन्फरन्समध्ये दुप्पटीहून अधिक गती वाढवते.

जेटब्रेन्स मेलम२ चे वर्णन मूळ मेलम मॉडेलची उत्क्रांती म्हणून करते, जे सुरुवातीला कोड कंप्लीशनसाठी तयार केले गेले होते. ही नवीन आवृत्ती अशा व्यापक प्रकारच्या कार्यांपर्यंत विस्तारते, ज्यासाठी प्रोग्राम कोड आणि नैसर्गिक भाषा या दोन्हींसोबत काम करणे आवश्यक असते. कंपनी मेलम२ ला एक "केंद्रित" मॉडेल म्हणून सादर करते—हे मोठ्या, सर्वसाधारण एलएलएमसाठी पर्याय नसून, जटिल एआय प्रणालींमधील वारंवार होणाऱ्या मध्यवर्ती कार्यांसाठी एक वेगवान, विशेष घटक आहे.

प्रस्तावित वापराच्या उदाहरणांमध्ये खालील गोष्टींचा समावेश आहे: म्हटले जाते मॉडेल्स आणि टूल्समधील विनंत्यांचे वर्गीकरण आणि राउटिंग, RAG सिस्टीममध्ये संदर्भाचे कॉम्प्रेशन आणि प्रोसेसिंग, एजंट्ससाठी डेटाची तयारी, शेड्युलिंग, मध्यवर्ती परिणामांचे प्रमाणीकरण, आणि अशा वातावरणात स्थानिक अंमलबजावणी जिथे बाह्य API ना सोर्स कोड किंवा अंतर्गत डेटा पाठवणे शक्य नसते.

मिठी मारणाऱ्या चेहऱ्यावर प्रकाशित संकलन मेलम २ज्यामध्ये थिंकिंग, इन्स्ट्रक्ट, थिंकिंग-एसएफटी, इन्स्ट्रक्ट-एसएफटी, बेस आणि बेस-प्रीट्रेन यांसारखे अनेक मॉडेल प्रकार समाविष्ट आहेत. हे मॉडेल अपाचे २.० लायसन्स अंतर्गत सेफटेन्सर्स फॉरमॅटमध्ये वितरित केले जातात.
लाँच करण्यासाठी ट्रान्सफॉर्मर्स, vLLM, SGLang आणि डॉकर मॉडेल रनर द्वारे वापराची उदाहरणे दिली आहेत.

तांत्रिकदृष्ट्या अधिक मनोरंजक गोष्ट म्हणजे, आणखी एका ओपन सोर्स मॉडेलचा उदय नव्हे, तर जेटब्रेन्सने निवडलेले विशिष्ट क्षेत्र आहे. ही कंपनी सर्वात मोठ्या सर्वसाधारण मॉडेल्सशी स्पर्धा करण्यावर लक्ष केंद्रित करत नाही, तर कमी किमतीच्या आणि वेगवान घटकांवर लक्ष केंद्रित करत आहे, जे थेट IDEs, अंतर्गत असिस्टंट्स, कॉर्पोरेट RAG सिस्टीम्स आणि एजंट पाइपलाइन्समध्ये एकत्रित केले जाऊ शकतात. डेव्हलपर्स आणि कंपन्यांसाठी याचा अर्थ असा आहे की, कोड, डेटा आणि इन्फरन्सच्या खर्चावर नियंत्रण ठेवत, काही AI लॉजिक स्थानिक पातळीवर किंवा त्यांच्या स्वतःच्या सर्व्हरवर चालवण्याची क्षमता त्यांना मिळते.

स्त्रोत: linux.org.ru