జెట్బ్రెయిన్స్ ఒక నమూనాను ప్రారంభించింది మెల్లమ్2సాఫ్ట్వేర్ అభివృద్ధి కోసం AI సాధనాలలో ఉపయోగించడానికి రూపొందించబడింది. ఈ మోడల్ ఒక లైసెన్స్ క్రింద ప్రచురించబడింది. అపాచీ 2.0వెయిట్స్ హగ్గింగ్ ఫేస్లో అందుబాటులో ఉన్నాయి. మెల్లమ్2ను మొదటి నుండి శిక్షణ ఇచ్చారని మరియు ఇది మల్టీమోడల్ పనుల కోసం కాకుండా, టెక్స్ట్ మరియు కోడ్తో పనిచేయడానికి రూపొందించబడిందని జెట్బ్రెయిన్స్ నొక్కి చెబుతోంది: రిక్వెస్ట్ రూటింగ్, RAG పైప్లైన్లు, సారాంశం, సహాయక ఏజెంట్లు మరియు కంపెనీ ఇన్ఫ్రాస్ట్రక్చర్లో ప్రైవేట్ డిప్లాయ్మెంట్ వంటి వాటి కోసం.
మెల్లమ్2 ఈ వాస్తుశిల్పంపై నిర్మించబడింది నిపుణుల మిశ్రమంమొత్తం పరిమాణంతో 12 బిలియన్ పారామితులు ఒక్కో టోకెన్కు సుమారు 1000 మాత్రమే యాక్టివేట్ చేయబడతాయి 2.5 బిలియన్ పారామితులుఇది ఇన్ఫరెన్స్ సమయంలో గణన ఖర్చులను మరియు జాప్యాన్ని తగ్గించాలి. జెట్బ్రెయిన్స్ ప్రకారం, ఈ మోడల్ యొక్క బెంచ్మార్క్ పనితీరు అదే పరిమాణంలో ఉన్న ఓపెన్-సోర్స్ మోడళ్లతో పోల్చదగినదిగా ఉంది, కానీ ఇన్ఫరెన్స్ వేగాన్ని రెట్టింపు కంటే ఎక్కువగా అందిస్తుంది.
జెట్బ్రెయిన్స్, మెల్లమ్2ను మొదట్లో కోడ్ కంప్లీషన్ కోసం రూపొందించిన అసలైన మెల్లమ్ మోడల్ యొక్క పరిణామంగా అభివర్ణిస్తుంది. ఈ కొత్త వెర్షన్, ప్రోగ్రామ్ కోడ్ మరియు సహజ భాష రెండింటితోనూ పనిచేయాల్సిన అవసరం ఉన్న విస్తృత శ్రేణి పనులకు విస్తరిస్తుంది. ఈ సంస్థ మెల్లమ్2ను ఒక "కేంద్రీకృత" మోడల్గా పేర్కొంటుంది—ఇది పెద్ద, సాధారణ-ప్రయోజన LLMలకు ప్రత్యామ్నాయం కాదు, కానీ సంక్లిష్టమైన AI వ్యవస్థలలో తరచుగా జరిగే మధ్యంతర కార్యకలాపాల కోసం ఒక వేగవంతమైన, ప్రత్యేకమైన భాగం.
ప్రతిపాదిత వినియోగ సందర్భాలలో ఇవి ఉన్నాయి అంటారు మోడల్స్ మరియు టూల్స్ మధ్య అభ్యర్థనల వర్గీకరణ మరియు రూటింగ్, RAG సిస్టమ్స్లో కాంటెక్స్ట్ యొక్క కంప్రెషన్ మరియు ప్రాసెసింగ్, ఏజెంట్ల కోసం డేటా తయారీ, షెడ్యూలింగ్, మధ్యంతర ఫలితాల ధ్రువీకరణ, మరియు బాహ్య APIలకు సోర్స్ కోడ్ లేదా అంతర్గత డేటాను పంపడం సాధ్యం కాని వాతావరణాలలో స్థానిక అమలు.
ముఖాన్ని కౌగిలించుకోవడం ప్రచురించబడింది సేకరణ మెల్లమ్ 2, ఇందులో థింకింగ్, ఇన్స్ట్రక్ట్, థింకింగ్-SFT, ఇన్స్ట్రక్ట్-SFT, బేస్, మరియు బేస్-ప్రీట్రెయిన్ వంటి అనేక మోడల్ వేరియంట్లు ఉన్నాయి. ఈ మోడల్స్ అపాచీ 2.0 లైసెన్స్ క్రింద సేఫ్టెన్సర్స్ ఫార్మాట్లో పంపిణీ చేయబడ్డాయి.
ప్రారంభించడం కోసం ట్రాన్స్ఫార్మర్స్, vLLM, SGLang మరియు డాకర్ మోడల్ రన్నర్ ద్వారా వినియోగ ఉదాహరణలు అందించబడ్డాయి.
సాంకేతికంగా మరింత ఆసక్తికరమైన విషయం ఏమిటంటే, మరో ఓపెన్ సోర్స్ మోడల్ ఆవిర్భవించడం కాదు, జెట్బ్రెయిన్స్ ఎంచుకున్న ప్రత్యేక రంగం. ఆ కంపెనీ అతిపెద్ద సాధారణ-ప్రయోజన మోడళ్లతో పోటీపడటంపై కాకుండా, IDEలు, అంతర్గత అసిస్టెంట్లు, కార్పొరేట్ RAG సిస్టమ్లు మరియు ఏజెంట్ పైప్లైన్లలో నేరుగా అనుసంధానించగల తక్కువ-ధర మరియు వేగవంతమైన భాగాలపై దృష్టి సారిస్తోంది. డెవలపర్లు మరియు కంపెనీల కోసం, దీని అర్థం ఏమిటంటే, కోడ్, డేటా మరియు ఇన్ఫరెన్స్ ఖర్చులపై నియంత్రణను కొనసాగిస్తూనే, కొంత AI లాజిక్ను స్థానికంగా లేదా వారి స్వంత సర్వర్లలో అమలు చేయగల సామర్థ్యం లభించడం.
మూలం: linux.org.ru
