જેટબ્રેઇન્સે મેલમ2 ખોલ્યું, જે વિકાસમાં ઝડપી AI દૃશ્યો માટે MoE મોડેલ છે.

જેટબ્રેઇન્સે એક મોડેલ ખોલ્યું છે મેલમ2, સોફ્ટવેર ડેવલપમેન્ટ માટે AI ટૂલ્સમાં ઉપયોગ માટે રચાયેલ છે. આ મોડેલ લાઇસન્સ હેઠળ પ્રકાશિત થયેલ છે અપાચે 2.0વજન હગિંગ ફેસ પર ઉપલબ્ધ છે. જેટબ્રેન્સ ભાર મૂકે છે કે મેલમ2 ને શરૂઆતથી તાલીમ આપવામાં આવી હતી અને તે મલ્ટિમોડલ કાર્યો માટે નહીં, પરંતુ ટેક્સ્ટ અને કોડ સાથે કામ કરવા માટે રચાયેલ છે: વિનંતી રૂટીંગ, આરએજી પાઇપલાઇન્સ, સારાંશ, સહાયક એજન્ટો અને કંપનીના માળખામાં ખાનગી જમાવટ.

મેલમ2 આર્કિટેક્ચર પર બનેલ છે નિષ્ણાતોનું મિશ્રણકુલ કદ સાથે 12 અબજ પરિમાણો પ્રતિ ટોકન ફક્ત 1000 સક્રિય થાય છે 2.5 અબજ પરિમાણો, જે અનુમાન દરમિયાન ગણતરી ખર્ચ અને વિલંબ ઘટાડશે. જેટબ્રેન્સ અનુસાર, મોડેલનું બેન્ચમાર્ક પ્રદર્શન સમાન કદના ઓપન-સોર્સ મોડેલ્સ સાથે તુલનાત્મક છે, પરંતુ અનુમાન ગતિ કરતાં બમણા કરતાં વધુ પહોંચાડે છે.

જેટબ્રેઇન્સ મેલમ2 ને મૂળ મેલમ મોડેલના ઉત્ક્રાંતિ તરીકે વર્ણવે છે, જે શરૂઆતમાં કોડ પૂર્ણ કરવા માટે બનાવવામાં આવ્યું હતું. નવું સંસ્કરણ કાર્યોના વ્યાપક વર્ગમાં વિસ્તરે છે જેમાં પ્રોગ્રામ કોડ અને કુદરતી ભાષા બંને સાથે કામ કરવાની જરૂર પડે છે. કંપની મેલમ2 ને "કેન્દ્રિત" મોડેલ તરીકે સ્થાન આપે છે - મોટા, સામાન્ય-હેતુવાળા LLM માટે રિપ્લેસમેન્ટ નહીં, પરંતુ જટિલ AI સિસ્ટમોમાં વારંવાર મધ્યવર્તી કામગીરી માટે એક ઝડપી, વિશિષ્ટ ઘટક.

પ્રસ્તાવિત ઉપયોગના કિસ્સાઓમાં આનો સમાવેશ થાય છે: ને બોલાવ્યા હતા મોડેલો અને ટૂલ્સ વચ્ચે વિનંતીઓનું વર્ગીકરણ અને રૂટીંગ, RAG સિસ્ટમ્સમાં સંદર્ભનું સંકોચન અને પ્રક્રિયા, એજન્ટો માટે ડેટાની તૈયારી, સમયપત્રક, મધ્યવર્તી પરિણામોનું માન્યતા, અને એવા વાતાવરણમાં સ્થાનિક અમલીકરણ જ્યાં બાહ્ય API ને સ્રોત કોડ અથવા આંતરિક ડેટા મોકલવાનું શક્ય નથી.

આલિંગન કરતા ચહેરા પર પ્રકાશિત સંગ્રહ મેલમ 2, જેમાં ઘણા મોડેલ વેરિઅન્ટ્સ શામેલ છે: થિંકિંગ, ઇન્સ્ટ્રક્ટ, થિંકિંગ-એસએફટી, ઇન્સ્ટ્રક્ટ-એસએફટી, બેઝ અને બેઝ-પ્રિટ્રેન. આ મોડેલ્સ અપાચે 2.0 લાયસન્સ હેઠળ સેફેટેન્સર્સ ફોર્મેટમાં વિતરિત કરવામાં આવે છે.
લોન્ચિંગ માટે ટ્રાન્સફોર્મર્સ, વીએલએલએમ, એસજીએલંગ અને ડોકર મોડેલ રનર દ્વારા ઉપયોગના ઉદાહરણો આપવામાં આવ્યા છે.

ટેકનિકલી વધુ રસપ્રદ વાત એ છે કે બીજા ઓપન સોર્સ મોડેલનો ઉદભવ નથી, પરંતુ જેટબ્રેઇન્સે પસંદ કરેલ વિશિષ્ટતા છે. કંપની સૌથી મોટા સામાન્ય હેતુવાળા મોડેલો સાથે સ્પર્ધા કરવા પર ધ્યાન કેન્દ્રિત કરી રહી નથી, પરંતુ ઓછા ખર્ચે અને ઝડપી ઘટકો પર ધ્યાન કેન્દ્રિત કરી રહી છે જેને સીધા IDE, આંતરિક સહાયકો, કોર્પોરેટ RAG સિસ્ટમ્સ અને એજન્ટ પાઇપલાઇન્સમાં સંકલિત કરી શકાય છે. વિકાસકર્તાઓ અને કંપનીઓ માટે, આનો અર્થ એ છે કે કોડ, ડેટા અને અનુમાન ખર્ચ પર નિયંત્રણ જાળવી રાખીને સ્થાનિક રીતે અથવા તેમના પોતાના સર્વર પર કેટલાક AI લોજિક ચલાવવાની ક્ષમતા.

સોર્સ: linux.org.ru