જીના એમ્બેડિંગ માટે ઓપન સોર્સ કોડ, ટેક્સ્ટ અર્થના વેક્ટર રજૂઆત માટેનું મોડેલ

જીનાએ Apache 2.0 લાયસન્સ હેઠળ વેક્ટર ટેક્સ્ટ રિપ્રેઝન્ટેશન, jina-embeddings-v2 માટે મશીન લર્નિંગ મોડલ ઓપન-સોર્સ કર્યું છે. મૉડલ તમને 8192 અક્ષરો સુધીના આર્બિટરી ટેક્સ્ટને વાસ્તવિક સંખ્યાઓના નાના ક્રમમાં કન્વર્ટ કરવાની મંજૂરી આપે છે જે એક વેક્ટર બનાવે છે જે સ્રોત ટેક્સ્ટ સાથે સરખાવવામાં આવે છે અને તેના સિમેન્ટિક્સ (અર્થ)નું પુનઃઉત્પાદન કરે છે. જીના એમ્બેડિંગ એ ઓપનએઆઈ પ્રોજેક્ટ (ટેક્સ્ટ-એમ્બેડિંગ-એડા-002) ના પ્રોપ્રાઈટરી ટેક્સ્ટ વેક્ટરાઈઝેશન મોડલ જેવું જ પ્રદર્શન ધરાવતું પ્રથમ ઓપન મશીન લર્નિંગ મોડલ હતું, જે 8192 ટોકન્સ સુધી ટેક્સ્ટને પ્રોસેસ કરવામાં પણ સક્ષમ છે.

બે જનરેટ કરેલ વેક્ટર વચ્ચેના અંતરનો ઉપયોગ સ્ત્રોત ગ્રંથોના સિમેન્ટીક સંબંધને નિર્ધારિત કરવા માટે કરી શકાય છે. વ્યવહારમાં, જનરેટ કરેલા વેક્ટરનો ઉપયોગ ટેક્સ્ટની સમાનતાનું પૃથ્થકરણ કરવા, વિષયને લગતી સામગ્રીની શોધ ગોઠવવા (સિમેન્ટીક પ્રોક્સિમિટી દ્વારા રેન્કિંગ પરિણામો), અર્થ દ્વારા જૂથ પાઠો, ભલામણો જનરેટ કરવા (સમાન ટેક્સ્ટ સ્ટ્રિંગ્સની સૂચિ ઓફર કરવા) માટે થઈ શકે છે. વિસંગતતાઓને ઓળખો, સાહિત્યચોરી શોધો અને પરીક્ષણોનું વર્ગીકરણ કરો. ઉપયોગના ક્ષેત્રોના ઉદાહરણોમાં કાયદાકીય દસ્તાવેજોના પૃથ્થકરણ માટે, વ્યવસાયિક વિશ્લેષણ માટે, વૈજ્ઞાનિક લેખોની પ્રક્રિયા માટે તબીબી સંશોધનમાં, સાહિત્યિક વિવેચનમાં, નાણાકીય અહેવાલોનું વિશ્લેષણ કરવા અને જટિલ મુદ્દાઓની ચેટબોટ પ્રક્રિયાની ગુણવત્તા સુધારવા માટે મોડેલનો ઉપયોગ શામેલ છે.

જીના-એમ્બેડિંગ્સ મોડલના બે સંસ્કરણો ડાઉનલોડ કરવા માટે ઉપલબ્ધ છે (મૂળભૂત - 0.27 જીબી અને ઘટાડેલ - 0.07 જીબી), અંગ્રેજીમાં 400 મિલિયન જોડી ટેક્સ્ટ સિક્વન્સ પર પ્રશિક્ષિત છે, જે જ્ઞાનના વિવિધ ક્ષેત્રોને આવરી લે છે. તાલીમ દરમિયાન, 512 ટોકન્સના કદ સાથેના સિક્વન્સનો ઉપયોગ કરવામાં આવ્યો હતો, જે ALiBi (રેખીય પૂર્વગ્રહ સાથે ધ્યાન) પદ્ધતિનો ઉપયોગ કરીને 8192 ના કદમાં એક્સ્ટ્રાપોલેટ કરવામાં આવ્યો હતો.

મૂળભૂત મોડેલમાં 137 મિલિયન પરિમાણોનો સમાવેશ થાય છે અને તે GPU સાથે સ્થિર સિસ્ટમો પર ઉપયોગ માટે રચાયેલ છે. ઘટાડેલા મોડલમાં 33 મિલિયન પેરામીટર્સનો સમાવેશ થાય છે, ઓછી સચોટતા પૂરી પાડે છે અને તેનો હેતુ થોડી માત્રામાં મેમરી સાથે મોબાઇલ ઉપકરણો અને સિસ્ટમ્સ પર ઉપયોગ કરવાનો છે. નજીકના ભવિષ્યમાં તેઓ 435 મિલિયન પેરામીટર્સને આવરી લેતું એક મોટું મોડેલ પ્રકાશિત કરવાની પણ યોજના ધરાવે છે. મોડેલનું બહુભાષી સંસ્કરણ પણ વિકાસમાં છે, જે હાલમાં જર્મન અને સ્પેનિશના સમર્થન પર ધ્યાન કેન્દ્રિત કરે છે. એલએલએમ ટૂલકીટ દ્વારા જીના-એમ્બેડિંગ્સ મોડલનો ઉપયોગ કરવા માટે અલગથી પ્લગઇન તૈયાર કરવામાં આવ્યું છે.

સોર્સ: opennet.ru