ജിന എംബെഡിംഗിനായുള്ള ഓപ്പൺ സോഴ്സ് കോഡ്, ടെക്സ്റ്റ് അർത്ഥത്തിന്റെ വെക്റ്റർ പ്രാതിനിധ്യത്തിനുള്ള ഒരു മാതൃക

അപ്പാച്ചെ 2.0 ലൈസൻസിന് കീഴിൽ വെക്‌റ്റർ ടെക്‌സ്‌റ്റ് പ്രാതിനിധ്യത്തിനായുള്ള മെഷീൻ ലേണിംഗ് മോഡൽ, jina-embeddings-v2, ജിന ഓപ്പൺ സോഴ്‌സ് ചെയ്തിട്ടുണ്ട്. 8192 പ്രതീകങ്ങൾ വരെയുള്ള അനിയന്ത്രിതമായ വാചകത്തെ യഥാർത്ഥ സംഖ്യകളുടെ ഒരു ചെറിയ ശ്രേണിയിലേക്ക് പരിവർത്തനം ചെയ്യാൻ മോഡൽ നിങ്ങളെ അനുവദിക്കുന്നു, അത് ഒരു വെക്റ്റർ രൂപപ്പെടുത്തുന്നു, അത് ഉറവിട വാചകവുമായി താരതമ്യപ്പെടുത്തുകയും അതിന്റെ അർത്ഥം (അർത്ഥം) പുനർനിർമ്മിക്കുകയും ചെയ്യുന്നു. 002 ടോക്കണുകൾ വരെ ടെക്‌സ്‌റ്റ് പ്രോസസ്സ് ചെയ്യാനും കഴിവുള്ള ഓപ്പൺഎഐ പ്രോജക്‌റ്റിൽ (ടെക്‌സ്റ്റ്-എംബെഡിംഗ്-അഡാ-8192) നിന്നുള്ള പ്രൊപ്രൈറ്ററി ടെക്‌സ്‌റ്റ് വെക്‌ടറൈസേഷൻ മോഡലിന്റെ അതേ പ്രകടനമുള്ള ആദ്യത്തെ ഓപ്പൺ മെഷീൻ ലേണിംഗ് മോഡലാണ് ജിന എംബഡിംഗ്.

രണ്ട് ജനറേറ്റഡ് വെക്‌ടറുകൾ തമ്മിലുള്ള ദൂരം ഉറവിട ഗ്രന്ഥങ്ങളുടെ സെമാന്റിക് ബന്ധം നിർണ്ണയിക്കാൻ ഉപയോഗിക്കാം. പ്രായോഗികമായി, ടെക്‌സ്‌റ്റുകളുടെ സമാനത വിശകലനം ചെയ്യാനും വിഷയവുമായി ബന്ധപ്പെട്ട മെറ്റീരിയലുകൾക്കായി ഒരു തിരയൽ സംഘടിപ്പിക്കാനും (സെമാന്റിക് പ്രോക്‌സിമിറ്റി പ്രകാരം റാങ്കിംഗ് ഫലങ്ങൾ), അർത്ഥം അനുസരിച്ച് ഗ്രുപ്പ് ടെക്‌സ്‌റ്റുകൾ നടത്താനും ശുപാർശകൾ സൃഷ്‌ടിക്കാനും (സമാന ടെക്‌സ്‌റ്റ് സ്‌ട്രിംഗുകളുടെ ഒരു ലിസ്റ്റ് വാഗ്ദാനം ചെയ്യാനും) സൃഷ്‌ടിച്ച വെക്‌ടറുകൾ ഉപയോഗിക്കാം. അപാകതകൾ തിരിച്ചറിയുക, മോഷണം കണ്ടെത്തുക, പരിശോധനകളെ തരംതിരിക്കുക. നിയമപരമായ ഡോക്യുമെന്റുകളുടെ വിശകലനം, ബിസിനസ് അനലിറ്റിക്‌സ്, ശാസ്ത്രീയ ലേഖനങ്ങൾ പ്രോസസ്സ് ചെയ്യുന്നതിനുള്ള മെഡിക്കൽ ഗവേഷണം, സാഹിത്യ വിമർശനം, സാമ്പത്തിക റിപ്പോർട്ടുകൾ പാഴ്‌സുചെയ്യൽ, സങ്കീർണ്ണമായ പ്രശ്‌നങ്ങൾ പ്രോസസ്സ് ചെയ്യുന്ന ചാറ്റ്ബോട്ടുകളുടെ ഗുണനിലവാരം മെച്ചപ്പെടുത്തൽ എന്നിവയ്‌ക്ക് മാതൃക ഉപയോഗിക്കുന്നത് ഉപയോഗ കേസുകളുടെ ഉദാഹരണങ്ങളിൽ ഉൾപ്പെടുന്നു.

ജിന-എംബെഡിംഗ്സ് മോഡലിന്റെ രണ്ട് പതിപ്പുകൾ ഡൗൺലോഡ് ചെയ്യാൻ ലഭ്യമാണ് (അടിസ്ഥാന - 0.27 GB, കുറച്ചത് - 0.07 GB), ഇംഗ്ലീഷിലെ 400 ദശലക്ഷം ജോഡി ടെക്സ്റ്റ് സീക്വൻസുകളിൽ പരിശീലനം നൽകി, വിവിധ വിജ്ഞാന മേഖലകൾ ഉൾക്കൊള്ളുന്നു. പരിശീലന സമയത്ത്, 512 ടോക്കണുകളുടെ വലുപ്പമുള്ള സീക്വൻസുകൾ ഉപയോഗിച്ചു, അത് ALiBi (ലീനിയർ ബയസുകളുള്ള ശ്രദ്ധ) രീതി ഉപയോഗിച്ച് 8192 വലുപ്പത്തിലേക്ക് എക്സ്ട്രാപോളേറ്റ് ചെയ്തു.

അടിസ്ഥാന മോഡലിൽ 137 ദശലക്ഷം പാരാമീറ്ററുകൾ ഉൾപ്പെടുന്നു, ഇത് ഒരു ജിപിയു ഉള്ള സ്റ്റേഷണറി സിസ്റ്റങ്ങളിൽ ഉപയോഗിക്കുന്നതിന് രൂപകൽപ്പന ചെയ്‌തിരിക്കുന്നു. കുറച്ച മോഡലിൽ 33 ദശലക്ഷം പാരാമീറ്ററുകൾ ഉൾപ്പെടുന്നു, കുറച്ച് കൃത്യത നൽകുന്നു, കൂടാതെ ചെറിയ അളവിലുള്ള മെമ്മറിയുള്ള മൊബൈൽ ഉപകരണങ്ങളിലും സിസ്റ്റങ്ങളിലും ഉപയോഗിക്കാൻ ലക്ഷ്യമിടുന്നു. സമീപഭാവിയിൽ 435 ദശലക്ഷം പാരാമീറ്ററുകൾ ഉൾക്കൊള്ളുന്ന ഒരു വലിയ മോഡൽ പ്രസിദ്ധീകരിക്കാനും അവർ പദ്ധതിയിടുന്നു. മോഡലിന്റെ ഒരു ബഹുഭാഷാ പതിപ്പും വികസിപ്പിച്ചുകൊണ്ടിരിക്കുന്നു, നിലവിൽ ജർമ്മൻ, സ്പാനിഷ് എന്നിവയ്ക്കുള്ള പിന്തുണയിൽ ശ്രദ്ധ കേന്ദ്രീകരിക്കുന്നു. LLM ടൂൾകിറ്റിലൂടെ ജിന-എംബെഡിംഗ്സ് മോഡൽ ഉപയോഗിക്കുന്നതിന് പ്രത്യേകം ഒരു പ്ലഗിൻ തയ്യാറാക്കിയിട്ടുണ്ട്.

അവലംബം: opennet.ru