ശുപാർശകൾ തിരഞ്ഞെടുക്കുന്നതിന്റെ ഗുണനിലവാരത്തിലും വേഗതയിലും ഞങ്ങൾ എങ്ങനെ പ്രവർത്തിക്കുന്നു

എൻ്റെ പേര് പാവൽ പാർക്കോമെൻകോ, ഞാൻ ഒരു ML ഡെവലപ്പറാണ്. ഈ ലേഖനത്തിൽ, Yandex.Zen സേവനത്തിൻ്റെ ഘടനയെക്കുറിച്ച് സംസാരിക്കാനും സാങ്കേതിക മെച്ചപ്പെടുത്തലുകൾ പങ്കിടാനും ഞാൻ ആഗ്രഹിക്കുന്നു, ഇത് നടപ്പിലാക്കുന്നത് ശുപാർശകളുടെ ഗുണനിലവാരം വർദ്ധിപ്പിക്കാൻ സാധ്യമാക്കി. ദശലക്ഷക്കണക്കിന് പ്രമാണങ്ങൾക്കിടയിൽ ഉപയോക്താവിന് ഏറ്റവും പ്രസക്തമായവ ഏതാനും മില്ലിസെക്കൻഡുകൾക്കുള്ളിൽ എങ്ങനെ കണ്ടെത്താമെന്ന് ഈ പോസ്റ്റിൽ നിന്ന് നിങ്ങൾ പഠിക്കും; ഒരു വലിയ മാട്രിക്സിൻ്റെ (ദശലക്ഷക്കണക്കിന് നിരകളും ദശലക്ഷക്കണക്കിന് വരികളും അടങ്ങുന്ന) തുടർച്ചയായ വിഘടനം എങ്ങനെ നടത്താം, അങ്ങനെ പുതിയ പ്രമാണങ്ങൾക്ക് അവയുടെ വെക്റ്റർ പതിനായിരക്കണക്കിന് മിനിറ്റിനുള്ളിൽ ലഭിക്കും; വീഡിയോയ്ക്ക് നല്ല വെക്റ്റർ പ്രാതിനിധ്യം ലഭിക്കുന്നതിന് ഉപയോക്തൃ ലേഖന മാട്രിക്സ് ഡീകോപോസിഷൻ എങ്ങനെ വീണ്ടും ഉപയോഗിക്കാം.

ഞങ്ങളുടെ ശുപാർശ ഡാറ്റാബേസിൽ വിവിധ ഫോർമാറ്റുകളുടെ ദശലക്ഷക്കണക്കിന് ഡോക്യുമെൻ്റുകൾ അടങ്ങിയിരിക്കുന്നു: ഞങ്ങളുടെ പ്ലാറ്റ്‌ഫോമിൽ സൃഷ്‌ടിച്ചതും ബാഹ്യ സൈറ്റുകൾ, വീഡിയോകൾ, വിവരണങ്ങൾ, ഹ്രസ്വ പോസ്റ്റുകൾ എന്നിവയിൽ നിന്ന് എടുത്തതുമായ വാചക ലേഖനങ്ങൾ. അത്തരമൊരു സേവനത്തിൻ്റെ വികസനം നിരവധി സാങ്കേതിക വെല്ലുവിളികളുമായി ബന്ധപ്പെട്ടിരിക്കുന്നു. അവയിൽ ചിലത് ഇതാ:

• കമ്പ്യൂട്ടിംഗ് ജോലികൾ വിഭജിക്കുക: എല്ലാ ഹെവി ഓപ്പറേഷനുകളും ഓഫ്‌ലൈനിൽ ചെയ്യുക, 100-200 ms-ന് ഉത്തരവാദിയാകാൻ തത്സമയം മോഡലുകളുടെ ദ്രുത ആപ്ലിക്കേഷൻ മാത്രം നടത്തുക.
• ഉപയോക്തൃ പ്രവർത്തനങ്ങൾ വേഗത്തിൽ കണക്കിലെടുക്കുക. ഇത് ചെയ്യുന്നതിന്, എല്ലാ ഇവൻ്റുകളും തൽക്ഷണം ശുപാർശ ചെയ്യുന്നയാൾക്ക് കൈമാറുകയും മോഡലുകളുടെ ഫലങ്ങളെ സ്വാധീനിക്കുകയും ചെയ്യേണ്ടത് ആവശ്യമാണ്.
• പുതിയ ഉപയോക്താക്കൾക്ക് അവരുടെ പെരുമാറ്റവുമായി പെട്ടെന്ന് പൊരുത്തപ്പെടുന്ന തരത്തിൽ ഫീഡ് ഉണ്ടാക്കുക. സിസ്റ്റത്തിൽ ഇപ്പോൾ ചേർന്ന ആളുകൾക്ക് അവരുടെ ഫീഡ്‌ബാക്ക് ശുപാർശകളെ സ്വാധീനിക്കുന്നതായി തോന്നണം.
• ആർക്കാണ് പുതിയ ലേഖനം ശുപാർശ ചെയ്യേണ്ടതെന്ന് പെട്ടെന്ന് മനസ്സിലാക്കുക.
• പുതിയ ഉള്ളടക്കത്തിൻ്റെ നിരന്തരമായ ആവിർഭാവത്തോട് വേഗത്തിൽ പ്രതികരിക്കുക. ഓരോ ദിവസവും പതിനായിരക്കണക്കിന് ലേഖനങ്ങൾ പ്രസിദ്ധീകരിക്കപ്പെടുന്നു, അവയിൽ പലതിനും പരിമിതമായ ആയുസ്സ് ഉണ്ട് (പറയുക, വാർത്ത). സിനിമകൾ, സംഗീതം, മറ്റ് ദീർഘകാലവും ചെലവേറിയതുമായ ഉള്ളടക്കം എന്നിവയിൽ നിന്ന് അവരെ വ്യത്യസ്തരാക്കുന്നത് ഇതാണ്.
• ഒരു ഡൊമെയ്ൻ ഏരിയയിൽ നിന്ന് മറ്റൊന്നിലേക്ക് അറിവ് കൈമാറുക. ഒരു ശുപാർശ സംവിധാനത്തിന് ടെക്‌സ്‌റ്റ് ലേഖനങ്ങൾക്കായി പരിശീലിപ്പിച്ച മോഡലുകൾ ഉണ്ടെങ്കിൽ, ഞങ്ങൾ അതിൽ വീഡിയോ ചേർക്കുന്നുവെങ്കിൽ, പുതിയ തരം ഉള്ളടക്കം മികച്ച റാങ്ക് ലഭിക്കുന്നതിന് നിലവിലുള്ള മോഡലുകൾ വീണ്ടും ഉപയോഗിക്കാനാകും.

ഈ പ്രശ്നങ്ങൾ ഞങ്ങൾ എങ്ങനെ പരിഹരിച്ചുവെന്ന് ഞാൻ നിങ്ങളോട് പറയും.

സ്ഥാനാർത്ഥികളുടെ തിരഞ്ഞെടുപ്പ്

റാങ്കിംഗിൻ്റെ ഗുണനിലവാരത്തിൽ ഫലത്തിൽ യാതൊരു തകർച്ചയും കൂടാതെ, പരിഗണനയിലുള്ള ഡോക്യുമെൻ്റുകളുടെ എണ്ണം ഏതാനും മില്ലിസെക്കൻഡുകൾക്കുള്ളിൽ ആയിരക്കണക്കിന് മടങ്ങ് കുറയ്ക്കുന്നത് എങ്ങനെ?

ഞങ്ങൾ നിരവധി ML മോഡലുകൾ പരിശീലിപ്പിച്ചു, അവയെ അടിസ്ഥാനമാക്കി സവിശേഷതകൾ സൃഷ്ടിച്ചു, കൂടാതെ ഉപയോക്താവിന് പ്രമാണങ്ങൾ റാങ്ക് ചെയ്യുന്ന മറ്റൊരു മോഡൽ പരിശീലിപ്പിച്ചുവെന്ന് കരുതുക. എല്ലാം ശരിയാകും, എന്നാൽ ദശലക്ഷക്കണക്കിന് ഡോക്യുമെൻ്റുകൾ ഉണ്ടെങ്കിൽ, നിങ്ങൾക്ക് എല്ലാ രേഖകളുടെയും എല്ലാ അടയാളങ്ങളും തത്സമയം എടുക്കാനും കണക്കാക്കാനും കഴിയില്ല, കൂടാതെ ശുപാർശകൾ 100-200 എംഎസിൽ നിർമ്മിക്കേണ്ടതുണ്ട്. ദശലക്ഷക്കണക്കിന് ഉപവിഭാഗങ്ങളിൽ നിന്ന് ഒരു നിശ്ചിത ഉപവിഭാഗം തിരഞ്ഞെടുക്കുക എന്നതാണ് ചുമതല, അത് ഉപയോക്താവിനായി റാങ്ക് ചെയ്യപ്പെടും. ഈ ഘട്ടത്തെ സാധാരണയായി സ്ഥാനാർത്ഥി തിരഞ്ഞെടുപ്പ് എന്ന് വിളിക്കുന്നു. അതിന് നിരവധി ആവശ്യകതകൾ ഉണ്ട്. ഒന്നാമതായി, തിരഞ്ഞെടുക്കൽ വളരെ വേഗത്തിൽ സംഭവിക്കണം, അതിനാൽ റാങ്കിംഗിന് തന്നെ കഴിയുന്നത്ര സമയം അവശേഷിക്കുന്നു. രണ്ടാമതായി, റാങ്കിംഗിനായുള്ള ഡോക്യുമെൻ്റുകളുടെ എണ്ണം വളരെയധികം കുറച്ചതിനാൽ, ഉപയോക്താവിന് പ്രസക്തമായ പ്രമാണങ്ങൾ ഞങ്ങൾ കഴിയുന്നത്ര പൂർണ്ണമായും സംരക്ഷിക്കണം.

സ്ഥാനാർത്ഥി തിരഞ്ഞെടുപ്പിൻ്റെ ഞങ്ങളുടെ തത്വം വികസിച്ചു, ഇപ്പോൾ ഞങ്ങൾ ഒരു മൾട്ടി-സ്റ്റേജ് സ്കീമിൽ എത്തിയിരിക്കുന്നു:

ആദ്യം, എല്ലാ രേഖകളും ഗ്രൂപ്പുകളായി തിരിച്ചിരിക്കുന്നു, ഓരോ ഗ്രൂപ്പിൽ നിന്നും ഏറ്റവും ജനപ്രിയമായ പ്രമാണങ്ങൾ എടുക്കുന്നു. ഗ്രൂപ്പുകൾ സൈറ്റുകൾ, വിഷയങ്ങൾ, ക്ലസ്റ്ററുകൾ ആകാം. ഓരോ ഉപയോക്താവിനും, അവൻ്റെ ചരിത്രത്തെ അടിസ്ഥാനമാക്കി, അവനോട് ഏറ്റവും അടുത്തുള്ള ഗ്രൂപ്പുകൾ തിരഞ്ഞെടുക്കുകയും അവരിൽ നിന്ന് മികച്ച രേഖകൾ എടുക്കുകയും ചെയ്യുന്നു. തത്സമയം ഉപയോക്താവിന് ഏറ്റവും അടുത്തുള്ള പ്രമാണങ്ങൾ തിരഞ്ഞെടുക്കുന്നതിന് ഞങ്ങൾ kNN സൂചികയും ഉപയോഗിക്കുന്നു. ഒരു kNN സൂചിക നിർമ്മിക്കുന്നതിന് നിരവധി മാർഗങ്ങളുണ്ട് HNSW (ഹൈരാർക്കിക്കൽ നാവിഗബിൾ സ്മോൾ വേൾഡ് ഗ്രാഫുകൾ). ഏതാനും മില്ലിസെക്കൻഡുകൾക്കുള്ളിൽ ദശലക്ഷക്കണക്കിന് ഡാറ്റാബേസിൽ നിന്ന് ഒരു ഉപയോക്താവിന് ഏറ്റവും അടുത്തുള്ള N വെക്റ്ററുകൾ കണ്ടെത്താൻ നിങ്ങളെ അനുവദിക്കുന്ന ഒരു ശ്രേണിപരമായ മോഡലാണിത്. ഞങ്ങൾ ആദ്യം ഞങ്ങളുടെ മുഴുവൻ ഡോക്യുമെൻ്റ് ഡാറ്റാബേസും ഓഫ്‌ലൈനിൽ സൂചികയിലാക്കുന്നു. സൂചികയിൽ തിരയുന്നത് വളരെ വേഗത്തിൽ പ്രവർത്തിക്കുന്നതിനാൽ, ശക്തമായ നിരവധി ഉൾച്ചേർക്കലുകൾ ഉണ്ടെങ്കിൽ, നിങ്ങൾക്ക് നിരവധി സൂചികകൾ (ഓരോ ഉൾച്ചേർക്കലിനും ഒരു സൂചിക) സൃഷ്ടിക്കാനും അവ ഓരോന്നും തത്സമയം ആക്സസ് ചെയ്യാനും കഴിയും.

ഓരോ ഉപയോക്താവിനും പതിനായിരക്കണക്കിന് ഡോക്യുമെൻ്റുകൾ ഞങ്ങളുടെ പക്കലുണ്ട്. എല്ലാ സവിശേഷതകളും കണക്കാക്കാൻ ഇത് ഇപ്പോഴും ധാരാളം ഉണ്ട്, അതിനാൽ ഈ ഘട്ടത്തിൽ ഞങ്ങൾ ലൈറ്റ് റാങ്കിംഗ് ഉപയോഗിക്കുന്നു - കുറച്ച് സവിശേഷതകളുള്ള ഭാരം കുറഞ്ഞ ഹെവി റാങ്കിംഗ് മോഡൽ. ഒരു കനത്ത മോഡലിന് മുകളിൽ ഏതൊക്കെ രേഖകൾ ഉണ്ടായിരിക്കുമെന്ന് പ്രവചിക്കുക എന്നതാണ് ചുമതല. ഏറ്റവും ഉയർന്ന പ്രവചനമുള്ള പ്രമാണങ്ങൾ ഹെവി മോഡലിൽ, അതായത് റാങ്കിംഗിൻ്റെ അവസാന ഘട്ടത്തിൽ ഉപയോഗിക്കും. ദശലക്ഷക്കണക്കിന് മില്ലിസെക്കൻഡിൽ ഉപയോക്താവിനായി പരിഗണിക്കുന്ന പ്രമാണങ്ങളുടെ ഡാറ്റാബേസ് ദശലക്ഷക്കണക്കിന് മുതൽ ആയിരക്കണക്കിന് വരെ കുറയ്ക്കാൻ ഈ സമീപനം നിങ്ങളെ അനുവദിക്കുന്നു.

റൺടൈമിൽ ALS ഘട്ടം

ഒരു ക്ലിക്കിന് ശേഷം ഉപയോക്തൃ ഫീഡ്‌ബാക്ക് എങ്ങനെ കണക്കിലെടുക്കും?

ശുപാർശകളിലെ ഒരു പ്രധാന ഘടകം ഉപയോക്തൃ ഫീഡ്‌ബാക്കിനുള്ള പ്രതികരണ സമയമാണ്. പുതിയ ഉപയോക്താക്കൾക്ക് ഇത് വളരെ പ്രധാനമാണ്: ഒരു വ്യക്തി ശുപാർശ സംവിധാനം ഉപയോഗിക്കാൻ തുടങ്ങുമ്പോൾ, വിവിധ വിഷയങ്ങളുടെ ഡോക്യുമെൻ്റുകളുടെ വ്യക്തിഗതമാക്കാത്ത ഫീഡ് അയാൾക്ക് ലഭിക്കുന്നു. അവൻ ആദ്യ ക്ലിക്ക് ചെയ്തയുടനെ, നിങ്ങൾ ഇത് ഉടനടി കണക്കിലെടുക്കുകയും അവൻ്റെ താൽപ്പര്യങ്ങളുമായി പൊരുത്തപ്പെടുകയും വേണം. നിങ്ങൾ എല്ലാ ഘടകങ്ങളും ഓഫ്‌ലൈനായി കണക്കാക്കുകയാണെങ്കിൽ, കാലതാമസം കാരണം ദ്രുത സിസ്റ്റം പ്രതികരണം അസാധ്യമാകും. അതിനാൽ ഉപയോക്തൃ പ്രവർത്തനങ്ങൾ തത്സമയം പ്രോസസ്സ് ചെയ്യേണ്ടത് ആവശ്യമാണ്. ഈ ആവശ്യങ്ങൾക്ക്, ഉപയോക്താവിൻ്റെ വെക്റ്റർ പ്രാതിനിധ്യം നിർമ്മിക്കുന്നതിന് ഞങ്ങൾ റൺടൈമിലെ ALS ഘട്ടം ഉപയോഗിക്കുന്നു.

എല്ലാ ഡോക്യുമെൻ്റുകൾക്കും ഒരു വെക്റ്റർ പ്രാതിനിധ്യം ഉണ്ടെന്ന് കരുതുക. ഉദാഹരണത്തിന്, ELMo, BERT അല്ലെങ്കിൽ മറ്റ് മെഷീൻ ലേണിംഗ് മോഡലുകൾ ഉപയോഗിച്ച് ഒരു ലേഖനത്തിൻ്റെ ടെക്‌സ്‌റ്റിനെ അടിസ്ഥാനമാക്കി നമുക്ക് എംബെഡ്‌ഡിംഗുകൾ ഓഫ്‌ലൈനായി നിർമ്മിക്കാൻ കഴിയും. സിസ്റ്റത്തിലെ അവരുടെ ഇടപെടലുകളെ അടിസ്ഥാനമാക്കി ഒരേ സ്ഥലത്ത് ഉപയോക്താക്കളുടെ വെക്റ്റർ പ്രാതിനിധ്യം നമുക്ക് എങ്ങനെ ലഭിക്കും?

ഉപയോക്തൃ-രേഖ മാട്രിക്സിൻ്റെ രൂപീകരണത്തിൻ്റെയും വിഘടനത്തിൻ്റെയും പൊതു തത്വംഞങ്ങൾക്ക് m ഉപയോക്താക്കളും n പ്രമാണങ്ങളും ഉണ്ടാകട്ടെ. ചില ഉപയോക്താക്കൾക്ക്, ചില പ്രമാണങ്ങളുമായുള്ള അവരുടെ ബന്ധം അറിയപ്പെടുന്നു. അപ്പോൾ ഈ വിവരങ്ങൾ ഒരു mxn മാട്രിക്‌സ് ആയി പ്രതിനിധീകരിക്കാം: വരികൾ ഉപയോക്താക്കൾക്കും കോളങ്ങൾ പ്രമാണങ്ങൾക്കും യോജിക്കുന്നു. വ്യക്തി മിക്ക രേഖകളും കണ്ടിട്ടില്ലാത്തതിനാൽ, മിക്ക മാട്രിക്സ് സെല്ലുകളും ശൂന്യമായി തുടരും, മറ്റുള്ളവ പൂരിപ്പിക്കപ്പെടും. ഓരോ ഇവൻ്റിനും (ഇഷ്ടപ്പെടുക, ഇഷ്ടപ്പെടാതിരിക്കുക, ക്ലിക്ക് ചെയ്യുക) മാട്രിക്‌സിൽ ചില മൂല്യങ്ങൾ നൽകിയിരിക്കുന്നു - എന്നാൽ ഒരു ലൈക്ക് 1 നും ഡിസ്‌ലൈക്ക് -1 നും യോജിക്കുന്ന ഒരു ലളിതമായ മോഡൽ നമുക്ക് പരിഗണിക്കാം.

നമുക്ക് മാട്രിക്സ് രണ്ടായി വിഘടിപ്പിക്കാം: P (mxd), Q (dxn), ഇവിടെ d എന്നത് വെക്റ്റർ പ്രാതിനിധ്യത്തിൻ്റെ അളവാണ് (സാധാരണയായി ഒരു ചെറിയ സംഖ്യ). അപ്പോൾ ഓരോ ഒബ്ജക്റ്റും ഒരു ഡി-ഡൈമൻഷണൽ വെക്റ്ററുമായി പൊരുത്തപ്പെടും (ഒരു ഉപയോക്താവിന് - മാട്രിക്സ് പിയിലെ ഒരു വരി, ഒരു പ്രമാണത്തിന് - മാട്രിക്സ് ക്യൂവിലെ ഒരു നിര). ഈ വെക്‌ടറുകൾ അനുബന്ധ വസ്തുക്കളുടെ ഉൾച്ചേർക്കലുകളായിരിക്കും. ഒരു ഉപയോക്താവ് ഒരു പ്രമാണം ഇഷ്ടപ്പെടുമോ എന്ന് പ്രവചിക്കാൻ, നിങ്ങൾക്ക് അവരുടെ ഉൾച്ചേർക്കലുകൾ ഗുണിക്കാവുന്നതാണ്.

ഒരു മാട്രിക്സ് വിഘടിപ്പിക്കാനുള്ള സാധ്യമായ മാർഗങ്ങളിലൊന്നാണ് ALS (ആൾട്ടർനേറ്റിംഗ് ലിസ്റ്റ് സ്ക്വയർ). ഇനിപ്പറയുന്ന നഷ്ട പ്രവർത്തനം ഞങ്ങൾ ഒപ്റ്റിമൈസ് ചെയ്യും:

ഇവിടെ rui എന്നത് ഡോക്യുമെൻ്റ് i-യുമായുള്ള യൂസർ u യുടെ ഇടപെടലാണ്, qi എന്നത് പ്രമാണത്തിൻ്റെ വെക്റ്റർ ആണ്, pu എന്നത് ഉപയോക്താവിൻ്റെ u യുടെ വെക്റ്റർ ആണ്.

അപ്പോൾ ശരാശരി സ്ക്വയർ പിശകിൻ്റെ വീക്ഷണകോണിൽ നിന്നുള്ള ഒപ്റ്റിമൽ യൂസർ വെക്റ്റർ (ഫിക്സഡ് ഡോക്യുമെൻ്റ് വെക്റ്ററുകൾക്ക്) അനുബന്ധ ലീനിയർ റിഗ്രഷൻ പരിഹരിക്കുന്നതിലൂടെ വിശകലനപരമായി കണ്ടെത്തുന്നു.

ഇതിനെ "ALS സ്റ്റെപ്പ്" എന്ന് വിളിക്കുന്നു. ALS അൽഗോരിതം തന്നെ, ഞങ്ങൾ മെട്രിക്സുകളിലൊന്ന് (ഉപയോക്താക്കളും ലേഖനങ്ങളും) മാറിമാറി ശരിയാക്കുകയും മറ്റൊന്ന് അപ്‌ഡേറ്റ് ചെയ്യുകയും ഒപ്റ്റിമൽ പരിഹാരം കണ്ടെത്തുകയും ചെയ്യുന്നു.

ഭാഗ്യവശാൽ, ഉപയോക്താവിൻ്റെ വെക്റ്റർ പ്രാതിനിധ്യം കണ്ടെത്തുന്നത് വെക്റ്റർ നിർദ്ദേശങ്ങൾ ഉപയോഗിച്ച് റൺടൈമിൽ ചെയ്യാവുന്ന വളരെ വേഗത്തിലുള്ള പ്രവർത്തനമാണ്. റാങ്കിംഗിൽ ഉപയോക്തൃ ഫീഡ്‌ബാക്ക് ഉടനടി കണക്കിലെടുക്കാൻ ഈ ട്രിക്ക് നിങ്ങളെ അനുവദിക്കുന്നു. കാൻഡിഡേറ്റ് തിരഞ്ഞെടുക്കൽ മെച്ചപ്പെടുത്തുന്നതിന് kNN സൂചികയിലും ഇതേ ഉൾച്ചേർക്കൽ ഉപയോഗിക്കാം.

വിതരണം ചെയ്ത സഹകരണ ഫിൽട്ടറിംഗ്

എങ്ങനെ ഇൻക്രിമെൻ്റൽ ഡിസ്ട്രിബ്യൂഡ് മാട്രിക്സ് ഫാക്‌ടറൈസേഷൻ നടത്തുകയും പുതിയ ലേഖനങ്ങളുടെ വെക്റ്റർ പ്രാതിനിധ്യം വേഗത്തിൽ കണ്ടെത്തുകയും ചെയ്യാം?

ശുപാർശ സിഗ്നലുകളുടെ ഏക ഉറവിടം ഉള്ളടക്കമല്ല. മറ്റൊരു പ്രധാന ഉറവിടം സഹകരണ വിവരങ്ങളാണ്. ഉപയോക്തൃ-രേഖ മാട്രിക്സിൻ്റെ വിഘടനത്തിൽ നിന്ന് പരമ്പരാഗതമായി നല്ല റാങ്കിംഗ് സവിശേഷതകൾ ലഭിക്കും. എന്നാൽ അത്തരമൊരു വിഘടനം നടത്താൻ ശ്രമിക്കുമ്പോൾ, ഞങ്ങൾ പ്രശ്നങ്ങൾ നേരിട്ടു:

1. ഞങ്ങൾക്ക് ദശലക്ഷക്കണക്കിന് രേഖകളും ദശലക്ഷക്കണക്കിന് ഉപയോക്താക്കളുമുണ്ട്. മാട്രിക്സ് ഒരു മെഷീനിൽ പൂർണ്ണമായും യോജിക്കുന്നില്ല, വിഘടിപ്പിക്കാൻ വളരെ സമയമെടുക്കും.
2. സിസ്റ്റത്തിലെ ഭൂരിഭാഗം ഉള്ളടക്കത്തിനും ഒരു ചെറിയ ആയുസ്സ് ഉണ്ട്: പ്രമാണങ്ങൾ ഏതാനും മണിക്കൂറുകൾ മാത്രമേ പ്രസക്തമാകൂ. അതിനാൽ, അവരുടെ വെക്റ്റർ പ്രാതിനിധ്യം കഴിയുന്നത്ര വേഗത്തിൽ നിർമ്മിക്കേണ്ടത് ആവശ്യമാണ്.
3. ഡോക്യുമെൻ്റ് പ്രസിദ്ധീകരിച്ച ഉടൻ തന്നെ നിങ്ങൾ ഒരു വിഘടനം നിർമ്മിക്കുകയാണെങ്കിൽ, മതിയായ എണ്ണം ഉപയോക്താക്കൾക്ക് അത് വിലയിരുത്താൻ സമയമില്ല. അതിനാൽ, അതിൻ്റെ വെക്റ്റർ പ്രാതിനിധ്യം മിക്കവാറും നല്ലതായിരിക്കില്ല.
4. ഒരു ഉപയോക്താവ് ഇഷ്‌ടപ്പെടുകയോ ഇഷ്ടപ്പെടാതിരിക്കുകയോ ചെയ്‌താൽ, വിഘടിപ്പിക്കുമ്പോൾ ഇത് ഉടനടി കണക്കിലെടുക്കാൻ ഞങ്ങൾക്ക് കഴിയില്ല.

ഈ പ്രശ്‌നങ്ങൾ പരിഹരിക്കുന്നതിന്, പതിവായി വർദ്ധിച്ചുവരുന്ന അപ്‌ഡേറ്റുകൾക്കൊപ്പം ഉപയോക്തൃ-ഡോക്യുമെൻ്റ് മാട്രിക്‌സിൻ്റെ വിതരണം ചെയ്ത വിഘടനം ഞങ്ങൾ നടപ്പിലാക്കി. ഇത് കൃത്യമായി എങ്ങനെ പ്രവർത്തിക്കുന്നു?

നമുക്ക് N മെഷീനുകളുടെ ഒരു ക്ലസ്റ്റർ ഉണ്ടെന്ന് കരുതുക (N എന്നത് നൂറുകണക്കിന് ആണ്) കൂടാതെ ഒരു മെഷീനിൽ ചേരാത്ത ഒരു മാട്രിക്സിൻ്റെ ഒരു ഡിസ്ട്രിബ്യൂഡ് ഡീകോപോസിഷൻ ചെയ്യാൻ ഞങ്ങൾ ആഗ്രഹിക്കുന്നു. ഒരു വശത്ത്, ഓരോ മെഷീനിലും മതിയായ ഡാറ്റ ഉള്ളതിനാൽ ഈ വിഘടനം എങ്ങനെ നടത്താം എന്നതാണ് ചോദ്യം, മറുവശത്ത്, കണക്കുകൂട്ടലുകൾ സ്വതന്ത്രമാണോ?

മുകളിൽ വിവരിച്ച ALS വിഘടിപ്പിക്കൽ അൽഗോരിതം ഞങ്ങൾ ഉപയോഗിക്കും. ഒരു ALS ഘട്ടം എങ്ങനെ വിതരണം ചെയ്യാമെന്ന് നോക്കാം - ബാക്കി ഘട്ടങ്ങളും സമാനമായിരിക്കും. ഞങ്ങൾക്ക് പ്രമാണങ്ങളുടെ ഒരു നിശ്ചിത മാട്രിക്സ് ഉണ്ടെന്നും ഉപയോക്താക്കളുടെ ഒരു മാട്രിക്സ് നിർമ്മിക്കാൻ ഞങ്ങൾ ആഗ്രഹിക്കുന്നുവെന്നും പറയാം. ഇത് ചെയ്യുന്നതിന്, ഞങ്ങൾ അതിനെ N ഭാഗങ്ങളായി വരികളായി വിഭജിക്കും, ഓരോ ഭാഗത്തിലും ഏകദേശം ഒരേ എണ്ണം വരികൾ അടങ്ങിയിരിക്കും. ഓരോ മെഷീനിലേക്കും ഞങ്ങൾ അനുബന്ധ വരികളുടെ ശൂന്യമല്ലാത്ത സെല്ലുകളും ഡോക്യുമെൻ്റ് എംബെഡിംഗുകളുടെ മാട്രിക്സും (മുഴുവൻ) അയയ്ക്കും. അതിൻ്റെ വലുപ്പം വളരെ വലുതല്ലാത്തതിനാലും ഉപയോക്തൃ-രേഖ മാട്രിക്സ് സാധാരണയായി വളരെ വിരളമായതിനാലും, ഈ ഡാറ്റ ഒരു സാധാരണ മെഷീനിൽ യോജിക്കും.

നിശ്ചിത മാട്രിക്സ് ഒന്നൊന്നായി മാറിമാറി മോഡൽ ഒത്തുചേരുന്നത് വരെ ഈ ട്രിക്ക് നിരവധി യുഗങ്ങളിൽ ആവർത്തിക്കാം. എന്നിരുന്നാലും, മാട്രിക്സ് വിഘടിപ്പിക്കുന്നതിന് നിരവധി മണിക്കൂറുകൾ എടുത്തേക്കാം. പുതിയ ഡോക്യുമെൻ്റുകളുടെ ഉൾച്ചേർക്കലുകൾ നിങ്ങൾക്ക് വേഗത്തിൽ ലഭിക്കേണ്ടതും മോഡൽ നിർമ്മിക്കുമ്പോൾ കുറച്ച് വിവരങ്ങളുള്ളവയുടെ എംബെഡിംഗുകൾ അപ്‌ഡേറ്റ് ചെയ്യേണ്ടതുമായ പ്രശ്നം ഇത് പരിഹരിക്കില്ല.

ഫാസ്റ്റ് ഇൻക്രിമെൻ്റൽ മോഡൽ അപ്‌ഡേറ്റുകളുടെ ആമുഖം ഞങ്ങളെ സഹായിച്ചു. ഞങ്ങൾക്ക് നിലവിൽ പരിശീലനം ലഭിച്ച ഒരു മോഡൽ ഉണ്ടെന്ന് പറയാം. അവളുടെ പരിശീലനത്തിനു ശേഷം, ഞങ്ങളുടെ ഉപയോക്താക്കൾക്ക് ഇടപഴകിയ പുതിയ ലേഖനങ്ങളും പരിശീലന വേളയിൽ കാര്യമായ ഇടപെടൽ ഇല്ലാത്ത ലേഖനങ്ങളും ഉണ്ടായിട്ടുണ്ട്. അത്തരം ലേഖനങ്ങളുടെ ഉൾച്ചേർക്കലുകൾ വേഗത്തിൽ ലഭിക്കുന്നതിന്, മോഡലിൻ്റെ ആദ്യ വലിയ പരിശീലന സമയത്ത് ലഭിച്ച ഉപയോക്തൃ ഉൾച്ചേർക്കലുകൾ ഞങ്ങൾ ഉപയോഗിക്കുകയും ഒരു നിശ്ചിത ഉപയോക്തൃ മാട്രിക്സ് നൽകിയിരിക്കുന്ന ഡോക്യുമെൻ്റ് മാട്രിക്സ് കണക്കാക്കാൻ ഒരു ALS ഘട്ടം ചെയ്യുകയും ചെയ്യുന്നു. ഡോക്യുമെൻ്റ് പ്രസിദ്ധീകരിച്ച് കുറച്ച് മിനിറ്റുകൾക്കുള്ളിൽ - എംബെഡ്ഡിംഗുകൾ വളരെ വേഗത്തിൽ സ്വീകരിക്കാൻ ഇത് നിങ്ങളെ അനുവദിക്കുന്നു - കൂടാതെ സമീപകാല പ്രമാണങ്ങളുടെ എംബെഡിംഗുകൾ പലപ്പോഴും അപ്ഡേറ്റ് ചെയ്യുക.

ശുപാർശകൾ നൽകുന്നതിന്, മാനുഷിക പ്രവർത്തനങ്ങൾ കണക്കിലെടുക്കുക, റൺടൈമിൽ ഞങ്ങൾ ഓഫ്‌ലൈനിൽ ലഭിച്ച ഉപയോക്തൃ എംബെഡിംഗുകൾ ഉപയോഗിക്കില്ല. പകരം, ഞങ്ങൾ ഒരു ALS ഘട്ടം ചെയ്യുകയും യഥാർത്ഥ ഉപയോക്തൃ വെക്റ്റർ നേടുകയും ചെയ്യുന്നു.

മറ്റൊരു ഡൊമെയ്ൻ ഏരിയയിലേക്ക് മാറ്റുക

ഒരു വീഡിയോയുടെ വെക്റ്റർ പ്രാതിനിധ്യം നിർമ്മിക്കുന്നതിന് ടെക്സ്റ്റ് ലേഖനങ്ങളിൽ ഉപയോക്തൃ ഫീഡ്ബാക്ക് എങ്ങനെ ഉപയോഗിക്കാം?

തുടക്കത്തിൽ, ടെക്സ്റ്റ് ലേഖനങ്ങൾ മാത്രമേ ഞങ്ങൾ ശുപാർശ ചെയ്തിട്ടുള്ളൂ, അതിനാൽ ഞങ്ങളുടെ പല അൽഗോരിതങ്ങളും ഇത്തരത്തിലുള്ള ഉള്ളടക്കത്തിന് അനുയോജ്യമാണ്. എന്നാൽ മറ്റ് തരത്തിലുള്ള ഉള്ളടക്കങ്ങൾ ചേർക്കുമ്പോൾ, മോഡലുകൾ പൊരുത്തപ്പെടുത്തേണ്ടതിൻ്റെ ആവശ്യകത ഞങ്ങൾ അഭിമുഖീകരിച്ചു. ഒരു വീഡിയോ ഉദാഹരണം ഉപയോഗിച്ച് ഞങ്ങൾ ഈ പ്രശ്നം എങ്ങനെ പരിഹരിച്ചു? എല്ലാ മോഡലുകളും ആദ്യം മുതൽ വീണ്ടും പരിശീലിപ്പിക്കുക എന്നതാണ് ഒരു ഓപ്ഷൻ. എന്നാൽ ഇതിന് വളരെ സമയമെടുക്കും, കൂടാതെ ചില അൽഗോരിതങ്ങൾ പരിശീലന സാമ്പിളിൻ്റെ വലുപ്പത്തിൽ ആവശ്യപ്പെടുന്നു, സേവനത്തിലെ ജീവിതത്തിൻ്റെ ആദ്യ നിമിഷങ്ങളിൽ ഒരു പുതിയ തരം ഉള്ളടക്കത്തിന് ആവശ്യമായ അളവിൽ ഇതുവരെ ലഭ്യമല്ല.

ഞങ്ങൾ മറ്റൊരു വഴിക്ക് പോയി, വീഡിയോയ്‌ക്കായി ടെക്‌സ്‌റ്റ് മോഡലുകൾ വീണ്ടും ഉപയോഗിച്ചു. വീഡിയോകളുടെ വെക്റ്റർ പ്രാതിനിധ്യം സൃഷ്ടിക്കാൻ ഇതേ ALS ട്രിക്ക് ഞങ്ങളെ സഹായിച്ചു. വാചക ലേഖനങ്ങളെ അടിസ്ഥാനമാക്കി ഞങ്ങൾ ഉപയോക്താക്കളുടെ വെക്റ്റർ പ്രാതിനിധ്യം എടുക്കുകയും വീഡിയോ കാഴ്ച വിവരങ്ങൾ ഉപയോഗിച്ച് ഒരു ALS ഘട്ടം ചെയ്യുകയും ചെയ്തു. അതിനാൽ വീഡിയോയുടെ വെക്റ്റർ പ്രാതിനിധ്യം ഞങ്ങൾക്ക് എളുപ്പത്തിൽ ലഭിച്ചു. കൂടാതെ റൺടൈമിൽ ടെക്സ്റ്റ് ലേഖനങ്ങളിൽ നിന്നും വീഡിയോ വെക്റ്ററിൽ നിന്നും ലഭിക്കുന്ന ഉപയോക്തൃ വെക്റ്ററും തമ്മിലുള്ള സാമീപ്യം ഞങ്ങൾ കണക്കാക്കുന്നു.

തീരുമാനം

ഒരു തത്സമയ ശുപാർശ സംവിധാനത്തിൻ്റെ കാതൽ വികസിപ്പിക്കുന്നത് നിരവധി വെല്ലുവിളികൾ ഉൾക്കൊള്ളുന്നു. ഈ ഡാറ്റ ഫലപ്രദമായി ഉപയോഗിക്കുന്നതിന് നിങ്ങൾ വേഗത്തിൽ ഡാറ്റ പ്രോസസ്സ് ചെയ്യുകയും ML രീതികൾ പ്രയോഗിക്കുകയും ചെയ്യേണ്ടതുണ്ട്; ചുരുങ്ങിയ സമയത്തിനുള്ളിൽ ഉപയോക്തൃ സിഗ്നലുകളും പുതിയ ഉള്ളടക്ക യൂണിറ്റുകളും പ്രോസസ്സ് ചെയ്യാൻ കഴിവുള്ള സങ്കീർണ്ണമായ വിതരണ സംവിധാനങ്ങൾ നിർമ്മിക്കുക; കൂടാതെ മറ്റു പല ജോലികളും.

നിലവിലെ സിസ്റ്റത്തിൽ, ഞാൻ വിവരിച്ച രൂപകൽപ്പനയിൽ, ഉപയോക്താവിനുള്ള ശുപാർശകളുടെ ഗുണനിലവാരം അവൻ്റെ പ്രവർത്തനവും സേവനത്തിൽ താമസിക്കുന്ന ദൈർഘ്യവും വർദ്ധിക്കുന്നു. എന്നാൽ തീർച്ചയായും, ഇവിടെയാണ് പ്രധാന ബുദ്ധിമുട്ട്: ഉള്ളടക്കവുമായി കാര്യമായ ഇടപെടൽ ഇല്ലാത്ത ഒരു വ്യക്തിയുടെ താൽപ്പര്യങ്ങൾ ഉടനടി മനസ്സിലാക്കാൻ സിസ്റ്റത്തിന് ബുദ്ധിമുട്ടാണ്. പുതിയ ഉപയോക്താക്കൾക്കുള്ള ശുപാർശകൾ മെച്ചപ്പെടുത്തുക എന്നതാണ് ഞങ്ങളുടെ പ്രധാന ലക്ഷ്യം. ഞങ്ങൾ അൽഗരിതങ്ങൾ ഒപ്റ്റിമൈസ് ചെയ്യുന്നത് തുടരും, അതിലൂടെ ഒരു വ്യക്തിക്ക് പ്രസക്തമായ ഉള്ളടക്കം വേഗത്തിൽ അവൻ്റെ ഫീഡിൽ എത്തുകയും അപ്രസക്തമായ ഉള്ളടക്കം കാണിക്കാതിരിക്കുകയും ചെയ്യും.

അവലംബം: www.habr.com