અમે ભલામણોની પસંદગીની ગુણવત્તા અને ઝડપ પર કેવી રીતે કામ કરીએ છીએ

મારું નામ પાવેલ પાર્કહોમેન્કો છે, હું ML ડેવલપર છું. આ લેખમાં, હું Yandex.Zen સેવાની રચના વિશે વાત કરવા અને તકનીકી સુધારાઓ શેર કરવા માંગુ છું, જેના અમલીકરણથી ભલામણોની ગુણવત્તામાં વધારો કરવાનું શક્ય બન્યું છે. આ પોસ્ટમાંથી તમે શીખી શકશો કે કેવી રીતે લાખો દસ્તાવેજોમાંથી વપરાશકર્તા માટે સૌથી વધુ સુસંગત શોધવી તે માત્ર થોડી મિલીસેકંડમાં; મોટા મેટ્રિક્સનું સતત વિઘટન કેવી રીતે કરવું (લાખો કૉલમ અને લાખો પંક્તિઓનો સમાવેશ થાય છે) જેથી નવા દસ્તાવેજો દસ મિનિટમાં તેમનો વેક્ટર પ્રાપ્ત કરી શકે; વિડિઓ માટે સારી વેક્ટર રજૂઆત મેળવવા માટે વપરાશકર્તા-લેખ મેટ્રિક્સ વિઘટનનો ફરીથી ઉપયોગ કેવી રીતે કરવો.

અમારા ભલામણ ડેટાબેઝમાં વિવિધ ફોર્મેટના લાખો દસ્તાવેજો છે: અમારા પ્લેટફોર્મ પર બનાવેલ ટેક્સ્ટ લેખો અને બાહ્ય સાઇટ્સ, વિડિઓઝ, વર્ણનો અને ટૂંકી પોસ્ટ્સમાંથી લેવામાં આવ્યા છે. આવી સેવાનો વિકાસ મોટી સંખ્યામાં તકનીકી પડકારો સાથે સંકળાયેલ છે. અહીં તેમાંથી કેટલાક છે:

• કમ્પ્યુટિંગ કાર્યોને વિભાજિત કરો: તમામ ભારે ઑપરેશન ઑફલાઇન કરો, અને વાસ્તવિક સમયમાં માત્ર 100-200 ms માટે જવાબદાર બનવા માટે મોડલની ઝડપી એપ્લિકેશન કરો.
• વપરાશકર્તાની ક્રિયાઓને ઝડપથી ધ્યાનમાં લો. આ કરવા માટે, તે જરૂરી છે કે બધી ઇવેન્ટ્સ તાત્કાલિક ભલામણકર્તાને વિતરિત કરવામાં આવે અને મોડેલોના પરિણામોને પ્રભાવિત કરે.
• ફીડ બનાવો જેથી નવા વપરાશકર્તાઓ માટે તે ઝડપથી તેમની વર્તણૂકને સ્વીકારે. જે લોકો હમણાં જ સિસ્ટમમાં જોડાયા છે તેઓએ એવું અનુભવવું જોઈએ કે તેમના પ્રતિસાદ ભલામણોને પ્રભાવિત કરે છે.
• નવા લેખની ભલામણ કોને કરવી તે ઝડપથી સમજો.
• નવી સામગ્રીના સતત ઉદભવને ઝડપથી પ્રતિસાદ આપો. દરરોજ હજારો લેખો પ્રકાશિત થાય છે, અને તેમાંના ઘણાની આયુષ્ય મર્યાદિત છે (કહો, સમાચાર). આ તે છે જે તેમને ફિલ્મો, સંગીત અને અન્ય લાંબા સમય સુધી ચાલતી અને ખર્ચાળ સામગ્રી બનાવવા માટે અલગ પાડે છે.
• જ્ઞાનને એક ડોમેન વિસ્તારમાંથી બીજામાં સ્થાનાંતરિત કરો. જો ભલામણ પ્રણાલીમાં ટેક્સ્ટ લેખો માટે પ્રશિક્ષિત મૉડલ હોય અને અમે તેમાં વિડિયો ઉમેરીએ, તો અમે હાલના મૉડલનો ફરીથી ઉપયોગ કરી શકીએ છીએ જેથી કરીને નવા પ્રકારની સામગ્રી વધુ સારી રીતે આવે.

હું તમને કહીશ કે અમે આ સમસ્યાઓ કેવી રીતે હલ કરી.

ઉમેદવારોની પસંદગી

રેન્કિંગની ગુણવત્તામાં વર્ચ્યુઅલ રીતે કોઈ બગાડ કર્યા વિના, વિચારણા હેઠળના દસ્તાવેજોની સંખ્યાને થોડી મિલીસેકન્ડમાં હજારો વખત કેવી રીતે ઘટાડવી?

ધારો કે અમે ઘણા ML મૉડલને તાલીમ આપી છે, તેના આધારે વિશેષતાઓ જનરેટ કરી છે અને બીજા મૉડલને તાલીમ આપી છે જે વપરાશકર્તા માટે દસ્તાવેજોને રેન્ક આપે છે. બધું બરાબર હશે, પરંતુ તમે વાસ્તવિક સમયમાં બધા દસ્તાવેજો માટેના તમામ ચિહ્નો લઈ શકતા નથી અને ગણતરી કરી શકતા નથી, જો આમાં લાખો દસ્તાવેજો હોય, અને ભલામણો 100-200 ms માં બનાવવાની જરૂર હોય. કાર્ય લાખોમાંથી ચોક્કસ સબસેટ પસંદ કરવાનું છે, જે વપરાશકર્તા માટે ક્રમાંકિત કરવામાં આવશે. આ તબક્કાને સામાન્ય રીતે ઉમેદવાર પસંદગી કહેવામાં આવે છે. તેના માટે ઘણી જરૂરિયાતો છે. પ્રથમ, પસંદગી ખૂબ જ ઝડપથી થવી જોઈએ, જેથી શક્ય તેટલો સમય રેન્કિંગ માટે જ બાકી રહે. બીજું, રેન્કિંગ માટે દસ્તાવેજોની સંખ્યામાં મોટા પ્રમાણમાં ઘટાડો કર્યા પછી, આપણે વપરાશકર્તાને સંબંધિત દસ્તાવેજોને શક્ય તેટલા સંપૂર્ણ રીતે સાચવવા જોઈએ.

ઉમેદવાર પસંદગીનો અમારો સિદ્ધાંત વિકસિત થયો છે, અને આ ક્ષણે અમે બહુ-તબક્કાની યોજના પર પહોંચ્યા છીએ:

પ્રથમ, બધા દસ્તાવેજોને જૂથોમાં વિભાજિત કરવામાં આવે છે, અને સૌથી વધુ લોકપ્રિય દસ્તાવેજો દરેક જૂથમાંથી લેવામાં આવે છે. જૂથો સાઇટ્સ, વિષયો, ક્લસ્ટરો હોઈ શકે છે. દરેક વપરાશકર્તા માટે, તેના ઇતિહાસના આધારે, તેની નજીકના જૂથો પસંદ કરવામાં આવે છે અને તેમની પાસેથી શ્રેષ્ઠ દસ્તાવેજો લેવામાં આવે છે. અમે વાસ્તવિક સમયમાં વપરાશકર્તાની સૌથી નજીકના દસ્તાવેજો પસંદ કરવા માટે kNN ઇન્ડેક્સનો પણ ઉપયોગ કરીએ છીએ. kNN ઇન્ડેક્સ બનાવવા માટે ઘણી પદ્ધતિઓ છે; અમારી શ્રેષ્ઠ રીતે કામ કર્યું HNSW (હાયરાર્કિકલ નેવિગેબલ સ્મોલ વર્લ્ડ આલેખ). આ એક હાયરાર્કિકલ મોડલ છે જે તમને લાખોના ડેટાબેઝમાંથી અમુક મિલિસેકંડમાં વપરાશકર્તા માટે સૌથી નજીકના N વેક્ટર શોધવાની મંજૂરી આપે છે. અમે પહેલા અમારા સમગ્ર દસ્તાવેજ ડેટાબેઝને ઑફલાઇન ઇન્ડેક્સ કરીએ છીએ. અનુક્રમણિકામાં શોધ ખૂબ જ ઝડપથી કામ કરે છે, જો ત્યાં ઘણા મજબૂત એમ્બેડિંગ્સ હોય, તો તમે ઘણા અનુક્રમણિકાઓ (દરેક એમ્બેડિંગ માટે એક અનુક્રમણિકા) બનાવી શકો છો અને તેમાંથી દરેકને વાસ્તવિક સમયમાં ઍક્સેસ કરી શકો છો.

અમારી પાસે હજુ પણ દરેક વપરાશકર્તા માટે હજારો દસ્તાવેજો છે. બધી સુવિધાઓની ગણતરી કરવા માટે આ હજી ઘણું છે, તેથી આ તબક્કે અમે હળવા રેન્કિંગનો ઉપયોગ કરીએ છીએ - ઓછા લક્ષણો સાથે હળવા વજનનું ભારે રેન્કિંગ મોડેલ. કાર્ય એ આગાહી કરવાનું છે કે ભારે મોડેલમાં કયા દસ્તાવેજો ટોચ પર હશે. હેવી મોડલમાં એટલે કે રેન્કિંગના છેલ્લા તબક્કામાં સૌથી વધુ આગાહી કરનારા દસ્તાવેજોનો ઉપયોગ કરવામાં આવશે. આ અભિગમ તમને વપરાશકર્તા માટે ધ્યાનમાં લેવામાં આવતા દસ્તાવેજોના ડેટાબેઝને લાખોથી હજારો મિલીસેકંડમાં ઘટાડવાની મંજૂરી આપે છે.

ALS રનટાઇમમાં પગલું

એક ક્લિક પછી તરત જ યુઝર ફીડબેકને કેવી રીતે ધ્યાનમાં લેવું?

ભલામણોમાં એક મહત્વપૂર્ણ પરિબળ એ વપરાશકર્તા પ્રતિસાદનો પ્રતિસાદ સમય છે. આ ખાસ કરીને નવા વપરાશકર્તાઓ માટે મહત્વપૂર્ણ છે: જ્યારે કોઈ વ્યક્તિ ભલામણ સિસ્ટમનો ઉપયોગ કરવાનું શરૂ કરે છે, ત્યારે તેને વિવિધ વિષયોના દસ્તાવેજોની બિન-વ્યક્તિગત ફીડ પ્રાપ્ત થાય છે. જલદી તે પ્રથમ ક્લિક કરે છે, તમારે તરત જ આને ધ્યાનમાં લેવાની અને તેની રુચિઓ સાથે અનુકૂલન કરવાની જરૂર છે. જો તમે ઑફલાઇન તમામ પરિબળોની ગણતરી કરો છો, તો વિલંબને કારણે ઝડપી સિસ્ટમ પ્રતિસાદ અશક્ય બની જશે. તેથી વાસ્તવિક સમયમાં વપરાશકર્તાની ક્રિયાઓ પર પ્રક્રિયા કરવી જરૂરી છે. આ હેતુઓ માટે, અમે વપરાશકર્તાની વેક્ટર રજૂઆત બનાવવા માટે રનટાઇમ પર ALS સ્ટેપનો ઉપયોગ કરીએ છીએ.

ચાલો ધારીએ કે અમારી પાસે બધા દસ્તાવેજો માટે વેક્ટર પ્રતિનિધિત્વ છે. ઉદાહરણ તરીકે, અમે ELMO, BERT અથવા અન્ય મશીન લર્નિંગ મોડલ્સનો ઉપયોગ કરીને લેખના ટેક્સ્ટના આધારે ઑફલાઇન એમ્બેડિંગ્સ બનાવી શકીએ છીએ. અમે સિસ્ટમમાં તેમની ક્રિયાપ્રતિક્રિયાઓના આધારે સમાન જગ્યામાં વપરાશકર્તાઓનું વેક્ટર પ્રતિનિધિત્વ કેવી રીતે મેળવી શકીએ?

વપરાશકર્તા-દસ્તાવેજ મેટ્રિક્સની રચના અને વિઘટનનો સામાન્ય સિદ્ધાંતચાલો આપણે એમ યુઝર્સ અને એન ડોક્યુમેન્ટ્સ રાખીએ. કેટલાક વપરાશકર્તાઓ માટે, ચોક્કસ દસ્તાવેજો સાથે તેમનો સંબંધ જાણીતો છે. પછી આ માહિતીને mxn મેટ્રિક્સ તરીકે રજૂ કરી શકાય છે: પંક્તિઓ વપરાશકર્તાઓને અનુરૂપ છે, અને કૉલમ દસ્તાવેજોને અનુરૂપ છે. વ્યક્તિએ મોટાભાગના દસ્તાવેજો જોયા ન હોવાથી, મોટાભાગના મેટ્રિક્સ કોષો ખાલી રહેશે, જ્યારે અન્ય ભરવામાં આવશે. દરેક ઇવેન્ટ (જેમ કે નાપસંદ, ક્લિક) માટે મેટ્રિક્સમાં અમુક મૂલ્ય આપવામાં આવ્યું છે - પરંતુ ચાલો એક સરળ મોડેલને ધ્યાનમાં લઈએ જેમાં લાઈક 1 ને અનુલક્ષે છે અને નાપસંદ -1 ને અનુરૂપ છે.

ચાલો મેટ્રિક્સને બે ભાગમાં વિઘટિત કરીએ: P (mxd) અને Q (dxn), જ્યાં d એ વેક્ટર પ્રતિનિધિત્વનું પરિમાણ છે (સામાન્ય રીતે નાની સંખ્યા). પછી દરેક ઑબ્જેક્ટ ડી-ડાયમેન્શનલ વેક્ટરને અનુરૂપ હશે (વપરાશકર્તા માટે - મેટ્રિક્સ P માં એક પંક્તિ, દસ્તાવેજ માટે - મેટ્રિક્સ Q માં એક કૉલમ). આ વેક્ટર અનુરૂપ પદાર્થોના એમ્બેડિંગ્સ હશે. વપરાશકર્તાને દસ્તાવેજ ગમશે કે કેમ તે અનુમાન કરવા માટે, તમે ફક્ત તેમના એમ્બેડિંગ્સનો ગુણાકાર કરી શકો છો.

મેટ્રિક્સને વિઘટન કરવાની સંભવિત રીતોમાંની એક એએલએસ (ઓલ્ટરનેટિંગ લેસ્ટ સ્ક્વેર્સ) છે. અમે નીચેના નુકશાન કાર્યને ઑપ્ટિમાઇઝ કરીશું:

અહીં rui એ દસ્તાવેજ i સાથે વપરાશકર્તા u ની ક્રિયાપ્રતિક્રિયા છે, qi એ દસ્તાવેજ i નો વેક્ટર છે, pu એ વપરાશકર્તા u નો વેક્ટર છે.

પછી સરેરાશ ચોરસ ભૂલના દૃષ્ટિકોણથી શ્રેષ્ઠ વપરાશકર્તા વેક્ટર (નિશ્ચિત દસ્તાવેજ વેક્ટર માટે) અનુરૂપ રેખીય રીગ્રેસનને હલ કરીને વિશ્લેષણાત્મક રીતે જોવા મળે છે.

આને "ALS સ્ટેપ" કહેવામાં આવે છે. અને ALS એલ્ગોરિધમ પોતે એ છે કે અમે વૈકલ્પિક રીતે એક મેટ્રિસિસ (વપરાશકર્તાઓ અને લેખો) ને ઠીક કરીએ છીએ અને બીજાને અપડેટ કરીએ છીએ, શ્રેષ્ઠ ઉકેલ શોધીએ છીએ.

સદનસીબે, વપરાશકર્તાની વેક્ટર રજૂઆત શોધવી એ એકદમ ઝડપી કામગીરી છે જે વેક્ટર સૂચનાઓનો ઉપયોગ કરીને રનટાઇમ પર કરી શકાય છે. આ યુક્તિ તમને રેન્કિંગમાં તરત જ વપરાશકર્તાના પ્રતિસાદને ધ્યાનમાં લેવાની મંજૂરી આપે છે. ઉમેદવારની પસંદગી સુધારવા માટે kNN ઇન્ડેક્સમાં સમાન એમ્બેડિંગનો ઉપયોગ કરી શકાય છે.

વિતરિત સહયોગી ફિલ્ટરિંગ

ઇન્ક્રીમેન્ટલ ડિસ્ટ્રિબ્યુટેડ મેટ્રિક્સ ફેક્ટરાઇઝેશન કેવી રીતે કરવું અને નવા લેખોની વેક્ટર રજૂઆત ઝડપથી કેવી રીતે શોધવી?

ભલામણ સંકેતોનો એકમાત્ર સ્ત્રોત સામગ્રી નથી. અન્ય મહત્વપૂર્ણ સ્ત્રોત સહયોગી માહિતી છે. સારી રેન્કિંગ સુવિધાઓ પરંપરાગત રીતે વપરાશકર્તા-દસ્તાવેજ મેટ્રિક્સના વિઘટનમાંથી મેળવી શકાય છે. પરંતુ આવા વિઘટન કરવાનો પ્રયાસ કરતી વખતે, અમને સમસ્યાઓનો સામનો કરવો પડ્યો:

1. અમારી પાસે લાખો દસ્તાવેજો અને લાખો વપરાશકર્તાઓ છે. મેટ્રિક્સ એક મશીન પર સંપૂર્ણપણે ફિટ થતું નથી, અને વિઘટનમાં ઘણો સમય લાગશે.
2. સિસ્ટમમાં મોટાભાગની સામગ્રીનું આયુષ્ય ટૂંકું છે: દસ્તાવેજો માત્ર થોડા કલાકો માટે સુસંગત રહે છે. તેથી, શક્ય તેટલી ઝડપથી તેમની વેક્ટર રજૂઆતનું નિર્માણ કરવું જરૂરી છે.
3. જો તમે દસ્તાવેજ પ્રકાશિત થયા પછી તરત જ વિઘટન બનાવો છો, તો પર્યાપ્ત સંખ્યામાં વપરાશકર્તાઓ પાસે તેનું મૂલ્યાંકન કરવા માટે સમય નહીં હોય. તેથી, તેનું વેક્ટર પ્રતિનિધિત્વ મોટે ભાગે બહુ સારું નહીં હોય.
4. જો કોઈ વપરાશકર્તા પસંદ કરે અથવા નાપસંદ કરે, તો અમે તેને વિઘટનમાં તરત જ ધ્યાનમાં લઈ શકીશું નહીં.

આ સમસ્યાઓને ઉકેલવા માટે, અમે વારંવાર વધારાના અપડેટ્સ સાથે વપરાશકર્તા-દસ્તાવેજ મેટ્રિક્સનું વિતરિત વિઘટન લાગુ કર્યું છે. તે બરાબર કેવી રીતે કામ કરે છે?

ધારો કે અમારી પાસે N મશીનોનું ક્લસ્ટર છે (N સેંકડોમાં છે) અને અમે તેમના પર મેટ્રિક્સનું વિતરિત વિઘટન કરવા માંગીએ છીએ જે એક મશીન પર ફિટ ન થાય. પ્રશ્ન એ છે કે આ વિઘટન કેવી રીતે કરવું જેથી એક તરફ, દરેક મશીન પર પૂરતો ડેટા હોય અને બીજી બાજુ, જેથી ગણતરીઓ સ્વતંત્ર હોય?

અમે ઉપર વર્ણવેલ ALS વિઘટન અલ્ગોરિધમનો ઉપયોગ કરીશું. ચાલો જોઈએ કે વિતરિત રીતે એક ALS પગલું કેવી રીતે ચલાવવું - બાકીના પગલાં સમાન હશે. ચાલો કહીએ કે અમારી પાસે દસ્તાવેજોનું નિશ્ચિત મેટ્રિક્સ છે અને અમે વપરાશકર્તાઓનું મેટ્રિક્સ બનાવવા માંગીએ છીએ. આ કરવા માટે, અમે તેને લીટીઓ દ્વારા N ભાગોમાં વિભાજીત કરીશું, દરેક ભાગમાં લગભગ સમાન સંખ્યામાં રેખાઓ હશે. અમે દરેક મશીનને અનુરૂપ પંક્તિઓના બિન-ખાલી કોષો, તેમજ દસ્તાવેજ એમ્બેડિંગ્સનું મેટ્રિક્સ (સંપૂર્ણપણે) મોકલીશું. તેનું કદ બહુ મોટું ન હોવાથી, અને વપરાશકર્તા-દસ્તાવેજ મેટ્રિક્સ સામાન્ય રીતે ખૂબ જ છૂટાછવાયા હોવાથી, આ ડેટા નિયમિત મશીન પર ફિટ થશે.

આ યુક્તિને ઘણા યુગોમાં પુનરાવર્તિત કરી શકાય છે જ્યાં સુધી મોડેલ કન્વર્જ ન થાય, નિશ્ચિત મેટ્રિક્સને એક પછી એક બદલીને. પરંતુ તેમ છતાં, મેટ્રિક્સ વિઘટનમાં ઘણા કલાકો લાગી શકે છે. અને આ સમસ્યાને હલ કરતું નથી કે તમારે નવા દસ્તાવેજોના એમ્બેડિંગ્સને ઝડપથી પ્રાપ્ત કરવાની જરૂર છે અને તેનાં એમ્બેડિંગ્સને અપડેટ કરવાની જરૂર છે જેના વિશે મોડેલ બનાવતી વખતે થોડી માહિતી હતી.

ઝડપી ઇન્ક્રીમેન્ટલ મોડલ અપડેટ્સની રજૂઆતે અમને મદદ કરી. ચાલો કહીએ કે અમારી પાસે હાલમાં પ્રશિક્ષિત મોડેલ છે. તેણીની તાલીમ પછી, ત્યાં નવા લેખો આવ્યા છે જેની સાથે અમારા વપરાશકર્તાઓએ ક્રિયાપ્રતિક્રિયા કરી છે, તેમજ તે લેખો કે જેમાં તાલીમ દરમિયાન ઓછી ક્રિયાપ્રતિક્રિયા હતી. આવા લેખોના એમ્બેડિંગ્સ ઝડપથી મેળવવા માટે, અમે મોડેલની પ્રથમ મોટી તાલીમ દરમિયાન મેળવેલા વપરાશકર્તા એમ્બેડિંગ્સનો ઉપયોગ કરીએ છીએ અને નિશ્ચિત વપરાશકર્તા મેટ્રિક્સ આપવામાં આવેલ દસ્તાવેજ મેટ્રિક્સની ગણતરી કરવા માટે એક ALS પગલું કરીએ છીએ. આ તમને ખૂબ જ ઝડપથી એમ્બેડિંગ્સ પ્રાપ્ત કરવાની મંજૂરી આપે છે - દસ્તાવેજ પ્રકાશિત થયા પછી થોડીવારમાં - અને ઘણીવાર તાજેતરના દસ્તાવેજોના એમ્બેડિંગ્સને અપડેટ કરે છે.

માનવીય ક્રિયાઓને ધ્યાનમાં રાખીને તરત જ ભલામણો કરવા માટે, રનટાઇમમાં અમે ઑફલાઇન મેળવેલા વપરાશકર્તા એમ્બેડિંગ્સનો ઉપયોગ કરતા નથી. તેના બદલે, અમે ALS પગલું કરીએ છીએ અને વાસ્તવિક વપરાશકર્તા વેક્ટર મેળવીએ છીએ.

બીજા ડોમેન વિસ્તારમાં સ્થાનાંતરિત કરો

વિડિઓનું વેક્ટર પ્રતિનિધિત્વ બનાવવા માટે ટેક્સ્ટ લેખો પર વપરાશકર્તા પ્રતિસાદનો ઉપયોગ કેવી રીતે કરવો?

શરૂઆતમાં, અમે ફક્ત ટેક્સ્ટ લેખોની ભલામણ કરી હતી, તેથી અમારા ઘણા અલ્ગોરિધમ્સ આ પ્રકારની સામગ્રીને અનુરૂપ છે. પરંતુ અન્ય પ્રકારની સામગ્રી ઉમેરતી વખતે, અમને મોડેલોને અનુકૂલિત કરવાની જરૂરિયાતનો સામનો કરવો પડ્યો. અમે વિડિઓ ઉદાહરણનો ઉપયોગ કરીને આ સમસ્યાને કેવી રીતે હલ કરી? એક વિકલ્પ એ છે કે શરૂઆતથી તમામ મોડલ્સને ફરીથી તાલીમ આપવી. પરંતુ આ લાંબો સમય લે છે, અને કેટલાક એલ્ગોરિધમ્સ તાલીમ નમૂનાના કદ પર માંગ કરી રહ્યા છે, જે સેવા પર તેના જીવનની પ્રથમ ક્ષણોમાં નવી પ્રકારની સામગ્રી માટે જરૂરી જથ્થામાં ઉપલબ્ધ નથી.

અમે બીજી રીતે ગયા અને વિડિઓ માટે ટેક્સ્ટ મોડલ્સનો ફરીથી ઉપયોગ કર્યો. એ જ ALS યુક્તિએ અમને વિડિયોની વેક્ટર રજૂઆત બનાવવામાં મદદ કરી. અમે ટેક્સ્ટ લેખોના આધારે વપરાશકર્તાઓની વેક્ટર રજૂઆત લીધી અને વિડિઓ દૃશ્ય માહિતીનો ઉપયોગ કરીને ALS પગલું કર્યું. તેથી અમને વિડિયોનું વેક્ટર પ્રતિનિધિત્વ સરળતાથી મળી ગયું. અને રનટાઇમ વખતે અમે ટેક્સ્ટ લેખો અને વિડિયો વેક્ટરમાંથી મેળવેલ વપરાશકર્તા વેક્ટર વચ્ચેની નિકટતાની ગણતરી કરીએ છીએ.

નિષ્કર્ષ

રીઅલ-ટાઇમ ભલામણ સિસ્ટમના મુખ્ય વિકાસમાં ઘણા પડકારોનો સમાવેશ થાય છે. આ ડેટાનો અસરકારક રીતે ઉપયોગ કરવા માટે તમારે ઝડપથી ડેટા પર પ્રક્રિયા કરવાની અને ML પદ્ધતિઓ લાગુ કરવાની જરૂર છે; ઓછામાં ઓછા સમયમાં વપરાશકર્તા સંકેતો અને સામગ્રીના નવા એકમો પર પ્રક્રિયા કરવામાં સક્ષમ જટિલ વિતરિત સિસ્ટમ્સ બનાવો; અને અન્ય ઘણા કાર્યો.

વર્તમાન સિસ્ટમમાં, મેં જે ડિઝાઇનનું વર્ણન કર્યું છે, વપરાશકર્તા માટે ભલામણોની ગુણવત્તા તેની પ્રવૃત્તિ અને સેવા પર રહેવાની લંબાઈ સાથે વધે છે. પરંતુ અલબત્ત, અહીં મુખ્ય મુશ્કેલી છે: સામગ્રી સાથે ઓછી ક્રિયાપ્રતિક્રિયા ધરાવતા વ્યક્તિના હિતોને તરત જ સમજવું સિસ્ટમ માટે મુશ્કેલ છે. નવા વપરાશકર્તાઓ માટે ભલામણોમાં સુધારો કરવો એ અમારું મુખ્ય ધ્યેય છે. અમે એલ્ગોરિધમ્સને ઑપ્ટિમાઇઝ કરવાનું ચાલુ રાખીશું જેથી કરીને વ્યક્તિ સાથે સંબંધિત સામગ્રી તેના ફીડમાં ઝડપથી આવે અને અપ્રસ્તુત સામગ્રી બતાવવામાં ન આવે.

સોર્સ: www.habr.com