ਅਸੀਂ ਸਿਫ਼ਾਰਸ਼ਾਂ ਦੀ ਚੋਣ ਦੀ ਗੁਣਵੱਤਾ ਅਤੇ ਗਤੀ 'ਤੇ ਕਿਵੇਂ ਕੰਮ ਕਰਦੇ ਹਾਂ

ਮੇਰਾ ਨਾਮ ਪਾਵੇਲ ਪਾਰਕੋਮੇਂਕੋ ਹੈ, ਅਤੇ ਮੈਂ ਇੱਕ ML ਡਿਵੈਲਪਰ ਹਾਂ। ਇਸ ਲੇਖ ਵਿੱਚ, ਮੈਂ Yandex.Zen ਦੇ ਡਿਜ਼ਾਈਨ ਬਾਰੇ ਦੱਸਣਾ ਚਾਹੁੰਦਾ ਹਾਂ ਅਤੇ ਉਨ੍ਹਾਂ ਤਕਨੀਕੀ ਸੁਧਾਰਾਂ ਨੂੰ ਸਾਂਝਾ ਕਰਨਾ ਚਾਹੁੰਦਾ ਹਾਂ ਜਿਨ੍ਹਾਂ ਨੇ ਸਿਫ਼ਾਰਸ਼ਾਂ ਦੀ ਗੁਣਵੱਤਾ ਵਿੱਚ ਸੁਧਾਰ ਕੀਤਾ ਹੈ। ਇਸ ਪੋਸਟ ਵਿੱਚ, ਤੁਸੀਂ ਸਿੱਖੋਗੇ ਕਿ ਲੱਖਾਂ ਦਸਤਾਵੇਜ਼ਾਂ ਵਿੱਚੋਂ ਸਭ ਤੋਂ ਢੁਕਵੇਂ ਦਸਤਾਵੇਜ਼ਾਂ ਨੂੰ ਸਿਰਫ਼ ਕੁਝ ਮਿਲੀਸਕਿੰਟਾਂ ਵਿੱਚ ਕਿਵੇਂ ਲੱਭਣਾ ਹੈ; ਇੱਕ ਵੱਡੇ ਮੈਟ੍ਰਿਕਸ (ਲੱਖਾਂ ਕਾਲਮਾਂ ਅਤੇ ਲੱਖਾਂ ਕਤਾਰਾਂ ਵਾਲੇ) ਨੂੰ ਲਗਾਤਾਰ ਕਿਵੇਂ ਫੈਕਟਰਾਈਜ਼ ਕਰਨਾ ਹੈ ਤਾਂ ਜੋ ਨਵੇਂ ਦਸਤਾਵੇਜ਼ ਦਸਾਂ ਮਿੰਟਾਂ ਵਿੱਚ ਆਪਣੇ ਵੈਕਟਰ ਪ੍ਰਾਪਤ ਕਰ ਸਕਣ; ਅਤੇ ਵੀਡੀਓਜ਼ ਲਈ ਇੱਕ ਵਧੀਆ ਵੈਕਟਰ ਪ੍ਰਤੀਨਿਧਤਾ ਪ੍ਰਾਪਤ ਕਰਨ ਲਈ ਉਪਭੋਗਤਾ-ਲੇਖ ਮੈਟ੍ਰਿਕਸ ਫੈਕਟਰਾਈਜ਼ੇਸ਼ਨ ਨੂੰ ਕਿਵੇਂ ਦੁਬਾਰਾ ਵਰਤਣਾ ਹੈ।

ਸਾਡੇ ਸਿਫ਼ਾਰਸ਼ ਡੇਟਾਬੇਸ ਵਿੱਚ ਵੱਖ-ਵੱਖ ਫਾਰਮੈਟਾਂ ਦੇ ਲੱਖਾਂ ਦਸਤਾਵੇਜ਼ ਹਨ: ਸਾਡੇ ਪਲੇਟਫਾਰਮ 'ਤੇ ਬਣਾਏ ਗਏ ਟੈਕਸਟ ਲੇਖ ਅਤੇ ਬਾਹਰੀ ਵੈੱਬਸਾਈਟਾਂ, ਵੀਡੀਓਜ਼, ਬਿਰਤਾਂਤਾਂ ਅਤੇ ਛੋਟੀਆਂ ਪੋਸਟਾਂ ਤੋਂ ਲਏ ਗਏ। ਅਜਿਹੀ ਸੇਵਾ ਵਿਕਸਤ ਕਰਨ ਵਿੱਚ ਕਈ ਤਕਨੀਕੀ ਚੁਣੌਤੀਆਂ ਪੇਸ਼ ਆਉਂਦੀਆਂ ਹਨ। ਇੱਥੇ ਉਨ੍ਹਾਂ ਵਿੱਚੋਂ ਕੁਝ ਹਨ:

• ਕੰਪਿਊਟੇਸ਼ਨਲ ਕੰਮਾਂ ਨੂੰ ਵੰਡੋ: ਸਾਰੇ ਭਾਰੀ ਕਾਰਜ ਔਫਲਾਈਨ ਕਰੋ, ਅਤੇ ਸਿਰਫ ਰੀਅਲ ਟਾਈਮ ਵਿੱਚ ਤੇਜ਼ ਮਾਡਲ ਐਪਲੀਕੇਸ਼ਨ ਕਰੋ, ਤਾਂ ਜੋ ਜਵਾਬ ਸਮਾਂ 100-200 ms ਦੇ ਅੰਦਰ ਹੋਵੇ।
• ਉਪਭੋਗਤਾ ਕਾਰਵਾਈਆਂ ਨੂੰ ਜਲਦੀ ਸ਼ਾਮਲ ਕਰੋ। ਇਸ ਲਈ ਜ਼ਰੂਰੀ ਹੈ ਕਿ ਸਾਰੀਆਂ ਘਟਨਾਵਾਂ ਤੁਰੰਤ ਸਿਫ਼ਾਰਸ਼ਕਰਤਾ ਨੂੰ ਦਿੱਤੀਆਂ ਜਾਣ ਅਤੇ ਮਾਡਲਾਂ ਦੇ ਪ੍ਰਦਰਸ਼ਨ ਨੂੰ ਪ੍ਰਭਾਵਿਤ ਕੀਤਾ ਜਾਵੇ।
• ਫੀਡ ਨੂੰ ਇਸ ਤਰ੍ਹਾਂ ਡਿਜ਼ਾਈਨ ਕਰੋ ਕਿ ਇਹ ਨਵੇਂ ਉਪਭੋਗਤਾਵਾਂ ਦੇ ਵਿਵਹਾਰ ਦੇ ਅਨੁਸਾਰ ਜਲਦੀ ਢਲ ਜਾਵੇ। ਨਵੇਂ ਉਪਭੋਗਤਾਵਾਂ ਨੂੰ ਇਹ ਮਹਿਸੂਸ ਹੋਣਾ ਚਾਹੀਦਾ ਹੈ ਕਿ ਉਨ੍ਹਾਂ ਦੀ ਫੀਡਬੈਕ ਸਿਫ਼ਾਰਸ਼ਾਂ ਨੂੰ ਪ੍ਰਭਾਵਿਤ ਕਰਦੀ ਹੈ।
• ਜਲਦੀ ਸਮਝੋ ਕਿ ਨਵੇਂ ਲੇਖ ਦੀ ਸਿਫ਼ਾਰਸ਼ ਕਿਸ ਨੂੰ ਕਰਨੀ ਹੈ।
• ਨਵੀਂ ਸਮੱਗਰੀ ਦੇ ਲਗਾਤਾਰ ਉਭਰਨ 'ਤੇ ਜਲਦੀ ਪ੍ਰਤੀਕਿਰਿਆ ਕਰੋ। ਹਰ ਰੋਜ਼ ਹਜ਼ਾਰਾਂ ਲੇਖ ਪ੍ਰਕਾਸ਼ਿਤ ਹੁੰਦੇ ਹਨ, ਅਤੇ ਉਨ੍ਹਾਂ ਵਿੱਚੋਂ ਬਹੁਤ ਸਾਰੇ (ਜਿਵੇਂ ਕਿ ਖ਼ਬਰਾਂ, ਉਦਾਹਰਣ ਵਜੋਂ) ਦੀ ਉਮਰ ਸੀਮਤ ਹੁੰਦੀ ਹੈ। ਇਹ ਉਹਨਾਂ ਨੂੰ ਫਿਲਮਾਂ, ਸੰਗੀਤ, ਅਤੇ ਹੋਰ ਲੰਬੇ ਸਮੇਂ ਤੱਕ ਚੱਲਣ ਵਾਲੀ ਅਤੇ ਮਹਿੰਗੀ ਪੈਦਾ ਕੀਤੀ ਸਮੱਗਰੀ ਤੋਂ ਵੱਖਰਾ ਕਰਦਾ ਹੈ।
• ਗਿਆਨ ਨੂੰ ਇੱਕ ਡੋਮੇਨ ਤੋਂ ਦੂਜੇ ਡੋਮੇਨ ਵਿੱਚ ਟ੍ਰਾਂਸਫਰ ਕਰੋ। ਜੇਕਰ ਕਿਸੇ ਸਿਫਾਰਿਸ਼ਕਰਤਾ ਸਿਸਟਮ ਕੋਲ ਟੈਕਸਟ ਲੇਖਾਂ ਲਈ ਸਿਖਲਾਈ ਪ੍ਰਾਪਤ ਮਾਡਲ ਹਨ ਅਤੇ ਅਸੀਂ ਵੀਡੀਓ ਜੋੜਦੇ ਹਾਂ, ਤਾਂ ਅਸੀਂ ਨਵੀਂ ਸਮੱਗਰੀ ਕਿਸਮਾਂ ਦੀ ਦਰਜਾਬੰਦੀ ਨੂੰ ਬਿਹਤਰ ਬਣਾਉਣ ਲਈ ਮੌਜੂਦਾ ਮਾਡਲਾਂ ਦੀ ਮੁੜ ਵਰਤੋਂ ਕਰ ਸਕਦੇ ਹਾਂ।

ਮੈਂ ਤੁਹਾਨੂੰ ਦੱਸਾਂਗਾ ਕਿ ਅਸੀਂ ਇਨ੍ਹਾਂ ਸਮੱਸਿਆਵਾਂ ਨੂੰ ਕਿਵੇਂ ਹੱਲ ਕੀਤਾ।

ਉਮੀਦਵਾਰਾਂ ਦੀ ਚੋਣ

ਅਸੀਂ ਕੁਝ ਮਿਲੀਸਕਿੰਟਾਂ ਵਿੱਚ ਹਜ਼ਾਰਾਂ ਦੇ ਕਾਰਕ ਦੁਆਰਾ ਵਿਚਾਰੇ ਜਾ ਰਹੇ ਦਸਤਾਵੇਜ਼ਾਂ ਦੀ ਗਿਣਤੀ ਨੂੰ ਕਿਵੇਂ ਘਟਾ ਸਕਦੇ ਹਾਂ, ਜਿਸਦਾ ਰੈਂਕਿੰਗ ਗੁਣਵੱਤਾ 'ਤੇ ਕੋਈ ਪ੍ਰਭਾਵ ਨਹੀਂ ਪੈਂਦਾ?

ਮੰਨ ਲਓ ਕਿ ਅਸੀਂ ਕਈ ML ਮਾਡਲਾਂ ਨੂੰ ਸਿਖਲਾਈ ਦਿੱਤੀ ਹੈ, ਉਨ੍ਹਾਂ 'ਤੇ ਆਧਾਰਿਤ ਵਿਸ਼ੇਸ਼ਤਾਵਾਂ ਤਿਆਰ ਕੀਤੀਆਂ ਹਨ, ਅਤੇ ਇੱਕ ਹੋਰ ਮਾਡਲ ਨੂੰ ਸਿਖਲਾਈ ਦਿੱਤੀ ਹੈ ਜੋ ਉਪਭੋਗਤਾ ਲਈ ਦਸਤਾਵੇਜ਼ਾਂ ਨੂੰ ਦਰਜਾ ਦਿੰਦਾ ਹੈ। ਇਹ ਸਭ ਠੀਕ ਅਤੇ ਵਧੀਆ ਹੋਵੇਗਾ, ਪਰ ਅਸੀਂ ਸਾਰੇ ਦਸਤਾਵੇਜ਼ਾਂ ਲਈ ਸਾਰੀਆਂ ਵਿਸ਼ੇਸ਼ਤਾਵਾਂ ਨੂੰ ਅਸਲ ਸਮੇਂ ਵਿੱਚ ਗਣਨਾ ਨਹੀਂ ਕਰ ਸਕਦੇ ਜੇਕਰ ਉਹਨਾਂ ਵਿੱਚ ਲੱਖਾਂ ਹਨ, ਅਤੇ ਸਿਫ਼ਾਰਸ਼ਾਂ 100-200 ms ਵਿੱਚ ਤਿਆਰ ਕਰਨ ਦੀ ਲੋੜ ਹੈ। ਟੀਚਾ ਲੱਖਾਂ ਦੇ ਇੱਕ ਉਪ ਸਮੂਹ ਨੂੰ ਚੁਣਨਾ ਹੈ ਜਿਸਨੂੰ ਉਪਭੋਗਤਾ ਲਈ ਦਰਜਾ ਦਿੱਤਾ ਜਾਵੇਗਾ। ਇਸ ਪੜਾਅ ਨੂੰ ਆਮ ਤੌਰ 'ਤੇ ਉਮੀਦਵਾਰ ਚੋਣ ਕਿਹਾ ਜਾਂਦਾ ਹੈ। ਇਸ ਦੀਆਂ ਕਈ ਜ਼ਰੂਰਤਾਂ ਹਨ। ਪਹਿਲਾਂ, ਚੋਣ ਬਹੁਤ ਤੇਜ਼ ਹੋਣੀ ਚਾਹੀਦੀ ਹੈ, ਰੈਂਕਿੰਗ ਪ੍ਰਕਿਰਿਆ ਲਈ ਜਿੰਨਾ ਸੰਭਵ ਹੋ ਸਕੇ ਸਮਾਂ ਛੱਡਣਾ ਚਾਹੀਦਾ ਹੈ। ਦੂਜਾ, ਰੈਂਕਿੰਗ ਲਈ ਦਸਤਾਵੇਜ਼ਾਂ ਦੀ ਗਿਣਤੀ ਨੂੰ ਮਹੱਤਵਪੂਰਨ ਤੌਰ 'ਤੇ ਘਟਾ ਕੇ, ਸਾਨੂੰ ਵੱਧ ਤੋਂ ਵੱਧ ਸੰਬੰਧਿਤ ਦਸਤਾਵੇਜ਼ਾਂ ਨੂੰ ਬਰਕਰਾਰ ਰੱਖਣਾ ਚਾਹੀਦਾ ਹੈ।

ਸਾਡੀ ਉਮੀਦਵਾਰ ਚੋਣ ਪ੍ਰਕਿਰਿਆ ਸਮੇਂ ਦੇ ਨਾਲ ਵਿਕਸਤ ਹੋਈ ਹੈ, ਅਤੇ ਹੁਣ ਅਸੀਂ ਇੱਕ ਬਹੁ-ਪੜਾਵੀ ਪਹੁੰਚ 'ਤੇ ਪਹੁੰਚ ਗਏ ਹਾਂ:

ਪਹਿਲਾਂ, ਸਾਰੇ ਦਸਤਾਵੇਜ਼ਾਂ ਨੂੰ ਸਮੂਹਾਂ ਵਿੱਚ ਵੰਡਿਆ ਜਾਂਦਾ ਹੈ, ਅਤੇ ਹਰੇਕ ਸਮੂਹ ਵਿੱਚੋਂ ਸਭ ਤੋਂ ਪ੍ਰਸਿੱਧ ਦਸਤਾਵੇਜ਼ ਚੁਣੇ ਜਾਂਦੇ ਹਨ। ਸਮੂਹ ਸਾਈਟਾਂ, ਵਿਸ਼ੇ, ਜਾਂ ਕਲੱਸਟਰ ਹੋ ਸਕਦੇ ਹਨ। ਹਰੇਕ ਉਪਭੋਗਤਾ ਲਈ, ਸਭ ਤੋਂ ਢੁਕਵੇਂ ਸਮੂਹ ਉਹਨਾਂ ਦੇ ਇਤਿਹਾਸ ਦੇ ਆਧਾਰ 'ਤੇ ਚੁਣੇ ਜਾਂਦੇ ਹਨ, ਅਤੇ ਇਹਨਾਂ ਸਮੂਹਾਂ ਵਿੱਚੋਂ ਸਭ ਤੋਂ ਵਧੀਆ ਦਸਤਾਵੇਜ਼ ਚੁਣੇ ਜਾਂਦੇ ਹਨ। ਅਸੀਂ ਅਸਲ ਸਮੇਂ ਵਿੱਚ ਉਪਭੋਗਤਾ ਲਈ ਸਭ ਤੋਂ ਢੁਕਵੇਂ ਦਸਤਾਵੇਜ਼ਾਂ ਦੀ ਚੋਣ ਕਰਨ ਲਈ ਇੱਕ kNN ਸੂਚਕਾਂਕ ਦੀ ਵੀ ਵਰਤੋਂ ਕਰਦੇ ਹਾਂ। kNN ਸੂਚਕਾਂਕ ਬਣਾਉਣ ਦੇ ਕਈ ਤਰੀਕੇ ਹਨ, ਪਰ ਸਾਡਾ ਸਭ ਤੋਂ ਵਧੀਆ ਕੰਮ ਕਰਦਾ ਹੈ। ਐਚਐਨਐਸਡਬਲਯੂ (ਹਾਇਰਾਰਕਲ ਨੈਵੀਗੇਬਲ ਸਮਾਲ ਵਰਲਡ ਗ੍ਰਾਫ਼)। ਇਹ ਇੱਕ ਹਾਇਰਾਰਕਲ ਮਾਡਲ ਹੈ ਜੋ ਸਾਨੂੰ ਕੁਝ ਮਿਲੀਸਕਿੰਟਾਂ ਵਿੱਚ ਲੱਖਾਂ ਦੇ ਡੇਟਾਬੇਸ ਤੋਂ ਇੱਕ ਉਪਭੋਗਤਾ ਲਈ N ਸਭ ਤੋਂ ਨੇੜਲੇ ਵੈਕਟਰ ਲੱਭਣ ਦੀ ਆਗਿਆ ਦਿੰਦਾ ਹੈ। ਅਸੀਂ ਪਹਿਲਾਂ ਆਪਣੇ ਪੂਰੇ ਦਸਤਾਵੇਜ਼ ਡੇਟਾਬੇਸ ਨੂੰ ਔਫਲਾਈਨ ਇੰਡੈਕਸ ਕਰਦੇ ਹਾਂ। ਕਿਉਂਕਿ ਇੰਡੈਕਸ ਖੋਜ ਕਾਫ਼ੀ ਤੇਜ਼ ਹੈ, ਜੇਕਰ ਕਈ ਮਜ਼ਬੂਤ ​​ਏਮਬੈਡਿੰਗ ਹਨ, ਤਾਂ ਅਸੀਂ ਕਈ ਇੰਡੈਕਸ (ਹਰੇਕ ਏਮਬੈਡਿੰਗ ਲਈ ਇੱਕ ਇੰਡੈਕਸ) ਬਣਾ ਸਕਦੇ ਹਾਂ ਅਤੇ ਉਹਨਾਂ ਵਿੱਚੋਂ ਹਰੇਕ ਨੂੰ ਅਸਲ ਸਮੇਂ ਵਿੱਚ ਐਕਸੈਸ ਕਰ ਸਕਦੇ ਹਾਂ।

ਸਾਡੇ ਕੋਲ ਹਰੇਕ ਉਪਭੋਗਤਾ ਲਈ ਹਜ਼ਾਰਾਂ ਦਸਤਾਵੇਜ਼ ਬਾਕੀ ਹਨ। ਇਹ ਅਜੇ ਵੀ ਸਾਰੀਆਂ ਵਿਸ਼ੇਸ਼ਤਾਵਾਂ ਦੀ ਗਣਨਾ ਕਰਨ ਲਈ ਬਹੁਤ ਵੱਡਾ ਹੈ, ਇਸ ਲਈ ਇਸ ਪੜਾਅ 'ਤੇ ਅਸੀਂ ਲਾਈਟਵੇਟ ਰੈਂਕਿੰਗ ਦੀ ਵਰਤੋਂ ਕਰਦੇ ਹਾਂ—ਘੱਟ ਵਿਸ਼ੇਸ਼ਤਾਵਾਂ ਵਾਲੇ ਭਾਰੀ ਰੈਂਕਿੰਗ ਦਾ ਇੱਕ ਹਲਕਾ ਮਾਡਲ। ਟੀਚਾ ਇਹ ਭਵਿੱਖਬਾਣੀ ਕਰਨਾ ਹੈ ਕਿ ਕਿਹੜੇ ਦਸਤਾਵੇਜ਼ ਭਾਰੀ ਮਾਡਲ ਦੇ ਸਿਖਰ 'ਤੇ ਹੋਣਗੇ। ਸਭ ਤੋਂ ਵੱਧ ਭਵਿੱਖਬਾਣੀ ਮੁੱਲ ਵਾਲੇ ਦਸਤਾਵੇਜ਼ ਭਾਰੀ ਮਾਡਲ ਵਿੱਚ ਵਰਤੇ ਜਾਣਗੇ, ਜੋ ਕਿ ਅੰਤਿਮ ਦਰਜਾਬੰਦੀ ਪੜਾਅ ਹੈ। ਇਹ ਪਹੁੰਚ ਸਾਨੂੰ ਇੱਕ ਉਪਭੋਗਤਾ ਲਈ ਵਿਚਾਰੇ ਗਏ ਦਸਤਾਵੇਜ਼ਾਂ ਦੇ ਡੇਟਾਬੇਸ ਨੂੰ ਲੱਖਾਂ ਤੋਂ ਹਜ਼ਾਰਾਂ ਤੱਕ ਦਸਾਂ ਮਿਲੀਸਕਿੰਟਾਂ ਵਿੱਚ ਘਟਾਉਣ ਦੀ ਆਗਿਆ ਦਿੰਦੀ ਹੈ।

ALS ਰਨਟਾਈਮ ਕਦਮ

ਇੱਕ ਕਲਿੱਕ ਤੋਂ ਤੁਰੰਤ ਬਾਅਦ ਉਪਭੋਗਤਾ ਦੇ ਫੀਡਬੈਕ ਨੂੰ ਕਿਵੇਂ ਧਿਆਨ ਵਿੱਚ ਰੱਖਿਆ ਜਾਵੇ?

ਸਿਫ਼ਾਰਸ਼ਾਂ ਵਿੱਚ ਇੱਕ ਮੁੱਖ ਕਾਰਕ ਉਪਭੋਗਤਾ ਫੀਡਬੈਕ ਲਈ ਜਵਾਬ ਸਮਾਂ ਹੈ। ਇਹ ਖਾਸ ਤੌਰ 'ਤੇ ਨਵੇਂ ਉਪਭੋਗਤਾਵਾਂ ਲਈ ਮਹੱਤਵਪੂਰਨ ਹੈ: ਜਦੋਂ ਕੋਈ ਪਹਿਲੀ ਵਾਰ ਸਿਫ਼ਾਰਸ਼ ਪ੍ਰਣਾਲੀ ਦੀ ਵਰਤੋਂ ਸ਼ੁਰੂ ਕਰਦਾ ਹੈ, ਤਾਂ ਉਹਨਾਂ ਨੂੰ ਵੱਖ-ਵੱਖ ਵਿਸ਼ਿਆਂ 'ਤੇ ਦਸਤਾਵੇਜ਼ਾਂ ਦੀ ਇੱਕ ਗੈਰ-ਵਿਅਕਤੀਗਤ ਫੀਡ ਪੇਸ਼ ਕੀਤੀ ਜਾਂਦੀ ਹੈ। ਜਿਵੇਂ ਹੀ ਉਹ ਆਪਣੀ ਪਹਿਲੀ ਕਲਿੱਕ ਕਰਦੇ ਹਨ, ਇਸ ਨੂੰ ਤੁਰੰਤ ਧਿਆਨ ਵਿੱਚ ਰੱਖਣਾ ਅਤੇ ਉਹਨਾਂ ਦੀਆਂ ਦਿਲਚਸਪੀਆਂ ਦੇ ਅਨੁਸਾਰ ਢਾਲਣਾ ਜ਼ਰੂਰੀ ਹੈ। ਜੇਕਰ ਸਾਰੇ ਕਾਰਕਾਂ ਦੀ ਗਣਨਾ ਔਫਲਾਈਨ ਕੀਤੀ ਜਾਂਦੀ ਹੈ, ਤਾਂ ਲੇਟੈਂਸੀ ਦੇ ਕਾਰਨ ਇੱਕ ਤੇਜ਼ ਸਿਸਟਮ ਪ੍ਰਤੀਕਿਰਿਆ ਅਸੰਭਵ ਹੋਵੇਗੀ। ਇਸ ਲਈ, ਅਸਲ ਸਮੇਂ ਵਿੱਚ ਉਪਭੋਗਤਾ ਕਾਰਵਾਈਆਂ ਦੀ ਪ੍ਰਕਿਰਿਆ ਕਰਨਾ ਜ਼ਰੂਰੀ ਹੈ। ਇਸ ਉਦੇਸ਼ ਲਈ, ਅਸੀਂ ਉਪਭੋਗਤਾ ਦੀ ਵੈਕਟਰ ਪ੍ਰਤੀਨਿਧਤਾ ਬਣਾਉਣ ਲਈ ਰਨਟਾਈਮ 'ਤੇ ALS ਕਦਮ ਦੀ ਵਰਤੋਂ ਕਰਦੇ ਹਾਂ।

ਮੰਨ ਲਓ ਕਿ ਸਾਡੇ ਕੋਲ ਸਾਰੇ ਦਸਤਾਵੇਜ਼ਾਂ ਲਈ ਇੱਕ ਵੈਕਟਰ ਪ੍ਰਤੀਨਿਧਤਾ ਹੈ। ਉਦਾਹਰਣ ਵਜੋਂ, ਅਸੀਂ ELMo, BERT, ਜਾਂ ਹੋਰ ਮਸ਼ੀਨ ਸਿਖਲਾਈ ਮਾਡਲਾਂ ਦੀ ਵਰਤੋਂ ਕਰਕੇ ਲੇਖ ਟੈਕਸਟ ਦੇ ਆਧਾਰ 'ਤੇ ਔਫਲਾਈਨ ਏਮਬੈਡਿੰਗ ਬਣਾ ਸਕਦੇ ਹਾਂ। ਅਸੀਂ ਸਿਸਟਮ ਵਿੱਚ ਉਹਨਾਂ ਦੇ ਪਰਸਪਰ ਪ੍ਰਭਾਵ ਦੇ ਆਧਾਰ 'ਤੇ ਉਸੇ ਸਪੇਸ ਵਿੱਚ ਉਪਭੋਗਤਾਵਾਂ ਦੀ ਵੈਕਟਰ ਪ੍ਰਤੀਨਿਧਤਾ ਕਿਵੇਂ ਪ੍ਰਾਪਤ ਕਰ ਸਕਦੇ ਹਾਂ?

ਯੂਜ਼ਰ-ਡੌਕੂਮੈਂਟ ਮੈਟ੍ਰਿਕਸ ਦੇ ਗਠਨ ਅਤੇ ਵਿਘਨ ਦਾ ਆਮ ਸਿਧਾਂਤਮੰਨ ਲਓ ਕਿ ਸਾਡੇ ਕੋਲ m ਉਪਭੋਗਤਾ ਅਤੇ n ਦਸਤਾਵੇਜ਼ ਹਨ। ਕੁਝ ਉਪਭੋਗਤਾਵਾਂ ਲਈ, ਕੁਝ ਦਸਤਾਵੇਜ਼ਾਂ ਪ੍ਰਤੀ ਉਨ੍ਹਾਂ ਦੇ ਰਵੱਈਏ ਜਾਣੇ ਜਾਂਦੇ ਹਨ। ਇਸ ਜਾਣਕਾਰੀ ਨੂੰ ਫਿਰ ਇੱਕ m x n ਮੈਟ੍ਰਿਕਸ ਦੇ ਰੂਪ ਵਿੱਚ ਦਰਸਾਇਆ ਜਾ ਸਕਦਾ ਹੈ: ਕਤਾਰਾਂ ਉਪਭੋਗਤਾਵਾਂ ਨਾਲ ਮੇਲ ਖਾਂਦੀਆਂ ਹਨ ਅਤੇ ਕਾਲਮ ਦਸਤਾਵੇਜ਼ਾਂ ਨਾਲ। ਕਿਉਂਕਿ ਜ਼ਿਆਦਾਤਰ ਦਸਤਾਵੇਜ਼ ਉਪਭੋਗਤਾ ਦੁਆਰਾ ਨਹੀਂ ਦੇਖੇ ਗਏ ਹਨ, ਇਸ ਲਈ ਜ਼ਿਆਦਾਤਰ ਮੈਟ੍ਰਿਕਸ ਸੈੱਲ ਖਾਲੀ ਰਹਿਣਗੇ, ਜਦੋਂ ਕਿ ਬਾਕੀ ਭਰੇ ਜਾਣਗੇ। ਹਰੇਕ ਘਟਨਾ (ਪਸੰਦ, ਨਾਪਸੰਦ, ਕਲਿੱਕ) ਲਈ, ਮੈਟ੍ਰਿਕਸ ਦਾ ਇੱਕ ਮੁੱਲ ਹੁੰਦਾ ਹੈ—ਪਰ ਆਓ ਇੱਕ ਸਰਲ ਮਾਡਲ 'ਤੇ ਵਿਚਾਰ ਕਰੀਏ ਜਿਸ ਵਿੱਚ ਇੱਕ ਪਸੰਦ 1 ਨਾਲ ਮੇਲ ਖਾਂਦਾ ਹੈ ਅਤੇ ਇੱਕ ਨਾਪਸੰਦ 1 ਨਾਲ।

ਆਓ ਮੈਟ੍ਰਿਕਸ ਨੂੰ ਦੋ ਹਿੱਸਿਆਂ ਵਿੱਚ ਵੰਡੀਏ: P (m x d) ਅਤੇ Q (d x n), ਜਿੱਥੇ d ਵੈਕਟਰ ਪ੍ਰਤੀਨਿਧਤਾ ਦੀ ਅਯਾਮੀਤਾ ਹੈ (ਆਮ ਤੌਰ 'ਤੇ ਇੱਕ ਛੋਟੀ ਸੰਖਿਆ)। ਫਿਰ, ਹਰੇਕ ਵਸਤੂ ਇੱਕ d-ਅਯਾਮੀ ਵੈਕਟਰ ਨਾਲ ਮੇਲ ਖਾਂਦੀ ਹੋਵੇਗੀ (ਉਪਭੋਗਤਾ P ਮੈਟ੍ਰਿਕਸ ਵਿੱਚ ਇੱਕ ਕਤਾਰ ਹੈ, ਅਤੇ ਦਸਤਾਵੇਜ਼ Q ਮੈਟ੍ਰਿਕਸ ਵਿੱਚ ਇੱਕ ਕਾਲਮ ਹੈ)। ਇਹ ਵੈਕਟਰ ਸੰਬੰਧਿਤ ਵਸਤੂਆਂ ਦੇ ਏਮਬੈਡਿੰਗ ਹੋਣਗੇ। ਇਹ ਭਵਿੱਖਬਾਣੀ ਕਰਨ ਲਈ ਕਿ ਕੀ ਇੱਕ ਉਪਭੋਗਤਾ ਇੱਕ ਦਸਤਾਵੇਜ਼ ਨੂੰ ਪਸੰਦ ਕਰੇਗਾ, ਤੁਸੀਂ ਬਸ ਉਹਨਾਂ ਦੇ ਏਮਬੈਡਿੰਗਾਂ ਨੂੰ ਗੁਣਾ ਕਰ ਸਕਦੇ ਹੋ।

ਇੱਕ ਸੰਭਵ ਮੈਟ੍ਰਿਕਸ ਫੈਕਟਰਾਈਜ਼ੇਸ਼ਨ ਵਿਧੀ ALS (ਅਲਟਰਨੇਟਿੰਗ ਲੀਸਟ ਸਕੁਏਅਰ) ਹੈ। ਅਸੀਂ ਹੇਠ ਦਿੱਤੇ ਨੁਕਸਾਨ ਫੰਕਸ਼ਨ ਨੂੰ ਅਨੁਕੂਲ ਬਣਾਵਾਂਗੇ:

ਇੱਥੇ rui ਯੂਜ਼ਰ u ਦਾ ਦਸਤਾਵੇਜ਼ i ਨਾਲ ਪਰਸਪਰ ਪ੍ਰਭਾਵ ਹੈ, qi ਦਸਤਾਵੇਜ਼ i ਦਾ ਵੈਕਟਰ ਹੈ, pu ਯੂਜ਼ਰ u ਦਾ ਵੈਕਟਰ ਹੈ।

ਫਿਰ ਔਸਤ ਵਰਗ ਗਲਤੀ (ਸਥਿਰ ਦਸਤਾਵੇਜ਼ ਵੈਕਟਰਾਂ ਦੇ ਨਾਲ) ਦੇ ਰੂਪ ਵਿੱਚ ਅਨੁਕੂਲ ਉਪਭੋਗਤਾ ਵੈਕਟਰ ਸੰਬੰਧਿਤ ਰੇਖਿਕ ਰਿਗਰੈਸ਼ਨ ਨੂੰ ਹੱਲ ਕਰਕੇ ਵਿਸ਼ਲੇਸ਼ਣਾਤਮਕ ਤੌਰ 'ਤੇ ਪਾਇਆ ਜਾਂਦਾ ਹੈ।

ਇਸਨੂੰ "ALS ਕਦਮ" ਕਿਹਾ ਜਾਂਦਾ ਹੈ। ALS ਐਲਗੋਰਿਦਮ ਵਿੱਚ ਹੀ ਇੱਕ ਮੈਟ੍ਰਿਕਸ (ਉਪਭੋਗਤਾ ਅਤੇ ਲੇਖ) ਨੂੰ ਵਿਕਲਪਿਕ ਤੌਰ 'ਤੇ ਠੀਕ ਕਰਨਾ ਅਤੇ ਦੂਜੇ ਨੂੰ ਅਪਡੇਟ ਕਰਨਾ, ਅਨੁਕੂਲ ਹੱਲ ਲੱਭਣਾ ਸ਼ਾਮਲ ਹੁੰਦਾ ਹੈ।

ਖੁਸ਼ਕਿਸਮਤੀ ਨਾਲ, ਉਪਭੋਗਤਾ ਦੀ ਵੈਕਟਰ ਪ੍ਰਤੀਨਿਧਤਾ ਲੱਭਣਾ ਇੱਕ ਕਾਫ਼ੀ ਤੇਜ਼ ਕਾਰਵਾਈ ਹੈ ਜੋ ਵੈਕਟਰ ਨਿਰਦੇਸ਼ਾਂ ਦੀ ਵਰਤੋਂ ਕਰਕੇ ਰਨਟਾਈਮ 'ਤੇ ਕੀਤੀ ਜਾ ਸਕਦੀ ਹੈ। ਇਹ ਚਾਲ ਉਪਭੋਗਤਾ ਫੀਡਬੈਕ ਨੂੰ ਤੁਰੰਤ ਰੈਂਕਿੰਗ ਵਿੱਚ ਸ਼ਾਮਲ ਕਰਨ ਦੀ ਆਗਿਆ ਦਿੰਦੀ ਹੈ। ਉਮੀਦਵਾਰ ਚੋਣ ਨੂੰ ਬਿਹਤਰ ਬਣਾਉਣ ਲਈ ਇੱਕ kNN ਸੂਚਕਾਂਕ ਵਿੱਚ ਉਹੀ ਏਮਬੈਡਿੰਗ ਵਰਤੀ ਜਾ ਸਕਦੀ ਹੈ।

ਵੰਡਿਆ ਸਹਿਯੋਗੀ ਫਿਲਟਰਿੰਗ

ਇੰਕਰੀਮੈਂਟਲ ਡਿਸਟ੍ਰੀਬਿਊਟਿਡ ਮੈਟ੍ਰਿਕਸ ਫੈਕਟਰਾਈਜ਼ੇਸ਼ਨ ਕਿਵੇਂ ਕਰੀਏ ਅਤੇ ਨਵੇਂ ਲੇਖਾਂ ਦੇ ਵੈਕਟਰ ਪ੍ਰਤੀਨਿਧਤਾਵਾਂ ਨੂੰ ਜਲਦੀ ਕਿਵੇਂ ਲੱਭੀਏ?

ਸਮੱਗਰੀ ਸਿਫ਼ਾਰਸ਼ ਸੰਕੇਤਾਂ ਦਾ ਇੱਕੋ ਇੱਕ ਸਰੋਤ ਨਹੀਂ ਹੈ। ਇੱਕ ਹੋਰ ਮਹੱਤਵਪੂਰਨ ਸਰੋਤ ਸਹਿਯੋਗੀ ਡੇਟਾ ਹੈ। ਚੰਗੀ ਰੈਂਕਿੰਗ ਵਿਸ਼ੇਸ਼ਤਾਵਾਂ ਰਵਾਇਤੀ ਤੌਰ 'ਤੇ ਉਪਭੋਗਤਾ-ਦਸਤਾਵੇਜ਼ ਮੈਟ੍ਰਿਕਸ ਡੀਕੰਪੋਜ਼ੇਸ਼ਨ ਤੋਂ ਪ੍ਰਾਪਤ ਕੀਤੀਆਂ ਜਾ ਸਕਦੀਆਂ ਹਨ। ਹਾਲਾਂਕਿ, ਅਜਿਹੇ ਡੀਕੰਪੋਜ਼ੇਸ਼ਨ ਨੂੰ ਲਾਗੂ ਕਰਨ ਦੀ ਕੋਸ਼ਿਸ਼ ਕਰਦੇ ਸਮੇਂ, ਸਾਨੂੰ ਕਈ ਸਮੱਸਿਆਵਾਂ ਦਾ ਸਾਹਮਣਾ ਕਰਨਾ ਪਿਆ:

1. ਸਾਡੇ ਕੋਲ ਲੱਖਾਂ ਦਸਤਾਵੇਜ਼ ਹਨ ਅਤੇ ਲੱਖਾਂ ਉਪਭੋਗਤਾ ਹਨ। ਪੂਰਾ ਮੈਟ੍ਰਿਕਸ ਇੱਕ ਮਸ਼ੀਨ 'ਤੇ ਨਹੀਂ ਬੈਠਦਾ, ਅਤੇ ਸੜਨ ਵਿੱਚ ਬਹੁਤ ਸਮਾਂ ਲੱਗੇਗਾ।
2. ਸਿਸਟਮ ਵਿੱਚ ਜ਼ਿਆਦਾਤਰ ਸਮੱਗਰੀ ਦੀ ਉਮਰ ਘੱਟ ਹੁੰਦੀ ਹੈ: ਦਸਤਾਵੇਜ਼ ਸਿਰਫ਼ ਕੁਝ ਘੰਟਿਆਂ ਲਈ ਹੀ ਢੁਕਵੇਂ ਰਹਿੰਦੇ ਹਨ। ਇਸ ਲਈ, ਉਹਨਾਂ ਦੀ ਵੈਕਟਰ ਪ੍ਰਤੀਨਿਧਤਾ ਨੂੰ ਜਿੰਨੀ ਜਲਦੀ ਹੋ ਸਕੇ ਬਣਾਉਣਾ ਜ਼ਰੂਰੀ ਹੈ।
3. ਜੇਕਰ ਤੁਸੀਂ ਕਿਸੇ ਦਸਤਾਵੇਜ਼ ਦੇ ਪ੍ਰਕਾਸ਼ਿਤ ਹੋਣ ਤੋਂ ਤੁਰੰਤ ਬਾਅਦ ਡੀਕੰਪੋਜ਼ਿਸ਼ਨ ਬਣਾਉਂਦੇ ਹੋ, ਤਾਂ ਇਸਦੇ ਕੋਲ ਕਾਫ਼ੀ ਗਿਣਤੀ ਵਿੱਚ ਉਪਭੋਗਤਾਵਾਂ ਦੁਆਰਾ ਮੁਲਾਂਕਣ ਕਰਨ ਲਈ ਸਮਾਂ ਨਹੀਂ ਹੋਵੇਗਾ। ਇਸ ਲਈ, ਇਸਦੀ ਵੈਕਟਰ ਪ੍ਰਤੀਨਿਧਤਾ ਸੰਭਾਵਤ ਤੌਰ 'ਤੇ ਮਾੜੀ ਹੋਵੇਗੀ।
4. ਜੇਕਰ ਕਿਸੇ ਉਪਭੋਗਤਾ ਨੇ ਕਿਸੇ ਪੋਸਟ ਨੂੰ ਪਸੰਦ ਜਾਂ ਨਾਪਸੰਦ ਕੀਤਾ ਹੈ, ਤਾਂ ਅਸੀਂ ਇਸਨੂੰ ਤੁਰੰਤ ਬ੍ਰੇਕਡਾਊਨ ਵਿੱਚ ਸ਼ਾਮਲ ਨਹੀਂ ਕਰ ਸਕਾਂਗੇ।

ਇਹਨਾਂ ਸਮੱਸਿਆਵਾਂ ਨੂੰ ਹੱਲ ਕਰਨ ਲਈ, ਅਸੀਂ ਵਾਰ-ਵਾਰ ਵਾਧੇ ਵਾਲੇ ਅਪਡੇਟਾਂ ਦੇ ਨਾਲ ਉਪਭੋਗਤਾ-ਦਸਤਾਵੇਜ਼ ਮੈਟ੍ਰਿਕਸ ਦਾ ਇੱਕ ਵੰਡਿਆ ਹੋਇਆ ਵਿਘਨ ਲਾਗੂ ਕੀਤਾ। ਇਹ ਬਿਲਕੁਲ ਕਿਵੇਂ ਕੰਮ ਕਰਦਾ ਹੈ?

ਮੰਨ ਲਓ ਕਿ ਸਾਡੇ ਕੋਲ N ਮਸ਼ੀਨਾਂ ਦਾ ਇੱਕ ਸਮੂਹ ਹੈ (N ਸੈਂਕੜੇ ਵਿੱਚ ਹੈ) ਅਤੇ ਅਸੀਂ ਉਹਨਾਂ ਵਿੱਚ ਇੱਕ ਮੈਟ੍ਰਿਕਸ ਦਾ ਵੰਡਿਆ ਹੋਇਆ ਵਿਘਨ ਕਰਨਾ ਚਾਹੁੰਦੇ ਹਾਂ ਜੋ ਇੱਕ ਮਸ਼ੀਨ 'ਤੇ ਫਿੱਟ ਨਹੀਂ ਹੁੰਦਾ। ਸਵਾਲ ਇਹ ਹੈ: ਅਸੀਂ ਇਹ ਵਿਘਨ ਕਿਵੇਂ ਕਰ ਸਕਦੇ ਹਾਂ ਤਾਂ ਜੋ, ਇੱਕ ਪਾਸੇ, ਹਰੇਕ ਮਸ਼ੀਨ ਕੋਲ ਕਾਫ਼ੀ ਡੇਟਾ ਹੋਵੇ ਅਤੇ ਦੂਜੇ ਪਾਸੇ, ਗਣਨਾਵਾਂ ਸੁਤੰਤਰ ਹੋਣ?

ਅਸੀਂ ਉੱਪਰ ਦੱਸੇ ਗਏ ALS ਡੀਕੰਪੋਜ਼ਨ ਐਲਗੋਰਿਦਮ ਦੀ ਵਰਤੋਂ ਕਰਾਂਗੇ। ਆਓ ਵਿਚਾਰ ਕਰੀਏ ਕਿ ਇੱਕ ALS ਕਦਮ ਨੂੰ ਵੰਡੇ ਹੋਏ ਢੰਗ ਨਾਲ ਕਿਵੇਂ ਕਰਨਾ ਹੈ—ਬਾਕੀ ਕਦਮ ਇੱਕੋ ਜਿਹੇ ਹੋਣਗੇ। ਮੰਨ ਲਓ ਸਾਡੇ ਕੋਲ ਇੱਕ ਸਥਿਰ ਦਸਤਾਵੇਜ਼ ਮੈਟ੍ਰਿਕਸ ਹੈ ਅਤੇ ਅਸੀਂ ਇੱਕ ਉਪਭੋਗਤਾ ਮੈਟ੍ਰਿਕਸ ਬਣਾਉਣਾ ਚਾਹੁੰਦੇ ਹਾਂ। ਅਜਿਹਾ ਕਰਨ ਲਈ, ਅਸੀਂ ਇਸਨੂੰ ਕਤਾਰਾਂ ਦੁਆਰਾ N ਹਿੱਸਿਆਂ ਵਿੱਚ ਵੰਡਾਂਗੇ, ਹਰੇਕ ਹਿੱਸੇ ਵਿੱਚ ਲਗਭਗ ਇੱਕੋ ਜਿਹੀਆਂ ਕਤਾਰਾਂ ਹੋਣਗੀਆਂ। ਅਸੀਂ ਹਰੇਕ ਮਸ਼ੀਨ ਨੂੰ ਸੰਬੰਧਿਤ ਕਤਾਰਾਂ ਦੇ ਗੈਰ-ਖਾਲੀ ਸੈੱਲਾਂ ਨੂੰ ਵੰਡਾਂਗੇ, ਨਾਲ ਹੀ ਪੂਰੇ ਦਸਤਾਵੇਜ਼ ਨੂੰ ਏਮਬੈਡਿੰਗ ਮੈਟ੍ਰਿਕਸ ਨੂੰ ਵੀ। ਕਿਉਂਕਿ ਇਹ ਡੇਟਾ ਬਹੁਤ ਵੱਡਾ ਨਹੀਂ ਹੈ, ਅਤੇ ਉਪਭੋਗਤਾ-ਦਸਤਾਵੇਜ਼ ਮੈਟ੍ਰਿਕਸ ਆਮ ਤੌਰ 'ਤੇ ਬਹੁਤ ਘੱਟ ਹੁੰਦੇ ਹਨ, ਇਹ ਡੇਟਾ ਇੱਕ ਆਮ ਮਸ਼ੀਨ 'ਤੇ ਫਿੱਟ ਹੋਵੇਗਾ।

ਇਸ ਚਾਲ ਨੂੰ ਕਈ ਯੁੱਗਾਂ ਲਈ ਦੁਹਰਾਇਆ ਜਾ ਸਕਦਾ ਹੈ ਜਦੋਂ ਤੱਕ ਮਾਡਲ ਇਕੱਠੇ ਨਹੀਂ ਹੋ ਜਾਂਦਾ, ਵਿਕਲਪਿਕ ਤੌਰ 'ਤੇ ਸਥਿਰ ਮੈਟ੍ਰਿਕਸ ਨੂੰ ਬਦਲਦਾ ਹੈ। ਪਰ ਫਿਰ ਵੀ, ਮੈਟ੍ਰਿਕਸ ਸੜਨ ਵਿੱਚ ਕਈ ਘੰਟੇ ਲੱਗ ਸਕਦੇ ਹਨ। ਅਤੇ ਇਹ ਨਵੇਂ ਦਸਤਾਵੇਜ਼ਾਂ ਲਈ ਏਮਬੈਡਿੰਗਾਂ ਨੂੰ ਜਲਦੀ ਪ੍ਰਾਪਤ ਕਰਨ ਅਤੇ ਉਹਨਾਂ ਦੇ ਏਮਬੈਡਿੰਗਾਂ ਨੂੰ ਅਪਡੇਟ ਕਰਨ ਦੀ ਸਮੱਸਿਆ ਨੂੰ ਹੱਲ ਨਹੀਂ ਕਰਦਾ ਜਿਨ੍ਹਾਂ ਬਾਰੇ ਮਾਡਲ ਬਣਾਉਂਦੇ ਸਮੇਂ ਬਹੁਤ ਘੱਟ ਜਾਣਕਾਰੀ ਉਪਲਬਧ ਸੀ।

ਸਾਨੂੰ ਤੇਜ਼ ਵਾਧੇ ਵਾਲੇ ਮਾਡਲ ਅੱਪਡੇਟ ਲਾਗੂ ਕਰਕੇ ਮਦਦ ਮਿਲੀ। ਮੰਨ ਲਓ ਕਿ ਸਾਡੇ ਕੋਲ ਇੱਕ ਮੌਜੂਦਾ ਸਿਖਲਾਈ ਪ੍ਰਾਪਤ ਮਾਡਲ ਹੈ। ਇਸਦੀ ਸਿਖਲਾਈ ਤੋਂ ਬਾਅਦ, ਨਵੇਂ ਲੇਖ ਜੋੜੇ ਗਏ ਹਨ ਜਿਨ੍ਹਾਂ ਨਾਲ ਸਾਡੇ ਉਪਭੋਗਤਾਵਾਂ ਨੇ ਗੱਲਬਾਤ ਕੀਤੀ ਹੈ, ਅਤੇ ਨਾਲ ਹੀ ਉਹ ਲੇਖ ਜਿਨ੍ਹਾਂ ਵਿੱਚ ਸਿਖਲਾਈ ਦੌਰਾਨ ਕੁਝ ਗੱਲਬਾਤ ਹੋਈ ਸੀ। ਇਹਨਾਂ ਲੇਖਾਂ ਲਈ ਏਮਬੈਡਿੰਗਾਂ ਨੂੰ ਜਲਦੀ ਪ੍ਰਾਪਤ ਕਰਨ ਲਈ, ਅਸੀਂ ਮਾਡਲ ਦੀ ਪਹਿਲੀ ਵੱਡੇ ਪੱਧਰ ਦੀ ਸਿਖਲਾਈ ਦੌਰਾਨ ਪ੍ਰਾਪਤ ਕੀਤੇ ਉਪਭੋਗਤਾ ਏਮਬੈਡਿੰਗਾਂ ਦੀ ਵਰਤੋਂ ਕਰਦੇ ਹਾਂ ਅਤੇ ਇੱਕ ਸਥਿਰ ਉਪਭੋਗਤਾ ਮੈਟ੍ਰਿਕਸ ਨਾਲ ਦਸਤਾਵੇਜ਼ ਮੈਟ੍ਰਿਕਸ ਦੀ ਗਣਨਾ ਕਰਨ ਲਈ ਇੱਕ ਸਿੰਗਲ ALS ਕਦਮ ਕਰਦੇ ਹਾਂ। ਇਹ ਸਾਨੂੰ ਏਮਬੈਡਿੰਗਾਂ ਨੂੰ ਕਾਫ਼ੀ ਤੇਜ਼ੀ ਨਾਲ ਪ੍ਰਾਪਤ ਕਰਨ ਦੀ ਆਗਿਆ ਦਿੰਦਾ ਹੈ - ਇੱਕ ਦਸਤਾਵੇਜ਼ ਦੇ ਪ੍ਰਕਾਸ਼ਨ ਦੇ ਮਿੰਟਾਂ ਦੇ ਅੰਦਰ - ਅਤੇ ਨਵੇਂ ਦਸਤਾਵੇਜ਼ਾਂ ਦੇ ਏਮਬੈਡਿੰਗਾਂ ਨੂੰ ਅਕਸਰ ਅਪਡੇਟ ਕਰਦਾ ਹੈ।

ਇਹ ਯਕੀਨੀ ਬਣਾਉਣ ਲਈ ਕਿ ਸਿਫ਼ਾਰਸ਼ਾਂ ਤੁਰੰਤ ਮਨੁੱਖੀ ਕਾਰਵਾਈਆਂ 'ਤੇ ਅਧਾਰਤ ਹੋਣ, ਅਸੀਂ ਰਨਟਾਈਮ 'ਤੇ ਔਫਲਾਈਨ ਪ੍ਰਾਪਤ ਕੀਤੇ ਉਪਭੋਗਤਾ ਏਮਬੈਡਿੰਗਾਂ ਦੀ ਵਰਤੋਂ ਨਹੀਂ ਕਰਦੇ। ਇਸਦੀ ਬਜਾਏ, ਅਸੀਂ ਇੱਕ ALS ਕਦਮ ਕਰਦੇ ਹਾਂ ਅਤੇ ਮੌਜੂਦਾ ਉਪਭੋਗਤਾ ਵੈਕਟਰ ਪ੍ਰਾਪਤ ਕਰਦੇ ਹਾਂ।

ਕਿਸੇ ਹੋਰ ਡੋਮੇਨ ਖੇਤਰ ਵਿੱਚ ਟ੍ਰਾਂਸਫਰ ਕਰੋ

ਵੀਡੀਓ ਦੀ ਵੈਕਟਰ ਪ੍ਰਤੀਨਿਧਤਾ ਬਣਾਉਣ ਲਈ ਟੈਕਸਟ ਲੇਖਾਂ 'ਤੇ ਉਪਭੋਗਤਾ ਫੀਡਬੈਕ ਦੀ ਵਰਤੋਂ ਕਿਵੇਂ ਕਰੀਏ?

ਸ਼ੁਰੂ ਵਿੱਚ, ਅਸੀਂ ਸਿਰਫ਼ ਟੈਕਸਟ ਲੇਖਾਂ ਦੀ ਸਿਫ਼ਾਰਸ਼ ਕੀਤੀ ਸੀ, ਇਸ ਲਈ ਸਾਡੇ ਬਹੁਤ ਸਾਰੇ ਐਲਗੋਰਿਦਮ ਇਸ ਕਿਸਮ ਦੀ ਸਮੱਗਰੀ ਦੇ ਅਨੁਸਾਰ ਬਣਾਏ ਗਏ ਹਨ। ਹਾਲਾਂਕਿ, ਹੋਰ ਕਿਸਮਾਂ ਦੀ ਸਮੱਗਰੀ ਜੋੜਦੇ ਸਮੇਂ, ਸਾਨੂੰ ਆਪਣੇ ਮਾਡਲਾਂ ਨੂੰ ਅਨੁਕੂਲ ਬਣਾਉਣ ਦੀ ਜ਼ਰੂਰਤ ਦਾ ਸਾਹਮਣਾ ਕਰਨਾ ਪਿਆ। ਅਸੀਂ ਵੀਡੀਓ ਨੂੰ ਉਦਾਹਰਣ ਵਜੋਂ ਵਰਤ ਕੇ ਇਸ ਸਮੱਸਿਆ ਨੂੰ ਕਿਵੇਂ ਹੱਲ ਕੀਤਾ? ਇੱਕ ਵਿਕਲਪ ਸਾਰੇ ਮਾਡਲਾਂ ਨੂੰ ਸ਼ੁਰੂ ਤੋਂ ਦੁਬਾਰਾ ਸਿਖਲਾਈ ਦੇਣਾ ਸੀ। ਪਰ ਇਹ ਸਮਾਂ ਲੈਣ ਵਾਲਾ ਹੈ, ਅਤੇ ਕੁਝ ਐਲਗੋਰਿਦਮ ਸਿਖਲਾਈ ਨਮੂਨੇ ਦੇ ਆਕਾਰ ਦੀ ਮੰਗ ਕਰ ਰਹੇ ਹਨ, ਜੋ ਕਿ ਸੇਵਾ 'ਤੇ ਉਨ੍ਹਾਂ ਦੇ ਜੀਵਨ ਕਾਲ ਦੇ ਸ਼ੁਰੂਆਤੀ ਪੜਾਵਾਂ ਵਿੱਚ ਨਵੀਂ ਸਮੱਗਰੀ ਕਿਸਮਾਂ ਲਈ ਅਜੇ ਤੱਕ ਲੋੜੀਂਦੀ ਮਾਤਰਾ ਵਿੱਚ ਉਪਲਬਧ ਨਹੀਂ ਹੈ।

ਅਸੀਂ ਇੱਕ ਵੱਖਰਾ ਤਰੀਕਾ ਅਪਣਾਇਆ ਅਤੇ ਵੀਡੀਓਜ਼ ਲਈ ਟੈਕਸਟ ਮਾਡਲਾਂ ਦੀ ਮੁੜ ਵਰਤੋਂ ਕੀਤੀ। ਉਹੀ ALS ਚਾਲ ਨੇ ਸਾਨੂੰ ਵੀਡੀਓ ਵੈਕਟਰ ਪ੍ਰਤੀਨਿਧਤਾ ਬਣਾਉਣ ਵਿੱਚ ਮਦਦ ਕੀਤੀ। ਅਸੀਂ ਟੈਕਸਟ ਲੇਖਾਂ ਦੇ ਆਧਾਰ 'ਤੇ ਉਪਭੋਗਤਾ ਵੈਕਟਰ ਪ੍ਰਤੀਨਿਧਤਾ ਲਈ ਅਤੇ ਵੀਡੀਓ ਵਿਊ ਡੇਟਾ ਦੀ ਵਰਤੋਂ ਕਰਕੇ ਇੱਕ ALS ਕਦਮ ਕੀਤਾ। ਇਸ ਤਰ੍ਹਾਂ, ਅਸੀਂ ਆਸਾਨੀ ਨਾਲ ਇੱਕ ਵੀਡੀਓ ਵੈਕਟਰ ਪ੍ਰਤੀਨਿਧਤਾ ਪ੍ਰਾਪਤ ਕੀਤੀ। ਰਨਟਾਈਮ 'ਤੇ, ਅਸੀਂ ਸਿਰਫ਼ ਟੈਕਸਟ ਲੇਖਾਂ ਅਤੇ ਵੀਡੀਓ ਵੈਕਟਰ ਤੋਂ ਪ੍ਰਾਪਤ ਉਪਭੋਗਤਾ ਵੈਕਟਰ ਵਿਚਕਾਰ ਸਮਾਨਤਾ ਦੀ ਗਣਨਾ ਕਰਦੇ ਹਾਂ।

ਸਿੱਟਾ

ਇੱਕ ਰੀਅਲ-ਟਾਈਮ ਸਿਫ਼ਾਰਿਸ਼ ਪ੍ਰਣਾਲੀ ਦੇ ਮੂਲ ਨੂੰ ਵਿਕਸਤ ਕਰਨ ਵਿੱਚ ਕਈ ਚੁਣੌਤੀਆਂ ਸ਼ਾਮਲ ਹਨ। ਇਸ ਲਈ ਡੇਟਾ ਨੂੰ ਤੇਜ਼ੀ ਨਾਲ ਪ੍ਰੋਸੈਸ ਕਰਨ ਅਤੇ ਇਸਨੂੰ ਪ੍ਰਭਾਵਸ਼ਾਲੀ ਢੰਗ ਨਾਲ ਵਰਤਣ ਲਈ ਮਸ਼ੀਨ ਸਿਖਲਾਈ ਵਿਧੀਆਂ ਨੂੰ ਲਾਗੂ ਕਰਨ ਦੀ ਲੋੜ ਹੁੰਦੀ ਹੈ; ਘੱਟੋ-ਘੱਟ ਸਮੇਂ ਵਿੱਚ ਉਪਭੋਗਤਾ ਸਿਗਨਲਾਂ ਅਤੇ ਨਵੀਆਂ ਸਮੱਗਰੀ ਇਕਾਈਆਂ ਨੂੰ ਪ੍ਰੋਸੈਸ ਕਰਨ ਦੇ ਸਮਰੱਥ ਗੁੰਝਲਦਾਰ ਵੰਡੇ ਸਿਸਟਮ ਬਣਾਉਣਾ; ਅਤੇ ਹੋਰ ਬਹੁਤ ਸਾਰੇ ਕੰਮ।

ਮੌਜੂਦਾ ਸਿਸਟਮ ਵਿੱਚ, ਜਿਸ ਡਿਜ਼ਾਈਨ ਦਾ ਮੈਂ ਵਰਣਨ ਕੀਤਾ ਹੈ, ਇੱਕ ਉਪਭੋਗਤਾ ਲਈ ਸਿਫ਼ਾਰਸ਼ਾਂ ਦੀ ਗੁਣਵੱਤਾ ਉਹਨਾਂ ਦੀ ਗਤੀਵਿਧੀ ਅਤੇ ਵਰਤੋਂ ਦੀ ਮਿਆਦ ਦੇ ਨਾਲ ਵਧਦੀ ਹੈ। ਪਰ ਬੇਸ਼ੱਕ, ਇਹ ਉਹ ਥਾਂ ਹੈ ਜਿੱਥੇ ਮੁੱਖ ਚੁਣੌਤੀ ਹੈ: ਸਿਸਟਮ ਲਈ ਕਿਸੇ ਅਜਿਹੇ ਵਿਅਕਤੀ ਦੇ ਹਿੱਤਾਂ ਨੂੰ ਤੁਰੰਤ ਸਮਝਣਾ ਮੁਸ਼ਕਲ ਹੈ ਜਿਸਨੇ ਸਮੱਗਰੀ ਨਾਲ ਜ਼ਿਆਦਾ ਇੰਟਰੈਕਟ ਨਹੀਂ ਕੀਤਾ ਹੈ। ਨਵੇਂ ਉਪਭੋਗਤਾਵਾਂ ਲਈ ਸਿਫ਼ਾਰਸ਼ਾਂ ਨੂੰ ਬਿਹਤਰ ਬਣਾਉਣਾ ਸਾਡਾ ਮੁੱਖ ਟੀਚਾ ਹੈ। ਅਸੀਂ ਇਹ ਯਕੀਨੀ ਬਣਾਉਣ ਲਈ ਐਲਗੋਰਿਦਮ ਨੂੰ ਅਨੁਕੂਲ ਬਣਾਉਣਾ ਜਾਰੀ ਰੱਖਾਂਗੇ ਕਿ ਸੰਬੰਧਿਤ ਸਮੱਗਰੀ ਉਪਭੋਗਤਾ ਦੀ ਫੀਡ ਤੱਕ ਤੇਜ਼ੀ ਨਾਲ ਪਹੁੰਚ ਜਾਵੇ ਅਤੇ ਅਪ੍ਰਸੰਗਿਕ ਸਮੱਗਰੀ ਨਾ ਦਿਖਾਈ ਜਾਵੇ।

ਸਰੋਤ: www.habr.com