منهنجو نالو Pavel Parkhomenko آهي، مان هڪ ايم ايل ڊولپر آهيان. هن آرٽيڪل ۾، آئون Yandex.Zen سروس جي جوڙجڪ بابت ڳالهائڻ چاهيان ٿو ۽ ٽيڪنيڪل سڌارن کي حصيداري ڪرڻ چاهيان ٿو، جنهن تي عمل درآمد جي سفارشن جي معيار کي وڌائڻ ممڪن آهي. هن پوسٽ مان توهان سکندا ته ڪيئن ڳولهجي استعمال ڪندڙ لاءِ سڀ کان وڌيڪ لاڳاپيل دستاويز لکين دستاويزن مان صرف چند ملي سيڪنڊن ۾؛ هڪ وڏي ميٽرڪس (لکين ڪالمن ۽ لکين لکن قطارن تي مشتمل) جي مسلسل ڊمپوزيشن ڪيئن ڪجي ته جيئن نوان دستاويز ڏهن منٽن ۾ پنهنجو ویکٹر وصول ڪن؛ وڊيو لاءِ سٺي ویکٹر جي نمائندگي حاصل ڪرڻ لاءِ يوزر-آرٽيڪل ميٽرڪس ڊيڪپوزيشن کي ڪيئن ٻيهر استعمال ڪجي.
اسان جي سفارش واري ڊيٽابيس ۾ لکين دستاويزن تي مشتمل آهي مختلف شڪلين جا: ٽيڪسٽ آرٽيڪل اسان جي پليٽ فارم تي ٺاهيا ويا آهن ۽ ٻاهرين سائيٽن، وڊيوز، داستانن ۽ مختصر پوسٽن مان ورتل آهن. اهڙي خدمت جي ترقي فني چئلينج جي هڪ وڏي تعداد سان لاڳاپيل آهي. هتي انهن مان ڪجهه آهن:
- ڪمپيوٽنگ جي ڪمن کي ورهايو: تمام بھاري آپريشن آف لائن ڪريو، ۽ حقيقي وقت ۾ صرف ماڊلز جي تڪڙي ايپليڪيشن کي انجام ڏيو ته جيئن 100-200 ms جي ذميوار ٿيڻ لاء.
- جلدي اڪائونٽ استعمال ڪندڙ جي عملن ۾ وٺي. هن کي ڪرڻ لاء، اهو ضروري آهي ته سڀئي واقعا فوري طور تي سفارش ڪندڙ کي پهچائي ۽ ماڊل جي نتيجن کي متاثر ڪن.
- فيڊ ٺاهيو ته جيئن نون صارفين لاء اهو جلدي انهن جي رويي کي ترتيب ڏئي. جيڪي ماڻهو صرف سسٽم ۾ شامل ٿيا آهن انهن کي محسوس ڪرڻ گهرجي ته انهن جي راءِ سفارشن تي اثر انداز ٿئي ٿي.
- جلدي سمجھو ته ڪنھن کي نئين مضمون جي سفارش ڪجي.
- نئين مواد جي مسلسل اڀرڻ لاء جلدي جواب ڏيو. هر روز هزارين آرٽيڪل شايع ٿين ٿا، ۽ انهن مان ڪيترن ئي محدود عمر آهي (چوڻي، خبر). اھو اھو آھي جيڪو انھن کي فلمن، ميوزڪ ۽ ٻين ڊگھي رھندڙ ۽ قيمتي مواد ٺاهڻ کان ڌار ڪري ٿو.
- منتقلي علم هڪ ڊومين جي علائقي کان ٻئي ڏانهن. جيڪڏهن هڪ سفارش واري نظام ۾ ٽيڪسٽ آرٽيڪلز لاءِ تربيتي ماڊل موجود آهن ۽ اسان ان ۾ وڊيو شامل ڪريون ٿا، ته اسان موجوده ماڊلز کي ٻيهر استعمال ڪري سگهون ٿا ته جيئن نئين قسم جي مواد جي درجه بندي بهتر هجي.
مان توهان کي ٻڌايان ٿو ته اسان انهن مسئلن کي ڪيئن حل ڪيو.
اميدوارن جي چونڊ
درجابندي جي معيار ۾ عملي طور تي ڪابه خرابي سان، چند ملي سيڪنڊن ۾ هزارين ڀيرا غور هيٺ دستاويزن جي تعداد کي ڪيئن گھٽائڻ؟
فرض ڪريو اسان ڪيترن ئي ML ماڊلز کي تربيت ڏني، انھن جي بنياد تي خاصيتون ٺاھيون، ۽ ھڪڙو ٻيو ماڊل ٽريننگ ڪيو جيڪو استعمال ڪندڙ لاءِ دستاويزن کي ترتيب ڏئي. سڀ ڪجھ ٺيڪ ٿي ويندو، پر توھان اصل وقت ۾ سڀني دستاويزن لاءِ سڀني نشانين کي وٺي ۽ حساب نٿا ڪري سگھو، جيڪڏھن اھي لکين دستاويز آھن، ۽ سفارشون 100-200 ms ۾ ٺاھڻ گهرجن. ڪم اهو آهي ته لکين مان هڪ خاص ذيلي سيٽ چونڊيو، جيڪو صارف لاء درجه بندي ڪيو ويندو. اهو مرحلو عام طور تي اميدوار جي چونڊ کي سڏيو ويندو آهي. ان لاءِ ڪيتريون ئي گهرجون آهن. پهرين، چونڊ تمام جلدي ٿيڻ گهرجي، انهي ڪري ته جيترو وقت ممڪن هجي پاڻ کي درجه بندي لاء ڇڏي وڃي. ٻيو، درجابندي لاءِ دستاويزن جي تعداد کي تمام گھٽ ڪرڻ سان، اسان کي لازمي طور تي صارف سان لاڳاپيل دستاويزن کي مڪمل طور تي محفوظ رکڻو پوندو.
اسان جي اميدوار جي چونڊ جو اصول ترقي ڪري چڪو آهي، ۽ هن وقت اسان هڪ گهڻ اسٽيج اسڪيم تي پهچي چڪا آهيون:
پهرين، سڀ دستاويز گروپن ۾ ورهايل آهن، ۽ سڀ کان وڌيڪ مشهور دستاويز هر گروپ مان ورتو وڃي ٿو. گروپ ٿي سگھن ٿا سائيٽون، موضوع، ڪلستر. هر صارف لاء، هن جي تاريخ جي بنياد تي، هن جي ويجهو گروپن کي چونڊيو ويو آهي ۽ انهن مان بهترين دستاويز ورتو وڃي ٿو. اسان پڻ استعمال ڪندا آهيون kNN انڊيڪس انهن دستاويزن کي چونڊڻ لاءِ جيڪي حقيقي وقت ۾ صارف جي ويجهو آهن. ڪي اين اين انڊيڪس ٺاھڻ جا ڪيترائي طريقا آھن؛ اسان جو چڱو ڪم ڪيو (Hierarchical Navigable Small World graphs). هي هڪ ترتيب وارو نمونو آهي جيڪو توهان کي ڪجهه مليسيڪنڊن ۾ لکن جي ڊيٽابيس مان صارف لاءِ N ويجهن ويڪٽرن کي ڳولڻ جي اجازت ڏئي ٿو. اسان پهريون ڀيرو اسان جي سموري دستاويز ڊيٽابيس کي آف لائن ترتيب ڏيون ٿا. جيئن ته انڊيڪس ۾ ڳولها تمام جلدي ڪم ڪري ٿي، جيڪڏهن اتي ڪيترائي مضبوط ايمبيڊنگس آهن، ته توهان ڪيترائي انڊيڪس ٺاهي سگهو ٿا (هر انڊيڪس لاءِ هڪ انڊيڪس) ۽ انهن مان هر هڪ کي حقيقي وقت ۾ رسائي حاصل ڪري سگهو ٿا.
اسان وٽ اڃا تائين هر صارف لاءِ هزارين دستاويز آهن. اهو اڃا تائين تمام گهڻو آهي سڀني خاصيتن کي ڳڻڻ لاء، تنهن ڪري هن اسٽيج تي اسان استعمال ڪريون ٿا هلڪو درجه بندي - هڪ ہلڪو وزن جي درجه بندي ماڊل گهٽ خاصيتن سان. ڪم اهو آهي ته اڳڪٿي ڪرڻ جو ڪهڙو دستاويز هڪ ڳري ماڊل مٿي ۾ هوندو. سڀ کان وڌيڪ اڳڪٿي ڪندڙ دستاويزن کي ڳري ماڊل ۾ استعمال ڪيو ويندو، اهو آهي، درجه بندي جي آخري مرحلي تي. اهو طريقو توهان کي اجازت ڏئي ٿو ته صارف لاءِ سمجهيل دستاويزن جي ڊيٽابيس کي لکين کان هزارين مليس سيڪنڊن ۾.
رن ٽائم ۾ ALS قدم
هڪ ڪلڪ کان پوءِ فوري طور تي صارف جي راءِ کي ڪيئن ورتو وڃي؟
سفارشن ۾ هڪ اهم عنصر صارف جي راء جي جواب جو وقت آهي. اهو خاص طور تي نون صارفين لاء اهم آهي: جڏهن هڪ شخص صرف سفارش واري نظام کي استعمال ڪرڻ شروع ڪري ٿو، هو مختلف عنوانن جي دستاويزن جي غير ذاتي ٿيل فيڊ حاصل ڪري ٿو. جيترو جلد هو پهريون ڪلڪ ڪري ٿو، توهان کي هن کي فوري طور تي اڪائونٽ ۾ وٺڻ ۽ هن جي مفادن کي اپنائڻ جي ضرورت آهي. جيڪڏهن توهان سڀني عنصرن کي آف لائن ڳڻيو ٿا، دير جي ڪري تڪڙو سسٽم جو جواب ناممڪن ٿي ويندو. تنهن ڪري اهو ضروري آهي ته صارف جي عملن کي حقيقي وقت ۾ پروسيس ڪيو وڃي. انهن مقصدن لاءِ، اسان استعمال ڪندا آهيون ALS قدم رن ٽائم تي استعمال ڪندڙ جي ویکٹر جي نمائندگي ٺاهڻ لاءِ.
اچو ته فرض ڪريو اسان وٽ سڀني دستاويزن لاء ویکٹر نمائندگي آهي. مثال طور، اسان ELMO، BERT يا ٻيا مشين لرننگ ماڊل استعمال ڪندي آرٽيڪل جي متن جي بنياد تي آف لائن ايمبيڊنگس ٺاهي سگھون ٿا. اسان ڪيئن حاصل ڪري سگهون ٿا هڪ ویکٹر جي نمائندگي صارفين جي هڪ ئي جاء تي سسٽم ۾ انهن جي رابطي جي بنياد تي؟
استعمال ڪندڙ-دستاويز ميٽرڪس جي ٺهڻ ۽ ٺهڻ جو عام اصولاچو ته اسان وٽ ايم يوزر ۽ اين دستاويزن. ڪجهه استعمال ڪندڙن لاء، انهن جو تعلق ڪجهه دستاويزن سان معلوم ٿئي ٿو. پوءِ ھن معلومات کي mxn ميٽرڪس طور پيش ڪري سگھجي ٿو: قطارون صارفين سان ملن ٿيون، ۽ ڪالم دستاويزن سان ملن ٿا. جيئن ته ماڻهو اڪثر دستاويز نه ڏٺو آهي، اڪثر ميٽرڪس سيلز خالي رهندا، جڏهن ته ٻيا ڀرجي ويندا. هر واقعي لاءِ (جهڙوڪ، ناپسنديده، ڪلڪ) ڪجهه قدر ميٽرڪس ۾ مهيا ڪئي وئي آهي - پر اچو ته هڪ سادي نموني تي غور ڪريون جنهن ۾ هڪ پسند 1 سان ملندو آهي، ۽ ناپسنديده -1 سان ملندو آهي.
اچو ته ميٽرڪس کي ٻن حصن ۾ ٽوڙيو: P (mxd) ۽ Q (dxn)، جتي d ويڪٽر جي نمائندگي جو طول و عرض آهي (عام طور تي ننڍڙو انگ). پوءِ هر شئي هڪ ڊي-ڊائينشنل ويڪٽر سان ملندو (هڪ صارف لاءِ - ميٽرڪس پي ۾ هڪ قطار، هڪ دستاويز لاءِ - ميٽرڪس Q ۾ هڪ ڪالم). اهي ویکٹر لاڳاپيل شيون جا سرايت هوندا. اڳڪٿي ڪرڻ لاءِ ته ڇا صارف هڪ دستاويز پسند ڪندو، توهان آساني سان انهن جي ايمبيڊنگ کي وڌائي سگهو ٿا.
ميٽرڪس کي ختم ڪرڻ جي ممڪن طريقن مان هڪ آهي ALS (متبادل گهٽ ۾ گهٽ اسڪوائر). اسان هيٺ ڏنل نقصان جي فنڪشن کي بهتر ڪنداسين:
هتي rui يوزر u جو ڊاڪيومينٽ i سان تعامل آهي، qi دستاويز i جو ویکٹر آهي، pu يوزر u جو ویکٹر آهي.
پوءِ مطلب چورس غلطي جي نقطي نظر کان بهتر استعمال ڪندڙ ویکٹر (مقرر ٿيل دستاويز ویکٹرز لاءِ) تجزياتي طور تي لاڳاپيل لڪير رجعت کي حل ڪندي ملي ٿو.
اهو "ALS قدم" سڏيو ويندو آهي. ۽ ALS الگورٿم پاڻ اهو آهي ته اسان متبادل طور تي هڪ ميٽرڪس (استعمال ڪندڙ ۽ آرٽيڪل) کي درست ڪريون ٿا ۽ ٻئي کي اپڊيٽ ڪريون ٿا، بهترين حل ڳولڻ.
خوشقسمتيءَ سان، صارف جي ویکٹر جي نمائندي کي ڳولهڻ هڪ انتهائي تيز آپريشن آهي جيڪو ویکٹر هدايتون استعمال ڪندي رن ٽائم تي ڪري سگهجي ٿو. هي چال توهان کي فوري طور تي صارف جي راءِ کي درجه بندي ۾ حساب ۾ آڻڻ جي اجازت ڏئي ٿي. اميدوار جي چونڊ کي بهتر ڪرڻ لاءِ ساڳي ايمبيڊنگ kNN انڊيڪس ۾ استعمال ٿي سگهي ٿي.
تقسيم ٿيل تعاون واري فلٽرنگ
ڪيئن ڪجي وڌ ۾ وڌ ورهايل ميٽرڪس فيڪٽرائيزيشن ۽ جلدي ڳوليو نئين مضمونن جي ویکٹر نمائندگي؟
مواد سفارش جي سگنلن جو واحد ذريعو ناهي. ٻيو اهم ذريعو تعاون جي معلومات آهي. سٺي درجه بندي جون خاصيتون روايتي طور تي صارف-دستاويزن جي ميٽرڪس جي ٺهڻ مان حاصل ڪري سگھجن ٿيون. پر جڏهن اهڙي خرابي ڪرڻ جي ڪوشش ڪئي، اسان کي مشڪلاتن جو سامنا ڪيو:
1. اسان وٽ لکين دستاويز ۽ ڪروڙين استعمال ڪندڙ آهن. ميٽرڪس هڪ مشين تي مڪمل طور تي نه ٺهڪي اچي ٿو، ۽ ٺهڪندڙ تمام گهڻو وقت وٺندو.
2. سسٽم ۾ گھڻا مواد ھڪڙو مختصر وقت آھي: دستاويز صرف چند ڪلاڪن لاء لاڳاپيل رھندا آھن. تنهن ڪري، اهو ضروري آهي ته انهن جي ویکٹر نمائندگي کي جلدي ممڪن طور تي تعمير ڪيو وڃي.
3. جيڪڏهن توهان دستاويز جي شايع ٿيڻ کان پوءِ فوري طور تي ڊمپوزيشن ٺاهي رهيا آهيو، صارفين جي ڪافي تعداد وٽ ان جو جائزو وٺڻ جو وقت نه هوندو. تنهن ڪري، ان جي ویکٹر نمائندگي گهڻو ڪري تمام سٺو نه ٿيندو.
4. جيڪڏهن ڪو صارف پسند يا ناپسند ڪري ٿو، ته اسان ان کي فوري طور تي ڊيموڪريشن ۾ حساب ۾ آڻڻ جي قابل نه هوندا.
انهن مسئلن کي حل ڪرڻ لاءِ، اسان لاڳو ڪيو هڪ ورهايل ڊمپوزيشن استعمال ڪندڙ-دستاويزن جي ميٽرڪس سان بار بار وڌندڙ تازه ڪارين سان. اهو ڪيئن صحيح ڪم ڪندو آهي؟
فرض ڪريو اسان وٽ N مشينن جو هڪ ڪلستر آهي (N سوين ۾ آهي) ۽ اسان چاهيون ٿا ته انهن تي هڪ ميٽرڪس جو ورهايل ڊمپوزيشن جيڪو هڪ مشين تي نه هجي. سوال اهو ٿو پيدا ٿئي ته هي ٺاهه ڪيئن ڪجي ته جيئن هڪ طرف هر مشين تي ڪافي ڊيٽا هجي ۽ ٻئي طرف، ته جيئن حساب ڪتاب آزاد هجن؟
اسان مٿي بيان ڪيل ALS decomposition algorithm استعمال ڪنداسين. اچو ته ڏسو ته هڪ ALS قدم کي ورهايل طريقي سان ڪيئن عمل ڪجي - باقي مرحلا ساڳيا هوندا. اچو ته چئو ته اسان وٽ دستاويزن جو هڪ مقرر ٿيل ميٽرڪس آهي ۽ اسان صارفين جو هڪ ميٽرڪس ٺاهڻ چاهيون ٿا. هن کي ڪرڻ لاء، اسان ان کي لڪير جي N حصن ۾ ورهائينداسين، هر حصي ۾ لڳ ڀڳ ساڳين لائينن جو تعداد هوندو. اسان هر مشين ڏانهن موڪلينداسين غير خالي سيلن جي لاڳاپيل قطارن جي، ۽ انهي سان گڏ دستاويز جي ايمبيڊنگ جي ميٽرڪس (مڪمل طور تي). جيئن ته ان جي سائيز تمام وڏي نه آهي، ۽ صارف-دستاويز ميٽرڪس عام طور تي تمام گهٽ آهي، هي ڊيٽا باقاعده مشين تي فٽ ٿيندو.
هي چال ڪيترن ئي دورن تي ورجائي سگهجي ٿي جيستائين ماڊل تبديل نه ٿئي، مقرر ميٽرڪس کي هڪ هڪ ڪري ڦيرائي. پر ان جي باوجود، ميٽرڪس جي ٺهڻ ۾ ڪيترائي ڪلاڪ وٺي سگهن ٿا. ۽ اهو مسئلو حل نٿو ڪري ته توهان کي جلدي حاصل ڪرڻ جي ضرورت آهي نئين دستاويزن جي ايمبيڊنگس ۽ انهن جي ايمبيڊنگ کي تازه ڪاري ڪرڻ جي ضرورت آهي جنهن بابت ماڊل تعمير ڪرڻ وقت ٿوري معلومات هئي.
تيز اضافو ماڊل اپڊيٽ جي تعارف اسان جي مدد ڪئي. اچو ته چوندا آهن ته اسان وٽ هن وقت تربيت يافته ماڊل آهي. هن جي تربيت کان وٺي، اهڙا نوان مضمون آيا آهن جن سان اسان جي استعمال ڪندڙن رابطو ڪيو آهي، انهي سان گڏ اهي آرٽيڪل جيڪي ٽريننگ دوران گهٽ رابطي ۾ هئا. اهڙين آرٽيڪلن جي ايمبيڊنگس کي جلدي حاصل ڪرڻ لاءِ، اسان استعمال ڪريون ٿا استعمال ڪندڙ جي ايمبيڊنگس حاصل ڪيل ماڊل جي پهرين وڏي ٽريننگ دوران ۽ هڪ ALS قدم کي ڳڻپ ڪرڻ لاءِ دستاويز جي ميٽرڪس کي ڳڻڻ لاءِ هڪ مقرر ٿيل يوزر ميٽرڪس ڏنو ويو آهي. هي توهان کي اجازت ڏئي ٿو ايمبيڊنگس حاصل ڪرڻ جي تمام جلدي - دستاويز شايع ٿيڻ کان چند منٽن اندر - ۽ اڪثر تازو دستاويزن جي ايمبيڊنگ کي تازه ڪاري ڪريو.
سفارشون ڪرڻ لاءِ فوري طور تي انساني عملن کي نظر ۾ رکندي، رن ٽائم ۾ اسان استعمال نه ڪندا آهيون صارف جي ايمبيڊنگس حاصل ڪيل آف لائن. ان جي بدران، اسان هڪ ALS قدم ڪندا آهيون ۽ حقيقي صارف ویکٹر حاصل ڪندا آهيون.
ٻئي ڊومين واري علائقي ڏانهن منتقل ڪريو
هڪ وڊيو جي ویکٹر نمائندگي ٺاهڻ لاء ٽيڪسٽ آرٽيڪل تي صارف جي راء کي ڪيئن استعمال ڪجي؟
شروعات ۾، اسان صرف ٽيڪسٽ آرٽيڪل جي سفارش ڪئي، تنهنڪري اسان جا ڪيترائي الگورتھم هن قسم جي مواد سان ٺهيل آهن. پر جڏهن مواد جي ٻين قسمن کي شامل ڪندي، اسان کي ماڊل کي اپنائڻ جي ضرورت سان منهن ڪيو ويو. اسان هڪ وڊيو مثال استعمال ڪندي هن مسئلي کي ڪيئن حل ڪيو؟ ھڪڙو اختيار آھي سڀني ماڊل کي شروع کان ٻيهر تربيت ڏيڻ. پر اهو هڪ ڊگهو وقت وٺندو آهي، ۽ ڪجهه الگورتھم ٽريننگ نموني جي سائيز تي طلب ڪري رهيا آهن، جيڪي اڃا تائين خدمت تي پنهنجي زندگيء جي پهرين لمحن ۾ نئين قسم جي مواد لاء گهربل مقدار ۾ موجود نه آهن.
اسان ٻئي طريقي سان ويا ۽ وڊيو لاء ٽيڪسٽ ماڊل ٻيهر استعمال ڪيو. ساڳي ALS چال اسان کي وڊيوز جي ویکٹر نمائندگي ٺاهڻ ۾ مدد ڪئي. اسان ٽيڪسٽ آرٽيڪل جي بنياد تي استعمال ڪندڙن جي ویکٹر نمائندگي ورتي ۽ وڊيو ڏسڻ جي معلومات استعمال ڪندي ALS قدم ڪيو. تنهنڪري اسان کي آساني سان وڊيو جي ویکٹر نمائندگي ملي ٿي. ۽ رن ٽائم تي اسان صرف ٽيڪسٽ آرٽيڪلز ۽ وڊيو ویکٹر مان حاصل ڪيل استعمال ڪندڙ ویکٹر جي وچ ۾ قربت جو اندازو لڳايو.
ٿڪل
حقيقي وقت جي سفارش واري نظام جي بنيادي ترقي ۾ ڪيترائي چئلينج شامل آهن. توھان کي ضرورت آھي جلدي ڊيٽا کي پروسيس ڪرڻ ۽ ML طريقن کي لاڳو ڪرڻ لاء ھن ڊيٽا کي مؤثر طريقي سان استعمال ڪرڻ لاء؛ پيچيده ورهايل سسٽم ٺاهيو جيڪو گهٽ ۾ گهٽ وقت ۾ صارف جي سگنلن ۽ مواد جي نئين يونٽ کي پروسيس ڪرڻ جي قابل آهي؛ ۽ ٻيا ڪيترائي ڪم.
موجوده سسٽم ۾، جنهن جي ڊزائن جو مون بيان ڪيو آهي، صارف لاء سفارشون جو معيار هن جي سرگرمي ۽ خدمت تي رهڻ جي ڊيگهه سان گڏ وڌندو آهي. پر يقينن، هتي بنيادي مشڪل آهي: سسٽم لاء اهو ڏکيو آهي ته فوري طور تي هڪ شخص جي مفادن کي سمجهڻ، جيڪو مواد سان گهٽ رابطي ۾ آهي. نون صارفين لاءِ سفارشون بهتر ڪرڻ اسان جو اهم مقصد آهي. اسان الگورتھم کي بهتر ڪرڻ جاري رکون ٿا ته جيئن مواد جيڪو هڪ شخص سان لاڳاپيل هجي ان جي فيڊ ۾ تيزيءَ سان اچي وڃي، ۽ غير لاڳاپيل مواد نه ڏيکاريو وڃي.
جو ذريعو: www.habr.com