هر خدمت جنهن جا صارف پنهنجو مواد ٺاهي سگهن ٿا (UGC - استعمال ڪندڙ جي ٺاهيل مواد) مجبور ڪيو ويندو آهي نه رڳو ڪاروباري مسئلن کي حل ڪرڻ، پر شين کي ترتيب ڏيڻ لاءِ UGC ۾. ناقص يا گهٽ معيار جي مواد جو اعتدال آخرڪار صارفين لاءِ خدمت جي ڪشش کي گهٽائي سگھي ٿو، حتي ان جي آپريشن کي ختم ڪري.
اڄ اسان توهان کي يولا ۽ اوڊنوڪلاسنيڪي جي وچ ۾ هم آهنگيءَ جي باري ۾ ٻڌائينداسين، جيڪا اسان کي مدد ڪري ٿي مؤثر طريقي سان يولا ۾ اشتهارن کي معتدل ڪرڻ.
مطابقت عام طور تي هڪ تمام مفيد شيء آهي، ۽ جديد دنيا ۾، جڏهن ٽيڪنالاجيون ۽ رجحانات تمام جلدي تبديل ٿي ويندا آهن، اهو هڪ زندگي بچائيندڙ ۾ تبديل ٿي سگهي ٿو. ان شيءِ کي ايجاد ڪرڻ ۾ ڇو ٿورا وسيلا ۽ وقت ضايع ڪيو وڃي جيڪا اڳ ۾ ئي ايجاد ڪئي وئي آهي ۽ توهان جي اڳيان ذهن ۾ آندو ويو آهي؟
اسان ساڳيو ئي سوچيو جڏهن اسان کي صارف جي مواد جي چڪاس ڪرڻ جي مڪمل ڪم سان منهن ڏيڻو پيو - تصويرون، ٽيڪسٽ ۽ لنڪس. اسان جا صارف هر روز يولا تي مواد جا لکين ٽڪرا اپ لوڊ ڪندا آهن، ۽ خودڪار پروسيسنگ کان سواءِ اهو مڪمل طور تي ناممڪن آهي ته هن سموري ڊيٽا کي دستي طور تي معتدل ڪرڻ.
تنهن ڪري، اسان هڪ تيار ڪيل اعتدال پسند پليٽ فارم استعمال ڪيو، جيڪو ان وقت تائين Odnoklassniki کان اسان جي ساٿين "تقريبا تڪميل" جي حالت ۾ مڪمل ڪيو هو.
ڇو Odnoklassniki؟
هر روز، لکين استعمال ڪندڙ سوشل نيٽ ورڪ تي ايندا آهن ۽ مواد جا اربين ٽڪرا شايع ڪندا آهن: فوٽوز کان وڊيوز ۽ متن تائين. Odnoklassniki معتدل پليٽ فارم ڊيٽا جي تمام وڏي مقدار کي جانچڻ ۽ اسپامرز ۽ بوٽن کي منهن ڏيڻ ۾ مدد ڪري ٿو.
ٺيڪ اعتدال واري ٽيم تمام گهڻو تجربو گڏ ڪيو آهي، ڇاڪاڻ ته اها 12 سالن کان پنهنجي اوزار کي بهتر بڻائي رهي آهي. اهو ضروري آهي ته اهي نه رڳو پنهنجا تيار ڪيل حل شيئر ڪري سگهن، پر انهن جي پليٽ فارم جي فن تعمير کي به اسان جي مخصوص ڪمن جي مناسبت سان ترتيب ڏئي سگهن.
ھاڻي ھاڻي، اختصار لاءِ، اسان رڳو ٺيڪ اعتدال واري پليٽ فارم کي ”پليٽفارم“ سڏينداسين.
ڪيئن سڀڪنھن شيء کي ڪم
يولا ۽ Odnoklassniki جي وچ ۾ ڊيٽا جي مٽاسٽا جي ذريعي قائم ڪئي وئي آهي .
ڇو اسان هي اوزار چونڊيو آهي:
- يولا ۾، سڀئي اشتهار پوسٽ معتدل آهن، تنهنڪري شروعاتي طور تي هڪ هم وقت ساز جواب جي ضرورت نه هئي.
- جيڪڏهن ڪو خراب پيراگراف ٿئي ٿو ۽ Yula يا Odnoklassniki دستياب نه آهن، بشمول ڪجهه چوٽي لوڊ ڪرڻ جي ڪري، پوء ڪافڪا جي ڊيٽا ڪٿي به غائب نه ٿيندي ۽ بعد ۾ پڙهي سگهجي ٿو.
- پليٽ فارم اڳ ۾ ئي ڪافڪا سان ضم ٿي چڪو هو، تنهنڪري اڪثر سيڪيورٽي مسئلا حل ڪيا ويا.
يولا ۾ صارف پاران ٺاهيل يا تبديل ٿيل هر اشتهار لاءِ، ڊيٽا سان گڏ هڪ JSON ٺاهي ويندي آهي، جيڪا ايندڙ چڪاس لاءِ ڪافڪا ۾ رکيل آهي. ڪافڪا کان، اعلانات پليٽ فارم تي لوڊ ڪيا ويا آهن، جتي اهي خودڪار يا دستي طور تي فيصلا ڪيا ويندا آهن. خراب اشتهارن کي هڪ سبب سان بند ڪيو ويو آهي، ۽ اهي جن ۾ پليٽ فارم جي خلاف ورزيون نه ملنديون آهن "سٺو" طور نشان لڳل آهن. پوء سڀئي فيصلا يولا ڏانهن واپس موڪليا ويا آهن ۽ خدمت ۾ لاڳو ٿين ٿا.
آخر ۾، يولا لاءِ اهو سڀ ڪجهه سادو عملن تي اچي ٿو: Odnoklassniki پليٽ فارم تي هڪ اشتهار موڪليو ۽ هڪ قرارداد واپس وٺو ”ٺيڪ“، يا ”ٺيڪ“ ڇو نه.
خودڪار پروسيسنگ
پليٽ فارم تي اچڻ کان پوءِ اشتهار کي ڇا ٿيندو؟ هر اشتهار ڪيترن ئي ادارن ۾ ورهايل آهي:
- نالو،
- وضاحت،
- تصويرون،
- صارف پاران چونڊيل قسم ۽ اشتهار جو ذيلي درجو،
- قيمت.
پليٽ فارم وري هر اداري لاءِ ڪلسٽرنگ ڪري ٿو نقلن کي ڳولڻ لاءِ. ان کان علاوه، متن ۽ تصويرون مختلف اسڪيمن جي مطابق ڪلستر ٿيل آھن.
ڪلستر ڪرڻ کان اڳ، خاص اکر، تبديل ٿيل اکر ۽ ٻيا گندگي کي هٽائڻ لاء نصوص عام ڪيا ويا آهن. حاصل ڪيل ڊيٽا N-grams ۾ ورهايل آھي، جن مان ھر ھڪ کي ڇڪايو ويو آھي. نتيجو ڪيترائي منفرد هيش آهن. نصوص جي وچ ۾ هڪجهڙائي جو اندازو لڳايو ويو آهي ٻن نتيجن واري سيٽ جي وچ ۾. جيڪڏهن هڪجهڙائي حد کان وڌيڪ آهي، ته پوء نصوص هڪ ڪلستر ۾ ضم ٿي ويا آهن. ساڳئي ڪلستر جي ڳولا کي تيز ڪرڻ لاء، MinHash ۽ Locality-sensitive hashing استعمال ڪيا ويا آهن.
تصويرن لاءِ تصويرن کي چمڪائڻ لاءِ مختلف آپشن ايجاد ڪيا ويا آهن، pHash تصويرن جي ڀيٽ ڪرڻ کان وٺي نيورل نيٽ ورڪ استعمال ڪندي نقلن جي ڳولا تائين.
آخري طريقو سڀ کان وڌيڪ "سخت" آهي. ماڊل کي تربيت ڏيڻ لاء، تصويرن جي ٽنهي شڪلن (N، A، P) کي چونڊيو ويو جنهن ۾ N A سان ملندڙ جلندڙ نه آهي، ۽ P A سان ملندڙ جلندڙ آهي (هڪ نيم نقل آهي). پوءِ نيورل نيٽ ورڪ A ۽ P کي جيترو ٿي سگهي ويجھو ڪرڻ سکيو، ۽ A ۽ N جيترو ٿي سگهي. اهو نتيجو ٿورڙي غلط مثبتن جي مقابلي ۾ صرف اڳ-تربيت ٿيل نيٽ ورڪ مان ايمبيڊنگ وٺڻ جي مقابلي ۾.
جڏهن نيورل نيٽ ورڪ تصويرن کي ان پٽ طور وصول ڪري ٿو، اهو انهن مان هر هڪ لاءِ هڪ N(128)-dimensional vector ٺاهي ٿو ۽ تصوير جي قربت جو جائزو وٺڻ لاءِ درخواست ڪئي وئي آهي. اڳيون، ھڪڙي حد جي حساب سان آھي جنھن تي ويجھي تصويرن کي نقل ڪيو ويندو آھي.
ماڊل مهارت سان اسپامرز کي ڳولڻ جي قابل آهي جيڪي خاص طور تي هڪ ئي پراڊڪٽ کي مختلف زاوين کان فوٽو ڪڍندا آهن انهي لاءِ ته پي ايڇ جي مقابلي کي نظرانداز ڪرڻ لاءِ.
اسپام فوٽوز جو هڪ مثال هڪ نيورل نيٽ ورڪ پاران گڏ ڪيل نقلن جي طور تي.
آخري مرحلي تي، نقل ڪيل اشتهارن کي هڪ ئي وقت متن ۽ تصوير ٻنهي ذريعي ڳولهيو ويندو آهي.
جيڪڏهن ٻه يا وڌيڪ اشتهار هڪ ڪلستر ۾ گڏ ٿين ٿا، سسٽم خودڪار بلاڪنگ شروع ڪري ٿو، جيڪو، مخصوص الگورتھم استعمال ڪندي، چونڊيندو آهي ته ڪهڙن نقلن کي حذف ڪرڻ ۽ ڪهڙو ڇڏڻو آهي. مثال طور، جيڪڏهن ٻه صارف هڪ اشتهار ۾ ساڳيون تصويرون آهن، سسٽم وڌيڪ تازو اشتهار بلاڪ ڪندو.
هڪ دفعو ٺاهي وئي، سڀئي ڪلستر خودڪار فلٽرن جي هڪ سيريز ذريعي وڃو. هر فلٽر ڪلستر کي هڪ سکور تفويض ڪري ٿو: اهو ڪيترو ممڪن آهي ته اهو خطرو آهي ته اهو فلٽر سڃاڻي ٿو.
مثال طور، سسٽم هڪ اشتهار ۾ وضاحت جو تجزيو ڪري ٿو ۽ ان لاءِ امڪاني زمرا چونڊي ٿو. پوءِ اھو وٺي ٿو ھڪڙي کي وڌ ۾ وڌ امڪان سان ۽ ان جي مقابلي ڪري ٿو درجه بندي سان جيڪو بيان ڪيل اشتهار جي ليکڪ طرفان. جيڪڏهن اهي نه ملندا آهن، اشتهار کي بلاڪ ڪيو ويو آهي غلط درجي لاءِ. ۽ جيئن ته اسان مهربان ۽ ايماندار آهيون، اسان سڌو سنئون صارف کي ٻڌائيندا آهيون ته هن کي ڪهڙي قسم جي چونڊ ڪرڻ جي ضرورت آهي انهي لاءِ ته اشتهار کي چڪاس ڪرڻ لاءِ.
غلط ڪيٽيگري لاءِ بلاڪ ڪرڻ جو نوٽيفڪيشن.
مشين لرننگ اسان جي پليٽ فارم تي گهر ۾ صحيح محسوس ٿئي ٿي. مثال طور، ان جي مدد سان اسان روسي فيڊريشن ۾ منع ٿيل سامان جي نالن ۽ وضاحتن ۾ ڳوليندا آهيون. ۽ نيورل نيٽ ورڪ ماڊل احتياط سان تصويرن کي "معائنو" ڪن ٿا ڏسو ته ڇا انهن ۾ URLs، اسپام متن، ٽيليفون نمبر، ۽ ساڳئي "حرام" معلومات شامل آهن.
ڪيسن لاءِ جتي اهي هڪ ممنوع پراڊڪٽ وڪڻڻ جي ڪوشش ڪري رهيا آهن قانوني شيءِ جي روپ ۾، ۽ عنوان يا وضاحت ۾ ڪوبه متن نه آهي، اسان تصوير جي ٽيگنگ استعمال ڪندا آهيون. هر تصوير لاءِ، 11 هزار تائين مختلف ٽيگ شامل ڪري سگهجن ٿا جيڪي بيان ڪن ٿا ته تصوير ۾ ڇا آهي.
هوڪا کي سموور جي روپ ۾ وڪڻڻ جي ڪوشش ڪري رهيا آهن.
پيچيده فلٽرن سان گڏ، سادو پڻ ڪم ڪن ٿا، متن سان لاڳاپيل واضح مسئلا حل ڪرڻ:
- ضد
- URL ۽ فون نمبر ڊيڪٽر؛
- فوري پيغامن ۽ ٻين رابطن جو ذڪر؛
- گھٽ قيمت؛
- اشتهار جن ۾ ڪجھ به نه وڪري لاءِ، وغيره.
اڄ، هر اشتهار 50 کان وڌيڪ خودڪار فلٽرن جي سٺي ڇنڊ ڇاڻ جي ذريعي گذري ٿو جيڪي اشتهار ۾ ڪجهه خراب ڳولڻ جي ڪوشش ڪندا آهن.
جيڪڏهن ڪنهن به ڊيڪٽر ڪم نه ڪيو، ته پوءِ يولا ڏانهن جواب موڪليو ويو ته اشتهار ”سڀ کان وڌيڪ“ مڪمل ترتيب ۾ آهي. اسان هي جواب پاڻ کي استعمال ڪندا آهيون، ۽ صارفين جيڪي وڪڻڻ جي رڪنيت حاصل ڪئي آهي انهن کي هڪ نوٽيفڪيشن ملي ٿي هڪ نئين پيداوار جي دستيابي بابت.
نوٽيفڪيشن آهي ته وڪرو ڪندڙ هڪ نئين پيداوار آهي.
نتيجي طور، هر اشتهار ميٽاڊيٽا سان گڏ ”اوور گرائونڊ“ هوندو آهي، جن مان ڪجهه پيدا ٿيندو آهي جڏهن اشتهار ٺاهيو ويندو آهي (ليکڪ جو IP پتو، يوزر-ايجنٽ، پليٽ فارم، جغرافيائي مقام، وغيره) ۽ باقي هر فلٽر طرفان جاري ڪيل اسڪور آهي. .
اعلانن جون قطارون
جڏهن هڪ اشتهار پليٽ فارم تي اچي ٿو، سسٽم ان کي هڪ قطار ۾ رکي ٿو. هر قطار هڪ رياضياتي فارمولا استعمال ڪندي ٺاهي وئي آهي جيڪا اشتهار ميٽا ڊيٽا کي گڏ ڪري ٿي انهي طريقي سان جيڪو ڪنهن به خراب نمونن کي ڳولي ٿو.
مثال طور، توهان يولا استعمال ڪندڙن مان "سيل فونز" جي درجي ۾ اشتهارن جي هڪ قطار ٺاهي سگهو ٿا جيڪو سمجهي ٿو سينٽ پيٽرسبرگ کان، پر انهن جا IP پتا ماسڪو يا ٻين شهرن مان آهن.
مختلف شهرن ۾ هڪ صارف پاران پوسٽ ڪيل اشتهارن جو هڪ مثال.
يا توهان انهن اسڪور جي بنياد تي قطارون ٺاهي سگهو ٿا جيڪي نيورل نيٽ ورڪ اشتهارن کي تفويض ڪري ٿو، انهن کي ترتيب ڏئي هيٺئين ترتيب ۾.
هر قطار، پنهنجي فارمولا مطابق، اشتهار کي فائنل اسڪور ڏئي ٿو. پوء توهان مختلف طريقن سان اڳتي وڌائي سگهو ٿا:
- حد بيان ڪريو جنهن تي هڪ اشتهار هڪ خاص قسم جي بلاڪنگ حاصل ڪندو؛
- دستي جائزي لاءِ منتظمين کي قطار ۾ موجود سڀئي اشتهار موڪليو؛
- يا اڳوڻن اختيارن کي گڏ ڪريو: خودڪار بلاڪ ڪرڻ واري حد جي وضاحت ڪريو ۽ منتظمين کي موڪليو اهي اشتهار جيڪي هن حد تائين نه پهچي ويا آهن.
انهن قطارن جي ضرورت ڇو آهي؟ اچو ته چئو ته هڪ صارف هٿيارن جي تصوير اپ لوڊ ڪئي. نيورل نيٽ ورڪ ان کي 95 کان 100 تائين اسڪور ڏئي ٿو ۽ 99 سيڪڙو درستگي سان طئي ڪري ٿو ته تصوير ۾ ڪو هٿيار آهي. پر جيڪڏهن سکور جي قيمت 95٪ کان گهٽ آهي، ماڊل جي درستگي گهٽجڻ شروع ٿئي ٿي (هي نيورل نيٽورڪ ماڊل جي هڪ خاصيت آهي).
نتيجي طور، ھڪڙي قطار ٺھيل آھي سکور جي ماڊل جي بنياد تي، ۽ اھي اشتهار جيڪي 95 ۽ 100 جي وچ ۾ مليا آھن، خودڪار طور تي "ممنوع مصنوعات" جي طور تي بند ٿي ويا آھن. 95 کان هيٺ اسڪور سان اشتهار موڪليا وڃن ٿا مينوئل پروسيسنگ لاءِ منتظمين کي.
ڪارٽريز سان چاکليٽ Beretta. صرف دستي چڪاس لاءِ! 🙂
دستي اعتدال
2019 جي شروعات ۾، تقريباً 94٪ سڀني اشتهارن جو يولا ۾ پاڻمرادو چڪاس ڪيو ويو آهي.
جيڪڏهن پليٽ فارم ڪجهه اشتهارن تي فيصلو نٿو ڪري سگهي، اهو انهن کي دستي چڪاس لاءِ موڪلي ٿو. Odnoklassniki پنهنجو اوزار ٺاهيو: منتظمين لاءِ ڪم فوري طور تي تمام ضروري معلومات ڏيکاري ٿو تڪڙو فيصلو ڪرڻ لاءِ - اشتهار موزون آهي يا بلاڪ ڪيو وڃي، سبب ظاهر ڪري.
۽ انهي ڪري ته خدمت جي معيار کي دستي اعتدال جي دوران متاثر نه ٿئي، ماڻهن جي ڪم کي مسلسل نگراني ڪيو وڃي ٿو. مثال طور، ٽاسڪ اسٽريم ۾، منتظم کي ڏيکاريو ويو آهي ”ٽريپس“- اشتهار جن لاءِ اڳ ۾ ئي تيار ڪيل حل موجود آهن. جيڪڏهن منتظم جو فيصلو ختم ٿيل فيصلي سان ٺهڪندڙ نه آهي، منتظم کي غلطي ڏني ويندي.
سراسري طور تي، هڪ منتظم 10 سيڪنڊ خرچ ڪري ٿو هڪ اشتهار چيڪ ڪرڻ. ان کان علاوه، غلطين جو تعداد سڀني تصديق ٿيل اشتهارن جي 0,5٪ کان وڌيڪ ناهي.
ماڻهن جو اعتدال
Odnoklassniki کان ساٿي اڃا به اڳتي وڌيا ۽ ”شاعرن جي مدد“ جو فائدو ورتو: انهن سوشل نيٽ ورڪ لاءِ هڪ گيم ايپليڪيشن لکي جنهن ۾ توهان جلدي ڊيٽا جي وڏي مقدار کي نشانو بڻائي سگهو ٿا، ڪجهه خراب نشاني کي نمايان ڪندي - Odnoklassniki منتظم (). OK صارفين جي مدد جو فائدو وٺڻ جو هڪ سٺو طريقو آهي جيڪو مواد کي وڌيڪ لطف اندوز ڪرڻ جي ڪوشش ڪري رهيا آهن.
هڪ راند جنهن ۾ استعمال ڪندڙ فوٽوز کي ٽيگ ڪندا آهن جن تي فون نمبر هوندو آهي.
پليٽ فارم ۾ اشتهارن جي ڪنهن به قطار کي Odnoklassniki ماڊريٽر گيم ڏانهن منتقل ڪري سگهجي ٿو. هر شي جيڪا راند استعمال ڪندڙ مارڪ اپ ڪندا آهن پوءِ تصديق لاءِ اندروني منتظمين ڏانهن موڪلي ويندي آهي. هي اسڪيم توهان کي انهن اشتهارن کي بلاڪ ڪرڻ جي اجازت ڏئي ٿي جن لاءِ فلٽر اڃا تائين نه ٺاهيا ويا آهن، ۽ گڏوگڏ تربيتي نموني ٺاهي.
اعتدال جي نتيجن کي محفوظ ڪرڻ
اسان اعتدال دوران ڪيل سڀني فيصلن کي محفوظ ڪريون ٿا ته جيئن اسان انهن اشتهارن تي ٻيهر عمل نه ڪريون جن تي اسان اڳ ۾ ئي فيصلو ڪري چڪا آهيون.
هر روز لکين ڪلستر ٺاهيا ويا آهن اشتهارن جي بنياد تي. وقت سان گڏ، هر ڪلستر کي "سٺو" يا "خراب" جو نشان لڳايو ويو آهي. هر نئون اشتهار يا ان جي نظرثاني، هڪ نشان سان هڪ ڪلستر ۾ داخل ٿيڻ، خودڪار طريقي سان ڪلستر مان هڪ قرارداد وصول ڪري ٿو. في ڏينهن اٽڪل 20 هزار اهڙيون خودڪار قراردادون آهن.
جيڪڏهن ڪو به نئون اعلان ڪلستر تائين پهچي نه ٿو، اهو ياداشت مان هٽايو ويو آهي ۽ ان جو هيش ۽ حل Apache Cassandra ڏانهن لکيو ويو آهي.
جڏهن پليٽ فارم هڪ نئون اشتهار وصول ڪري ٿو، اهو پهريون ڀيرو انهن جي وچ ۾ ساڳيو ڪلستر ڳولڻ جي ڪوشش ڪري ٿو جيڪو اڳ ۾ ئي ٺاهيل آهي ۽ ان مان هڪ حل ڪڍي ٿو. جيڪڏهن ڪو اهڙو ڪلستر نه آهي، پليٽ فارم Cassandra ڏانهن وڃي ٿو ۽ اتي ڏسڻ ۾ اچي ٿو. ڇا توهان اهو ڳولي ورتو؟ عظيم، ڪلستر تي حل لاڳو ڪري ٿو ۽ ان کي يولا ڏانهن موڪلي ٿو. هر روز سراسري طور 70 هزار اهڙا ”بار بار“ فيصلا ٿيندا آهن- ڪل جو 8 سيڪڙو.
مختصر ڪرڻ لاء
اسان اڍائي سالن کان Odnoklassniki چڪاس پليٽ فارم استعمال ڪري رهيا آهيون. اسان نتيجن کي پسند ڪندا آهيون:
- اسان خودڪار طريقي سان 94٪ سڀني اشتهارن جي في ڏينهن کي معتدل ڪريون ٿا.
- ھڪڙي اشتهار جي چڪاس جي قيمت 2 روبل کان 7 ڪوپيڪس تائين گھٽائي وئي.
- تيار ڪيل اوزار جي مهرباني، اسان منتظمين جي انتظام جي مسئلن بابت وساري ڇڏيو.
- اسان دستي طور تي پروسيس ٿيل اشتهارن جو تعداد 2,5 ڀيرا وڌايو آهي ساڳئي تعداد منتظمين ۽ بجيٽ سان. دستي اعتدال جو معيار پڻ وڌي ويو آهي خودڪار ڪنٽرول جي ڪري، ۽ تقريباً 0,5% جي غلطين ۾ ڦيرڦار ٿئي ٿي.
- اسان جلدي نئين قسم جي اسپام کي فلٽرن سان ڍڪيندا آهيون.
- اسان جلدي نئين ڊپارٽمنٽ کي اعتدال سان ڳنڍيندا آهيون . 2017 کان وٺي، يولا شامل ڪيو آهي ريئل اسٽيٽ، خالي جايون ۽ آٽو عمودي.
جو ذريعو: www.habr.com