ہر وہ سروس جس کے صارفین اپنا مواد خود بنا سکتے ہیں (UGC - User-generated Content) کو نہ صرف کاروباری مسائل حل کرنے پر مجبور کیا جاتا ہے بلکہ UGC میں چیزوں کو ترتیب دینے پر بھی مجبور کیا جاتا ہے۔ ناقص یا کم معیار کے مواد کا اعتدال بالآخر صارفین کے لیے سروس کی کشش کو کم کر سکتا ہے، یہاں تک کہ اس کے کام کو ختم کر سکتا ہے۔
آج ہم آپ کو Yula اور Odnoklassniki کے درمیان ہم آہنگی کے بارے میں بتائیں گے، جو یولا میں اشتہارات کو مؤثر طریقے سے معتدل کرنے میں ہماری مدد کرتا ہے۔
عام طور پر ہم آہنگی ایک بہت مفید چیز ہے، اور جدید دنیا میں، جب ٹیکنالوجیز اور رجحانات بہت تیزی سے تبدیل ہوتے ہیں، تو یہ زندگی بچانے والے میں بدل سکتی ہے۔ قلیل وسائل اور وقت کیوں ضائع کرتے ہیں ایسی کوئی چیز ایجاد کرنے میں جو آپ کے ذہن میں پہلے ہی ایجاد ہو چکی ہو؟
ہم نے بھی یہی سوچا جب ہمیں صارف کے مواد کو معتدل کرنے کے مکمل کام کا سامنا کرنا پڑا - تصاویر، متن اور لنکس۔ ہمارے صارفین یولا پر روزانہ لاکھوں مواد اپ لوڈ کرتے ہیں، اور خودکار پروسیسنگ کے بغیر اس تمام ڈیٹا کو دستی طور پر معتدل کرنا مکمل طور پر ناممکن ہے۔
لہذا، ہم نے ایک ریڈی میڈ اعتدال پسند پلیٹ فارم استعمال کیا، جو اس وقت تک Odnoklassniki سے ہمارے ساتھیوں نے "تقریباً کمال" کی حالت میں مکمل کر لیا تھا۔
کیوں Odnoklassniki؟
ہر روز، لاکھوں صارفین سوشل نیٹ ورک پر آتے ہیں اور مواد کے اربوں ٹکڑے شائع کرتے ہیں: تصاویر سے لے کر ویڈیوز اور متن تک۔ Odnoklassniki اعتدال پسند پلیٹ فارم ڈیٹا کی بہت بڑی مقدار کو چیک کرنے اور اسپامرز اور بوٹس کا مقابلہ کرنے میں مدد کرتا ہے۔
OK اعتدال پسند ٹیم نے کافی تجربہ جمع کیا ہے، کیونکہ وہ 12 سالوں سے اپنے ٹول کو بہتر بنا رہی ہے۔ یہ ضروری ہے کہ وہ نہ صرف اپنے تیار کردہ حل کا اشتراک کر سکیں بلکہ ہمارے مخصوص کاموں کے مطابق اپنے پلیٹ فارم کے فن تعمیر کو بھی اپنی مرضی کے مطابق بنا سکیں۔
اب سے، اختصار کے لیے، ہم صرف اوکے اعتدال پسند پلیٹ فارم کو "پلیٹ فارم" کہیں گے۔
سب کچھ کیسے کام کرتا ہے۔
یولا اور اوڈنوکلاسنیکی کے درمیان ڈیٹا کا تبادلہ قائم کیا جاتا ہے۔ .
ہم نے اس ٹول کا انتخاب کیوں کیا:
- یولا میں، تمام اشتہارات بعد از معتدل ہوتے ہیں، اس لیے ابتدائی طور پر ایک ہم آہنگ جواب کی ضرورت نہیں تھی۔
- اگر کوئی خراب پیراگراف ہوتا ہے اور Yula یا Odnoklassniki دستیاب نہیں ہیں، بشمول کچھ چوٹی کے بوجھ کی وجہ سے، تو کافکا کا ڈیٹا کہیں غائب نہیں ہوگا اور بعد میں پڑھا جا سکتا ہے۔
- پلیٹ فارم کو پہلے ہی کافکا کے ساتھ ضم کر دیا گیا تھا، اس لیے سیکیورٹی کے زیادہ تر مسائل حل ہو گئے تھے۔
یولا میں صارف کے ذریعے بنائے گئے یا اس میں ترمیم کیے گئے ہر اشتہار کے لیے، ڈیٹا کے ساتھ ایک JSON تیار کیا جاتا ہے، جسے بعد میں اعتدال کے لیے کافکا میں رکھا جاتا ہے۔ کافکا سے، اعلانات پلیٹ فارم میں لوڈ کیے جاتے ہیں، جہاں ان کا فیصلہ خود بخود یا دستی طور پر کیا جاتا ہے۔ خراب اشتہارات کو ایک وجہ کے ساتھ مسدود کر دیا جاتا ہے، اور جن میں پلیٹ فارم کو خلاف ورزیاں نہیں ملتی ہیں انہیں "اچھے" کے بطور نشان زد کیا جاتا ہے۔ پھر تمام فیصلے یولا کو واپس بھیجے جاتے ہیں اور خدمت میں لاگو ہوتے ہیں۔
آخر میں، یولا کے لیے یہ سب کچھ آسان کارروائیوں پر آتا ہے: Odnoklassniki پلیٹ فارم پر ایک اشتہار بھیجیں اور "ٹھیک ہے" یا کیوں نہیں "ٹھیک" کی قرارداد واپس حاصل کریں۔
خودکار پروسیسنگ
پلیٹ فارم پر آنے کے بعد اشتہار کا کیا ہوتا ہے؟ ہر اشتہار کو کئی اداروں میں تقسیم کیا گیا ہے:
- نام،
- تفصیل،
- تصاویر،
- صارف کا منتخب کردہ زمرہ اور اشتہار کا ذیلی زمرہ،
- قیمت
پلیٹ فارم پھر ڈپلیکیٹس تلاش کرنے کے لیے ہر ادارے کے لیے کلسٹرنگ کرتا ہے۔ مزید یہ کہ متن اور تصاویر کو مختلف اسکیموں کے مطابق کلسٹر کیا گیا ہے۔
کلسٹرنگ سے پہلے، خصوصی حروف، تبدیل شدہ حروف اور دیگر ردی کی ٹوکری کو ہٹانے کے لیے متن کو معمول بنایا جاتا ہے۔ موصول ہونے والے ڈیٹا کو N-grams میں تقسیم کیا گیا ہے، جن میں سے ہر ایک کو ہیش کیا گیا ہے۔ نتیجہ بہت سے منفرد ہیش ہے. نصوص کے درمیان مماثلت کی طرف سے مقرر کیا جاتا ہے دو نتیجے میں سیٹ کے درمیان. اگر مماثلت حد سے زیادہ ہے، تو متن کو ایک کلسٹر میں ضم کر دیا جاتا ہے۔ اسی طرح کے کلسٹرز کی تلاش کو تیز کرنے کے لیے، MinHash اور Locality-sensitive hashing کا استعمال کیا جاتا ہے۔
تصویروں کے لیے pHash تصویروں کا موازنہ کرنے سے لے کر نیورل نیٹ ورک کا استعمال کرتے ہوئے ڈپلیکیٹس کو تلاش کرنے کے لیے تصویروں کو گلو کرنے کے لیے مختلف آپشنز ایجاد کیے گئے ہیں۔
آخری طریقہ سب سے زیادہ "شدید" ہے۔ ماڈل کو تربیت دینے کے لیے، تصاویر کے ٹرپلٹس (N, A, P) کو منتخب کیا گیا تھا جس میں N A سے مماثل نہیں ہے، اور P A سے ملتا جلتا ہے (سیمی ڈپلیکیٹ ہے)۔ پھر نیورل نیٹ ورک نے A اور P کو جتنا ممکن ہو سکے قریب کرنا سیکھا اور A اور N کو جہاں تک ممکن ہو سکے بنانا سیکھا۔ اس کے نتیجے میں پہلے سے تربیت یافتہ نیٹ ورک سے سرایت کرنے کے مقابلے میں کم جھوٹے مثبت نتائج برآمد ہوتے ہیں۔
جب نیورل نیٹ ورک ان پٹ کے طور پر تصاویر وصول کرتا ہے، تو یہ ان میں سے ہر ایک کے لیے ایک N(128) جہتی ویکٹر تیار کرتا ہے اور تصویر کی قربت کا اندازہ لگانے کے لیے درخواست کی جاتی ہے۔ اس کے بعد، ایک حد کا حساب لگایا جاتا ہے جس پر قریبی تصاویر کو ڈپلیکیٹ سمجھا جاتا ہے۔
ماڈل مہارت کے ساتھ ایسے سپیمرز کو تلاش کرنے کے قابل ہے جو pHash کے موازنہ کو نظرانداز کرنے کے لیے خاص طور پر ایک ہی پروڈکٹ کی مختلف زاویوں سے تصویر کشی کرتے ہیں۔
سپیم فوٹوز کی ایک مثال جو ایک نیورل نیٹ ورک کے ذریعے ڈپلیکیٹس کے طور پر ایک ساتھ چپکی ہوئی ہیں۔
آخری مرحلے پر، ڈپلیکیٹ اشتہارات کو متن اور تصویر دونوں سے بیک وقت تلاش کیا جاتا ہے۔
اگر ایک کلسٹر میں دو یا دو سے زیادہ اشتہارات ایک ساتھ پھنس جاتے ہیں، تو سسٹم خودکار طور پر بلاک کرنا شروع کر دیتا ہے، جو کہ مخصوص الگورتھم کا استعمال کرتے ہوئے، منتخب کرتا ہے کہ کون سے ڈپلیکیٹ کو حذف کرنا ہے اور کون سا چھوڑنا ہے۔ مثال کے طور پر، اگر ایک اشتہار میں دو صارفین کی ایک جیسی تصاویر ہیں، تو سسٹم حالیہ اشتہار کو بلاک کر دے گا۔
ایک بار بننے کے بعد، تمام کلسٹرز خودکار فلٹرز کی ایک سیریز سے گزرتے ہیں۔ ہر فلٹر کلسٹر کو ایک اسکور تفویض کرتا ہے: کتنا امکان ہے کہ اس میں وہ خطرہ موجود ہے جس کی یہ فلٹر شناخت کرتا ہے۔
مثال کے طور پر، سسٹم اشتہار میں تفصیل کا تجزیہ کرتا ہے اور اس کے لیے ممکنہ زمرے منتخب کرتا ہے۔ پھر یہ زیادہ سے زیادہ امکان کے ساتھ لیتا ہے اور اس کا موازنہ اشتہار کے مصنف کے ذریعہ بیان کردہ زمرہ سے کرتا ہے۔ اگر وہ مماثل نہیں ہیں تو غلط زمرہ کے لیے اشتہار کو بلاک کر دیا جاتا ہے۔ اور چونکہ ہم مہربان اور ایماندار ہیں، اس لیے ہم صارف کو براہ راست بتاتے ہیں کہ اشتہار کو اعتدال سے گزرنے کے لیے اسے کون سا زمرہ منتخب کرنے کی ضرورت ہے۔
غلط زمرہ کے لیے بلاک کرنے کی اطلاع۔
ہمارے پلیٹ فارم میں مشین لرننگ گھر پر ہی محسوس ہوتی ہے۔ مثال کے طور پر، اس کی مدد سے ہم روسی فیڈریشن میں ممنوعہ اشیا کے نام اور تفصیل تلاش کرتے ہیں۔ اور عصبی نیٹ ورک کے ماڈل احتیاط سے تصاویر کا "جائزہ" کرتے ہیں تاکہ یہ معلوم کیا جا سکے کہ آیا ان میں URLs، سپیم ٹیکسٹس، ٹیلی فون نمبرز، اور وہی "حرام" معلومات موجود ہیں۔
ایسے معاملات کے لیے جہاں وہ کسی قانونی چیز کے بھیس میں ممنوعہ پروڈکٹ فروخت کرنے کی کوشش کر رہے ہیں، اور عنوان یا تفصیل میں کوئی متن نہیں ہے، ہم امیج ٹیگنگ کا استعمال کرتے ہیں۔ ہر تصویر کے لیے 11 ہزار تک مختلف ٹیگز شامل کیے جاسکتے ہیں جو تصویر میں موجود چیزوں کی وضاحت کرتے ہیں۔
وہ سموور کا روپ دھار کر ہکا بیچنے کی کوشش کر رہے ہیں۔
پیچیدہ فلٹرز کے ساتھ متوازی طور پر، سادہ بھی کام کرتے ہیں، متن سے متعلق واضح مسائل کو حل کرتے ہیں:
- اینٹی میٹ
- یو آر ایل اور فون نمبر کا پتہ لگانے والا؛
- فوری میسنجر اور دیگر رابطوں کا ذکر؛
- کم قیمت؛
- اشتہارات جن میں کچھ بھی فروخت کے لیے نہیں ہے، وغیرہ۔
آج، ہر اشتہار 50 سے زیادہ خودکار فلٹرز کی باریک چھلنی سے گزرتا ہے جو اشتہار میں کچھ خراب تلاش کرنے کی کوشش کرتے ہیں۔
اگر کسی بھی ڈٹیکٹر نے کام نہیں کیا، تو یولا کو جواب بھیجا جاتا ہے کہ اشتہار بالکل درست ترتیب میں ہے۔ ہم اس جواب کو خود استعمال کرتے ہیں، اور وہ صارفین جنہوں نے بیچنے والے کو سبسکرائب کیا ہے انہیں ایک نئی پروڈکٹ کی دستیابی کے بارے میں اطلاع موصول ہوتی ہے۔
اطلاع ہے کہ بیچنے والے کے پاس ایک نیا پروڈکٹ ہے۔
نتیجے کے طور پر، ہر اشتہار میٹا ڈیٹا کے ساتھ "زیادہ بڑھا ہوا" ہوتا ہے، جن میں سے کچھ اشتھار بنائے جانے پر تیار ہوتے ہیں (مصنف کا IP ایڈریس، صارف کا ایجنٹ، پلیٹ فارم، جغرافیائی محل وقوع وغیرہ)، اور باقی ہر فلٹر کی طرف سے جاری کردہ سکور ہوتا ہے۔ .
اعلان کی قطاریں۔
جب کوئی اشتہار پلیٹ فارم سے ٹکراتا ہے، تو سسٹم اسے قطاروں میں سے ایک میں ڈال دیتا ہے۔ ہر قطار ایک ریاضیاتی فارمولے کا استعمال کرتے ہوئے بنائی گئی ہے جو اشتہار کے میٹا ڈیٹا کو اس طرح جوڑتا ہے کہ کسی بھی خراب نمونوں کا پتہ لگاتا ہے۔
مثال کے طور پر، آپ یولا صارفین سے "سیل فونز" کے زمرے میں اشتہارات کی ایک قطار بنا سکتے ہیں جو کہ سینٹ پیٹرزبرگ سے ہیں، لیکن ان کے IP پتے ماسکو یا دوسرے شہروں سے ہیں۔
مختلف شہروں میں ایک صارف کی طرف سے شائع کردہ اشتہارات کی ایک مثال۔
یا آپ ان اسکورز کی بنیاد پر قطاریں بنا سکتے ہیں جو نیورل نیٹ ورک اشتہارات کو تفویض کرتا ہے، انہیں نزولی ترتیب میں ترتیب دے کر۔
ہر قطار، اپنے فارمولے کے مطابق، اشتہار کو حتمی سکور تفویض کرتی ہے۔ پھر آپ مختلف طریقوں سے آگے بڑھ سکتے ہیں:
- اس حد کی وضاحت کریں جس پر ایک اشتہار کو ایک خاص قسم کی بلاکنگ ملے گی۔
- قطار میں موجود تمام اشتہارات دستی جائزے کے لیے ماڈریٹرز کو بھیجیں؛
- یا پچھلے آپشنز کو یکجا کریں: خودکار بلاکنگ تھریشولڈ کی وضاحت کریں اور ماڈریٹرز کو وہ اشتہار بھیجیں جو اس حد تک نہیں پہنچے ہیں۔
ان قطاروں کی ضرورت کیوں ہے؟ مان لیں کہ ایک صارف نے آتشیں اسلحہ کی تصویر اپ لوڈ کی ہے۔ نیورل نیٹ ورک اسے 95 سے 100 تک کا سکور تفویض کرتا ہے اور 99 فیصد درستگی کے ساتھ طے کرتا ہے کہ تصویر میں کوئی ہتھیار موجود ہے۔ لیکن اگر اسکور ویلیو 95% سے کم ہے تو ماڈل کی درستگی کم ہونا شروع ہو جاتی ہے (یہ نیورل نیٹ ورک ماڈلز کی ایک خصوصیت ہے)۔
نتیجے کے طور پر، سکور ماڈل کی بنیاد پر ایک قطار بنتی ہے، اور وہ اشتہارات جو 95 اور 100 کے درمیان موصول ہوتے ہیں خود بخود "ممنوعہ مصنوعات" کے طور پر بلاک ہو جاتے ہیں۔ 95 سے کم اسکور والے اشتہارات مینوئل پروسیسنگ کے لیے ماڈریٹرز کو بھیجے جاتے ہیں۔
کارتوس کے ساتھ چاکلیٹ بیریٹا۔ صرف دستی اعتدال کے لیے! 🙂
دستی اعتدال
2019 کے آغاز میں، یولا میں تقریباً 94% اشتہارات خود بخود معتدل ہو جاتے ہیں۔
اگر پلیٹ فارم کچھ اشتہارات کے بارے میں فیصلہ نہیں کر سکتا، تو یہ انہیں دستی اعتدال کے لیے بھیجتا ہے۔ Odnoklassniki نے اپنا ٹول تیار کیا: ماڈریٹرز کے لیے کام فوری فیصلہ کرنے کے لیے تمام ضروری معلومات کو فوری طور پر ظاہر کرتے ہیں - اشتہار مناسب ہے یا اسے بلاک کر دیا جانا چاہیے، اس کی وجہ بتاتے ہوئے
اور تاکہ دستی اعتدال کے دوران سروس کے معیار کو نقصان نہ پہنچے، لوگوں کے کام کی مسلسل نگرانی کی جاتی ہے۔ مثال کے طور پر، ٹاسک سٹریم میں، ماڈریٹر کو "ٹریپس" — اشتہارات دکھائے جاتے ہیں جن کے لیے پہلے سے تیار حل موجود ہیں۔ اگر ماڈریٹر کا فیصلہ ختم شدہ فیصلے سے مطابقت نہیں رکھتا ہے، تو ماڈریٹر کو غلطی دی جاتی ہے۔
اوسطاً، ایک ماڈریٹر ایک اشتہار کو چیک کرنے میں 10 سیکنڈ صرف کرتا ہے۔ مزید برآں، غلطیوں کی تعداد تمام تصدیق شدہ اشتہارات کے 0,5% سے زیادہ نہیں ہے۔
لوگوں کا اعتدال
Odnoklassniki کے ساتھیوں نے اور بھی آگے بڑھ کر "سامعین کی مدد" سے فائدہ اٹھایا: انہوں نے سوشل نیٹ ورک کے لیے ایک گیم ایپلی کیشن لکھی جس میں آپ تیزی سے ڈیٹا کی ایک بڑی مقدار کو نشان زد کر سکتے ہیں، کچھ خراب نشانیوں کو نمایاں کرتے ہوئے - Odnoklassniki Moderator ()۔ اوکے صارفین کی مدد سے فائدہ اٹھانے کا ایک اچھا طریقہ جو مواد کو مزید پرلطف بنانے کی کوشش کر رہے ہیں۔
ایک گیم جس میں صارفین ان تصاویر کو ٹیگ کرتے ہیں جن پر فون نمبر ہوتا ہے۔
پلیٹ فارم میں اشتہارات کی کسی بھی قطار کو Odnoklassniki Moderator گیم پر ری ڈائریکٹ کیا جا سکتا ہے۔ ہر وہ چیز جسے گیم صارفین مارک اپ کرتے ہیں پھر تصدیق کے لیے اندرونی ماڈریٹرز کو بھیج دیا جاتا ہے۔ یہ اسکیم آپ کو ایسے اشتہارات کو بلاک کرنے کی اجازت دیتی ہے جن کے لیے ابھی تک فلٹرز نہیں بنائے گئے ہیں، اور ساتھ ہی ساتھ تربیتی نمونے بھی بنا سکتے ہیں۔
اعتدال کے نتائج کو ذخیرہ کرنا
ہم اعتدال کے دوران کیے گئے تمام فیصلوں کو محفوظ کرتے ہیں تاکہ ہم ان اشتہارات پر دوبارہ کارروائی نہ کریں جن پر ہم پہلے ہی فیصلہ کر چکے ہیں۔
اشتہارات کی بنیاد پر روزانہ لاکھوں کلسٹر بنائے جاتے ہیں۔ وقت گزرنے کے ساتھ، ہر کلسٹر پر "اچھا" یا "خراب" کا لیبل لگا دیا جاتا ہے۔ ہر نیا اشتہار یا اس کی نظر ثانی، ایک نشان کے ساتھ ایک کلسٹر میں داخل ہونے سے، خود بخود کلسٹر سے ہی ایک ریزولوشن موصول ہوتا ہے۔ روزانہ تقریباً 20 ہزار ایسے خودکار ریزولوشنز ہوتے ہیں۔
اگر کلسٹر میں کوئی نیا اعلان نہیں آتا ہے، تو اسے میموری سے ہٹا دیا جاتا ہے اور اس کا ہیش اور حل اپاچی کیسینڈرا کو لکھا جاتا ہے۔
جب پلیٹ فارم کو کوئی نیا اشتہار ملتا ہے، تو وہ سب سے پہلے ان لوگوں میں سے ایک جیسا کلسٹر تلاش کرنے کی کوشش کرتا ہے جو پہلے سے بنائے گئے ہیں اور اس سے کوئی حل نکالتے ہیں۔ اگر ایسا کوئی جھرمٹ نہیں ہے تو، پلیٹ فارم کیسینڈرا کے پاس جاتا ہے اور وہاں نظر آتا ہے۔ کیا تم نے اسے ڈھونڈ لیا؟ بہت اچھا، حل کو کلسٹر پر لاگو کرتا ہے اور یولا کو بھیجتا ہے۔ روزانہ اوسطاً 70 ہزار ایسے "بار بار" فیصلے ہوتے ہیں جو کل کا 8% ہیں۔
اپ میزانی
ہم ڈھائی سال سے Odnoklassniki اعتدال پسند پلیٹ فارم استعمال کر رہے ہیں۔ ہمیں نتائج پسند ہیں:
- ہم خود بخود تمام اشتہارات کا 94% فی دن معتدل کرتے ہیں۔
- ایک اشتہار کو معتدل کرنے کی قیمت 2 روبل سے کم کر کے 7 کوپیکس کر دی گئی۔
- ریڈی میڈ ٹول کی بدولت ہم ماڈریٹرز کے انتظام کے مسائل کو بھول گئے۔
- ہم نے اسی تعداد میں ماڈریٹرز اور بجٹ کے ساتھ دستی طور پر پروسیس کیے گئے اشتہارات کی تعداد میں 2,5 گنا اضافہ کیا۔ خودکار کنٹرول کی وجہ سے دستی اعتدال کے معیار میں بھی اضافہ ہوا ہے، اور تقریباً 0,5% غلطیوں میں اتار چڑھاؤ آتا ہے۔
- ہم تیزی سے نئی قسم کے اسپام کو فلٹرز کے ساتھ کور کرتے ہیں۔
- ہم تیزی سے نئے محکموں کو اعتدال سے مربوط کرتے ہیں۔ . 2017 سے، یولا نے ریئل اسٹیٹ، آسامیاں اور آٹو ورٹیکلز شامل کیے ہیں۔
ماخذ: www.habr.com