كل خدمة يمكن لمستخدميها إنشاء المحتوى الخاص بهم (UGC - المحتوى الذي ينشئه المستخدم) لا تضطر إلى حل مشاكل العمل فحسب، بل أيضًا لترتيب الأمور في UGC. يمكن أن يؤدي الإشراف على المحتوى الرديء أو منخفض الجودة في النهاية إلى تقليل جاذبية الخدمة للمستخدمين، بل وحتى إنهاء تشغيلها.
سنخبرك اليوم عن التآزر بين Yula وOdnoklassniki، والذي يساعدنا في إدارة الإعلانات في Yula بشكل فعال.
يعد التآزر بشكل عام أمرًا مفيدًا للغاية، وفي العالم الحديث، عندما تتغير التقنيات والاتجاهات بسرعة كبيرة، يمكن أن يتحول إلى منقذ للحياة. لماذا تهدر الموارد النادرة والوقت في اختراع شيء تم اختراعه بالفعل وطرحه في ذهنك؟
لقد فكرنا في نفس الشيء عندما واجهنا المهمة الكاملة المتمثلة في الإشراف على محتوى المستخدم - الصور والنصوص والروابط. يقوم مستخدمونا بتحميل ملايين الأجزاء من المحتوى إلى Yula يوميًا، وبدون المعالجة التلقائية، يكون من المستحيل تمامًا تعديل كل هذه البيانات يدويًا.
لذلك، استخدمنا منصة معتدلة جاهزة، والتي بحلول ذلك الوقت كان زملاؤنا من Odnoklassniki قد أكملوها إلى حالة "الكمال تقريبًا".
لماذا أودنوكلاسنيكي؟
كل يوم، يأتي عشرات الملايين من المستخدمين إلى الشبكة الاجتماعية وينشرون مليارات الأجزاء من المحتوى: من الصور إلى مقاطع الفيديو والنصوص. تساعد منصة الإشراف Odnoklassniki على التحقق من كميات كبيرة جدًا من البيانات ومواجهة مرسلي البريد العشوائي والروبوتات.
لقد اكتسب فريق الإشراف OK قدرًا كبيرًا من الخبرة، حيث قام بتحسين أدواته لمدة 12 عامًا. ومن المهم ألا يتمكنوا فقط من مشاركة حلولهم الجاهزة، بل أيضًا تخصيص بنية النظام الأساسي الخاص بهم بما يتناسب مع مهامنا المحددة.
من الآن فصاعدًا، وللإيجاز، سنطلق ببساطة على منصة الإشراف OK اسم "المنصة".
كيف يعمل كل شيء
يتم تبادل البيانات بين Yula وOdnoklassniki من خلال .
لماذا اخترنا هذه الأداة:
- في Yula، جميع الإعلانات خاضعة للإشراف اللاحق، لذلك لم تكن الاستجابة المتزامنة مطلوبة في البداية.
- في حالة حدوث فقرة سيئة وعدم توفر Yula أو Odnoklassniki، بما في ذلك بسبب بعض الأحمال القصوى، فلن تختفي البيانات من Kafka في أي مكان ويمكن قراءتها لاحقًا.
- تم دمج النظام الأساسي بالفعل مع كافكا، لذلك تم حل معظم المشكلات الأمنية.
لكل إعلان تم إنشاؤه أو تعديله بواسطة المستخدم في Yula، يتم إنشاء ملف JSON يحتوي على البيانات، ويتم وضعه في Kafka للإشراف اللاحق. من كافكا، يتم تحميل الإعلانات إلى المنصة، حيث يتم الفصل فيها تلقائيًا أو يدويًا. يتم حظر الإعلانات السيئة لسبب ما، أما الإعلانات التي لا تجد فيها المنصة أي مخالفات يتم تصنيفها على أنها "جيدة". ثم يتم إرسال جميع القرارات مرة أخرى إلى Yula وتطبيقها في الخدمة.
في النهاية، بالنسبة لـ Yula، الأمر كله يتلخص في إجراءات بسيطة: أرسل إعلانًا إلى منصة Odnoklassniki واحصل على قرار "حسنًا"، أو لماذا لا "حسنًا".
المعالجة التلقائية
ماذا يحدث للإعلان بعد وصوله إلى المنصة؟ وينقسم كل إعلان إلى عدة كيانات:
- اسم،
- وصف،
- الصور،
- الفئة التي حددها المستخدم والفئة الفرعية للإعلان،
- цена.
تقوم المنصة بعد ذلك بإجراء عملية تجميع لكل كيان للعثور على التكرارات. علاوة على ذلك، يتم تجميع النصوص والصور وفقًا لمخططات مختلفة.
قبل التجميع، تتم تسوية النصوص لإزالة الأحرف الخاصة والأحرف المتغيرة وغيرها من البيانات المهملة. يتم تقسيم البيانات المستلمة إلى N-grams، ويتم تجزئة كل منها. والنتيجة هي العديد من التجزئة الفريدة. يتم تحديد التشابه بين النصوص من خلال بين المجموعتين الناتجتين. وإذا كان التشابه أكبر من العتبة، يتم دمج النصوص في مجموعة واحدة. لتسريع البحث عن مجموعات مماثلة، يتم استخدام MinHash والتجزئة الحساسة للمنطقة المحلية.
تم اختراع خيارات مختلفة للصق الصور للصور الفوتوغرافية، بدءًا من مقارنة صور pHash وحتى البحث عن التكرارات باستخدام الشبكة العصبية.
الطريقة الأخيرة هي الأكثر "خطورة". لتدريب النموذج، اخترنا صورة ثلاثية التوائم (N، A، P) حيث N لا يشبه A، وP يشبه A (شبه مكرر). ثم تعلمت الشبكة العصبية جعل A وP أقرب ما يمكن، وA وN قدر الإمكان. وينتج عن هذا عدد أقل من النتائج الإيجابية الخاطئة مقارنة بأخذ التضمينات من شبكة مدربة مسبقًا.
عندما تستقبل الشبكة العصبية الصور كمدخلات، فإنها تولد متجهًا ذو أبعاد N(128) لكل منها ويتم تقديم طلب لتقييم مدى قرب الصورة. بعد ذلك، يتم حساب العتبة التي تعتبر عندها الصور القريبة مكررة.
النموذج قادر على العثور بمهارة على مرسلي البريد العشوائي الذين يصورون نفس المنتج على وجه التحديد من زوايا مختلفة لتجاوز مقارنة pHash.
مثال على الصور غير المرغوب فيها التي تم لصقها معًا بواسطة شبكة عصبية كنسخ مكررة.
في المرحلة النهائية، يتم البحث في الإعلانات المكررة عن طريق النص والصورة في وقت واحد.
إذا تم لصق إعلانين أو أكثر معًا في مجموعة، يبدأ النظام في المنع التلقائي، والذي، باستخدام خوارزميات معينة، يحدد أي التكرارات سيتم حذفها وأيها سيتم تركها. على سبيل المثال، إذا كان لدى اثنين من المستخدمين نفس الصور في أحد الإعلانات، فسيقوم النظام بحظر الإعلان الأحدث.
بمجرد إنشائها، تمر جميع المجموعات عبر سلسلة من المرشحات التلقائية. يقوم كل مرشح بتعيين درجة للمجموعة: ما مدى احتمال احتوائها على التهديد الذي يحدده هذا المرشح.
على سبيل المثال، يقوم النظام بتحليل الوصف الموجود في الإعلان واختيار الفئات المحتملة له. ثم يأخذ الشخص ذو الاحتمالية القصوى ويقارنه بالفئة التي حددها مؤلف الإعلان. إذا لم تكن متطابقة، فسيتم حظر الإعلان للفئة الخاطئة. وبما أننا طيبون وصادقون، فإننا نخبر المستخدم مباشرة بالفئة التي يحتاج إلى تحديدها حتى يمر الإعلان بالإعتدال.
إشعار بالحظر لفئة غير صحيحة.
يبدو التعلم الآلي وكأنه في بيته على منصتنا. على سبيل المثال، بمساعدتها نبحث في أسماء وأوصاف البضائع المحظورة في الاتحاد الروسي. وتقوم نماذج الشبكات العصبية "بفحص" الصور بدقة لمعرفة ما إذا كانت تحتوي على عناوين URL ونصوص غير مرغوب فيها وأرقام هواتف ونفس المعلومات "المحظورة".
بالنسبة للحالات التي يحاولون فيها بيع منتج محظور متنكرًا في هيئة شيء قانوني، ولا يوجد نص في العنوان أو الوصف، فإننا نستخدم علامات الصور. لكل صورة، يمكن إضافة ما يصل إلى 11 ألف علامة مختلفة تصف ما هو موجود في الصورة.
إنهم يحاولون بيع الشيشة عن طريق إخفاءها على أنها سماور.
بالتوازي مع المرشحات المعقدة، تعمل المرشحات البسيطة أيضًا على حل المشكلات الواضحة المتعلقة بالنص:
- مضاد.
- كاشف URL ورقم الهاتف؛
- ذكر برامج المراسلة الفورية وجهات الاتصال الأخرى؛
- السعر المخفض؛
- الإعلانات التي لا يوجد فيها أي شيء للبيع، وما إلى ذلك.
واليوم، يمر كل إعلان عبر غربلة دقيقة تضم أكثر من 50 مرشحًا تلقائيًا يحاول العثور على شيء سيء في الإعلان.
إذا لم يعمل أي من أدوات الكشف، فسيتم إرسال رد إلى Yula مفاده أن الإعلان "على الأرجح" بترتيب مثالي. نحن نستخدم هذه الإجابة بأنفسنا، ويتلقى المستخدمون الذين اشتركوا في البائع إشعارًا حول توفر منتج جديد.
إشعار بأن البائع لديه منتج جديد.
ونتيجة لذلك، فإن كل إعلان "يمتلئ" بالبيانات الوصفية، والتي يتم إنشاء بعضها عند إنشاء الإعلان (عنوان IP الخاص بالمؤلف، وكيل المستخدم، النظام الأساسي، الموقع الجغرافي، وما إلى ذلك)، والباقي هو النتيجة الصادرة عن كل مرشح .
طوابير الإعلان
عندما يصل أحد الإعلانات إلى المنصة، يقوم النظام بوضعه في إحدى قوائم الانتظار. يتم إنشاء كل قائمة انتظار باستخدام صيغة رياضية تجمع بين البيانات الوصفية للإعلان بطريقة تكتشف أي أنماط سيئة.
على سبيل المثال، يمكنك إنشاء قائمة انتظار من الإعلانات في فئة "الهواتف المحمولة" من مستخدمي Yula الذين يفترض أنهم من سانت بطرسبرغ، ولكن عناوين IP الخاصة بهم هي من موسكو أو مدن أخرى.
مثال على الإعلانات التي نشرها مستخدم واحد في مدن مختلفة.
أو يمكنك تشكيل قوائم انتظار بناءً على النتائج التي تحددها الشبكة العصبية للإعلانات، وترتيبها بترتيب تنازلي.
تقوم كل قائمة انتظار، وفقًا لصيغتها الخاصة، بتعيين النتيجة النهائية للإعلان. وبعد ذلك يمكنك المتابعة بطرق مختلفة:
- تحديد الحد الأدنى الذي سيتلقى الإعلان عنده نوعًا معينًا من الحظر؛
- إرسال جميع الإعلانات الموجودة في قائمة الانتظار إلى المشرفين للمراجعة اليدوية؛
- أو اجمع بين الخيارات السابقة: حدد حد المنع التلقائي وأرسل إلى المشرفين تلك الإعلانات التي لم تصل إلى هذا الحد.
لماذا هذه الطوابير مطلوبة؟ لنفترض أن أحد المستخدمين قام بتحميل صورة لسلاح ناري. تقوم الشبكة العصبية بمنحها درجة من 95 إلى 100 وتحدد بدقة 99 بالمائة أن هناك سلاحًا في الصورة. ولكن إذا كانت قيمة النتيجة أقل من 95%، فإن دقة النموذج تبدأ في الانخفاض (وهذه سمة من سمات نماذج الشبكات العصبية).
ونتيجة لذلك، يتم تشكيل قائمة انتظار بناءً على نموذج النتيجة، ويتم حظر الإعلانات التي تلقت ما بين 95 و100 تلقائيًا باعتبارها "منتجات محظورة". يتم إرسال الإعلانات ذات النقاط الأقل من 95 إلى المشرفين للمعالجة اليدوية.
شوكولاتة بيريتا مع خراطيش. فقط للاعتدال اليدوي! 🙂
الاعتدال اليدوي
في بداية عام 2019، يتم الإشراف على حوالي 94% من جميع الإعلانات في Yula تلقائيًا.
إذا لم تتمكن المنصة من اتخاذ قرار بشأن بعض الإعلانات، فإنها ترسلها للإشراف اليدوي. طور Odnoklassniki أداته الخاصة: تعرض مهام المشرفين على الفور جميع المعلومات الضرورية لاتخاذ قرار سريع - الإعلان مناسب أو يجب حظره، مع الإشارة إلى السبب.
وحتى لا تتأثر جودة الخدمة أثناء الإشراف اليدوي، تتم مراقبة عمل الأشخاص باستمرار. على سبيل المثال، في تدفق المهام، يتم عرض "الاعتراضات" على المشرف - وهي إعلانات توجد لها حلول جاهزة بالفعل. إذا لم يتزامن قرار الوسيط مع القرار النهائي، فسيتم إعطاء المشرف خطأ.
في المتوسط، يقضي المشرف 10 ثوانٍ في التحقق من إعلان واحد. علاوة على ذلك، فإن عدد الأخطاء لا يزيد عن 0,5% من جميع الإعلانات التي تم التحقق منها.
اعتدال الناس
ذهب الزملاء من Odnoklassniki إلى أبعد من ذلك واستفادوا من "مساعدة الجمهور": لقد كتبوا تطبيق لعبة للشبكة الاجتماعية، حيث يمكنك وضع علامة بسرعة على كمية كبيرة من البيانات، وتسليط الضوء على بعض العلامات السيئة - وسيط Odnoklassniki (). طريقة جيدة للاستفادة من مساعدة المستخدمين الذين يحاولون جعل المحتوى أكثر متعة.
لعبة يقوم فيها المستخدمون بوضع علامة على الصور التي تحتوي على رقم هاتف.
يمكن إعادة توجيه أي قائمة انتظار للإعلانات في النظام الأساسي إلى لعبة Odnoklassniki Moderator. يتم بعد ذلك إرسال كل ما يقوم مستخدمو اللعبة بترميزه إلى المشرفين الداخليين للمراجعة. يتيح لك هذا المخطط حظر الإعلانات التي لم يتم إنشاء مرشحات لها بعد، وإنشاء عينات تدريبية في نفس الوقت.
تخزين نتائج الاعتدال
نقوم بحفظ جميع القرارات التي تم اتخاذها أثناء الإشراف حتى لا نعيد معالجة تلك الإعلانات التي اتخذنا قرارًا بشأنها بالفعل.
يتم إنشاء ملايين المجموعات كل يوم بناءً على الإعلانات. وبمرور الوقت، يتم تصنيف كل مجموعة على أنها "جيدة" أو "سيئة". كل إعلان جديد أو تنقيح له، يدخل إلى مجموعة بعلامة، يتلقى تلقائيًا حلاً من المجموعة نفسها. هناك حوالي 20 ألفًا من هذه القرارات التلقائية يوميًا.
إذا لم تصل أي إعلانات جديدة إلى المجموعة، فستتم إزالتها من الذاكرة وتتم كتابة التجزئة والحل الخاص بها إلى Apache Cassandra.
عندما تتلقى المنصة إعلانًا جديدًا، فإنها تحاول أولاً العثور على مجموعة مماثلة بين تلك التي تم إنشاؤها بالفعل واتخاذ الحل منها. إذا لم يكن هناك مثل هذه المجموعة، فإن المنصة تذهب إلى كاساندرا وتبدو هناك. هل وجدتها؟ عظيم، يطبق الحل على المجموعة ويرسله إلى يولا. هناك في المتوسط 70 ألف قرار "متكرر" كل يوم - 8% من الإجمالي.
إجمال
نحن نستخدم منصة الإشراف Odnoklassniki لمدة عامين ونصف. نحن نحب النتائج:
- نقوم تلقائيًا بإدارة 94% من جميع الإعلانات يوميًا.
- تم تخفيض تكلفة الإشراف على إعلان واحد من 2 روبل إلى 7 كوبيل.
- بفضل الأداة الجاهزة، نسينا مشاكل إدارة المشرفين.
- لقد قمنا بزيادة عدد الإعلانات التي تمت معالجتها يدويًا بمقدار 2,5 مرة بنفس عدد المشرفين والميزانية. كما زادت جودة الإشراف اليدوي أيضًا بسبب التحكم الآلي، وتتراوح نسبة الأخطاء فيه حول 0,5%.
- نقوم بسرعة بتغطية الأنواع الجديدة من البريد العشوائي باستخدام المرشحات.
- نحن نربط الأقسام الجديدة بسرعة بالاعتدال . منذ عام 2017، أضافت Yula قطاعات العقارات والوظائف الشاغرة والسيارات.
المصدر: www.habr.com