आम्ही जाहिराती कशा नियंत्रित करतो

प्रत्येक सेवेचे वापरकर्ते स्वतःची सामग्री तयार करू शकतात (UGC - वापरकर्ता-व्युत्पन्न सामग्री) केवळ व्यावसायिक समस्या सोडवण्यासाठीच नव्हे तर UGC मध्ये गोष्टी व्यवस्थित ठेवण्यासाठी देखील भाग पाडले जाते. खराब किंवा कमी-गुणवत्तेच्या सामग्रीचे नियंत्रण शेवटी वापरकर्त्यांसाठी सेवेचे आकर्षण कमी करू शकते, अगदी त्याचे कार्य समाप्त करू शकते.

आज आम्ही तुम्हाला युला आणि ओड्नोक्लास्निकीमध्ये सामंजस्याबद्दल सांगू, जे आम्हाला युला मधील जाहिराती प्रभावीपणे नियंत्रित करण्यात मदत करते.

सर्वसाधारणपणे सिनर्जी ही एक अतिशय उपयुक्त गोष्ट आहे आणि आधुनिक जगात, जेव्हा तंत्रज्ञान आणि ट्रेंड खूप लवकर बदलतात, तेव्हा ते जीवनरक्षक बनू शकते. अगोदरच शोधून काढलेल्या आणि मनात आणलेल्या एखाद्या गोष्टीचा शोध लावण्यात दुर्मिळ संसाधने आणि वेळ का वाया घालवायचा?

जेव्हा आम्हाला वापरकर्ता सामग्री - चित्रे, मजकूर आणि दुवे नियंत्रित करण्याचे पूर्ण कार्य सामोरे जावे लागले तेव्हा आम्ही तेच विचार केला. आमचे वापरकर्ते दररोज लाखो सामग्रीचे तुकडे Yula वर अपलोड करतात आणि स्वयंचलित प्रक्रियेशिवाय हा सर्व डेटा व्यक्तिचलितपणे नियंत्रित करणे पूर्णपणे अशक्य आहे.

म्हणून, आम्ही एक रेडीमेड मॉडरेशन प्लॅटफॉर्म वापरला, जो तोपर्यंत ओड्नोक्लास्निकीच्या आमच्या सहकाऱ्यांनी "जवळजवळ परिपूर्ण" स्थितीत पूर्ण केला होता.

ओड्नोक्लास्निकी का?

दररोज, लाखो वापरकर्ते सोशल नेटवर्कवर येतात आणि अब्जावधी सामग्री प्रकाशित करतात: फोटोंपासून व्हिडिओ आणि मजकूरांपर्यंत. ओड्नोक्लास्निकी मॉडरेशन प्लॅटफॉर्म खूप मोठ्या प्रमाणात डेटा तपासण्यात आणि स्पॅमर आणि बॉट्सचा प्रतिकार करण्यास मदत करते.

ओके मॉडरेशन टीमने खूप अनुभव जमा केला आहे, कारण तो 12 वर्षांपासून त्याचे टूल सुधारत आहे. हे महत्त्वाचे आहे की ते केवळ त्यांचे तयार समाधान सामायिक करू शकत नाहीत, परंतु आमच्या विशिष्ट कार्यांसाठी त्यांच्या प्लॅटफॉर्मचे आर्किटेक्चर देखील सानुकूलित करू शकतात.

आतापासून, संक्षिप्ततेसाठी, आम्ही फक्त ओके मॉडरेशन प्लॅटफॉर्मला “प्लॅटफॉर्म” म्हणू.

सर्वकाही कसे कार्य करते

युला आणि ओड्नोक्लास्निकी दरम्यान डेटा एक्सचेंज स्थापित केला जातो अपाचे काफ्का.

आम्ही हे साधन का निवडले:

• युला मध्ये, सर्व जाहिराती पोस्ट-मॉडरेट केल्या जातात, त्यामुळे सुरुवातीला समकालिक प्रतिसाद आवश्यक नव्हता.
• जर एखादा परिच्छेद खराब झाला आणि युला किंवा ओड्नोक्लास्निकी अनुपलब्ध असल्यास, काही पीक लोडमुळे, तर काफ्काचा डेटा कुठेही अदृश्य होणार नाही आणि नंतर वाचला जाऊ शकतो.
• प्लॅटफॉर्म आधीच काफ्कासह एकत्रित केले गेले होते, त्यामुळे बहुतेक सुरक्षा समस्यांचे निराकरण केले गेले.

युला मधील वापरकर्त्याद्वारे तयार केलेल्या किंवा सुधारित केलेल्या प्रत्येक जाहिरातीसाठी, डेटासह एक JSON तयार केला जातो, जो नंतरच्या नियंत्रणासाठी काफ्कामध्ये ठेवला जातो. काफ्का कडून, घोषणा प्लॅटफॉर्मवर लोड केल्या जातात, जिथे त्या आपोआप किंवा व्यक्तिचलितपणे ठरवल्या जातात. वाईट जाहिराती एका कारणासह अवरोधित केल्या जातात आणि ज्यात प्लॅटफॉर्मला उल्लंघन आढळत नाही त्या "चांगल्या" म्हणून चिन्हांकित केल्या जातात. मग सर्व निर्णय युलाकडे परत पाठवले जातात आणि सेवेत लागू केले जातात.

शेवटी, युलासाठी हे सर्व सोप्या कृतींवर येते: ओड्नोक्लास्निकी प्लॅटफॉर्मवर जाहिरात पाठवा आणि “ओके” किंवा “ओके” का नाही असे रिझोल्यूशन परत मिळवा.

स्वयंचलित प्रक्रिया

जाहिरात प्लॅटफॉर्मवर आल्यानंतर त्याचे काय होते? प्रत्येक जाहिरात अनेक घटकांमध्ये विभागली आहे:

• नाव,
• वर्णन,
• फोटो,
• वापरकर्त्याने निवडलेली श्रेणी आणि जाहिरातीची उपश्रेणी,
• किंमत

प्लॅटफॉर्म नंतर डुप्लिकेट शोधण्यासाठी प्रत्येक घटकासाठी क्लस्टरिंग करते. शिवाय, मजकूर आणि छायाचित्रे वेगवेगळ्या योजनांनुसार क्लस्टर केली जातात.

क्लस्टरिंग करण्यापूर्वी, विशेष वर्ण, बदललेली अक्षरे आणि इतर कचरा काढून टाकण्यासाठी मजकूर सामान्यीकृत केले जातात. प्राप्त केलेला डेटा एन-ग्राममध्ये विभागलेला आहे, त्यातील प्रत्येक हॅश केला आहे. परिणाम अनेक अद्वितीय हॅश आहे. ग्रंथांमधील समानता द्वारे निर्धारित केली जाते जॅकार्डचे माप दोन परिणामी सेट दरम्यान. जर समानता थ्रेशोल्डपेक्षा जास्त असेल, तर ग्रंथ एका क्लस्टरमध्ये विलीन केले जातात. तत्सम क्लस्टर्सचा शोध वेगवान करण्यासाठी, MinHash आणि Locality-sensitive hashing वापरले जातात.

pHash चित्रांची तुलना करण्यापासून ते न्यूरल नेटवर्क वापरून डुप्लिकेट शोधण्यापर्यंत छायाचित्रांसाठी ग्लूइंग इमेजचे विविध पर्याय शोधण्यात आले आहेत.

शेवटची पद्धत सर्वात "गंभीर" आहे. मॉडेलला प्रशिक्षित करण्यासाठी, प्रतिमांचे तिप्पट (N, A, P) निवडले गेले ज्यामध्ये N A सारखे नाही आणि P A सारखे आहे (अर्ध-डुप्लिकेट आहे). मग न्यूरल नेटवर्क A आणि P शक्य तितक्या जवळ आणि A आणि N शक्य तितक्या दूर बनवायला शिकले. पूर्व-प्रशिक्षित नेटवर्कमधून एम्बेडिंग घेण्याच्या तुलनेत हे कमी चुकीचे सकारात्मक परिणाम देते.

जेव्हा न्यूरल नेटवर्कला इनपुट म्हणून प्रतिमा प्राप्त होतात, तेव्हा ते प्रत्येकासाठी N(128)-आयामी वेक्टर तयार करते आणि प्रतिमेच्या समीपतेचे मूल्यांकन करण्यासाठी विनंती केली जाते. पुढे, थ्रेशोल्डची गणना केली जाते ज्यावर जवळच्या प्रतिमा डुप्लिकेट मानल्या जातात.

मॉडेल कुशलतेने स्पॅमर शोधण्यात सक्षम आहे जे विशेषत: pHash तुलना बायपास करण्यासाठी वेगवेगळ्या कोनातून समान उत्पादनाचे फोटो काढतात.

डुप्लिकेट म्हणून न्यूरल नेटवर्कद्वारे एकत्रित केलेल्या स्पॅम फोटोंचे उदाहरण.

अंतिम टप्प्यावर, डुप्लिकेट जाहिराती एकाच वेळी मजकूर आणि प्रतिमा दोन्हीद्वारे शोधल्या जातात.

जर दोन किंवा अधिक जाहिराती एका क्लस्टरमध्ये एकत्र अडकल्या असतील तर, सिस्टम स्वयंचलित ब्लॉकिंग सुरू करते, जे विशिष्ट अल्गोरिदम वापरून, कोणते डुप्लिकेट हटवायचे आणि कोणते सोडायचे ते निवडते. उदाहरणार्थ, दोन वापरकर्त्यांच्या जाहिरातीमध्ये समान फोटो असल्यास, सिस्टम अलीकडील जाहिरात अवरोधित करेल.

एकदा तयार झाल्यानंतर, सर्व क्लस्टर स्वयंचलित फिल्टरच्या मालिकेतून जातात. प्रत्येक फिल्टर क्लस्टरला स्कोअर नियुक्त करतो: हे फिल्टर ओळखत असलेला धोका त्यात असण्याची शक्यता किती आहे.

उदाहरणार्थ, सिस्टम जाहिरातीतील वर्णनाचे विश्लेषण करते आणि त्यासाठी संभाव्य श्रेणी निवडते. मग ते जास्तीत जास्त संभाव्यतेसह एक घेते आणि जाहिरातीच्या लेखकाने निर्दिष्ट केलेल्या श्रेणीशी तुलना करते. ते जुळत नसल्यास, चुकीच्या श्रेणीसाठी जाहिरात अवरोधित केली जाते. आणि आम्ही दयाळू आणि प्रामाणिक असल्यामुळे, आम्ही वापरकर्त्याला थेट सांगतो की जाहिरात मॉडरेशन पास होण्यासाठी त्याला कोणती श्रेणी निवडायची आहे.

चुकीच्या श्रेणीसाठी अवरोधित करण्याची सूचना.

मशीन लर्निंग आमच्या प्लॅटफॉर्मवर घरीच योग्य वाटते. उदाहरणार्थ, त्याच्या मदतीने आम्ही रशियन फेडरेशनमध्ये प्रतिबंधित वस्तूंची नावे आणि वर्णन शोधतो. आणि न्यूरल नेटवर्क मॉडेल्समध्ये URL, स्पॅम मजकूर, टेलिफोन नंबर आणि समान "निषिद्ध" माहिती आहे का हे पाहण्यासाठी प्रतिमा काळजीपूर्वक "तपासणी" करतात.

ज्या प्रकरणांमध्ये ते कायदेशीर काहीतरी वेषात प्रतिबंधित उत्पादन विकण्याचा प्रयत्न करत आहेत आणि शीर्षक किंवा वर्णनात कोणताही मजकूर नाही, आम्ही इमेज टॅगिंग वापरतो. प्रत्येक प्रतिमेसाठी, प्रतिमेमध्ये काय आहे याचे वर्णन करणारे 11 हजार भिन्न टॅग जोडले जाऊ शकतात.

ते समोवरचे वेश धारण करून हुक्का विकण्याचा प्रयत्न करत आहेत.

जटिल फिल्टरच्या समांतर, साधे देखील कार्य करतात, मजकूराशी संबंधित स्पष्ट समस्या सोडवतात:

• अँटीमॅट
• URL आणि फोन नंबर डिटेक्टर;
• इन्स्टंट मेसेंजर आणि इतर संपर्कांचा उल्लेख;
• कमी किंमत;
• जाहिराती ज्यामध्ये काहीही विक्रीसाठी नाही इ.

आज, प्रत्येक जाहिरात 50 पेक्षा जास्त स्वयंचलित फिल्टरच्या बारीक चाळणीतून जाते जे जाहिरातीमध्ये काहीतरी वाईट शोधण्याचा प्रयत्न करतात.

जर कोणत्याही डिटेक्टरने काम केले नाही, तर युलाला प्रतिसाद पाठविला जातो की जाहिरात "बहुधा" परिपूर्ण क्रमाने आहे. आम्ही हे उत्तर स्वतः वापरतो आणि ज्या वापरकर्त्यांनी विक्रेत्याची सदस्यता घेतली आहे त्यांना नवीन उत्पादनाच्या उपलब्धतेबद्दल सूचना प्राप्त होते.

विक्रेत्याकडे नवीन उत्पादन असल्याची सूचना.

परिणामी, प्रत्येक जाहिरात मेटाडेटासह "अतिवृद्ध" होते, त्यापैकी काही जाहिरात तयार केल्यावर तयार होते (लेखकाचा IP पत्ता, वापरकर्ता-एजंट, प्लॅटफॉर्म, भौगोलिक स्थान, इ.) आणि उर्वरित प्रत्येक फिल्टरद्वारे जारी केलेले स्कोअर असते. .

घोषणांच्या रांगा

जेव्हा एखादी जाहिरात प्लॅटफॉर्मवर आदळते तेव्हा सिस्टम ती एका रांगेत ठेवते. प्रत्येक रांग एक गणितीय सूत्र वापरून तयार केली जाते जी जाहिरात मेटाडेटा अशा प्रकारे एकत्रित करते जे कोणतेही वाईट नमुने शोधते.

उदाहरणार्थ, सेंट पीटर्सबर्ग येथील युला वापरकर्त्यांकडून तुम्ही “सेल फोन” श्रेणीमध्ये जाहिरातींची रांग तयार करू शकता, परंतु त्यांचे IP पत्ते मॉस्को किंवा इतर शहरांतील आहेत.

वेगवेगळ्या शहरांमध्ये एका वापरकर्त्याने पोस्ट केलेल्या जाहिरातींचे उदाहरण.

किंवा न्यूरल नेटवर्क जाहिरातींना नेमून दिलेल्या स्कोअरच्या आधारे तुम्ही रांगा तयार करू शकता, त्यांची उतरत्या क्रमाने व्यवस्था करू शकता.

प्रत्येक रांग, स्वतःच्या सूत्रानुसार, जाहिरातीला अंतिम स्कोअर नियुक्त करते. मग आपण वेगवेगळ्या मार्गांनी पुढे जाऊ शकता:

• थ्रेशोल्ड निर्दिष्ट करा ज्यावर जाहिरातीला विशिष्ट प्रकारचे ब्लॉकिंग प्राप्त होईल;
• मॅन्युअल पुनरावलोकनासाठी रांगेतील सर्व जाहिराती नियंत्रकांना पाठवा;
• किंवा मागील पर्याय एकत्र करा: स्वयंचलित ब्लॉकिंग थ्रेशोल्ड निर्दिष्ट करा आणि ज्या जाहिराती या थ्रेशोल्डपर्यंत पोहोचल्या नाहीत त्या नियंत्रकांना पाठवा.

या रांगांची गरज का आहे? समजा एका वापरकर्त्याने बंदुकीचा फोटो अपलोड केला आहे. न्यूरल नेटवर्क त्याला 95 ते 100 पर्यंत स्कोअर नियुक्त करते आणि 99 टक्के अचूकतेने ठरवते की चित्रात एक शस्त्र आहे. परंतु स्कोअर मूल्य 95% पेक्षा कमी असल्यास, मॉडेलची अचूकता कमी होऊ लागते (हे न्यूरल नेटवर्क मॉडेलचे वैशिष्ट्य आहे).

परिणामी, स्कोअर मॉडेलवर आधारित रांग तयार केली जाते आणि 95 ते 100 च्या दरम्यान मिळालेल्या जाहिराती आपोआप “निषिद्ध उत्पादने” म्हणून ब्लॉक केल्या जातात. 95 पेक्षा कमी स्कोअर असलेल्या जाहिराती मॅन्युअल प्रक्रियेसाठी नियंत्रकांना पाठवल्या जातात.

काडतुसे सह चॉकलेट बेरेटा. फक्त मॅन्युअल नियंत्रणासाठी! 🙂

मॅन्युअल नियंत्रण

2019 च्या सुरूवातीस, युला मधील सर्व जाहिरातींपैकी सुमारे 94% स्वयंचलितपणे नियंत्रित केल्या जातात.

प्लॅटफॉर्म काही जाहिरातींवर निर्णय घेऊ शकत नसल्यास, ते त्यांना मॅन्युअल नियंत्रणासाठी पाठवते. ओड्नोक्लास्निकीने त्यांचे स्वतःचे साधन विकसित केले: नियंत्रकांची कार्ये त्वरित निर्णय घेण्यासाठी सर्व आवश्यक माहिती त्वरित प्रदर्शित करतात - जाहिरात योग्य आहे किंवा अवरोधित केली पाहिजे, कारण दर्शविते.

आणि मॅन्युअल मॉडरेशन दरम्यान सेवेच्या गुणवत्तेचा त्रास होऊ नये म्हणून, लोकांच्या कामाचे सतत निरीक्षण केले जाते. उदाहरणार्थ, टास्क स्ट्रीममध्ये, मॉडरेटरला “सापळे” दाखवले जातात—जाहिराती ज्यासाठी आधीच तयार उपाय आहेत. मॉडरेटरचा निर्णय पूर्ण झालेल्या निर्णयाशी जुळत नसल्यास, नियंत्रकाला एक त्रुटी दिली जाते.

सरासरी, नियंत्रक एक जाहिरात तपासण्यासाठी 10 सेकंद घालवतो. शिवाय, सर्व सत्यापित जाहिरातींपैकी त्रुटींची संख्या 0,5% पेक्षा जास्त नाही.

लोकांचे संयम

ओड्नोक्लास्निकी मधील सहकारी आणखी पुढे गेले आणि "प्रेक्षकांच्या मदतीचा" फायदा घेतला: त्यांनी सोशल नेटवर्कसाठी एक गेम ऍप्लिकेशन लिहिले ज्यामध्ये आपण काही वाईट चिन्हे हायलाइट करून मोठ्या प्रमाणात डेटा द्रुतपणे चिन्हांकित करू शकता - ओड्नोक्लास्निकी नियंत्रक (https://ok.ru/app/moderator). सामग्री अधिक आनंददायक बनवण्याचा प्रयत्न करत असलेल्या ओके वापरकर्त्यांच्या मदतीचा लाभ घेण्याचा एक चांगला मार्ग.

एक गेम ज्यामध्ये वापरकर्ते फोन नंबर असलेले फोटो टॅग करतात.

प्लॅटफॉर्मवरील जाहिरातींची कोणतीही रांग ओड्नोक्लास्निकी मॉडरेटर गेमवर पुनर्निर्देशित केली जाऊ शकते. गेम वापरकर्ते जे काही मार्कअप करतात ते सर्व नंतर पडताळणीसाठी अंतर्गत नियंत्रकांकडे पाठवले जाते. ही योजना तुम्हाला अशा जाहिराती अवरोधित करण्याची परवानगी देते ज्यासाठी अद्याप फिल्टर तयार केले गेले नाहीत आणि त्याच वेळी प्रशिक्षण नमुने तयार करा.

संयम परिणाम संचयित करणे

आम्ही मॉडरेशन दरम्यान घेतलेले सर्व निर्णय जतन करतो जेणेकरून आम्ही त्या जाहिरातींवर पुन्हा प्रक्रिया करू नये ज्यावर आम्ही आधीच निर्णय घेतला आहे.

जाहिरातींच्या आधारे दररोज लाखो क्लस्टर तयार केले जातात. कालांतराने, प्रत्येक क्लस्टरला "चांगले" किंवा "वाईट" असे लेबल दिले जाते. प्रत्येक नवीन जाहिरात किंवा त्याची पुनरावृत्ती, चिन्हासह क्लस्टरमध्ये प्रवेश केल्यावर, क्लस्टरमधूनच आपोआप रिझोल्यूशन प्राप्त होते. दररोज असे सुमारे 20 हजार स्वयंचलित रिझोल्यूशन आहेत.

क्लस्टरमध्ये कोणतीही नवीन घोषणा न आल्यास, ती मेमरीमधून काढून टाकली जाते आणि तिचे हॅश आणि सोल्यूशन Apache Cassandra वर लिहिले जाते.

जेव्हा प्लॅटफॉर्मला नवीन जाहिरात प्राप्त होते, तेव्हा ते आधीपासून तयार केलेल्यांमध्ये समान क्लस्टर शोधण्याचा प्रयत्न करते आणि त्यावर उपाय काढते. असे कोणतेही क्लस्टर नसल्यास, प्लॅटफॉर्म कॅसँड्राकडे जातो आणि तिकडे पाहतो. तुम्हाला ते सापडले का? ग्रेट, क्लस्टरला सोल्यूशन लागू करतो आणि युलाला पाठवतो. दररोज सरासरी 70 हजार असे "पुनरावृत्ती" निर्णय घेतले जातात - एकूण 8%.

संक्षिप्त करण्यासाठी

आम्ही अडीच वर्षांपासून ओड्नोक्लास्निकी मॉडरेशन प्लॅटफॉर्म वापरत आहोत. आम्हाला परिणाम आवडतात:

• आम्ही दररोज 94% सर्व जाहिराती स्वयंचलितपणे नियंत्रित करतो.
• एका जाहिरातीचे नियमन करण्याची किंमत 2 रूबलवरून 7 कोपेक्सवर कमी केली गेली.
• तयार केलेल्या साधनाबद्दल धन्यवाद, आम्ही नियंत्रक व्यवस्थापित करण्याच्या समस्यांबद्दल विसरलो.
• आम्ही मॅन्युअली प्रक्रिया केलेल्या जाहिरातींची संख्या समान संख्या नियंत्रक आणि बजेटसह 2,5 पट वाढवली. स्वयंचलित नियंत्रणामुळे मॅन्युअल मॉडरेशनची गुणवत्ता देखील वाढली आहे आणि सुमारे 0,5% त्रुटींमध्ये चढ-उतार होतात.
• आम्ही फिल्टरसह नवीन प्रकारचे स्पॅम पटकन कव्हर करतो.
• आम्ही त्वरीत नवीन विभागांना नियंत्रणाशी जोडतो "युला वर्टिकल". 2017 पासून, युलाने रिअल इस्टेट, रिक्त जागा आणि ऑटो वर्टिकल जोडले आहेत.

स्त्रोत: www.habr.com