टिप्पणियाँ कैसे खोलें और स्पैम में न डूबें

जब आपका काम कुछ सुंदर बनाना है, तो आपको इसके बारे में ज्यादा बात करने की ज़रूरत नहीं है, क्योंकि परिणाम हर किसी की आंखों के सामने होता है। लेकिन यदि आप बाड़ से शिलालेख मिटा देते हैं, तो जब तक बाड़ सभ्य दिखती है या जब तक आप कुछ गलत नहीं मिटाते, तब तक कोई भी आपके काम पर ध्यान नहीं देगा।

कोई भी सेवा जहां आप टिप्पणी छोड़ सकते हैं, समीक्षा कर सकते हैं, संदेश भेज सकते हैं या चित्र अपलोड कर सकते हैं, देर-सबेर स्पैम, धोखाधड़ी और अश्लीलता की समस्या का सामना करना पड़ता है। इसे टाला नहीं जा सकता, लेकिन इससे निपटना ही होगा।

मेरा नाम मिखाइल है, मैं एंटीस्पैम टीम पर काम करता हूं, जो यांडेक्स सेवाओं के उपयोगकर्ताओं को ऐसी समस्याओं से बचाता है। हमारे काम पर शायद ही कभी ध्यान दिया जाता है (और यह अच्छी बात है!), इसलिए आज मैं आपको इसके बारे में और बताऊंगा। आप सीखेंगे कि संयम कब बेकार है और सटीकता इसकी प्रभावशीलता का एकमात्र संकेतक क्यों नहीं है। हम बिल्लियों और कुत्तों के उदाहरण का उपयोग करके शपथ लेने के बारे में भी बात करेंगे और कभी-कभी "शपथ लेने वाले की तरह सोचना" उपयोगी क्यों होता है।

यांडेक्स में अधिक से अधिक सेवाएँ दिखाई दे रही हैं जहाँ उपयोगकर्ता अपनी सामग्री प्रकाशित करते हैं। आप Yandex.Q में एक प्रश्न पूछ सकते हैं या उत्तर लिख सकते हैं, Yandex.District में यार्ड समाचार पर चर्चा कर सकते हैं, Yandex.Maps पर बातचीत में ट्रैफ़िक की स्थिति साझा कर सकते हैं। लेकिन जब सेवा के दर्शक बढ़ते हैं, तो यह स्कैमर्स और स्पैमर्स के लिए आकर्षक हो जाता है। वे आते हैं और टिप्पणियाँ भरते हैं: वे आसान पैसे की पेशकश करते हैं, चमत्कारिक इलाज का विज्ञापन करते हैं और सामाजिक लाभ का वादा करते हैं। स्पैमर्स के कारण, कुछ उपयोगकर्ता पैसे खो देते हैं, जबकि अन्य स्पैम से भरी एक अव्यवस्थित सेवा पर समय बिताने की इच्छा खो देते हैं।

और यही एकमात्र समस्या नहीं है. हम न केवल उपयोगकर्ताओं को स्कैमर्स से बचाने का प्रयास करते हैं, बल्कि संचार के लिए एक आरामदायक माहौल बनाने का भी प्रयास करते हैं। यदि लोगों को टिप्पणियों में अपशब्दों और अपमान का सामना करना पड़ता है, तो संभावना है कि वे चले जाएंगे और कभी वापस नहीं लौटेंगे। इसका मतलब है कि आपको भी इससे निपटने में सक्षम होना होगा।

स्वच्छ वेब

जैसा कि हमारे साथ अक्सर होता है, पहला विकास खोज में हुआ, उस हिस्से में जो खोज परिणामों में स्पैम से लड़ता है। लगभग दस साल पहले, पारिवारिक खोजों और उन प्रश्नों के लिए वयस्क सामग्री को फ़िल्टर करने का कार्य, जिनके लिए 18+ श्रेणी से उत्तर की आवश्यकता नहीं थी, दिखाई दिया। इस तरह पोर्न और गाली-गलौज के पहले मैन्युअल रूप से टाइप किए गए शब्दकोश सामने आए, उन्हें विश्लेषकों द्वारा फिर से तैयार किया गया। मुख्य कार्य उन अनुरोधों को वर्गीकृत करना था जहां वयस्क सामग्री दिखाना स्वीकार्य है और जहां यह नहीं है। इस कार्य के लिए, मार्कअप एकत्र किया गया, अनुमान बनाए गए, और मॉडलों को प्रशिक्षित किया गया। इस प्रकार अवांछित सामग्री को फ़िल्टर करने का पहला विकास सामने आया।

समय के साथ, यूजीसी (उपयोगकर्ता द्वारा उत्पन्न सामग्री) यांडेक्स में दिखाई देने लगी - संदेश जो उपयोगकर्ताओं द्वारा स्वयं लिखे जाते हैं, और यांडेक्स केवल प्रकाशित करता है। ऊपर वर्णित कारणों से, कई संदेशों को बिना देखे प्रकाशित नहीं किया जा सका - मॉडरेशन की आवश्यकता थी। फिर उन्होंने एक ऐसी सेवा बनाने का निर्णय लिया जो सभी यांडेक्स यूजीसी उत्पादों के लिए स्पैम और हमलावरों से सुरक्षा प्रदान करेगी और खोज में अवांछित सामग्री को फ़िल्टर करने के लिए विकास का उपयोग करेगी। इस सेवा को "क्लीन वेब" कहा गया।

नए कार्य और धक्का देने वालों से मदद

सबसे पहले, केवल सरल स्वचालन ने हमारे लिए काम किया: सेवाओं ने हमें पाठ भेजे, और हमने उन पर अश्लील शब्दकोश, अश्लील शब्दकोश और नियमित अभिव्यक्तियाँ चलाईं - विश्लेषकों ने सब कुछ मैन्युअल रूप से संकलित किया। लेकिन समय के साथ, इस सेवा का उपयोग यांडेक्स उत्पादों की बढ़ती संख्या में किया जाने लगा और हमें नई समस्याओं के साथ काम करना सीखना पड़ा।

अक्सर, समीक्षा के बजाय, उपयोगकर्ता अपनी उपलब्धियों को बढ़ाने की कोशिश में पत्रों का एक निरर्थक सेट प्रकाशित करते हैं, कभी-कभी वे किसी प्रतिस्पर्धी कंपनी की समीक्षाओं में अपनी कंपनी का विज्ञापन करते हैं, और कभी-कभी वे संगठनों को भ्रमित करते हैं और एक पालतू जानवर की दुकान के बारे में समीक्षा में लिखते हैं: " बिल्कुल पकी हुई मछली!” शायद किसी दिन कृत्रिम बुद्धिमत्ता किसी भी पाठ के अर्थ को पूरी तरह से समझना सीख जाएगी, लेकिन अब स्वचालन कभी-कभी मनुष्यों से भी बदतर स्थिति का सामना करता है।

यह स्पष्ट हो गया कि हम मैन्युअल मार्किंग के बिना ऐसा नहीं कर सकते, और हमने अपने सर्किट में एक दूसरा चरण जोड़ा - इसे एक व्यक्ति द्वारा मैन्युअल निरीक्षण के लिए भेजा गया। वे प्रकाशित पाठ जिनके लिए वर्गीकरणकर्ता को कोई समस्या नहीं दिखी, उन्हें वहां शामिल किया गया। आप ऐसे कार्य के पैमाने की आसानी से कल्पना कर सकते हैं, इसलिए हमने न केवल मूल्यांकनकर्ताओं पर भरोसा किया, बल्कि "भीड़ की बुद्धि" का भी फायदा उठाया, यानी हमने मदद के लिए टोलकरों की ओर रुख किया। वे ही हैं जो हमें यह पहचानने में मदद करते हैं कि मशीन ने क्या मिस किया और इस तरह उसे सिखाते हैं।

स्मार्ट कैशिंग और एलएसएच हैशिंग

टिप्पणियों के साथ काम करते समय हमें एक और समस्या का सामना करना पड़ा, वह थी स्पैम, या अधिक सटीक रूप से, इसकी मात्रा और प्रसार की गति। जब Yandex.Region के दर्शक तेजी से बढ़ने लगे, तो स्पैमर वहां आ गए। उन्होंने पाठ में थोड़ा बदलाव करके नियमित अभिव्यक्तियों को बायपास करना सीखा। बेशक, स्पैम अभी भी पाया गया और हटा दिया गया, लेकिन यांडेक्स के पैमाने पर, 5 मिनट के लिए पोस्ट किया गया एक अस्वीकार्य संदेश भी सैकड़ों लोगों द्वारा देखा जा सकता था।

बेशक, यह हमें पसंद नहीं आया, और हमने एलएसएच पर आधारित स्मार्ट टेक्स्ट कैशिंग बनाई (स्थानीय-संवेदनशील हैशिंग). यह इस तरह काम करता है: हमने पाठ को सामान्यीकृत किया, उसमें से लिंक हटा दिए और उसे एन-ग्राम (एन अक्षरों का क्रम) में काट दिया। इसके बाद, एन-ग्राम के हैश की गणना की गई, और दस्तावेज़ का एलएसएच वेक्टर उनसे बनाया गया। मुद्दा यह है कि समान पाठ, भले ही उन्हें थोड़ा बदल दिया गया हो, समान वैक्टर में बदल गए।

इस समाधान ने समान पाठों के लिए क्लासिफायर और टॉलोकर्स के फैसले का पुन: उपयोग करना संभव बना दिया। स्पैम हमले के दौरान, जैसे ही पहला संदेश स्कैन से गुजरा और "स्पैम" निर्णय के साथ कैश में प्रवेश किया, सभी नए समान संदेशों, यहां तक ​​कि संशोधित संदेशों को भी वही निर्णय प्राप्त हुआ और स्वचालित रूप से हटा दिया गया। बाद में, हमने सीखा कि स्पैम क्लासिफायर को कैसे प्रशिक्षित और स्वचालित रूप से पुनः प्रशिक्षित किया जाए, लेकिन यह "स्मार्ट कैश" हमारे साथ रहा और अभी भी अक्सर हमारी मदद करता है।

अच्छा पाठ वर्गीकरणकर्ता

स्पैम से लड़ने के लिए समय निकाले बिना, हमें एहसास हुआ कि हमारी 95% सामग्री मैन्युअल रूप से संचालित होती है: क्लासिफायर केवल उल्लंघनों पर प्रतिक्रिया करते हैं, और अधिकांश पाठ अच्छे होते हैं। हम ऐसे क्लीनर लोड करते हैं जो 95 में से 100 मामलों में "सब कुछ ठीक है" रेटिंग देते हैं। मुझे एक असामान्य काम करना था - अच्छी सामग्री का क्लासिफायर बनाना, सौभाग्य से इस दौरान पर्याप्त मार्कअप जमा हो गया था।

पहला क्लासिफायर इस तरह दिखता था: हम पाठ को लेमेटाइज करते हैं (शब्दों को उनके प्रारंभिक रूप में कम करते हैं), भाषण के सभी सहायक भागों को बाहर निकाल देते हैं और पहले से तैयार "अच्छे लेम्मा के शब्दकोश" का उपयोग करते हैं। यदि पाठ में सभी शब्द "अच्छे" हैं, तो पूरे पाठ में कोई उल्लंघन नहीं है। विभिन्न सेवाओं पर, इस दृष्टिकोण ने तुरंत मैन्युअल मार्कअप का 25 से 35% स्वचालन दिया। बेशक, यह दृष्टिकोण आदर्श नहीं है: कई निर्दोष शब्दों को जोड़ना और एक बहुत ही आक्रामक बयान प्राप्त करना आसान है, लेकिन इसने हमें जल्दी से स्वचालन के अच्छे स्तर तक पहुंचने की अनुमति दी और हमें अधिक जटिल मॉडलों को प्रशिक्षित करने का समय दिया।

अच्छे टेक्स्ट क्लासिफायर के अगले संस्करणों में पहले से ही रैखिक मॉडल, निर्णय पेड़ और उनके संयोजन शामिल थे। उदाहरण के लिए, अशिष्टता और अपमान को चिह्नित करने के लिए, हम BERT तंत्रिका नेटवर्क का प्रयास करते हैं। संदर्भ में किसी शब्द के अर्थ और विभिन्न वाक्यों के शब्दों के बीच संबंध को समझना महत्वपूर्ण है, और BERT यह अच्छा काम करता है। (वैसे, हाल ही में न्यूज़ के सहकर्मी बताया, गैर-मानक कार्य के लिए प्रौद्योगिकी का उपयोग कैसे किया जाता है - हेडर में त्रुटियां ढूंढना।) परिणामस्वरूप, सेवा के आधार पर, प्रवाह का 90% तक स्वचालित करना संभव हो गया।

सटीकता, पूर्णता और गति

विकसित करने के लिए, आपको यह समझने की ज़रूरत है कि कुछ स्वचालित क्लासिफायर क्या लाभ लाते हैं, उनमें परिवर्तन होते हैं, और क्या मैन्युअल जाँच की गुणवत्ता खराब हो रही है। ऐसा करने के लिए, हम परिशुद्धता और रिकॉल मेट्रिक्स का उपयोग करते हैं।

खराब सामग्री के बारे में सभी निर्णयों के बीच सटीकता सही निर्णयों का अनुपात है। सटीकता जितनी अधिक होगी, झूठी सकारात्मकता उतनी ही कम होगी। यदि आप सटीकता पर ध्यान नहीं देते हैं, तो सिद्धांत रूप में आप सभी स्पैम और अश्लीलता और उनके साथ आधे अच्छे संदेशों को हटा सकते हैं। दूसरी ओर, यदि आप केवल सटीकता पर भरोसा करते हैं, तो सबसे अच्छी तकनीक वह होगी जो किसी को भी नहीं पकड़ती है। इसलिए, पूर्णता का एक संकेतक भी है: खराब सामग्री की कुल मात्रा के बीच पहचानी गई खराब सामग्री का हिस्सा। ये दोनों मेट्रिक्स एक दूसरे को संतुलित करते हैं।

मापने के लिए, हम प्रत्येक सेवा के लिए आने वाली संपूर्ण स्ट्रीम का नमूना लेते हैं और विशेषज्ञ मूल्यांकन और मशीन समाधानों के साथ तुलना के लिए मूल्यांकनकर्ताओं को सामग्री के नमूने देते हैं।

लेकिन एक और महत्वपूर्ण संकेतक है.

मैंने ऊपर लिखा है कि एक अस्वीकार्य संदेश को 5 मिनट में भी सैकड़ों लोग देख सकते हैं। इसलिए हम गिनते हैं कि छिपाने से पहले हमने कितनी बार लोगों को खराब सामग्री दिखाई। यह महत्वपूर्ण है क्योंकि कुशलता से काम करने के लिए यह पर्याप्त नहीं है - आपको तेजी से काम करने की भी आवश्यकता है। और जब हमने अपशब्दों के विरुद्ध बचाव का निर्माण किया, तो हमने इसे पूरी तरह से महसूस किया।

बिल्लियों और कुत्तों के उदाहरण का उपयोग करते हुए एंटीमैटिज़्म

एक छोटा सा गीतात्मक विषयांतर. कुछ लोग कह सकते हैं कि अश्लीलता और अपमान दुर्भावनापूर्ण लिंक जितना खतरनाक नहीं है, और स्पैम जितना कष्टप्रद नहीं है। लेकिन हम लाखों उपयोगकर्ताओं के लिए संचार की आरामदायक स्थिति बनाए रखने का प्रयास करते हैं, और लोग उन जगहों पर लौटना पसंद नहीं करते जहां उनका अपमान किया जाता है। यह कोई आश्चर्य की बात नहीं है कि हेबेरे सहित कई समुदायों के नियमों में शपथ ग्रहण और अपमान पर प्रतिबंध लगाया गया है। लेकिन हम विषयांतर कर जाते हैं।

शपथ ग्रहण शब्दकोश रूसी भाषा की सारी समृद्धि का सामना नहीं कर सकते। इस तथ्य के बावजूद कि केवल चार मुख्य शपथ जड़ें हैं, उनसे आप अनगिनत शब्द बना सकते हैं जिन्हें किसी भी नियमित इंजन द्वारा नहीं पकड़ा जा सकता है। इसके अलावा, आप लिप्यंतरण में किसी शब्द का हिस्सा लिख ​​सकते हैं, अक्षरों को समान संयोजनों से बदल सकते हैं, अक्षरों को पुनर्व्यवस्थित कर सकते हैं, तारांकन जोड़ सकते हैं, आदि। कभी-कभी, संदर्भ के बिना, यह निर्धारित करना मूल रूप से असंभव है कि उपयोगकर्ता का मतलब अपशब्द था। हम हैबर के नियमों का सम्मान करते हैं, इसलिए हम इसे जीवंत उदाहरणों से नहीं, बल्कि बिल्लियों और कुत्तों के साथ प्रदर्शित करेंगे।

"कानून," बिल्ली ने कहा। लेकिन हम समझते हैं कि बिल्ली ने कुछ और ही शब्द कहा...

हमने अपने शब्दकोश के लिए "फ़ज़ी मैचिंग" एल्गोरिदम और बेहतर प्रीप्रोसेसिंग के बारे में सोचना शुरू किया: हमने लिप्यंतरण प्रदान किया, रिक्त स्थान और विराम चिह्नों को एक साथ चिपकाया, पैटर्न की तलाश की और उन पर अलग-अलग नियमित अभिव्यक्तियां लिखीं। इस दृष्टिकोण से परिणाम मिले, लेकिन अक्सर सटीकता कम हो गई और वांछित पूर्णता प्रदान नहीं की गई।

फिर हमने "शपथ लेने वालों की तरह सोचने" का फैसला किया। हमने स्वयं डेटा में शोर डालना शुरू कर दिया: हमने अक्षरों को पुनर्व्यवस्थित किया, टाइपो उत्पन्न किया, अक्षरों को समान वर्तनी से बदल दिया, और इसी तरह। इसके लिए आरंभिक मार्कअप पाठों के विशाल संग्रह में मैट शब्दकोशों को लागू करके लिया गया था। यदि आप एक वाक्य लेते हैं और उसे कई तरीकों से तोड़ते हैं, तो आपके पास कई वाक्य बन जाते हैं। इस तरह आप प्रशिक्षण के नमूने को दसियों गुना बढ़ा सकते हैं। जो कुछ बचा था वह परिणामी पूल पर कुछ अधिक या कम स्मार्ट मॉडल को प्रशिक्षित करना था जो संदर्भ को ध्यान में रखते थे।

अंतिम निर्णय के बारे में बात करना जल्दबाजी होगी. हम अभी भी इस समस्या के दृष्टिकोण के साथ प्रयोग कर रहे हैं, लेकिन हम पहले से ही देख सकते हैं कि कई परतों का एक सरल प्रतीकात्मक दृढ़ नेटवर्क शब्दकोशों और नियमित इंजनों से काफी बेहतर प्रदर्शन करता है: सटीकता और स्मरण दोनों को बढ़ाना संभव है।

बेशक, हम समझते हैं कि सबसे उन्नत स्वचालन को भी बायपास करने के हमेशा तरीके होंगे, खासकर जब मामला इतना खतरनाक हो: इस तरह से लिखें कि एक बेवकूफ मशीन समझ न सके। यहां, स्पैम के खिलाफ लड़ाई की तरह, हमारा लक्ष्य कुछ अश्लील लिखने की संभावना को खत्म करना नहीं है; हमारा काम यह सुनिश्चित करना है कि गेम मोमबत्ती के लायक न हो।

अपनी राय साझा करने, संवाद करने और टिप्पणी करने का अवसर खोलना मुश्किल नहीं है। लोगों के लिए सुरक्षित, आरामदायक स्थिति और सम्मानजनक व्यवहार हासिल करना कहीं अधिक कठिन है। और इसके बिना किसी भी समुदाय का विकास नहीं होगा.

स्रोत: www.habr.com