टिप्पणीहरू कसरी खोल्ने र स्प्याममा डुब्दैन

जब तपाईको काम केहि सुन्दर बनाउनु हो, तपाईले यसको बारेमा धेरै कुरा गर्नु पर्दैन, किनकि परिणाम सबैको आँखा अगाडि छ। तर यदि तपाईंले बारहरूबाट शिलालेखहरू मेटाउनुभयो भने, बाडहरू सभ्य देखिने वा तपाईंले केही गलत नमेटाएसम्म कसैले पनि तपाईंको कामलाई याद गर्नेछैन।

कुनै पनि सेवा जहाँ तपाइँ टिप्पणी छोड्न सक्नुहुन्छ, समीक्षा गर्न सक्नुहुन्छ, सन्देश पठाउन सक्नुहुन्छ वा छविहरू अपलोड गर्न सक्नुहुन्छ ढिलो वा ढिलो स्पाम, जालसाजी र अश्लीलताको समस्याको सामना गर्दछ। यसबाट बच्न सकिँदैन, तर यसको सामना गर्नुपर्छ।

मेरो नाम मिखाइल हो, म Antispam टोलीमा काम गर्छु, जसले Yandex सेवाहरूको प्रयोगकर्ताहरूलाई त्यस्ता समस्याहरूबाट जोगाउँछ। हाम्रो काम विरलै ध्यान दिईन्छ (र यो राम्रो कुरा हो!), त्यसैले आज म तपाईलाई यसको बारेमा थप बताउनेछु। जब मध्यस्थता बेकार हुन्छ र किन सटीकता यसको प्रभावकारिताको मात्र सूचक होइन भनेर तपाईंले सिक्नुहुनेछ। हामी बिराला र कुकुरको उदाहरण प्रयोग गरेर कसम खाने बारे पनि कुरा गर्नेछौं र किन यो कहिलेकाहीं "कपटा लिने जस्तै सोच्नुहोस्" उपयोगी छ।

Yandex मा अधिक र अधिक सेवाहरू देखा पर्दैछन् जहाँ प्रयोगकर्ताहरूले उनीहरूको सामग्री प्रकाशित गर्छन्। तपाईं Yandex.Q मा प्रश्न सोध्न वा जवाफ लेख्न सक्नुहुन्छ, Yandex.District मा यार्ड समाचारहरू छलफल गर्न सक्नुहुन्छ, Yandex.Maps मा कुराकानीहरूमा ट्राफिक अवस्थाहरू साझा गर्नुहोस्। तर जब सेवाको दर्शक बढ्छ, यो स्क्यामर र स्प्यामरहरूको लागि आकर्षक हुन्छ। तिनीहरू आउँछन् र टिप्पणीहरू भर्छन्: तिनीहरूले सजिलो पैसा प्रस्ताव गर्छन्, चमत्कारी उपचारको विज्ञापन गर्छन् र सामाजिक लाभहरू वाचा गर्छन्। स्प्यामरहरूको कारणले गर्दा, केही प्रयोगकर्ताहरूले पैसा गुमाउँछन्, जबकि अरूले स्प्यामको साथ बढेको बेकार सेवामा समय खर्च गर्ने इच्छा गुमाउँछन्।

र यो मात्र समस्या होइन। हामी प्रयोगकर्ताहरूलाई स्क्यामरहरूबाट जोगाउन मात्र नभई सञ्चारको लागि सहज वातावरण सिर्जना गर्ने प्रयास गर्छौं। यदि मानिसहरूले टिप्पणीहरूमा गाली र अपमानको सामना गर्छन् भने, तिनीहरू छोड्ने र कहिल्यै फर्कने सम्भावना छैन। यसको मतलब यो हो कि तपाई पनि यससँग व्यवहार गर्न सक्षम हुनु आवश्यक छ।

सफा वेब

हामीसँग प्राय जसो हुन्छ, पहिलो विकासहरू खोजमा जन्मिएका थिए, खोज परिणामहरूमा स्प्यामसँग लड्ने भागमा। करिब दस वर्ष पहिले, पारिवारिक खोजहरू र 18+ वर्गबाट ​​जवाफहरू आवश्यक नपर्ने प्रश्नहरूको लागि वयस्क सामग्री फिल्टर गर्ने कार्य त्यहाँ देखा पर्‍यो। यसरी पोर्न र कसमको पहिलो म्यानुअल रूपमा टाइप गरिएको शब्दकोशहरू देखा पर्यो, तिनीहरू विश्लेषकहरूले भरिएका थिए। मुख्य कार्य अनुरोधहरूलाई वयस्क सामग्री देखाउन स्वीकार्य छ र कहाँ छैन भनेर वर्गीकरण गर्नु थियो। यस कार्यको लागि, मार्कअप सङ्कलन गरिएको थियो, heuristics बनाइयो, र मोडेल प्रशिक्षित गरियो। अवांछित सामग्री फिल्टर गर्ने पहिलो घटनाहरू यसरी देखा पर्‍यो।

समयको साथ, UGC (प्रयोगकर्ताले उत्पन्न सामग्री) Yandex मा देखा पर्न थाले - सन्देशहरू जुन प्रयोगकर्ताहरू आफैले लेखेका छन्, र Yandex मात्र प्रकाशित गर्दछ। माथि वर्णन गरिएका कारणहरूका लागि, धेरै सन्देशहरू नहेरी प्रकाशित गर्न सकिएन - मध्यस्थता आवश्यक थियो। त्यसपछि तिनीहरूले Yandex UGC उत्पादनहरूका लागि स्प्याम र आक्रमणकारीहरू विरुद्ध सुरक्षा प्रदान गर्ने र खोजमा अनावश्यक सामग्री फिल्टर गर्न विकासहरू प्रयोग गर्ने सेवा सिर्जना गर्ने निर्णय गरे। सेवालाई "क्लिन वेब" भनिन्छ।

नयाँ कार्यहरू र pushers बाट मद्दत

सुरुमा, केवल साधारण स्वचालनले हाम्रो लागि काम गर्‍यो: सेवाहरूले हामीलाई पाठहरू पठाए, र हामीले अश्लील शब्दकोषहरू, पोर्न शब्दकोशहरू र तिनीहरूमा नियमित अभिव्यक्तिहरू चलायौं - विश्लेषकहरूले म्यानुअल रूपमा सबै कुरा कम्पाइल गरे। तर समयको साथ, सेवा Yandex उत्पादनहरूको बढ्दो संख्यामा प्रयोग भएको थियो, र हामीले नयाँ समस्याहरूसँग काम गर्न सिक्नुपर्‍यो।

प्रायः, समीक्षाको सट्टा, प्रयोगकर्ताहरूले आफ्नो उपलब्धिहरू बढाउने प्रयास गर्दै अक्षरहरूको अर्थहीन सेट प्रकाशित गर्छन्, कहिलेकाहीँ उनीहरूले प्रतिस्पर्धी कम्पनीको समीक्षामा आफ्नो कम्पनीको विज्ञापन गर्छन्, र कहिलेकाहीँ तिनीहरू केवल संस्थाहरूलाई भ्रमित गर्छन् र पाल्तु जनावर पसलको बारेमा समीक्षामा लेख्छन्: " पूर्ण रूपमा पकाएको माछा! ” सायद कुनै दिन आर्टिफिसियल इन्टेलिजेन्सले कुनै पनि पाठको अर्थ राम्ररी बुझ्न सिक्नेछ, तर अब स्वचालनले कहिलेकाहीँ मानवभन्दा पनि नराम्रोसँग सामना गर्छ।

यो स्पष्ट भयो कि हामीले म्यानुअल मार्किङ बिना यो गर्न सक्दैनौं, र हामीले हाम्रो सर्किटमा दोस्रो चरण थप्यौं - एक व्यक्तिद्वारा म्यानुअल निरीक्षणको लागि पठाउँदै। ती प्रकाशित पाठहरू जसका लागि वर्गीकरणकर्ताले कुनै समस्या देखेनन् त्यहाँ समावेश गरिएको थियो। तपाईं सजिलैसँग यस्तो कार्यको स्केलको कल्पना गर्न सक्नुहुन्छ, त्यसैले हामीले मूल्याङ्कनकर्ताहरूमा मात्र भर परेनौं, तर "भीडको बुद्धि" को फाइदा पनि उठायौं, अर्थात्, हामी मद्दतको लागि टोकरहरूतिर फर्क्यौं। तिनीहरू नै हुन् जसले हामीलाई मेसिनले के छुटेको छ भनेर पहिचान गर्न मद्दत गर्छन्, र यसरी सिकाउँछन्।

स्मार्ट क्यासिङ र LSH ह्यासिङ

टिप्पणीहरूसँग काम गर्दा हामीले सामना गरेको अर्को समस्या स्प्याम थियो, वा अझ स्पष्ट रूपमा, यसको मात्रा र फैलाउने गति। जब Yandex.Region दर्शकहरू द्रुत रूपमा बढ्न थाले, स्प्यामरहरू त्यहाँ आए। तिनीहरूले पाठलाई थोरै परिवर्तन गरेर नियमित अभिव्यक्तिहरू बाइपास गर्न सिके। स्प्याम, निस्सन्देह, अझै फेला पर्यो र मेटाइएको थियो, तर Yandex को मापनमा, 5 मिनेटको लागि पोस्ट गरिएको अस्वीकार्य सन्देश सयौं मानिसहरूले देख्न सक्छ।

अवश्य पनि, यो हामीलाई उपयुक्त थिएन, र हामीले LSH मा आधारित स्मार्ट पाठ क्यासिङ बनायौं।स्थानीयता-संवेदनशील ह्यासिङ)। यसले यसरी काम गर्छ: हामीले पाठलाई सामान्य बनायौं, त्यसबाट लिङ्कहरू हटायौं र यसलाई एन-ग्राम (n अक्षरहरूको अनुक्रम) मा काट्यौं। अर्को, एन-ग्रामको ह्यासहरू गणना गरियो, र कागजातको LSH भेक्टर तिनीहरूबाट बनाइएको थियो। बिन्दु यो हो कि समान पाठहरू, यदि तिनीहरू थोरै परिवर्तन भए पनि, समान भेक्टरहरूमा परिणत भए।

यो समाधानले समान पाठहरूको लागि वर्गीकरणकर्ता र टोलोकरहरूको निर्णयहरू पुन: प्रयोग गर्न सम्भव बनायो। स्प्याम आक्रमणको क्रममा, पहिलो सन्देशले स्क्यान पास गर्ने र "स्प्याम" निर्णयको साथ क्यासमा प्रवेश गर्ने बित्तिकै, सबै नयाँ समान सन्देशहरू, परिमार्जित गरिएका पनि, समान निर्णय प्राप्त गरे र स्वचालित रूपमा मेटाइयो। पछि, हामीले स्प्याम वर्गीकरणकर्ताहरूलाई कसरी तालिम दिने र स्वचालित रूपमा पुन: तालिम दिने भनेर सिकेका थियौं, तर यो "स्मार्ट क्यास" हामीसँग रह्यो र अझै पनि हामीलाई मद्दत गर्छ।

राम्रो पाठ वर्गीकरणकर्ता

स्प्याम विरुद्ध लड्ने समय बिना, हामीले हाम्रो सामग्रीको 95% म्यानुअल रूपमा मोडरेट गरिएको महसुस गर्यौं: वर्गीकरणकर्ताहरूले मात्र उल्लङ्घनहरूमा प्रतिक्रिया दिन्छन्, र अधिकांश पाठहरू राम्रो छन्। हामी क्लिनरहरू लोड गर्छौं जसले 95 मध्ये 100 केसहरूमा "सबै ठीक छ" मूल्याङ्कन दिन्छ। मैले एउटा असामान्य काम गर्नुपर्‍यो - राम्रो सामग्रीको वर्गीकरण गर्ने, सौभाग्यवश यस समयमा पर्याप्त मार्कअप जम्मा भएको थियो।

पहिलो वर्गीकरणकर्ता यस्तो देखिन्थ्यो: हामी पाठलाई लिम्मेटाइज गर्छौं (शब्दहरूलाई तिनीहरूको प्रारम्भिक रूपमा घटाउँछौं), भाषणका सबै सहायक भागहरू बाहिर निकाल्छौं र पूर्व-तयार गरिएको "राम्रो लेमाको शब्दकोश" प्रयोग गर्दछौं। यदि पाठमा सबै शब्दहरू "राम्रो" छन् भने, सम्पूर्ण पाठले कुनै उल्लङ्घनहरू समावेश गर्दैन। विभिन्न सेवाहरूमा, यो दृष्टिकोणले तुरुन्तै म्यानुअल मार्कअपको 25 देखि 35% स्वचालन दियो। निस्सन्देह, यो दृष्टिकोण आदर्श छैन: धेरै निर्दोष शब्दहरू संयोजन गर्न र धेरै आपत्तिजनक बयान प्राप्त गर्न सजिलो छ, तर यसले हामीलाई छिटो स्वचालनको राम्रो स्तरमा पुग्न अनुमति दियो र हामीलाई थप जटिल मोडेलहरू प्रशिक्षित गर्न समय दियो।

राम्रो टेक्स्ट क्लासिफायरहरूको अर्को संस्करणमा पहिले नै रेखीय मोडेलहरू, निर्णय रूखहरू, र तिनीहरूको संयोजनहरू समावेश छन्। अशिष्टता र अपमान चिन्ह लगाउन, उदाहरणका लागि, हामी BERT न्यूरल नेटवर्क प्रयास गर्छौं। सन्दर्भमा शब्दको अर्थ र विभिन्न वाक्यहरूबाट शब्दहरू बीचको सम्बन्ध बुझ्न महत्त्वपूर्ण छ, र BERT ले यो राम्रो काम गर्दछ। (वैसे, भर्खरै समाचारका सहकर्मीहरू भन्यो, कसरी टेक्नोलोजी एक गैर-मानक कार्यको लागि प्रयोग गरिन्छ - हेडरहरूमा त्रुटिहरू फेला पार्दै।) नतिजाको रूपमा, सेवाको आधारमा प्रवाहको 90% सम्म स्वचालित गर्न सम्भव थियो।

शुद्धता, पूर्णता र गति

विकास गर्न, तपाईंले निश्चित स्वचालित वर्गीकरणहरूले के फाइदाहरू ल्याउनुहुन्छ, तिनीहरूमा परिवर्तनहरू, र म्यानुअल जाँचहरूको गुणस्तर घट्दै गएको छ कि छैन भनेर बुझ्न आवश्यक छ। यो गर्नको लागि, हामी परिशुद्धता र सम्झना मेट्रिक्स प्रयोग गर्दछौं।

शुद्धता भनेको खराब सामग्रीको बारेमा सबै निर्णयहरू बीच सही निर्णयहरूको अनुपात हो। उच्च शुद्धता, कम गलत सकारात्मक। यदि तपाइँ शुद्धतामा ध्यान दिनुहुन्न भने, त्यसपछि सिद्धान्तमा तपाइँ सबै स्प्याम र अश्लीलताहरू मेटाउन सक्नुहुन्छ, र तिनीहरूसँग आधा राम्रो सन्देशहरू। अर्कोतर्फ, यदि तपाईं केवल शुद्धतामा भर पर्नुहुन्छ भने, तब उत्तम प्रविधि त्यो हुनेछ जसले कसैलाई पनि समात्दैन। त्यसकारण, त्यहाँ पूर्णताको सूचक पनि छ: खराब सामग्रीको कुल मात्रामा पहिचान गरिएको खराब सामग्रीको साझेदारी। यी दुई मेट्रिक्स एकअर्कालाई सन्तुलनमा राख्छन्।

मापन गर्न, हामी प्रत्येक सेवाको लागि सम्पूर्ण आगमन स्ट्रिमको नमूना दिन्छौं र विशेषज्ञ मूल्याङ्कन र मेसिन समाधानहरूसँग तुलनाको लागि मूल्याङ्कनकर्ताहरूलाई सामग्री नमूनाहरू दिन्छौं।

तर त्यहाँ अर्को महत्त्वपूर्ण सूचक छ।

मैले माथि लेखेको छु कि अस्वीकार्य सन्देश 5 मिनेटमा पनि सयौं मानिसहरूले देख्न सक्छन्। त्यसोभए हामीले यसलाई लुकाउनु अघि हामीले कति पटक मानिसहरूलाई खराब सामग्री देखायौं भनेर गणना गर्छौं। यो महत्त्वपूर्ण छ किनभने यो कुशलतापूर्वक काम गर्न पर्याप्त छैन - तपाईंले पनि छिटो काम गर्न आवश्यक छ। र जब हामीले कसमको बिरूद्ध प्रतिरक्षा बनायौं, हामीले यसलाई पूर्ण रूपमा महसुस गर्यौं।

बिरालो र कुकुरको उदाहरण प्रयोग गरेर एन्टिमेटिज्म

एउटा सानो लिरिकल डिग्रेशन। कतिपयले भन्न सक्छन् कि अश्लीलता र अपमान दुर्भावनापूर्ण लिङ्कहरू जत्तिकै खतरनाक छैन, र स्प्याम जत्तिकै कष्टप्रद होइन। तर हामी लाखौं प्रयोगकर्ताहरूका लागि सञ्चारको लागि सहज अवस्थाहरू कायम राख्न प्रयास गर्छौं, र मानिसहरू अपमानित ठाउँहरूमा फर्कन मन पराउँदैनन्। यो कुनै कुराको लागि होइन कि गाली र अपमानमा प्रतिबन्ध हाब्रे सहित धेरै समुदायका नियमहरूमा लेखिएको छ। तर हामी विचलित हुन्छौं।

कसम खाने शब्दकोशहरूले रूसी भाषाको सबै समृद्धिसँग सामना गर्न सक्दैन। यस तथ्यको बावजुद त्यहाँ केवल चार मुख्य कसम जराहरू छन्, तिनीहरूबाट तपाईले अनगिन्ती शब्दहरू बनाउन सक्नुहुन्छ जुन कुनै पनि नियमित इन्जिनहरूले समात्न सक्दैन। थप रूपमा, तपाइँ ट्रान्सलिटेरेसनमा शब्दको अंश लेख्न सक्नुहुन्छ, समान संयोजनहरूसँग अक्षरहरू प्रतिस्थापन गर्न सक्नुहुन्छ, अक्षरहरू पुन: मिलाउन सक्नुहुन्छ, ताराहरू थप्न सक्नुहुन्छ, आदि। कहिलेकाहीँ, सन्दर्भ बिना, प्रयोगकर्ताले कसम शब्द भनेको हो भनेर निर्धारण गर्न मूलतः असम्भव हुन्छ। हामी Habr को नियमहरु लाई सम्मान गर्छौं, त्यसैले हामी यो प्रत्यक्ष उदाहरणहरु संग होइन, तर बिरालो र कुकुरहरु संग प्रदर्शन गर्नेछौं।

"कानुन," बिरालोले भन्यो। तर हामी बुझ्छौं कि बिरालोले फरक शब्द भन्यो ...

हामीले हाम्रो शब्दकोशको लागि "फजी मिल्दो" एल्गोरिदमहरू र स्मार्ट प्रिप्रोसेसिङको बारेमा सोच्न थाल्यौं: हामीले ट्रान्सलिटेरेशन, ग्लुइड स्पेस र विराम चिन्हहरू सँगै प्रदान गर्यौं, ढाँचाहरू खोज्यौं र तिनीहरूमा छुट्टै नियमित अभिव्यक्तिहरू लेख्यौं। यो दृष्टिकोणले परिणामहरू ल्यायो, तर प्रायः सटीकता कम गर्यो र इच्छित पूर्णता प्रदान गर्दैन।

त्यसपछि हामीले "कपटाहरू जस्तै सोच्ने" निर्णय गर्यौं। हामीले डेटामा आवाजलाई आफैंमा प्रस्तुत गर्न थाल्यौं: हामीले अक्षरहरू पुन: व्यवस्थित गर्यौं, टाइपहरू उत्पन्न गर्‍यौं, अक्षरहरू समान हिज्जेहरूसँग बदल्यौं, र यस्तै अन्य। यसको लागि प्रारम्भिक मार्कअप ठूला लेखहरूमा म्याट शब्दकोशहरू लागू गरेर लिइएको थियो। यदि तपाइँ एक वाक्य लिनुहुन्छ र यसलाई धेरै तरिकामा घुमाउनुहुन्छ भने, तपाइँ धेरै वाक्यहरूसँग समाप्त हुन्छ। यस तरिकाले तपाइँ दशौं पटक प्रशिक्षण नमूना बढाउन सक्नुहुन्छ। बाँकी रहेको सबै नतिजा पोखरीमा प्रशिक्षित गर्नु थियो केहि कम वा कम स्मार्ट मोडेल जसले सन्दर्भलाई ध्यानमा राख्यो।

अन्तिम निर्णयको बारेमा कुरा गर्न धेरै हतार छ। हामी अझै पनि यस समस्याको दृष्टिकोणको साथ प्रयोग गर्दैछौं, तर हामीले पहिले नै देख्न सक्छौं कि धेरै तहहरूको एक साधारण प्रतीकात्मक कन्वोल्युशनल नेटवर्कले शब्दकोष र नियमित इन्जिनहरूलाई उल्लेखनीय रूपमा उत्कृष्ट प्रदर्शन गर्दछ: यो सटीकता र सम्झना दुवै बढाउन सम्भव छ।

निस्सन्देह, हामी बुझ्दछौं कि त्यहाँ सधैं सबैभन्दा उन्नत स्वचालनलाई पनि बाइपास गर्ने तरिकाहरू हुनेछन्, विशेष गरी जब कुरा यति खतरनाक छ: यस्तो तरिकाले लेख्नुहोस् कि एक मूर्ख मेसिनले बुझ्न सक्दैन। यहाँ, स्प्याम विरुद्धको लडाईमा, हाम्रो लक्ष्य केहि अश्लील लेख्ने सम्भावनालाई मेटाउने होइन; हाम्रो कार्य सुनिश्चित गर्नु हो कि खेल मैनबत्तीको लायक छैन।

आफ्नो विचार, संवाद र टिप्पणी साझा गर्न अवसर खोल्न गाह्रो छैन। सुरक्षित, सहज अवस्था र मानिसहरूको सम्मानजनक व्यवहार प्राप्त गर्न धेरै गाह्रो छ। र यो बिना कुनै पनि समुदायको विकास हुन सक्दैन।

स्रोत: www.habr.com