Kur kur punë e jotja është të krijosh diçka të bukur, nuk ka nevojë të flasësh shumë për të, sepse rezultati është përpara të gjithëve. Por nëse fshin shkrimet nga gardhet, askush nuk e vëren punën tënde, derisa gardhet të duken mirë ose derisa të fshish diçka të gabuar.
Çdo shërbim ku mund të lësh një koment, rishikim, të dërgosh një mesazh apo të ngarkosh figura, përballët për një moment me problemin e spam-it, mashtrimit dhe fjalëve të pahijshme. Kjo nuk mund të shmanget, por duhet të luftohet.
Më quajnë Mikhail, punoj në ekipin e Antispamit, i cili mbron përdoruesit e shërbimeve të Yandex-it nga probleme të tilla. Puna jonë rëndom nuk është e dukshme (dhe mirë është!), prandaj sot do të flas më shumë për të. Do të mësoni se në cilat raste moderimi është i kote dhe pse saktësia nuk është treguesi i vetëm i efektivitetit të tij. Gjithashtu, do të flasim për fjalët e pahijshme duke marrë si shembuj macet dhe qentë, dhe përse ndonjëherë është e dobishme të "mendosh si një fjalor i pahijshëm".
Në Yandex po shfaqen gjithnjë e më shumë shërbime ku përdoruesit publikojnë përmbajtjen e tyre. Mund të rivalizosh një pyetje ose të shkruash një përgjigje në Yandex.Q, të diskutosh lajmet e lagjes në Yandex.Region, të ndash informacion për gjendjen e rrugëve në bisedat në Yandex.Maps. Por kur publiku i shërbimit rritet, ai bëhet tërheqës për mashtruesit dhe spamerët. Ata vijnë dhe mbushin komentet: ofrojnë mundësi fitimi, reklamojnë ilaçe të mrekullueshme dhe premtojnë ndihma sociale. Falë spam-it disa përdorues humbasin para, kurse të tjerë humbasin dëshirën të kalojnë kohë në një shërbim të papastërt, të mbushur me spam.
Dhe kjo nuk është e vetmja problem. Ne përpiqemi jo vetëm të mbrojmë përdoruesit nga mashtruesit, por edhe të krijojmë një atmosferë të rehatshme për komunikim. Nëse njerëzit përballen me fjalë të pahijshme dhe ofendime në komente, ka shumë gjasa që ata të largohen dhe të mos kthehen më. Kështu që duhet të dimë se si të luftojmë edhe këtë.
Web i Pastër
Siç ndodh shpesh, përpjekjet e para lindi në Kërkimin të Yandex, në atë pjesë që lufton me spam-in në rezultatet. Që dhjetë vjet më parë aty u shfaq përpjekja për filtrimin e përmbajtjeve për të rritur, për kërkesat që nuk pranojnë përgjigje nga kategoria 18+. Kështu lindi fjalori i parë i përmbajtjeve të pahijshme, të cilat u plotësuan nga analistët. Objektivi kryesor ishte klasifikimi i kërkesave në ato ku është e lejueshme të shfaqet përmbajtje për të rritur dhe ku nuk është. Për këtë qëllim u grumbullua shënimi, u ndërtuan heuristika, u stërvitën modelet. Kështu lindi përpjekjet për filtrimin e përmbajtjes së padëshiruar.
Me kalimin e kohës, Yandex filloi të integrojë UGC (përmbajtje e prodhuar nga përdoruesit) — mesazhe që i shkruajnë vetë përdoruesit, ndërsa Yandex thjesht i publikon. Për shkak të arsyeve të sipërpërmendura, shumë mesazhe nuk mund të publikohen pa një shqyrtim — kërkohej moderim. Atëherë u vendos të krijohej një shërbim që do të ofronte mbrojtje nga spam-i dhe keqbërësit për të gjitha produktet UGC të Yandex dhe e përdorte përvojën për filtrimin e përmbajtjes së padëshiruar në Kërkim. Shërbimi u quajt "Web i Pastër".
Detyra të reja dhe ndihma nga punonjësit
Fillimisht, ne kishim vetëm automatikë të thjeshtë: shërbimet na dërgonin tekstet, dhe ne i dërgonim përmes fjalorëve të fjalëve të pahijshme, fjalorëve të pornografisë dhe shprehjeve normale — analistët e përgatitnin gjithçka manualisht. Por shërbimi me kalimin e kohës filloi të aplikohej në një numër gjithnjë e më të madh produktesh të Yandex, dhe na duhet të mësojmë se si të përballojmë me probleme të reja.
Shpesh në vend të një rishikimi, përdoruesit publikojnë një grup pa kuptim shkronjash, duke u përpjekur të rrisin arritjet e tyre, ndonjëherë reklamojnë kompaninë e tyre në rishikimet për kompaninë e konkurrentit, e ndonjëherë thjesht ngatërrojnë organizatat dhe në një rishikim për një dyqan kafshësh shkruajnë: "Peshku i përgatitur shkëlqyeshëm!". Ndoshta, ndonjëherë inteligjenca artificiale do të mësojë të kapë plotësisht kuptimin e çdo teksti, por tani automatikë herë pas here në fakt ndihmon më keq se njeriu.
U bë e qartë se pa shënimin manual këtu nuk do të ishte e mundur, dhe ne integruam një shkallë të dytë në konturin tonë — dërgimin për shqyrtim manual nga një njeri. Aty kalonin ato tekste të publikuara, në lidhje me të cilat klasifikuesi nuk shihte probleme. Shkalla e një detyre të tillë mund ta imagjinoni lehtë, prandaj nuk u mbështetëm vetëm në asessorë, por edhe shfrytëzuam "mençurinë e turmës", përkatësisht, iu drejtuam ndihmësve të tjerë për ndihmë. Ata ndihmojnë në zbulimin e asaj që makina ka humbur dhe në këtë mënyrë e mësojnë atë.
Kesh i mençur dhe hashing LSH
Një tjetër problem me të cilin u përballëm gjatë punës me komentet ishte spamu, konkretisht sasia dhe shpejtësia e shpërndarjes së tij. Kur audienca e Yandex. Rajonit filloi të rritet shpejt, të parët që erdhën ishin spamers. Ata mësuan të kalonin përmes rregullave duke ndryshuar pak tekstin. Spam, sigurisht, ende u zbulua dhe u hoq, por në shkallën e Yandex-it, një mesazh i papranueshëm edhe për 5 minuta mund të shihej nga qindra njerëz.
Sigurisht, ne nuk ishim të kënaqur me këtë, dhe ne realizuam një keqese të mençur të teksteve mbi bazën e LSH (). Kjo funksionon në këtë mënyrë: ne normalizuam tekstin, heqëm lidhjet nga të dhe e ndanë atë në n-grama (sekuenca nga n letra). Më pas llogaritëm hash-et nga n-gramat dhe ndërtuam një vektor LSH të dokumentit. Qëllimi është që tekste të ngjashme, edhe nëse janë ndryshuar pak, të shndërrohen në vektora të ngjashëm.
Ky zgjidhje na lejoi të ripërdorim vendimet e klasifikuesve dhe të tolokerëve për tekste të ngjashme. Në rastin e sulmeve me spam, sapo mesazhi i parë kalonte verifikimin dhe përfundonte në keqese me vendim "spam", të gjitha mesazhet e reja të ngjashme, edhe të ndryshuara, merrnin të njëjtin vendim dhe fshiheshin automatikisht. Më vonë mësuam të trajnojmë dhe automatikisht të ritrainojmë klasifikuesit e spamit, por kjo "keqese e mençur" ka mbetur me ne dhe ende na ndihmon shpesh.
Klasifikuesi i teksteve të mira
Pa vonuar nga lufta me spamin, ne realizuam se 95% e përmbajtjes sonë moderoheshin manualisht: klasifikuesit reagojnë vetëm ndaj shkeljeve, ndërsa shumica e teksteve janë të mira. Ne e ngarkojmë tolokerët, të cilët në 95 raste nga 100 japin vlerësimin "Gjëja OK". Duhej të merreshim me një punë të paprekshme - të bënim klasifikues për përmbajtjen e mirë, fatmirësisht, gjatë kësaj kohe ishin mbledhur mjaft të dhëna.
Klasifikuesi i parë dukej kështu: lematisuam tekstin (kthyer në formën e tij fillestare), heqëm të gjitha pjesët flitëse dhe aplikonim një "fjalor të mire" për lemma. Nëse në tekst të gjitha fjalët janë "të mira", atëherë edhe tërësisht nuk përmban shkelje. Në shërbime të ndryshme, ky qasje dha menjëherë nga 25 deri në 35% automatizim të vlerësimeve manuale. Sigurisht, ky qasje nuk është perfekt: nuk është e vështirë të kompozosh disa fjalë të pafajshme dhe të krijosh një shprehje të dhunshme, por kjo na lejoi të arrijmë shpejt një nivel të mirënjohur të automatizimit dhe na dha kohë për të trajnuar modele më të komplikuara.
Versionet e ardhshme të klasifikuesve të teksteve të mira tashmë përfshinin modele lineare, pemët vendimtare dhe kombinimet e tyre. Për vlerësimin e fjalëve të papranueshme dhe ofenduese, ne, për shembull, po provojmë rrjetin neural BERT. Këtu është e rëndësishme të kapësh kuptimin e fjalës në kontekst dhe lidhjen e fjalëve nga proza të ndryshme dhe BERT bën mirë me këtë. (Mesazhuam, kolegët tanë nga Lajmet, si e përdorin teknologjinë për një detyrë të pazakontë — kërkimin e gabimeve në tituj.) Në fund arritëm të automatizojmë deri në 90% të fluksit në varësi të shërbimit. , si si përdor teknologjia për një detyrë jashtëzakonshme - gjetjen e gabimeve në tituj.) Si rezultat, arritëm të automatizojmë deri në 90% të fluksit në varësi të shërbimit.
Saktësia, plotesia dhe shpejtësia
Për të evoluar, duhet të kuptohet se cila është dobi nga klasifikuesit automatikë të caktuar, ndryshimet në to si dhe nëse cilësia e kontrolleve manuale nuk po degradohet. Për këtë, ne përdorim treguesit e saktësisë dhe plotesisë.
Saktësia është pjesa e vendimeve të sakta midis të gjithë vendimeve për përmbajtjen e keqe. Sa më e lartë të jetë saktësia, aq më pak alarmin e rremë ka. Nëse nuk e ndjekim saktësinë, në teori mund të hiqet i gjithë spami dhe sharjet, së bashku me gjysmën e mesazheve të mira. Nga ana tjetër, nëse mbështetemi vetëm në saktësi, teknologjia më e mirë do të jetë ajo që nuk zë asnjë. Prandaj ka edhe tregues plotesie: pjesa e përmbajtjes së keqe të identifikuar midis të gjithë volumit të përmbajtjes së keqe. Këto dy metrika balancojnë njëra-tjetrën.
Për të matur ne provojmë të gjithë rrjedhën e hyrjeve për çdo shërbim dhe i dërgojmë mostrat e përmbajtjes për vlerësim të ekspertëve dhe krahasim me vendimet e makinës.
Por ka edhe një tregues të rëndësishëm.
Më lart shkrova që një mesazh i papranueshëm mund të shikohet nga qindra njerëz edhe për 5 minuta. Prandaj ne llogarisim sa herë kemi arritur të tregojmë njerëzve përmbajtje të keqe përpara se ta fshijmë. Kjo është e rëndësishme, sepse nuk është vetëm e mjaftueshme të punosh me cilësi — duhet gjithashtu të punosh shpejt. Dhe kur ndërtuam mbrojtjen nga sharjet, këtë e ndjemë plotësisht.
Antisharjet mbi shembujt e maceve dhe qenve
Një shkëputje të vogël lirike. Disa mund të thonë se fyerjet dhe përdorimi i fjalëve të pahijshme nuk janë aq të rrezikshme sa lidhjet malinje dhe nuk janë aq shqetësuese sa spami. Por ne përpiqemi të mbajmë kushte komode për komunikimin e miliona përdoruesve, dhe njerëzit nuk e pëlqejnë të kthehen atje ku ofendohen. Nuk është pa qëllim që ndalimi i fjalëve të pahijshme dhe fyerjeve është i përfshirë në rregullat e shumë komuniteteve, duke përfshirë edhe Habrën. Por po shpërqendrohemi.
Fjalorët e fjalëve të pahijshme nuk përballen me pasuritë e gjuhës ruse. Megjithëse ka vetëm katër rrënjë kryesore të fjalëve të pahijshme, prej tyre mund të krijohet një numër i pafund fjalësh që nuk i kap asnjë regex. Për më tepër, mund të shkruash një pjesë të fjalës me transliterim, të zëvendësosh shkronjat me kombinime të ngjashme, të rregullosh shkronjat, të shtosh yje etj. Ndonjëherë pa kontekst është e pamundur të përcaktosh se çfarë kishte parasysh përdoruesi me fjalën e pahijshme. Ne respektojmë rregullat e Habrës, prandaj do ta demonstrojmë këtë jo me shembuj të gjallë, por me mace dhe qen.
«Miau», tha macja. Por ne e kuptojmë se macja tha një fjalë tjetër...
Kemi filluar të mendojmë për algoritmet e "ndërprerjes së pacaktuar" të fjalorit tonë dhe për një paraprocesim më të mençur: unifikonim transliterimin, bashkonim hapësirat dhe pikët, kërkonim modele dhe shkruanim regex të veçanta për to. Ky qasje jepte rezultate, por shpesh ulte saktësinë, duke mos ofruar plotësinë e dëshiruar.
Atëherë vendosëm "të mendojmë si përdorues të fjalëve të pahijshme". Filluam të krijonim vetë zhurmë në të dhëna: rregullonim shkronjat, gjeneronim gabime shkrimi, zëvendësonim shkronjat me ato të ngjashme dhe kështu me radhë. Dhanim shënime fillestare për këtë duke aplikuar fjalorët e fjalëve të pahijshme në korpus të mëdha teksti. Nëse merrni një fjali dhe e deformoni atë në disa mënyra, do të merrni shumë fraza. Kështu mund të rrisim mostrat për mësim në dhjetëfish.
Për zgjidhjen përfundimtare është ende herët për të folur. Ne ende jemi duke eksperimentuar me qasjet ndaj kësaj problemi, por tashmë shohim se një rrjetë konvencionale e karaktereve me disa shtresa tejkalon ndjeshëm fjalorët dhe regex: arrijmë të rrisim si saktësinë ashtu edhe plotësinë.
Sigurisht, ne e kuptojmë se gjithmonë do të gjejnë mënyra për të kaluar edhe sistemin më të avancuar, veçanërisht kur bëhet fjalë për diçka kaq emocionuese: të shkruajmë në mënyrë që makina të mos kuptojë. Këtu, siç është për luftimin e spamit, nuk është qëllimi ynë të eliminojmë mundësinë për të shkruar diçka të pahijshme, detyra jonë është të bëjmë që loja të mos ia vlejë.
Të hapësh mundësinë për të ndarë mendimin tuaj, për të komunikuar dhe për të komentuar — nuk është e vështirë. Më e vështirë është të arrihet kushtet e sigurta, komode dhe respektuese për njerëzit. Pa këtë, nuk do të ketë zhvillim të ndonjë komuniteti.
Burimi: habr.com
