{"id":72898,"date":"2020-03-05T20:42:08","date_gmt":"2020-03-05T17:42:08","guid":{"rendered":"https:\/\/prohoster.info\/blog\/administrirovanie\/kak-otkryt-kommentarii-i-ne-potonut-v-spame"},"modified":"2020-03-05T20:42:08","modified_gmt":"2020-03-05T17:42:08","slug":"kak-otkryt-kommentarii-i-ne-potonut-v-spame","status":"publish","type":"post","link":"https:\/\/prohoster.info\/it\/blog\/administrirovanie\/kak-otkryt-kommentarii-i-ne-potonut-v-spame","title":{"rendered":"Come aprire i commenti senza affondare nello spam","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

\"Come
\n
\nQuando il tuo lavoro consiste nel creare qualcosa di bello, non c'\u00e8 molto da dire, poich\u00e9 il risultato \u00e8 evidente a tutti. Ma se cancelli scritte dai muri, il tuo lavoro non viene notato fino a quando i muri non appaiono decorosi o finch\u00e9 non cancelli qualcosa di sbagliato.<\/p>\n

Qualsiasi servizio in cui \u00e8 possibile lasciare commenti, recensioni, inviare messaggi o caricare immagini, prima o poi si imbatte nel problema dello spam, delle frodi e dell'incivilt\u00e0. \u00c8 inevitabile, ma bisogna combattere contro di esso. <\/p>\n

Mi chiamo Mikhail, lavoro nel team Antispam, che protegge gli utenti dei servizi Yandex da tali problemi. Il nostro lavoro \u00e8 raramente notato (e va bene cos\u00ec!), quindi oggi parler\u00f2 di esso in modo pi\u00f9 dettagliato. Scoprirete in quali casi la moderazione \u00e8 poco utile e perch\u00e9 la precisione non \u00e8 l'unico indicatore della sua efficacia. Parleremo anche di volgarit\u00e0 usando l'esempio di gatti e cani e perch\u00e9 a volte \u00e8 utile \"pensare come un volgarizzatore\".
\n<\/a><\/noindex>
\nIn Yandex, more and more services are appearing where users can publish their content. You can ask a question or write an answer in Yandex.Q, discuss neighborhood news in Yandex.District, share road conditions in chats on Yandex.Maps. But as the audience of the service grows, it becomes attractive to scammers and spammers. They come and fill the comments with offers of easy earnings, advertise miraculous remedies, and promise social payouts. Because of spammers, some users lose money, while others lose the desire to spend time on an unkempt, spam-filled service.<\/p>\n

And this is not the only problem. We strive not only to protect users from scammers but also to create a comfortable atmosphere for communication. If people encounter profanity and insults in the comments, they are very likely to leave and not return. Therefore, this issue also needs to be addressed. <\/p>\n

Clean Web<\/h3>\n

\nCome spesso accade, le prime lavorazioni sono emerse nella Ricerca, nella parte che si occupa di combattere lo spam nei risultati. Circa dieci anni fa, \u00e8 emersa la necessit\u00e0 di filtrare i contenuti per adulti per le ricerche familiari e per quelle che non prevedono risposte della categoria 18+. Cos\u00ec sono nati i primi dizionari manualmente compilati di termini legati alla pornografia e alle offese, ampliati da analisti. L'obiettivo principale era classificare le query in quelle in cui era permesso mostrare contenuti per adulti e quelle in cui non lo era. A tale scopo, sono stati raccolti i dati di marcatura, costruite euristiche e addestrati modelli. Cos\u00ec sono emerse le prime soluzioni per filtrare i contenuti indesiderati.<\/p>\n

Col tempo, in Yandex ha iniziato a comparire UGC (contenuti generati dagli utenti) \u2014 messaggi scritti dagli stessi utenti, mentre Yandex si occupa solo di pubblicarli. Per i motivi descritti sopra, molti messaggi non potevano essere pubblicati senza una revisione \u2014 era necessaria una moderazione. Allora \u00e8 stato deciso di creare un servizio che fornisse protezione contro spam e malintenzionati per tutti i prodotti UGC di Yandex e che utilizzasse le soluzioni per filtrare i contenuti indesiderati nella Ricerca. Il servizio \u00e8 stato chiamato \"Clean Web\". <\/p>\n

Nuove sfide e assistenza dei lavoratori<\/h3>\n

\nAll'inizio abbiamo utilizzato solo automazione di base: i servizi ci inviavano testi e noi applicavamo su di essi dizionari di insulti, dizionari di pornografia e regex \u2014 gli analisti compilavano tutto manualmente. Ma nel tempo, il servizio \u00e8 stato utilizzato su un numero sempre maggiore di prodotti Yandex, e abbiamo dovuto imparare a gestire nuovi problemi. <\/p>\n

Spesso, invece di una recensione, gli utenti pubblicano una sequenza casuale di caratteri, cercando di ottenere achievement, a volte pubblicizzano la propria azienda nelle recensioni di un concorrente e altre volte confondono le organizzazioni, scrivendo nella recensione di un negozio di animali: \u00abPesce cucinato meravigliosamente!\u00bb. Forse, un giorno l'intelligenza artificiale imparer\u00e0 a catturare perfettamente il significato di qualsiasi testo, ma attualmente l'automazione a volte fa peggio di una persona. <\/p>\n

\u00c8 diventato chiaro che senza etichettatura manuale non si poteva fare a meno, e abbiamo aggiunto un secondo livello al nostro processo: l'invio per una verifica manuale da parte di un essere umano. Qui venivano inviati i testi pubblicati per i quali il classificatore non aveva rilevato problemi. Puoi facilmente immaginare l'ampiezza di questo compito, quindi non ci siamo solo affidati agli assessori, ma abbiamo anche sfruttato la \"saggezza delle folle\", quindi abbiamo chiesto aiuto ai tolokers. Sono proprio loro che ci aiutano a identificare ci\u00f2 che la macchina ha trascurato, insegnandole cos\u00ec a migliorare. <\/p>\n

Caching intelligente e hashing LSH<\/h3>\n

\nUn altro problema con cui ci siamo trovati a fare i conti nel gestire i commenti \u00e8 lo spam, e in particolare le sue dimensioni e la velocit\u00e0 di diffusione. Quando il pubblico di Yandex.Region \u00e8 cresciuto rapidamente, sono arrivati gli spammer. Hanno imparato a eludere le espressioni regolari, modificando leggermente il testo. Lo spam veniva comunque trovato e rimosso, ma su larga scala, anche un messaggio inadeguato pubblicato per soli 5 minuti poteva essere visto da centinaia di persone. <\/p>\n

\"Come
\n
\nNaturalmente, questo non ci stava bene, e abbiamo implementato un caching intelligente dei testi basato su LSH (hashing sensibile alla localit\u00e0<\/a><\/noindex>). Funziona in questo modo: normalizziamo il testo, rimuoviamo i link e lo suddividiamo in n-grammi (sequenze di n caratteri). Successivamente calcoliamo gli hash degli n-grammi e costruiamo il vettore LSH del documento. Il concetto \u00e8 che testi simili, anche se leggermente modificati, si trasformano in vettori simili. <\/p>\n

Questa soluzione ha permesso di riutilizzare i verdetti dei classificatori e dei revisori per testi simili. Durante un attacco di spam, appena il primo messaggio passava il controllo e veniva memorizzato con il verdetto 'spam', tutti i nuovi messaggi simili, anche modificati, ricevevano lo stesso verdetto e venivano automaticamente eliminati. In seguito abbiamo imparato a addestrare e riaddestrare automaticamente i classificatori di spam, ma questo 'cache intelligente' \u00e8 rimasto con noi e continua a salvarci spesso.<\/p>\n

Classificatore di testi di qualit\u00e0<\/h3>\n

\nNon abbiamo nemmeno avuto il tempo di riprendere fiato nella lotta contro lo spam, che ci siamo resi conto che il 95% dei contenuti \u00e8 moderato manualmente: i classificatori reagiscono solo alle violazioni, mentre la maggior parte dei testi \u00e8 buona. Siamo costretti a coinvolgere dei valutatori, che nel 95% dei casi assegnano il punteggio \"Tutto OK\". Abbiamo dovuto occuparci di un lavoro insolito: creare classificatori per contenuti buoni, grazie al fatto che in questo tempo abbiamo accumulato abbastanza annotazioni.<\/p>\n

Il primo classificatore era cos\u00ec strutturato: lemmatizziamo il testo (riportiamo le parole alla forma base), rimuoviamo tutte le parti del discorso accessorie e applichiamo un \"vocabolario di buone lemmi\" gi\u00e0 preparato. Se tutte le parole nel testo sono \"buone\", significa che il testo nel suo complesso non contiene violazioni. Su diversi servizi, questo approccio ha immediatamente portato a una automazione dal 25 al 35% della marcatura manuale. Certo, questo metodo non \u00e8 ideale: non \u00e8 difficile combinare alcune parole innocenti e ottenere un'affermazione molto offensiva, ma ci ha permesso di raggiungere rapidamente un buon livello di automazione e ci ha dato tempo per addestrare modelli pi\u00f9 complessi.<\/p>\n

Le versioni successive dei classificatori di testi di qualit\u00e0 hanno gi\u00e0 incluso modelli lineari, alberi decisionali e le loro combinazioni. Ad esempio, per etichettare imprecisioni e offese stiamo provando la rete neurale BERT. \u00c8 importante afferrare il significato di una parola nel contesto e la relazione tra parole di frasi diverse, e BERT fa un buon lavoro in questo. (A proposito, recentemente i colleghi di Novosti parlavano<\/a><\/noindex>, come applicano la tecnologia a un compito non standard: la ricerca di errori nei titoli.) In definitiva, siamo riusciti ad automatizzare fino al 90% del flusso a seconda del servizio. <\/p>\n

Precisione, completezza e velocit\u00e0<\/h3>\n

\nPer crescere, \u00e8 necessario comprendere quale valore apportano i diversi classificatori automatici, le variazioni in essi e se la qualit\u00e0 dei controlli manuali non sta degradando. A tal fine, utilizziamo indicatori di precisione e completezza. <\/p>\n

La precisione \u00e8 la percentuale di giudizi corretti tra tutti i giudizi su contenuti di bassa qualit\u00e0. Maggiore \u00e8 la precisione, minori sono i falsi positivi. Se non si presta attenzione alla precisione, si pu\u00f2 teoricamente eliminare tutta la spam e il contenuto inappropriato, ma ci\u00f2 porterebbe via anche met\u00e0 dei buoni messaggi. D'altro canto, se ci si basa solo sulla precisione, la tecnologia migliore sarebbe quella che non cattura affatto nessuno. Pertanto, c'\u00e8 anche un indicatore di completezza: la percentuale di contenuti di bassa qualit\u00e0 identificati rispetto all'intero volume di contenuti di bassa qualit\u00e0. Queste due metriche si bilanciano a vicenda. <\/p>\n

Per misurare, campioniamo il flusso in entrata in ogni servizio e forniamo campioni di contenuto ai valutatori per una valutazione esperta e un confronto con le decisioni automatiche. <\/p>\n

Ma c'\u00e8 anche un altro indicatore importante. <\/p>\n

Ho gi\u00e0 scritto che un messaggio inappropriato pu\u00f2 essere visto da centinaia di persone anche in 5 minuti. Pertanto, calcoliamo quante volte siamo riusciti a mostrare alle persone contenuti di bassa qualit\u00e0 prima di nasconderli. Questo \u00e8 importante, perch\u00e9 non \u00e8 sufficiente lavorare in modo qualitativo \u2014 \u00e8 necessario lavorare anche rapidamente. E quando abbiamo costruito le protezioni contro i contenuti inappropriati, lo abbiamo pienamente vissuto. <\/p>\n

Antimateriale utilizzando esempi di gattini e cagnolini<\/h3>\n

\nUna piccola digressione. Qualcuno potrebbe dire che le imprecazioni e le offese non sono cos\u00ec pericolose come i link malevoli e non sono cos\u00ec fastidiose come lo spam. Tuttavia, ci impegniamo a mantenere condizioni di comunicazione confortevoli per milioni di utenti, e le persone non amano tornare in luoghi in cui vengono offese. Non a caso, il divieto di volgarit\u00e0 e insulti \u00e8 stabilito nelle regole di molte comunit\u00e0, compresa quella di Habr. Ma stiamo divagando. <\/p>\n

I dizionari delle volgarit\u00e0 non riescono a gestire tutta la ricchezza della lingua russa. Nonostante ci siano solo quattro radici principali di imprecazioni, da esse si possono formare un numero incalcolabile di parole, che non possono essere catturate da alcuna espressione regolare. Inoltre, \u00e8 possibile scrivere parte della parola in translitterazione, sostituire lettere con combinazioni simili, mescolare le lettere, aggiungere asterischi, e cos\u00ec via. A volte, senza contesto, \u00e8 impossibile determinare a cosa l'utente si riferisse con una parola volgare. Rispettiamo le regole di Habr, quindi dimostreremo ci\u00f2 non con esempi reali, ma con gatti e cani. <\/p>\n

\"Come
\n
\n\u00abMiao\u00bb, disse il gattino. Ma sappiamo che il gattino in realt\u00e0 disse un'altra parola...<\/p>\n

Abbiamo iniziato a riflettere sugli algoritmi di \"matching fuzzy\" del nostro dizionario e su una pre-elaborazione pi\u00f9 intelligente: abbiamo translitterato, unito spazi e punteggiatura, cercato pattern e scritto espressioni regolari specifiche. Questo approccio ha portato risultati, ma spesso riduceva la precisione, non raggiungendo la completezza desiderata.<\/p>\n

A quel punto, abbiamo deciso di \"pensare come i trasgressori\". Abbiamo iniziato a introdurre rumore nei dati: mescolavamo le lettere, generavamo errori di battitura, sostituivamo lettere con caratteri simili e cos\u00ec via. La classificazione iniziale l'abbiamo ottenuta applicando dizionari di insulti a grandi corpora di testi. Se prendiamo una frase e la distorcete in vari modi, si ottengono gi\u00e0 molte frasi. In questo modo, possiamo aumentare il campione di addestramento di decine di volte. Restava solo da addestrare su questo pool un modello pi\u00f9 o meno intelligente che tenesse conto del contesto. <\/p>\n

\"Come
\n
\n\u00c8 ancora presto per parlare di una soluzione definitiva. Stiamo ancora sperimentando con gli approcci a questo problema, ma gi\u00e0 vediamo che una semplice rete convoluzionale caratteriale di diversi strati supera nettamente dizionari ed espressioni regolari: riusciamo ad aumentare sia la precisione che la completezza.<\/p>\n

Certo, comprendiamo che ci saranno sempre modi per eludere anche la pi\u00f9 avanzata automazione, soprattutto quando si tratta di scrivere in modo che una macchina sciocca non capisca. Qui, come nella lotta contro lo spam, non abbiamo l'obiettivo di estirpare la possibilit\u00e0 stessa di scrivere qualcosa di inappropriato; il nostro compito \u00e8 garantire che il gioco non ne valga la pena.<\/p>\n

Consentire di condividere le proprie opinioni, comunicare e commentare non \u00e8 difficile. Molto pi\u00f9 complesso \u00e8 garantire condizioni sicure, confortevoli e un rispetto reciproco tra le persone. E senza questo, non ci sar\u00e0 sviluppo di alcuna comunit\u00e0.
\n
Fonte: habr.com<\/a> <\/p>","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"excerpt":{"rendered":"

\u041a\u043e\u0433\u0434\u0430 \u0442\u0432\u043e\u044f \u0440\u0430\u0431\u043e\u0442\u0430 \u2014 \u0441\u043e\u0437\u0434\u0430\u0432\u0430\u0442\u044c \u0447\u0442\u043e-\u0442\u043e \u043a\u0440\u0430\u0441\u0438\u0432\u043e\u0435, \u043e \u043d\u0435\u0439 \u043c\u043e\u0436\u043d\u043e \u043e\u0441\u043e\u0431\u0435\u043d\u043d\u043e \u043d\u0435 \u0440\u0430\u0441\u0441\u043a\u0430\u0437\u044b\u0432\u0430\u0442\u044c, \u043f\u043e\u0442\u043e\u043c\u0443 \u0447\u0442\u043e \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442 \u0443 \u0432\u0441\u0435\u0445 \u043f\u0435\u0440\u0435\u0434 \u0433\u043b\u0430\u0437\u0430\u043c\u0438. \u0410 \u0432\u043e\u0442 \u0435\u0441\u043b\u0438 \u0442\u044b \u0441\u0442\u0438\u0440\u0430\u0435\u0448\u044c \u043d\u0430\u0434\u043f\u0438\u0441\u0438 \u0441 \u0437\u0430\u0431\u043e\u0440\u043e\u0432, \u0442\u0432\u043e\u044e \u0440\u0430\u0431\u043e\u0442\u0443 \u043d\u0438\u043a\u0442\u043e \u043d\u0435 \u0437\u0430\u043c\u0435\u0447\u0430\u0435\u0442, \u043f\u043e\u043a\u0430 \u0437\u0430\u0431\u043e\u0440\u044b \u0432\u044b\u0433\u043b\u044f\u0434\u044f\u0442 \u043f\u0440\u0438\u043b\u0438\u0447\u043d\u043e \u0438\u043b\u0438 \u043f\u043e\u043a\u0430 \u0442\u044b \u043d\u0435 \u0441\u043e\u0442\u0440\u0451\u0448\u044c \u0447\u0442\u043e-\u043d\u0438\u0431\u0443\u0434\u044c \u043d\u0435 \u0442\u043e. \u041b\u044e\u0431\u043e\u0439 \u0441\u0435\u0440\u0432\u0438\u0441, \u0433\u0434\u0435 \u043c\u043e\u0436\u043d\u043e \u043e\u0441\u0442\u0430\u0432\u0438\u0442\u044c \u043a\u043e\u043c\u043c\u0435\u043d\u0442\u0430\u0440\u0438\u0439, \u043e\u0442\u0437\u044b\u0432, \u043e\u0442\u043f\u0440\u0430\u0432\u0438\u0442\u044c \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u0435 \u0438\u043b\u0438 […]<\/p>\n","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"author":1,"featured_media":72899,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[688],"tags":[],"class_list":["post-72898","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-administrirovanie"],"aioseo_notices":[],"aioseo_head":"\n\t\t\n\t\n\t\n\t\n\t\n\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\n","aioseo_head_json":{"title":"\ud83e\udd47Come aprire i commenti senza affondare nello spam | ProHoster","description":"Quando il tuo lavoro \u00e8 creare qualcosa.","canonical_url":"https:\/\/prohoster.info\/it\/blog\/administrirovanie\/kak-otkryt-kommentarii-i-ne-potonut-v-spame","robots":"max-image-preview:large","keywords":"","webmasterTools":{"miscellaneous":""},"schema":null,"og:locale":"it_IT","og:site_name":"ProHoster | \u041a\u0443\u043f\u0438\u0442\u044c \u043d\u0430\u0434\u0435\u0436\u043d\u044b\u0439 \u0445\u043e\u0441\u0442\u0438\u043d\u0433 \u0434\u043b\u044f \u0441\u0430\u0439\u0442\u043e\u0432 \u0441 \u0437\u0430\u0449\u0438\u0442\u043e\u0439 \u043e\u0442 DDoS, VPS VDS \u0441\u0435\u0440\u0432\u0435\u0440\u044b","og:type":"article","og:title":"\ud83e\udd47\u041a\u0430\u043a \u043e\u0442\u043a\u0440\u044b\u0442\u044c \u043a\u043e\u043c\u043c\u0435\u043d\u0442\u0430\u0440\u0438\u0438 \u0438 \u043d\u0435 \u043f\u043e\u0442\u043e\u043d\u0443\u0442\u044c \u0432 \u0441\u043f\u0430\u043c\u0435 | ProHoster","og:description":"\u041a\u043e\u0433\u0434\u0430 \u0442\u0432\u043e\u044f \u0440\u0430\u0431\u043e\u0442\u0430 \u2014 \u0441\u043e\u0437\u0434\u0430\u0432\u0430\u0442\u044c \u0447\u0442\u043e-\u0442\u043e.","og:url":"https:\/\/prohoster.info\/it\/blog\/administrirovanie\/kak-otkryt-kommentarii-i-ne-potonut-v-spame","og:image":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:secure_url":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:width":350,"og:image:height":350,"article:published_time":"2020-03-05T17:42:08+00:00","article:modified_time":"2020-03-05T17:42:08+00:00","article:publisher":"https:\/\/www.facebook.com\/prohoster","article:author":"https:\/\/www.facebook.com\/prohoster"},"aioseo_meta_data":{"post_id":"72898","title":null,"description":null,"keywords":null,"keyphrases":null,"primary_term":null,"canonical_url":null,"og_title":null,"og_description":null,"og_object_type":"default","og_image_type":"default","og_image_url":null,"og_image_width":null,"og_image_height":null,"og_image_custom_url":null,"og_image_custom_fields":null,"og_video":null,"og_custom_url":null,"og_article_section":null,"og_article_tags":null,"twitter_use_og":false,"twitter_card":"default","twitter_image_type":"default","twitter_image_url":null,"twitter_image_custom_url":null,"twitter_image_custom_fields":null,"twitter_title":null,"twitter_description":null,"schema":{"blockGraphs":[],"customGraphs":[],"default":{"data":{"Article":[],"Course":[],"Dataset":[],"FAQPage":[],"Movie":[],"Person":[],"Product":[],"ProductReview":[],"Car":[],"Recipe":[],"Service":[],"SoftwareApplication":[],"WebPage":[]},"graphName":"","isEnabled":true},"graphs":[]},"schema_type":null,"schema_type_options":null,"pillar_content":false,"robots_default":true,"robots_noindex":false,"robots_noarchive":false,"robots_nosnippet":false,"robots_nofollow":false,"robots_noimageindex":false,"robots_noodp":false,"robots_notranslate":false,"robots_max_snippet":null,"robots_max_videopreview":null,"robots_max_imagepreview":"large","priority":null,"frequency":null,"local_seo":null,"seo_analyzer_scan_date":null,"breadcrumb_settings":null,"limit_modified_date":false,"reviewed_by":null,"ai":null,"created":"2021-02-28 18:43:27","updated":"2022-09-29 22:58:18","focus_keyword":null,"additional_keywords":null,"truseo_locale":null},"gt_translate_keys":[{"key":"link","format":"url"}],"_links":{"self":[{"href":"https:\/\/prohoster.info\/it\/wp-json\/wp\/v2\/posts\/72898","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/prohoster.info\/it\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/prohoster.info\/it\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/prohoster.info\/it\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/prohoster.info\/it\/wp-json\/wp\/v2\/comments?post=72898"}],"version-history":[{"count":0,"href":"https:\/\/prohoster.info\/it\/wp-json\/wp\/v2\/posts\/72898\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/prohoster.info\/it\/wp-json\/wp\/v2\/media\/72899"}],"wp:attachment":[{"href":"https:\/\/prohoster.info\/it\/wp-json\/wp\/v2\/media?parent=72898"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/prohoster.info\/it\/wp-json\/wp\/v2\/categories?post=72898"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/prohoster.info\/it\/wp-json\/wp\/v2\/tags?post=72898"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}