Quan la teva feina és crear alguna cosa bonica, no cal que en parles massa, perquè el resultat està davant dels ulls de tothom. Però si esborreu les inscripcions de les tanques, ningú no notarà la vostra feina mentre les tanques semblin decents o fins que esborreu alguna cosa malament.
Qualsevol servei on puguis deixar un comentari, revisar, enviar un missatge o pujar imatges tard o d'hora s'enfronta al problema del correu brossa, el frau i l'obscenitat. Això no es pot evitar, però s'ha de tractar.
Em dic Mikhail, treballo a l'equip Antispam, que protegeix els usuaris dels serveis Yandex d'aquests problemes. Poques vegades es nota la nostra feina (i això és bo!), així que avui us en explicaré més. Aprendràs quan la moderació és inútil i per què la precisió no és l'únic indicador de la seva eficàcia. També parlarem de jurar amb l'exemple dels gats i els gossos i per què de vegades és útil "pensar com un jurador".
Cada cop apareixen més serveis a Yandex on els usuaris publiquen el seu contingut. Podeu fer una pregunta o escriure una resposta a Yandex.Q, discutir les notícies del pati a Yandex.District, compartir les condicions del trànsit a les converses a Yandex.Maps. Però quan l'audiència del servei creix, esdevé atractiu per als estafadors i els spammers. Venen i omplen comentaris: ofereixen diners fàcils, anuncien cures miraculoses i prometen beneficis socials. A causa dels emissors de correu brossa, alguns usuaris perden diners, mentre que d'altres perden el desig de dedicar temps a un servei desordenat i ple de correu brossa.
I aquest no és l'únic problema. Ens esforcem no només per protegir els usuaris dels estafadors, sinó també per crear un ambient còmode per a la comunicació. Si la gent s'enfronta a insults i insults als comentaris, és probable que marxin i mai tornin. Això vol dir que també heu de ser capaços de fer front a això.
Web neta
Com ens passa sovint, les primeres novetats van néixer a la Cerca, en la part que lluita contra el correu brossa als resultats de la cerca. Fa uns deu anys hi va aparèixer la tasca de filtrar contingut per a adults per a cerques familiars i per a consultes que no requerien respostes de la categoria de més de 18 anys. Així és com van aparèixer els primers diccionaris de pornografia i jurament escrits manualment, que van ser reposats pels analistes. La tasca principal era classificar les sol·licituds en aquelles on és acceptable mostrar contingut per a adults i on no ho és. Per a aquesta tasca es van recollir marques, es van construir heurístiques i es van entrenar models. Així van aparèixer els primers desenvolupaments per filtrar continguts no desitjats.
Amb el temps, UGC (contingut generat per l'usuari) va començar a aparèixer a Yandex: missatges escrits pels mateixos usuaris i Yandex només publica. Per les raons descrites anteriorment, molts missatges no es podien publicar sense mirar-se; calia moderació. Aleshores van decidir crear un servei que proporcionés protecció contra el correu brossa i els atacants per a tots els productes Yandex UGC i utilitzar els desenvolupaments per filtrar contingut no desitjat a la Cerca. El servei s'anomenava "Web neta".
Noves tasques i ajuda dels impulsors
Al principi, només ens va funcionar l'automatització senzilla: els serveis ens enviaven textos i hi vam fer servir diccionaris d'obscenitats, diccionaris pornogràfics i expressions regulars: els analistes ho compilaven tot manualment. Però amb el temps, el servei es va utilitzar en un nombre creixent de productes Yandex i vam haver d'aprendre a treballar amb nous problemes.
Sovint, en lloc d'una ressenya, els usuaris publiquen un conjunt de cartes sense sentit, intentant augmentar els seus èxits, de vegades anuncien la seva empresa a les revisions de l'empresa d'un competidor i, de vegades, simplement confonen les organitzacions i escriuen en una ressenya sobre una botiga d'animals: " Peix perfectament cuinat!” Potser algun dia la intel·ligència artificial aprendrà a entendre perfectament el significat de qualsevol text, però ara l'automatització de vegades ho fa pitjor que els humans.
Va quedar clar que no ho podríem fer sense el marcatge manual i vam afegir una segona etapa al nostre circuit: enviar-lo a una inspecció manual per part d'una persona. S'hi van incloure aquells textos publicats pels quals el classificador no va veure cap problema. Us podeu imaginar fàcilment l'envergadura d'una tasca d'aquest tipus, de manera que no només vam confiar en els assessors, sinó que també vam aprofitar la "saviesa de la multitud", és a dir, vam recórrer als assistents per demanar ajuda. Ells són els que ens ajuden a identificar què ha perdut la màquina i, per tant, ho ensenyen.
Caché intel·ligent i hashing LSH
Un altre problema que vam trobar quan es treballava amb comentaris va ser el correu brossa, o més precisament, el seu volum i velocitat de difusió. Quan l'audiència de Yandex.Region va començar a créixer ràpidament, els spammers hi van arribar. Van aprendre a evitar les expressions regulars canviant lleugerament el text. El correu brossa, per descomptat, encara es va trobar i esborrar, però a l'escala de Yandex, centenars de persones van poder veure un missatge inacceptable publicat fins i tot durant 5 minuts.
Per descomptat, això no ens va bé, i vam fer una memòria cau de text intel·ligent basada en LSH (). Funciona així: vam normalitzar el text, vam eliminar-ne els enllaços i el vam tallar en n grams (seqüències de n lletres). A continuació, es van calcular els hash de n-grams i a partir d'ells es va construir el vector LSH del document. La qüestió és que textos semblants, encara que es modifiquessin lleugerament, es van convertir en vectors semblants.
Aquesta solució va permetre reutilitzar els veredictes de classificadors i tolokers per a textos similars. Durant un atac de correu brossa, tan bon punt el primer missatge passava l'escaneig i entrava a la memòria cau amb un veredicte de "correu brossa", tots els missatges semblants nous, fins i tot els modificats, rebien el mateix veredicte i s'eliminaven automàticament. Més tard, vam aprendre a entrenar i tornar a entrenar automàticament els classificadors de correu brossa, però aquesta "caché intel·ligent" es va quedar amb nosaltres i sovint ens ajuda.
Bon classificador de textos
Sense tenir temps per fer una pausa en la lluita contra el correu brossa, ens vam adonar que el 95% del nostre contingut es modera manualment: els classificadors només reaccionen a les infraccions i la majoria dels textos són bons. Carreguem netejadors que en 95 casos de 100 donen la qualificació de "Tot està bé". Vaig haver de fer una feina inusual: fer classificadors de bon contingut, afortunadament s'havia acumulat prou marcatge durant aquest temps.
El primer classificador tenia aquest aspecte: lematitzem el text (reduïm les paraules a la seva forma inicial), llencem totes les parts auxiliars del discurs i utilitzem un "diccionari de bons lemes" preparat prèviament. Si totes les paraules del text són "bones", aleshores tot el text no conté cap violació. En diferents serveis, aquest enfocament va donar immediatament entre un 25 i un 35% d'automatització del marcatge manual. Per descomptat, aquest enfocament no és ideal: és fàcil combinar diverses paraules innocents i obtenir una declaració molt ofensiva, però ens va permetre assolir ràpidament un bon nivell d'automatització i ens va donar temps per entrenar models més complexos.
Les següents versions de bons classificadors de text ja incloïen models lineals, arbres de decisió i les seves combinacions. Per marcar la grolleria i els insults, per exemple, provem la xarxa neuronal BERT. És important comprendre el significat d'una paraula en el context i la connexió entre paraules de diferents frases, i BERT ho fa bé. (Per cert, recentment companys de News , com s'utilitza la tecnologia per a una tasca no estàndard: trobar errors a les capçaleres.) Com a resultat, es va poder automatitzar fins al 90% del flux, depenent del servei.
Precisió, exhaustivitat i rapidesa
Per desenvolupar-lo, cal entendre quins avantatges aporten determinats classificadors automàtics, els canvis en ells i si la qualitat de les comprovacions manuals està degradant. Per fer-ho, utilitzem mètriques de precisió i record.
La precisió és la proporció de veredictes correctes entre tots els veredictes sobre contingut dolent. Com més alta sigui la precisió, menys falsos positius. Si no presteu atenció a la precisió, en teoria podeu eliminar tot el correu brossa i les obscenitats i, juntament amb ells, la meitat dels bons missatges. D'altra banda, si només confieu en la precisió, aleshores la millor tecnologia serà la que no atrapa a ningú. Per tant, també hi ha un indicador d'exhaustivitat: la proporció de contingut dolent identificat entre el volum total de contingut dolent. Aquestes dues mètriques s'equilibren mútuament.
Per mesurar, mostrem tot el flux d'entrada per a cada servei i donem mostres de contingut als avaluadors per a una avaluació experta i comparació amb solucions de màquines.
Però hi ha un altre indicador important.
He escrit més amunt que centenars de persones poden veure un missatge inacceptable fins i tot en 5 minuts. Així que comptem quantes vegades hem mostrat a la gent contingut dolent abans d'amagar-lo. Això és important perquè no n'hi ha prou amb treballar de manera eficient, sinó que també cal treballar ràpidament. I quan vam construir una defensa contra les juraments, ho vam sentir al màxim.
Antimatisme amb l'exemple de gats i gossos
Una petita digressió lírica. Alguns podrien dir que l'obscenitat i els insults no són tan perillosos com els enllaços maliciosos, ni tan molestos com el correu brossa. Però ens esforcem per mantenir unes condicions còmodes de comunicació per a milions d'usuaris i a la gent no li agrada tornar als llocs on se'ls insulta. No és per a res que la prohibició de jurar i insultar està expressada a les normes de moltes comunitats, inclosa a Habré. Però divaguem.
Els diccionaris de jurament no poden fer front a tota la riquesa de la llengua russa. Malgrat que només hi ha quatre arrels jurades principals, a partir d'elles podeu crear una infinitat de paraules que no poden ser capturades per cap motor normal. A més, podeu escriure part d'una paraula en transliteració, substituir lletres per combinacions semblants, reordenar lletres, afegir asteriscs, etc. De vegades, sense context, és bàsicament impossible determinar que l'usuari volia dir una mala paraula. Respectem les normes d'Habr, així que ho demostrarem no amb exemples en viu, sinó amb gats i gossos.
"La llei", va dir el gat. Però entenem que el gat va dir una paraula diferent...
Vam començar a pensar en algorismes de "concordança difusa" per al nostre diccionari i en un preprocessament més intel·ligent: vam proporcionar transliteració, espais enganxats i signes de puntuació, vam buscar patrons i vam escriure-hi expressions regulars separades. Aquest enfocament va donar resultats, però sovint va reduir la precisió i no va proporcionar la integritat desitjada.
Aleshores vam decidir "pensar com a juradors". Vam començar a introduir soroll a les dades nosaltres mateixos: vam reordenar lletres, vam generar errors ortogràfics, vam substituir lletres per grafies semblants, etc. El marcatge inicial per a això es va prendre aplicant diccionaris mat a grans corpus de textos. Si agafeu una frase i la retorceu de diverses maneres, acabeu amb moltes frases. D'aquesta manera podeu augmentar la mostra d'entrenament desenes de vegades. Només quedava entrenar sobre la piscina resultant algun model més o menys intel·ligent que tingués en compte el context.
És massa aviat per parlar de la decisió final. Encara estem experimentant amb enfocaments d'aquest problema, però ja podem veure que una xarxa convolucional simbòlica simple de diverses capes supera significativament els diccionaris i els motors habituals: és possible augmentar tant la precisió com la memòria.
Per descomptat, entenem que sempre hi haurà maneres d'evitar fins i tot l'automatització més avançada, sobretot quan l'assumpte és tan perillós: escriu de manera que una màquina estúpida no ho entengui. Aquí, com en la lluita contra el correu brossa, el nostre objectiu no és eradicar la possibilitat d'escriure alguna cosa obscena; la nostra tasca és assegurar-nos que el joc no valgui la pena.
Obrir l'oportunitat de compartir la teva opinió, comunicar-te i comentar no és difícil. És molt més difícil aconseguir condicions segures, còmodes i un tracte respectuós amb les persones. I sense això no hi haurà desenvolupament de cap comunitat.
Font: www.habr.com