A o lau galuega o le fatuina o se mea matagofie, e le tatau ona e talanoa tele i ai, aua o le taunuuga o loʻo i luma o mata o tagata uma. Ae afai e te tapeina tusitusiga mai pa, e leai se tasi na te matauina lau galuega pe afai e foliga lelei pa pe seia e tapeina se mea sese.
Soʻo se auaunaga e mafai ona e tuʻuina atu ai se faʻamatalaga, toe iloilo, lafo se feʻau pe faʻapipiʻi ata i se taimi vave pe mulimuli ane feagai ma le faʻafitauli o le spam, taufaasese ma le mataga. E le mafai ona aloese mai lenei mea, ae tatau ona taulimaina.
O loʻu igoa o Mikhail, ou te galue i le 'au Antispam, lea e puipuia tagata faʻaoga Yandex auaunaga mai ia faʻafitauli. O la matou galuega e seasea matauina (ma o se mea lelei tele!), o le asō o le a ou taʻuina atu ia te oe nisi mea e uiga i ai. O le a e aʻoaʻoina pe a le aoga le faʻaogaina ma pe aisea e le naʻo le saʻo le faʻamaoniga o lona aoga. O le a tatou talanoa foi e uiga i le palauvale e faʻaaoga ai le faʻataʻitaʻiga o pusi ma maile ma pe aisea e aoga ai i nisi taimi le "mafaufau pei o se palauvale."
Ole tele ma le tele o auaunaga o loʻo faʻaalia ile Yandex lea e faʻasalalau ai e tagata faʻaoga a latou mea. E mafai ona e fai se fesili pe tusi se tali i le Yandex.Q, talanoa i tala o le fanua i Yandex.District, fefaʻasoaaʻi tulaga o fefaʻatauaiga i talanoaga ile Yandex.Maps. Ae a faʻatuputeleina le au maimoa a le auʻaunaga, e avea ma mea manaia i tagata taufaaleaga ma tagata faʻasalalau. Latou te o mai ma faʻatumu faʻamatalaga: latou te ofoina atu tupe faigofie, faʻasalalau faʻamalologa faʻavavega ma folafola atu manuia lautele. Ona o tagata faʻasalalau, o nisi tagata faʻaoga e leiloa tupe, aʻo isi ua leiloa le manaʻo e faʻaalu se taimi i luga o se auaunaga le lelei ua tumu i spam.
Ma e le na o le pau lea o le faafitauli. Matou te taumafai e le gata e puipuia tagata faʻaoga mai tagata faʻatauvaʻa, ae ia fatuina foi se siosiomaga faʻalelei mo fesoʻotaʻiga. Afai e feagai tagata ma le palauvale ma le taufaaleaga i faʻamatalaga, e foliga mai latou te o ese ma e le toe foi mai. O lona uiga e manaʻomia foʻi ona e faʻatautaia lenei mea.
Laveai mama
E pei ona masani ai ia i matou, o uluai atinaʻe na fanau mai i le Suʻega, i le vaega e tau ai le spam i taunuuga o sailiga. Pe a ma le sefulu tausaga talu ai, o le galuega o le faʻamamaina o mea matutua mo suʻesuʻega a le aiga ma fesili e le manaʻomia ni tali mai le 18+ vaega na faʻaalia iina. O le ala lea na fa'aalia ai lomifefiloi muamua o lomifefiloi o le porn ma le palauvale, na toe fa'atumuina e le au su'esu'e. O le galuega autu o le fa'avasegaina o talosaga i totonu o mea e talia e fa'aalia ai mea matutua ma le mea e leai. Mo lenei galuega, na aoina faʻailoga, na fausia heuristics, ma aʻoaʻoina faʻataʻitaʻiga. O le auala lea na fa'aalia ai muamua atina'e mo le fa'amamaina o mea e le mana'omia.
I le aluga o taimi, na amata ona faʻaalia le UGC (tagata faʻapipiʻi mea) i Yandex - feʻau e tusia e tagata faʻaoga latou lava, ma naʻo Yandex e faʻasalalau. Mo mafuaaga o loʻo faʻamatalaina i luga, e tele feʻau e le mafai ona faʻasalalau e aunoa ma le tilotilo - e manaʻomia le faʻalelei. Ona latou filifili lea e fatuina se auaunaga e maua ai le puipuiga mai le spam ma tagata osofaʻi mo oloa uma a Yandex UGC ma faʻaoga atinaʻe e faʻamama ai mea e le manaʻomia i le Suʻega. O le auaunaga sa ta'ua o le “Clean Web”.
Galuega fou ma fesoasoani mai le au tulei
I le taimi muamua, naʻo le faʻaautomatika faigofie na galue mo i matou: na auina mai e le auʻaunaga ia matou tusitusiga, ma matou faʻatautaia lomifefiloi mataga, lomifefiloi porn ma faʻamatalaga masani ia i latou - na tuʻufaʻatasia e le au suʻesuʻe mea uma ma le lima. Ae i le aluga o taimi, na faʻaaogaina le auaunaga i le faʻateleina o numera o oloa Yandex, ma e tatau ona matou aʻoaʻo e galulue ma faʻafitauli fou.
E masani lava, nai lo se toe iloiloga, e faʻasalalau e tagata faʻaoga se seti o tusi e leai se uiga, taumafai e faʻateleina a latou taunuʻuga, o nisi taimi latou te faʻasalalau a latou kamupani i iloiloga o se kamupani tauva, ma o nisi taimi latou te faʻafememeaʻi faʻalapotopotoga ma tusi i se iloiloga e uiga i se faleoloa fagafao: " I'a vela atoatoa!” Atonu e iai se aso o le a aʻoaʻoina ai e le atamai faafoliga ia malamalama atoatoa i le uiga o soʻo se tusitusiga, ae o le taimi nei e sili atu le leaga o le masini nai lo tagata.
Na manino mai e le mafai ona matou faia lenei mea e aunoa ma le faʻailogaina o le tusi, ma sa matou faʻaopoopoina se laasaga lona lua i la matou matagaluega-e lafo atu mo le suʻesuʻega a se tagata. O na tusitusiga lolomi e leʻi vaʻaia e le faʻavasegaina ni faʻafitauli sa aofia ai iina. E mafai ona faigofie ona e mafaufauina le fua o sea galuega, o lea e le gata ina matou faalagolago i faatonu, ae na faʻaaogaina foi le "poto o le motu o tagata," o lona uiga, matou liliu atu i le tolokers mo se fesoasoani. O i latou ia e fesoasoani ia i tatou e iloa le mea na misia e le masini, ma aoao ai.
Fa'akomepiuta atamai ma le LSH hashing
O le isi fa'afitauli na matou feagai a'o galulue ma fa'amatalaga o le spam, pe sili atu ona sa'o, lona tele ma le saoasaoa o le salalau. Ina ua amata ona tupu vave le au maimoa a Yandex.Region, na o mai ai iina le au spammers. Na latou aʻoaʻoina e aloese mai faaupuga masani e ala i le suia teisi o tusitusiga. Spam, ioe, na maua pea ma tapeina, ae i luga o le fua o Yandex, o se feʻau le taliaina na lafoina e tusa lava pe 5 minute e mafai ona iloa e le faitau selau o tagata.
Ioe, e le fetaui lenei mea ia i matou, ma sa matou faia ni tusitusiga atamai e faʻavae i luga o le LSH (). E pei o lenei: matou te faʻavasegaina le tusitusiga, aveese soʻotaga mai ai ma tipi i le n-grams (sequence of n mataitusi). Na sosoo ai, o le hashes o n-grams na fuafuaina, ma le LSH vector o le pepa na fausia mai ia i latou. O le manatu o tusitusiga tutusa, e tusa lava pe na fai sina suiga, na liua i ni vectors tutusa.
O le fofo lea na mafai ai ona toe fa'aogaina fa'ai'uga a tagata fa'avasega ma tolokers mo tusitusiga tutusa. I le taimi o se osofaʻiga spam, o le taimi lava na pasia ai e le feʻau muamua le faʻataʻitaʻiga ma ulufale i totonu o le cache ma se faʻasalaga o le "spam", o feʻau fou tutusa uma, e oʻo lava i suiga, na maua le faʻasalaga e tasi ma faʻaumatia otometi. Mulimuli ane, na matou aʻoaʻoina pe faʻapefea ona aʻoaʻoina ma otometi ona toe aʻoaʻoina faʻavasega spam, ae o lenei "smart cache" na tumau ia i matou ma e masani ona fesoasoani ia i matou i fafo.
Fa'avasega tusitusiga lelei
A aunoa ma se taimi e malolo ai mai le tauina o le spam, na matou iloa ai o le 95% oa matou mea o loʻo faʻatautaia ma le lima: faʻavasegaina naʻo le tali atu i soliga, ma o le tele o tusitusiga e lelei. Matou te utaina tagata mama i le 95 mataupu mai le 100 o loʻo tuʻuina atu le faʻailoga "E lelei mea uma". Sa tatau ona ou faia se galuega e le masani ai - faia fa'avasegaina o mea lelei, lelei ua lava fa'ailoga na fa'aputuina i lea taimi.
O le fa'avasegaina muamua e pei o lenei: matou te fa'amama le tusitusiga (fa'aitiitia upu i lo latou tulaga muamua), lafo i fafo vaega fesoasoani uma o le tautala ma fa'aaoga se "lomifefiloi o lema lelei" na saunia muamua. Afai o upu uma i totonu o le tusitusiga e "lelei", o le tusitusiga atoa e leai ni soliga. I luga o auaunaga eseese, o lenei auala na vave tuʻuina atu mai le 25 i le 35% otometi o faʻailoga tusi. O le mea moni, o lenei faiga e le lelei: e faigofie ona tuʻufaʻatasia le tele o upu mama ma maua se faʻamatalaga sili ona leaga, ae na mafai ai ona matou vave oʻo atu i se tulaga lelei o masini ma matou maua ai le taimi e toleni ai faʻataʻitaʻiga sili atu ona faigata.
O isi fa'asologa o fa'avasegaga lelei o tusitusiga ua uma ona aofia ai fa'ata'ita'iga laina, la'au fa'ai'uga, ma a latou tu'ufa'atasiga. Mo se faʻataʻitaʻiga, matou te faʻataʻitaʻiina le faʻalavelave ma le taufaaleaga, matou te taumafai i le BERT neural network. E taua le malamalama i le uiga o se upu i totonu o le anotusi ma le sootaga i le va o upu mai fuaiupu eseese, ma o le BERT o loʻo faia se galuega lelei i lenei mea. (I le auala, talu ai nei o uo mai News , faʻafefea ona faʻaogaina tekinolosi mo se galuega e le masani ai - suʻeina o mea sese i ulutala.) O le iʻuga, na mafai ona faʻaogaina le otometi i le 90% o le tafe, faʻalagolago i le auaunaga.
Sa'o, atoatoa ma le saoasaoa
Ina ia atiaʻe, e tatau ona e malamalama i faʻamanuiaga e aumaia e nisi faʻavasegaina otometi, suiga i totonu, ma pe o le lelei o siaki tusi e faʻaleagaina. Ina ia faia lenei mea, matou te faʻaogaina le saʻo ma le manatuaina o fua.
O le sa'o o le fua faatatau o fa'ai'uga sa'o i fa'ai'uga uma e uiga i mea leaga. O le maualuga o le saʻo, o le itiiti ifo o mea sese. Afai e te le gauai atu i le saʻo, ona i ai lea i le teori e mafai ona e tape uma spam ma mea mataga, ma faʻatasi ma i latou le afa o feʻau lelei. I le isi itu, afai e te faʻalagolago naʻo le saʻo, o le tekinolosi sili ona lelei o le a le maua ai se tasi. O le mea lea, o loʻo i ai foʻi se faʻailoga o le atoatoa: o le faʻasoa o mea leaga na iloa i le aofaʻi atoa o mea leaga. O nei metric e lua e faapaleni le tasi i le isi.
Ina ia fuaina, matou te faʻataʻitaʻia le vaitafe atoa o loʻo oʻo mai mo auʻaunaga taʻitasi ma tuʻuina atu faʻataʻitaʻiga faʻataʻitaʻiga i suʻesuʻega mo suʻesuʻega faʻapitoa ma faʻatusatusa i fofo masini.
Ae o loo i ai se isi faailoga taua.
Na ou tusia i luga o se savali le taliaina e mafai ona iloa e le faitau selau o tagata e oʻo lava ile 5 minute. O lea matou te faitau ai pe faafia ona matou faʻaali atu i tagata mea leaga ae matou te leʻi natia. E taua tele ona e le lava le galue lelei - e tatau foi ona e galue vave. Ma ina ua matou fausia se puipuiga mai le palauvale, sa matou lagonaina i le atoatoa.
Antimatism faʻaaogaina le faʻataʻitaʻiga o pusi ma maile
O se fa'asesega pese la'ititi. O nisi e ono fai mai o le mataga ma le taufaaleaga e le matautia e pei o sootaga leaga, ma e le o le ita e pei o le spam. Ae matou te taumafai e faʻamautu tulaga faʻalelei mo fesoʻotaʻiga mo le faitau miliona o tagata faʻaoga, ma e le fiafia tagata e toe foʻi i nofoaga e faʻalumaina ai i latou. E le o se mea o le faʻasa o le palauvale ma le taufaaleaga o loʻo faʻamatalaina i tulafono a le tele o nuʻu, e aofia ai i luga o Habré. Ae tatou te sefe.
O lomifefiloi palauvale e le mafai ona gafatia uma le tamaoaiga o le gagana Rusia. E ui i le mea moni e naʻo le fa aʻa palauvale autu, mai ia i latou e mafai ona e faia se numera le mafaitaulia o upu e le mafai ona maua e soʻo se afi masani. E le gata i lea, e mafai ona e tusia se vaega o se upu i le faʻaliliuga, sui mataitusi i tuʻufaʻatasiga tutusa, toe fetuutuunai mataitusi, faʻaopoopo asterisk, ma isi. Matou te faʻaaloalo i tulafono a Habr, o lea matou te faʻaalia ai e le o ni faʻataʻitaʻiga ola, ae o pusi ma maile.
“Tulafono,” o le tala lea a le pusi. Ae matou te malamalama e ese le upu na fai e le pusi...
Na amata ona matou mafaufau e uiga i algorithms "faafetaui fuzzy" mo la matou lomifefiloi ma e uiga i le poto muamua o le faagasologa: matou saunia le faaliliuga, faʻapipiʻi avanoa ma faailoga faʻatasi, suʻe mamanu ma tusia faʻamatalaga masani eseese i luga. O lenei faiga na aumaia ai iʻuga, ae masani ona faʻaititia le saʻo ma le maua ai le atoaga manaʻomia.
Ona matou filifili lea e “mafaufau e pei o ni tagata palauvale.” Na amata ona matou faʻapipiʻi le pisa i totonu o faʻamaumauga i matou lava: matou te toe faʻatulagaina mataitusi, faʻatupuina faʻaoga, suia mataitusi i sipelaga tutusa, ma isi. O le ulua'i fa'ailoga mo lenei mea na faia e ala i le fa'aogaina o lomifefiloi fala i le tele o tusitusiga. Afai e te ave se fuaiupu e tasi ma mimilo i ni auala se tele, e iu i le tele o fuaiupu. O le auala lea e mafai ai ona e fa'asefuluina le fa'ata'ita'iga a'oa'oga. Na pau lava le mea na totoe o le aʻoaʻoina i luga o le vaitaele e maua ai se faʻataʻitaʻiga sili atu pe itiiti ifo foi e faʻatatau i le tala.
Ua vave tele ona talanoa e uiga i le faaiuga mulimuli. O loʻo matou faʻataʻitaʻia pea auala i lenei faʻafitauli, ae ua mafai ona matou vaʻaia o se fesoʻotaʻiga fesoʻotaʻiga faʻatusa faigofie o le tele o laupepa e sili atu nai lo lomifefiloi ma masini masani: e mafai ona faʻateleina le saʻo ma manatua.
Ioe, matou te malamalama o le ai ai pea auala e faʻafefe ai e oʻo lava i le masini sili ona maualuga, aemaise lava pe a matua matautia le mataupu: tusi i se auala e le malamalama ai se masini valea. O iinei, e pei o le tau faasaga i spam, o la matou sini e le o le faʻaumatiaina o le avanoa e tusia ai se mea mataga; o la matou galuega o le faʻamautinoa o le taʻaloga e le aoga le moligao.
O le tatalaina o le avanoa e faʻasoa ai ou manatu, fesoʻotaʻiga ma faʻamatalaga e le faigata. E sili atu le faigata ona ausia tulaga saogalemu, mafanafana ma le faʻaaloalo o tagata. A aunoa ma lea e leai se atinae o soo se nuu.
puna: www.habr.com