E fa'afefea ona matou fa'aogaina fa'asalalauga

O auaunaga taʻitasi e mafai e tagata faʻaoga ona fatuina a latou lava mea (UGC - User-generated content) e faʻamalosia e le gata e foia faʻafitauli faʻapisinisi, ae faʻapipiʻi foi mea i le UGC. Le lelei po'o le maualalo le lelei o mea e mafai ona fa'aitiitia ai le aulelei o le auaunaga mo tagata fa'aoga, e o'o lava i le fa'amutaina o lona fa'agaioiga.

O le asō o le a matou taʻu atu ia te oe le fesoʻotaʻiga i le va o Yula ma Odnoklassniki, lea e fesoasoani ia i matou e faʻafetaui lelei faʻasalalauga i Yula.

Synergy i se tulaga lautele o se mea aoga tele, ma i le lalolagi faʻaonaponei, pe a vave ona suia tekinolosi ma faiga, e mafai ona liua i se faaola ola. Aisea e fa'amaumau ai le utiuti o puna'oa ma le taimi e faufau ai se mea ua uma ona fai ma fa'amanatu i lou mafaufau i ou luma?

Na matou manatu i le mea lava e tasi pe a matou feagai ma le galuega atoa o le faʻavasegaina o mea e faʻaoga - ata, tusitusiga ma fesoʻotaʻiga. O matou tagata faʻaoga e tuʻuina atu le faitau miliona o mea i le Yula i aso uma, ma a aunoa ma le faʻaogaina otometi e matua le mafai lava ona faʻaogaina uma nei faʻamatalaga ma le lima.

O le mea lea, na matou faʻaaogaina se faʻatulagaga faʻalelei ua saunia, lea e oʻo mai i le taimi lena ua maeʻa a matou uo mai Odnoklassniki i se tulaga o le "toetoe lava atoatoa."

Aisea Odnoklassniki?

O aso uma, e fiasefulu miliona tagata faʻaoga e o mai i luga o fesoʻotaiga vavave faʻasalalau ma faʻasalalau le faitau piliona o vaega: mai ata i vitio ma tusitusiga. O le Odnoklassniki moderation platform e fesoasoani e siaki le tele o voluma o faʻamaumauga ma faʻafefe spammers ma bots.

O le OK moderation team ua faʻaputuina le tele o le poto masani, talu ai o loʻo faʻaleleia lana meafaigaluega mo le 12 tausaga. E taua tele e le gata ina mafai ona latou faʻasoa a latou fofo ua saunia, ae faʻapitoa foi le fausaga o latou fausaga e fetaui ma a tatou galuega patino.

Mai le taimi nei, mo le faapuupuuga, o le a na ona tatou taʻua o le OK moderation platform "platform."

E fa'afefea ona galue mea uma

Faʻamatalaga faʻamatalaga i le va o Yula ma Odnoklassniki ua faʻavaeina e ala i Apache Kafka.

Aisea na matou filifilia ai lenei meafaigaluega:

• I le Yula, o faʻasalalauga uma e faʻauluina, o lona uiga muamua e le manaʻomia se tali faʻatasi.
• Afai e tupu se palakalafa leaga ma Yula poʻo Odnoklassniki e le maua, e aofia ai ona o nisi o uta maualuga, ona le mou atu lea o faʻamatalaga mai Kafka i soo se mea ma e mafai ona faitau mulimuli ane.
• Ua uma ona tuʻufaʻatasia le faʻavae ma Kafka, o lea na foia ai le tele o mataupu tau puipuiga.

Mo faʻasalalauga taʻitasi na faia pe faʻaleleia e le tagata faʻaoga i Yula, o se JSON faʻatasi ai ma faʻamaumauga e faʻatupuina, lea e tuʻuina i Kafka mo le faʻasologa mulimuli ane. Mai Kafka, o faʻasalalauga e faʻapipiʻiina i luga o le tulaga, lea e faʻamasinoina otometi pe lima. O faʻasalalauga leaga e poloka i se mafuaʻaga, ma o i latou e le maua ai e le faʻasalalauga ni soliga ua faailogaina o le "lelei." Ona toe auina atu lea o faaiuga uma ia Yula ma faʻaaogaina i le auaunaga.

I le faaiuga, mo Yula e oʻo mai uma i ni gaioiga faigofie: auina atu se faʻasalalauga i le Odnoklassniki platform ma toe maua se iugafono "lelei", pe aisea e le "lelei".

Otometi faiga

O le a le mea e tupu i le faʻasalalauga pe a uma ona oʻo i luga o le tulaga? Ua vaevaeina fa'asalalauga ta'itasi i ni fa'alapotopotoga:

• igoa,
• fa'amatalaga,
• ata,
• vaega filifilia e le tagata fa'aoga ma le vaega itiiti o le fa'asalalauga,
• tau

Ona fa'atino lea e le tulaga fa'apipi'i mo fa'alapotopotoga ta'itasi e su'e fa'alua. E le gata i lea, o tusitusiga ma ata o loʻo faʻapipiʻiina e tusa ai ma fuafuaga eseese.

Aʻo leʻi faʻapipiʻiina, o tusitusiga e faʻavasega e aveese faʻapitoa faʻapitoa, suia mataitusi ma isi lapisi. O faʻamatalaga na maua e vaevaeina i N-grams, o ia mea taʻitasi e faʻasalaina. O le iʻuga o le tele o hashes tulaga ese. O le tutusa i le va o tusitusiga e fuafuaina e Fua a Jaccard i le va o seti e lua. Afai e sili atu le tutusa nai lo le faitotoʻa, ona tuʻufaʻatasia lea o tusitusiga i le tasi fuifui. Ina ia faatelevave le sailiga mo fuifui tutusa, MinHash ma Locality-sensitive hashing e faʻaaogaina.

O filifiliga eseese mo le fa'apipi'iina o ata ua faia mo ata, mai le fa'atusatusaina o ata o le pHash i le su'eina o fa'alua e fa'aoga ai se neural network.

O le auala mulimuli e sili ona "leaga". Ina ia aʻoaʻoina le faʻataʻitaʻiga, tolu tolu o ata (N, A, P) na filifilia e le tutusa le N ma le A, ma le P e tutusa ma le A (o se semi-duplicate). Ona aʻoaʻoina lea e le neural network e fai le A ma le P i le mea e mafai ai, ma le A ma le N i le mamao e mafai ai. O le mea lea e maua ai le itiiti ifo o mea sese pe a faʻatusatusa i le naʻo le ave o faʻapipiʻi mai se fesoʻotaʻiga na aʻoaʻoina muamua.

A maua e le feso'ota'iga neural ata e fai ma fa'aoga, e fa'atupuina le N(128)-dimensional vector mo i latou ta'itasi ma faia se talosaga e iloilo ai le latalata o le ata. Soso'o ai, e fa'atatauina se fa'ailoga e fa'atusaina ai ata vavalalata o ni fa'alua.

O le faʻataʻitaʻiga e mafai ona maua ma le poto tagata spammers o loʻo puʻeina faʻapitoa le oloa lava e tasi mai itu eseese ina ia mafai ai ona pasia le faʻatusatusaga o le pHash.

O se faʻataʻitaʻiga o ata spam o loʻo faʻapipiʻi faʻatasi e se neural network e fai ma kopi.

I le tulaga mulimuli, o fa'asalalauga fa'alua e su'e fa'atasi i tusitusiga ma ata.

Afai e lua pe sili atu faʻasalalauga o loʻo pipii faʻatasi i se fuifui, o le faiga e amata poloka otometi, lea, faʻaaoga nisi algorithms, filifili po o fea kopi e tape ma le mea e alu. Mo se faʻataʻitaʻiga, afai e lua tagata faʻaoga e tutusa ata i se faʻasalalauga, o le a poloka e le faiga le faʻasalalauga lata mai.

O le taimi lava e fai ai, o fuifui uma e alu i se faasologa o filiga otometi. E tofu le filiga ma togi i le fuifui: pe fa'apefea ona iai le fa'amata'u e iloa e lenei faamama.

Mo se faʻataʻitaʻiga, e suʻesuʻe e le faiga le faʻamatalaga i totonu o se faʻasalalauga ma filifilia ni vaega faʻapitoa mo ia. Ona ave lea o le tasi e maualuga le avanoa ma faʻatusatusa i le vaega na faʻamaonia e le tusitala o le faʻasalalauga. Afai latou te le fetaui, ua poloka le faʻasalalauga mo se vaega sese. Ma talu ai matou te agalelei ma faʻamaoni, matou te taʻu saʻo i le tagata faʻaoga le vaega e tatau ona ia filifilia ina ia mafai ai e le faʻasalalauga ona pasia le faʻalelei.

Fa'asilasilaga o le poloka mo vaega sese.

E lagona lelei le a'oa'oina o masini ile fale ile matou tulaga. Mo se faʻataʻitaʻiga, faʻatasi ai ma lana fesoasoani matou te suʻeina igoa ma faʻamatalaga o oloa faʻasaina i le Russian Federation. Ma faʻataʻitaʻiga fesoʻotaʻiga neural ma le totoʻa "suʻesuʻeina" ata e iloa ai pe o iai ni URL, spam texts, numera telefoni, ma faʻamatalaga tutusa "faʻasaina".

Mo mataupu o loʻo latou taumafai e faʻatau atu se oloa faʻasaina e faʻaalia o se mea faaletulafono, ma e leai se tusitusiga i le ulutala poʻo le faʻamatalaga, matou te faʻaogaina ata faʻailoga. Mo ata taʻitasi, e oʻo atu i le 11 afe faʻailoga eseese e mafai ona faʻaopoopo e faʻamatalaina mea o loʻo i totonu o le ata.

O loʻo latou taumafai e faʻatau atu le hookah e ala i le faʻaogaina o se samovar.

I le tutusa ma filiga lavelave, e aoga foi mea faigofie, foia faʻafitauli manino e fesoʻotaʻi ma tusitusiga:

• antimat;
• URL ma numera telefoni su'esu'e;
• ta'ua o avefe'au vave ma isi feso'ota'iga;
• fa'aititia le tau;
• fa'asalalauga e leai se mea e fa'atau atu, ma isi.

I aso nei, o faʻasalalauga uma e alu i se sieve lelei e sili atu i le 50 filiga faʻapitoa e taumafai e suʻe se mea leaga i le faʻasalalauga.

Afai e leai se tasi o faʻamatalaga na galue, ona tuʻuina atu lea o se tali ia Yula o le faʻasalalauga e "sili ona foliga mai" i le faʻatonuga atoatoa. Matou te faʻaogaina lenei tali ia i matou lava, ma o tagata faʻaoga na lesitala i le tagata faʻatau e maua se faʻamatalaga e uiga i le maua o se oloa fou.

Fa'asilasilaga e iai se oloa fou a le tagata fa'atau.

O le iʻuga, o faʻasalalauga taʻitasi e "matua" i metadata, o nisi o ia mea e gaosia pe a faia le faʻasalalauga (tuatusi IP a le tusitala, tagata faʻaoga-agent, platform, geolocation, ma isi), ma o le isi vaega o le togi na tuʻuina atu e faamama taʻitasi. .

Fa'aaliga laina

Pe a oso se faʻasalalauga i luga o le faʻavae, e tuʻu e le faiga i se tasi o laina. O laina ta'itasi e faia e fa'aaoga ai se fua fa'atatau o le matematika e tu'ufa'atasia ai metadata fa'asalalauga i se auala e iloa ai so'o se mamanu leaga.

Mo se faʻataʻitaʻiga, e mafai ona e fatuina se faʻasologa o faʻasalalauga i le vaega "Felefoni Feʻaveaʻi" mai tagata Yula e faʻapea mai St. Petersburg, ae o latou tuatusi IP e mai Moscow poʻo isi taulaga.

O se faʻataʻitaʻiga o faʻasalalauga faʻasalalau e le tasi tagata faʻaoga i taulaga eseese.

Pe mafai fo'i ona e faia ni fa'asologa e fa'atatau i togi e tu'uina atu e le neural network i fa'asalalauga, fa'atulaga i lalo i lalo.

O laina ta'itasi, e tusa ai ma lana lava fua fa'atatau, e tu'uina atu se sikoa mulimuli i le fa'asalalauga. Ona mafai lea ona e alu i ni auala eseese:

• fa'ailoa le fa'ailoga e maua ai e se fa'asalalauga se ituaiga o poloka;
• auina atu fa'asalalauga uma ile laina ile fa'atonu mo le toe iloiloga;
• po'o le tu'ufa'atasia o filifiliga na muamua atu: fa'ailoa le otometi poloka poloka ma tu'u atu i tagata fa'atonu ia fa'asalalauga e le'i o'o i lenei fa'ailoga.

Aisea e manaomia ai nei laina? Fa'apea na fa'apipi'i e se tagata fa'aoga se ata o se fana. O le neural network e tuʻuina atu ia te ia se togi mai le 95 i le 100 ma faʻamautu ma le 99 pasene saʻo o loʻo i ai se auupega i le ata. Ae afai o le togi o loʻo i lalo ole 95%, o le saʻo o le faʻataʻitaʻiga e amata ona faʻaitiitia (o se vaega lea o faʻataʻitaʻiga fesoʻotaʻiga neural).

O le iʻuga, o se faʻailoga e faʻavae i luga o le sikoa faʻataʻitaʻiga, ma o faʻasalalauga na maua i le va o le 95 ma le 100 e otometi lava ona poloka o "Prohibited Products". O fa'asalalauga e maua i lalo ole 95 e lafo ile fa'atonu mo le fa'agaioiga tusi.

Sukalati Beretta ma pusa. Na'o le fa'atonuga o le tusilima! 🙂

Fa'atonuga lima

I le amataga o le 2019, e tusa ma le 94% o faʻasalalauga uma i le Yula e faʻaogaina otometi.

Afai e le mafai e le faʻavae ona filifili i luga o nisi faʻasalalauga, e tuʻuina atu i latou mo le faʻatonutonuina o tusi lesona. Odnoklassniki na atiina ae a latou lava meafaigaluega: o galuega mo tagata faʻatonu e vave faʻaalia uma faʻamatalaga talafeagai e fai ai se filifiliga vave - o le faʻasalalauga e talafeagai pe tatau ona poloka, faʻaalia le mafuaaga.

Ma ina ia le afaina le lelei o le auʻaunaga i le taimi o le faʻaogaina o le tusi, e mataʻituina pea galuega a tagata. Mo se faʻataʻitaʻiga, i totonu o le faʻasologa o galuega, o loʻo faʻaalia ai le "mailei" i le tagata faʻatonu - faʻasalalauga lea ua uma ona saunia ni fofo. Afai e le fetaui le faaiuga a le pulepule ma le faaiuga ua mae'a, e sese le pule.

I le averesi, e fa'aalu e le fa'afoe le 10 sekone e siaki ai se fa'asalalauga se tasi. E le gata i lea, o le numera o mea sese e le sili atu i le 0,5% o faʻasalalauga faʻamaonia uma.

Fa'atauva'a a tagata

O le au faigaluega mai Odnoklassniki na sili atu le agai i luma ma faʻaaogaina le "fesoasoani a le au maimoa": latou te tusia se talosaga taʻaloga mo le upega tafaʻilagi lea e mafai ai ona vave faʻailogaina le tele o faʻamaumauga, faʻaalia ai se faʻailoga leaga - Odnoklassniki Moderator (https://ok.ru/app/moderator). O se auala lelei e fa'aogaina ai le fesoasoani a tagata fa'aoga OK o lo'o taumafai e fa'afiafia atili le anotusi.

O se ta'aloga e fa'ailoga ai e tagata fa'aoga ata o lo'o iai se numera telefoni.

Soʻo se laina o faʻasalalauga i luga o le tulaga e mafai ona toe faʻafeiloaʻi i le taaloga Odnoklassniki Moderator. O mea uma lava e fa'ailogaina e tagata ta'aloga e tu'u atu i fa'atonu i totonu mo le toe iloiloina. O lenei polokalame e mafai ai ona e poloka faʻasalalauga e leʻi faia ai ni filiga, ma faʻapena faʻataʻitaʻiga faʻataʻitaʻiga.

Teuina i'uga fa'alelei

Matou te fa'asaoina uma fa'ai'uga na faia i le taimi e fa'atatau ina ia aua ne'i toe fa'agasolo fa'asalalauga ia ua uma ona fai sa matou fa'ai'uga.

E faitau miliona fuifui e faia i aso uma e fa'atatau i fa'asalalauga. I le aluga o taimi, o fuifui taʻitasi e faʻaigoaina "lelei" poʻo le "leaga." O fa'asalalauga fou ta'itasi po'o lona toe iloiloga, ulufale i se fuifui ma se fa'ailoga, e otometi lava ona maua se fa'ai'uga mai le fuifui lava ia. E tusa ma le 20 afe ia fa'atonuga fa'atonu i le aso.

Afai e leai ni faʻasalalauga fou e oʻo mai i le fuifui, e aveese mai le manatua ma o lona hash ma le fofo e tusia i Apache Cassandra.

A maua e le faʻasalalauga se faʻasalalauga fou, e taumafai muamua e suʻe se fuifui tutusa i totonu oi latou ua uma ona faia ma ave se fofo mai ai. Afai e leai se fuifui faapena, e alu le tulaga ia Cassandra ma tilotilo ai iina. Na e mauaina? Lelei, faʻaaoga le fofo i le fuifui ma tuʻuina atu ia Yula. E tusa ma le 70 afe ia fa'ai'uga "fai" i aso uma—8% o le aofa'iga.

E tauaofai

Ua matou faʻaaogaina le Odnoklassniki moderation platform mo le lua ma le afa tausaga. Matou te fiafia i taunuuga:

• Matou te otometi lava ona fa'avasega le 94% o fa'asalalauga uma i le aso.
• O le tau o le faʻaogaina o le tasi faʻasalalauga na faʻaititia mai le 2 rubles i le 7 kopecks.
• Faʻafetai i le meafaigaluega ua saunia, ua galo ia i matou faʻafitauli o le puleaina o faʻatonu.
• Na matou fa'aopoopoina le numera o fa'asalalauga fa'agasolo lima i le 2,5 taimi fa'atasi ai ma le numera tutusa o fa'atonu ma le paketi. O le tulaga lelei o le faʻaogaina o tusi lesona ua faʻateleina foʻi ona o le faʻaogaina otometi, ma fesuisuiai e tusa ma le 0,5% o mea sese.
• Matou te vave ufiufi ituaiga fou o spam i filiga.
• Matou te faʻafesoʻotaʻi vave matagaluega fou i le faʻaleleia "Yula Verticals". Talu mai le 2017, ua faʻaopoopoina e Yula le Fale Faʻatau, Avanoa ma Taʻavale.

puna: www.habr.com