🥇Faʻaaogaina o masini aʻoaʻoga i Mail.ru Meli

Faʻavae i luga o aʻu lauga ile Highload++ ma DataFest Minsk 2019.

Mo le toatele i aso nei, o meli o se vaega taua o le olaga i luga ole laiga. Faatasi ai ma lana fesoasoani, matou te faʻatautaia fefaʻatauaʻiga pisinisi, teuina ituaiga uma o faʻamatalaga taua e fesoʻotaʻi ma mea tau tupe, tusi faletalimalo, tuʻuina o poloaiga ma sili atu. I le ogatotonu o le 2018, matou faʻatulagaina se fuafuaga o oloa mo le atinaʻeina o meli. E fa'apei le meli fa'aonaponei?

Meli e tatau atamai, o lona uiga, fesoasoani i tagata faʻaoga e faʻatautaia le faʻateleina o le tele o faʻamatalaga: faamama, fausaga ma tuʻuina atu i le auala sili ona faigofie. E tatau lava aoga, faʻatagaina oe e foia galuega eseese i totonu o lau pusa meli, mo se faʻataʻitaʻiga, totogi sala tupe (o se galuega e, o le mea e leaga ai, ou te faʻaaogaina). Ma i le taimi lava e tasi, ioe, meli e tatau ona tuʻuina atu faʻamatalaga puipuiga, tipi ese spam ma puipuia mai hacking, o lona uiga, ia. безопасной.

O nei vaega o loʻo faʻamatalaina ai le tele o faʻafitauli autu, o le tele o ia mea e mafai ona foia lelei i le faʻaaogaina o masini. O fa'ata'ita'iga nei o fa'ailoga o lo'o iai nei ua fa'atupuina o se vaega o le ta'iala - tasi mo itu ta'itasi.

Tali Tali. Meli ei ai se uiga tali atamai. O le neural network e suʻesuʻeina le anotusi o le tusi, malamalama i lona uiga ma le faʻamoemoe, ma o se taunuuga e ofoina atu le tolu filifiliga tali talafeagai: lelei, leaga ma le le mautonu. E fesoasoani tele lea i le fa'asaoina o le taimi pe a tali tusi, ma e masani ona tali atu i se auala e le masani ma malie.
Fa'avasegaina imelie fesoʻotaʻi ma faʻatonuga i faleoloa i luga ole laiga. E masani ona matou faʻatau i luga ole laiga, ma, e pei o se tulafono, e mafai e faleoloa ona lafo ni nai imeli mo oka taʻitasi. Mo se faʻataʻitaʻiga, mai le AliExpress, o le auaunaga sili ona tele, o le tele o tusi e oʻo mai mo se faʻatonuga e tasi, ma na matou fuafuaina e mafai ona oʻo atu le numera i le faʻailoga e oʻo atu i le 29. O le mea lea, faʻaaoga le Named Entity Recognition model, matou te aveese le numera o le poloaiga. ma isi fa'amatalaga mai tusitusiga ma fa'avasega mata'itusi uma i le filo e tasi. Matou te faʻaalia foʻi faʻamatalaga autu e uiga i le faʻatonuga i totonu o se pusa eseʻese, lea e faafaigofie ai ona galue i lenei ituaiga imeli.
Antiphishing. O le phishing o se ituaiga taufaasese sili ona mataʻutia o imeli, faatasi ai ma le fesoasoani a tagata osofaʻi e taumafai e maua faʻamatalaga tau tupe (e aofia ai kata faletupe a le tagata faʻaoga) ma saini. O ia mataitusi e faʻatusalia tusi moni na lafoina e le auʻaunaga, e aofia ai le vaʻaia. O le mea lea, faʻatasi ai ma le fesoasoani a Computer Vision, matou te iloa logos ma le mamanu mamanu o tusi mai kamupani tetele (mo se faʻataʻitaʻiga, Mail.ru, Sber, Alfa) ma amanaia lenei mea faʻatasi ai ma tusitusiga ma isi mea i totonu oa matou spam ma phishing classifiers .

Aʻoaʻoga masini

O sina mea itiiti e uiga i le aʻoaʻoina o masini ile imeli ile lautele. Meli o se faiga e sili ona mamafa: o le averesi o le 1,5 piliona tusi i le aso e pasi atu i la matou 'auʻaunaga mo le 30 miliona tagata faʻaoga DAU. E tusa ma le 30 masini aʻoaʻoga e lagolagoina uma galuega ma foliga talafeagai.

O mataitusi ta'itasi e alu i se laina fa'avasegaga atoa. Muamua matou te tipi ese le spam ma tuʻu imeli lelei. E masani ona le matauina e le au faʻaoga le galuega a le antispam, aua o le 95-99% o le spam e leʻo iʻu i totonu o le pusa talafeagai. O le faʻalauiloaina o le Spam o se vaega taua tele o la tatou faiga, ma e sili ona faigata, talu ai i le tulaga o le anti-spam o loʻo i ai se fetuunaiga faifaipea i le va o le puipuiga ma le osofaʻiga faiga, lea e maua ai se luʻitau faʻainisinia faifaipea mo la tatou 'au.

Ma le isi, matou te vavaeeseina tusi mai tagata ma robots. O imeli mai tagata e sili ona taua, o lea matou te tuʻuina atu ai foliga e pei o le Smart Reply mo i latou. O tusi mai robots ua vaevaeina i ni vaega se lua: fefaʻatauaʻiga - o tusi taua ia mai auaunaga, mo se faʻataʻitaʻiga, faʻamaoniga o faʻatauga poʻo faʻasalalauga faletalimalo, tupe, ma faʻamatalaga - o faʻasalalauga pisinisi, faʻaitiitiga.

Matou te talitonu o imeli fefaʻatauaʻiga e tutusa le taua ma fesoʻotaʻiga a le tagata lava ia. E tatau ona i ai i latou, aua e masani ona tatou manaʻomia vave ona maua faʻamatalaga e uiga i se faʻatonuga poʻo se faʻailoga tiketi vaalele, ma matou faʻaalu le taimi e suʻe ai nei tusi. O le mea lea, mo le faʻafaigofie, matou te otometi ona vaevaeina i ni vaega autu se ono: femalagaaʻi, poloaiga, tupe, tiketi, resitala ma, mulimuli, sala tupe.

O faʻamatalaga tusi o le vaega tele ma atonu e le taua tele, e le manaʻomia se tali vave, talu ai e leai se mea taua e suia i le olaga o le tagata faʻaoga pe a na te le faitauina sea tusi. I totonu o la matou atinaʻe fou, matou te faʻamavaeina i latou i ni filo se lua: fesoʻotaʻiga faʻaagafesootai ma nusipepa, ma faʻapea ona kilia le pusa meli ma tuʻu ai na o feʻau taua e iloa.

Gaoioiga

Ole numera tele o faiga e mafua ai le tele o faigata ile faʻagaioiga. A uma mea uma, faʻataʻitaʻiga faʻaleagaina i le aluga o taimi, pei o soʻo se polokalama: faʻaletonu foliga, faʻaletonu masini, faʻailoga faʻailoga. E le gata i lea, o faʻamatalaga o loʻo suia pea: faʻaopoopo mea fou, faʻataʻitaʻiga o amioga a tagata faʻaoga, ma isi mea, o lea o se faʻataʻitaʻiga e aunoa ma se lagolago talafeagai o le a sili atu ona leaga ma sili atu le leaga i le taimi.

E le tatau ona galo ia i tatou o le loloto o le aʻoaʻoina o masini e ulu atu i olaga o tagata faʻaoga, o le sili atu foi lea o le aʻafiaga o loʻo i ai i luga o le faʻalapotopotoga, ma, o se taunuuga, o le tele o tupe gau poʻo tupe mama e mafai ona maua e tagata taʻalo maketi. O le mea lea, i le faʻateleina o numera o vaega, o tagata taʻalo o loʻo faʻafetaui i le galuega a ML algorithms (faʻataʻitaʻiga masani o faʻasalalauga, suʻesuʻega ma le antispam ua uma ona taʻua).

E le gata i lea, o galuega aʻoaʻoga masini e iai se uiga faʻapitoa: soʻo se, e tusa lava pe laʻititi, suiga i le faiga e mafai ona faʻatupuina le tele o galuega ma le faʻataʻitaʻiga: galue ma faʻamaumauga, toe aʻoaʻoina, faʻapipiʻiina, lea e mafai ona alu vaiaso poʻo masina. O le mea lea, o le televave o le siosiomaga o loʻo faʻaogaina ai au faʻataʻitaʻiga suiga, o le tele o taumafaiga e manaʻomia e tausia ai. E mafai e se 'au ona fatuina le tele o faiga ma fiafia i ai, ae faʻaalu toetoe o ana punaoa uma e tausia ai, e aunoa ma le avanoa e faia ai se mea fou. Na matou feagai muamua ma se tulaga faapena i le vaega antispam. Ma na latou faia le faaiuga manino o le lagolago e manaʻomia le otometi.

Faʻaaogaina

O le a le mea e mafai ona otometi? Toeitiiti lava o mea uma, moni. Ua ou faailoaina vaega e fa o loʻo faʻamatalaina ai masini aʻoaʻoga atinaʻe:

aoina o fa'amaumauga;
aoaoga faaopoopo;
fa'apipi'i;
su'ega & mata'ituina.

Afai o le siosiomaga e le mautu ma suia i taimi uma, ona avea lea o mea uma o loʻo siomia ai le faʻataʻitaʻiga e sili atu le taua nai lo le faʻataʻitaʻiga lava ia. Atonu o se fa'avasegaga laina tuai lelei, ae afai e te fafaga i foliga sa'o ma maua ni fa'amatalaga lelei mai tagata fa'aoga, o le a sili atu le lelei nai lo fa'ata'ita'iga a le State-Of-The-Art ma logo uma ma fa'aili.

Fa'amatalaga Fa'amatalaga

O lenei ta'amilosaga e tu'ufa'atasia ai le aoina o fa'amaumauga, a'oa'oga fa'aopoopo ma le fa'atinoina - o le mea moni, o le fa'afouga fa'ata'ita'iga atoa. Aisea e taua ai? Va'ai ile fa'asologa ole resitala ile meli:

Ua fa'atinoina e se tagata e faia a'oa'oga masini se fa'ata'ita'iga anti-bot e taofia ai bots mai le lesitala i imeli. E pa'ū le kalafi i se tau e na'o tagata fa'aoga moni e tumau. E lelei mea uma! Ae o le fa itula ua mavae, o bots e fesuiaʻi a latou tusitusiga, ma toe foʻi mea uma i le masani. I lenei faʻatinoga, na faʻaalu e le tagata faʻapipiʻi le masina e faʻaopoopoina ai foliga ma toe aʻoaʻoina le faʻataʻitaʻiga, ae na mafai e le spammer ona faʻafetaui i le fa itula.

Ina ia aua neʻi tiga tele ma e le toe faia mea uma i se taimi mulimuli ane, e tatau ona tatou mafaufau muamua pe o le a le foliga o le tali faʻaalia ma le mea o le a tatou faia pe a suia le siosiomaga. Tatou amata i le aoina o faʻamaumauga - o le suauu lea mo a tatou algorithms.

aoina o fa'amaumauga

E manino lava mo fesoʻotaʻiga faʻaonaponei faʻaonaponei, o le tele o faʻamatalaga, sili atu, ma o le mea moni, o loʻo gaosia e tagata faʻaoga o le oloa. E mafai e tagata faʻaoga ona fesoasoani ia i matou e ala i le makaina o faʻamaumauga, ae e le mafai ona matou faʻaleagaina lenei mea, aua i se taimi o le a fiu tagata faʻaoga i le faʻamaeʻaina o au faʻataʻitaʻiga ma o le a fesuiaʻi i se isi oloa.

O se tasi o mea sese sili ona taatele (o iinei ou te faia ai se faʻamatalaga ia Andrew Ng) o loʻo taulaʻi tele i metrics i luga o faʻamaumauga o suʻega, ae le o faʻamatalaga mai le tagata faʻaoga, o le mea moni o le fua autu o le lelei o le galuega, talu ai tatou te fatuina. se oloa mo le tagata fa'aoga. Afai e le malamalama le tagata faʻaoga pe le fiafia i le galuega a le faʻataʻitaʻiga, ona faʻaleagaina lea o mea uma.

O le mea lea, e tatau i le tagata faʻaoga ona mafai ona palota i taimi uma ma e tatau ona tuʻuina atu se meafaigaluega mo faʻamatalaga. Afai tatou te manatu ua oʻo mai se tusi e fesoʻotaʻi ma mea tau tupe i totonu o le pusameli, e tatau ona tatou makaina le "tupe" ma tusi se ki e mafai e le tagata faʻaoga ona kiliki ma fai mai e le o se mea tau tupe.

Tulaga lelei

Sei o tatou talanoa e uiga i le tulaga lelei o manatu faaalia o tagata faaaoga. Muamua, e mafai e oe ma le tagata faʻaoga ona tuʻuina uiga eseese i se manatu e tasi. Mo se faʻataʻitaʻiga, o oe ma au pule o oloa e manatu o le "tupe" o lona uiga o tusi mai le faletupe, ma e manatu le tagata faʻaoga o se tusi mai le tinamatua e uiga i lana penisione e faasino foi i mea tau tupe. Lona lua, o loʻo i ai tagata faʻaoga e fiafia tele e oomi faʻamau e aunoa ma se manatu. Lona tolu, o le tagata fa'aoga e mafai ona matua sese i ana faaiuga. O se faʻataʻitaʻiga mataʻina mai la matou faʻataʻitaʻiga o le faʻatinoina o se faʻavasegaina Spam a Nigeria, o se ituaiga o spam e sili ona malie lea e talosagaina ai le tagata faʻaoga e ave le tele o miliona tala mai se aiga faʻafuaseʻi na maua i Aferika. Ina ua maeʻa le faʻatinoina o lenei faʻavasegaga, matou siaki le "E le o le Spam" kiliki i luga o nei imeli, ma faʻaalia ai o le 80% oi latou o le spam Nigerian sua, lea e taʻu mai ai e mafai e tagata faʻaoga ona matua faʻaseseina.

Ma aua nei galo ia i tatou e mafai ona kiliki ia faamau e le gata i tagata, ae faapea foi i ituaiga uma o bots e faafoliga o se browser. O lea la, e le lelei ni manatu faaalia mo le aoaoina. O le a se mea e mafai ona e faia i nei faʻamatalaga?

Matou te faʻaaogaina auala e lua:

Fa'aaliga mai ML feso'ota'i. Mo se faʻataʻitaʻiga, o loʻo i ai le matou initaneti anti-bot system, lea, e pei ona ou taʻua, faia se filifiliga vave e faʻavae i luga o se numera faatapulaaina o faʻailoga. Ma o loʻo i ai se faiga lona lua, faʻagesegese e galue pe a uma le mea moni. E tele faʻamatalaga e uiga i le tagata faʻaoga, lana amio, ma isi. O se taunuuga, o le faaiuga sili ona malamalama e faia; e tusa ai, e maualuga atu le saʻo ma le atoatoa. E mafai ona e faʻatonuina le eseesega i le faʻaogaina o nei faiga i le muamua o faʻamaumauga aʻoaʻoga. O le mea lea, o se faiga faigofie o le a taumafai pea e faʻalatalata atu i le faʻatinoga o se mea e sili atu ona faigata.
Kiliki fa'avasega. E mafai ona e faʻavasegaina tagata taʻitasi kiliki, iloilo lona aoga ma le faʻaaogaina. Matou te faia lenei mea i le meli antispam, faʻaaogaina uiga faʻaoga, lona talafaasolopito, uiga o le auina atu, le tusitusiga lava ia ma le taunuuga o le faʻavasegaina. O le iʻuga, matou te maua se faiga faʻapitoa e faʻamaonia ai manatu o tagata faʻaoga. Ma talu ai e manaʻomia le toe aʻoaʻoina faʻaitiitia soo, o lana galuega e mafai ona avea ma faʻavae mo isi faiga uma. O le faʻamuamua autu i lenei faʻataʻitaʻiga o le saʻo, aua o le aʻoaʻoina o le faʻataʻitaʻiga i luga o faʻamatalaga le saʻo e tumu i taunuuga.

Aʻo matou faʻamamāina faʻamaumauga ma faʻaauau aʻoaʻoga a matou polokalama ML, e le tatau ona galo ia i matou e uiga i tagata faʻaoga, aua mo i matou, afe, miliona o mea sese i luga o le kalafi o fuainumera, ma mo le tagata faʻaoga, o pusa uma o se faʻalavelave. I le faaopoopo atu i le mea moni e tatau i le tagata faʻaoga ona ola i lau mea sese i le oloa, pe a uma ona maua faʻamatalaga, na te faʻamoemoe o le a faʻaumatia se tulaga tutusa i le lumanaʻi. O le mea lea, e taua i taimi uma le tuʻuina atu o tagata faʻaoga e le gata i le avanoa e palota ai, ae ia faʻasaʻo foi le amio a le ML system, fatuina, mo se faʻataʻitaʻiga, faʻataʻitaʻiga a le tagata lava ia mo faʻamatalaga taʻitasi kiliki; i le tulaga o le meli, e mafai ona avea ma tomai e faamama ai. ia tusi a le tagata na auina atu ma le igoa mo lenei tagata fa'aoga.

E te manaʻomia foʻi le fausiaina o se faʻataʻitaʻiga e faʻavae i luga o nisi o lipoti poʻo ni talosaga e lagolago i se semi-autometi poʻo le tusi lesona ina ia le mafatia isi tagata faʻaoga i faʻafitauli tutusa.

Heuristics mo le aoaoina

E lua fa'afitauli i nei heuristic ma tootoo. Muamua o le fa'atuputeleina o le aofa'i o to'oto'o e faigata ona fa'atumauina, se'i vagana ai lo latou lelei ma le fa'atinoga i le taimi umi. O le faʻafitauli lona lua o le mea sese atonu e le masani ai, ma o nai kiliki e faʻalautele atili ai le faʻataʻitaʻiga o le a le lava. E foliga mai o nei a'afiaga e lua e le feso'ota'i e mafai ona matua fa'a'ese'ese pe a fa'aogaina le auala lenei.

Matou te faia se tootoo le tumau.
Matou te lafoina faʻamatalaga mai ai i le faʻataʻitaʻiga, e masani ona faʻafouina ia lava, e aofia ai i luga o faʻamaumauga maua. O iinei, ioe, e taua le maualuga o le saʻo o le heuristics ina ia le faʻaitiitia ai le lelei o faʻamaumauga i le seti aʻoaʻoga.
Ona matou setiina lea o le mataʻituina e faʻaoso ai le tootoo, ma afai a maeʻa sina taimi e le toe galue le tootoo ma ua ufiufi atoa e le faʻataʻitaʻiga, ona mafai lea ona e aveese ma le saogalemu. O lea la ua le toe tupu lenei faafitauli.

E aoga tele la se autau o tootoo. O le mea autu o le latou auaunaga e faanatinati ma e le tumau.

Aoaoga faaopoopo

Toe fa'aa'oa'oga o le fa'agasologa lea o le fa'aopoopoina o fa'amaumauga fou na maua ona o fa'amatalaga mai tagata fa'aoga po'o isi faiga, ma a'oa'oina se fa'ata'ita'iga o lo'o iai i luga. Atonu e tele fa'afitauli i a'oa'oga fa'aopoopo:

O le faʻataʻitaʻiga atonu e le lagolagoina aʻoaʻoga faaopoopo, ae naʻo le aʻoaʻoina mai le sasa.
E leai se mea i totonu o le tusi o le natura o loʻo tusia ai o aʻoaʻoga faʻaopoopo o le a faʻaleleia atili ai le lelei o galuega i le gaosiga. E masani lava o le faʻafeagai e tupu, o lona uiga, naʻo le faʻaleagaina e mafai.
O suiga e mafai ona le taumateina. O se manatu maaleale lava lea ua tatou faailoaina mo i tatou lava. E tusa lava pe o se faʻataʻitaʻiga fou i se suʻega A/B e faʻaalia tali tutusa pe a faʻatusatusa i le taimi nei, e le faʻapea o le a galue tutusa. Atonu e eseese a latou galuega i le na o le tasi le pasene, e ono aumaia ai ni mea sesē fou pe toe foʻi mai mea tuai ua uma ona faasaʻoina. Ua uma ona iloa e i matou ma tagata faʻaoga le auala e ola ai i mea sese o loʻo i ai nei, ma pe a tulaʻi mai se numera tele o mea sese fou, atonu foi e le malamalama le tagata faʻaoga i le mea o loʻo tupu, ona o loʻo ia faʻamoemoeina amioga faʻapitoa.

O le mea lea, o le mea pito sili ona taua i aʻoaʻoga faʻaopoopo o le faʻamautinoaina o le faʻataʻitaʻiga e faʻaleleia, pe le sili atu ona leaga.

O le mea muamua e sau i le mafaufau pe a tatou talanoa e uiga i aʻoaʻoga faʻaopoopo o le Active Learning approach. O le a le uiga o lenei mea? Mo se faʻataʻitaʻiga, o le faʻavasegaina e fuafua pe o se imeli e fesoʻotaʻi ma mea tau tupe, ma faʻataʻamilo i lona tuaoi filifiliga matou te faʻaopoopoina se faʻataʻitaʻiga o faʻataʻitaʻiga faʻailoga. E aoga lelei lenei mea, mo se faʻataʻitaʻiga, i faʻasalalauga, lea e tele ai faʻamatalaga ma e mafai ona e aʻoaʻoina le faʻataʻitaʻiga i luga ole laiga. Ma afai e itiiti ni faʻamatalaga, ona matou maua lea o se faʻataʻitaʻiga sili ona faʻaituau e faʻatatau i le tufatufaina o faʻamaumauga o gaosiga, i luga o le faʻavae e le mafai ai ona iloilo le amio a le faʻataʻitaʻiga i le taimi o le faʻagaioiga.

O le mea moni, o la matou sini o le faʻasaoina o mamanu tuai, faʻataʻitaʻiga ua uma ona iloa, ma maua ni mea fou. E taua le fa'aauau iinei. O le faʻataʻitaʻiga, lea e masani ona matou faia ni tiga tele e taʻavale ai, ua uma ona galue, ina ia mafai ona matou taulaʻi atu i lona faʻatinoga.

O faʻataʻitaʻiga eseese e faʻaaogaina i meli: laau, laina, neural networks. Mo taʻitasi matou te faia a matou lava aʻoaʻoga faʻaopoopo algorithm. I le faagasologa o aʻoaʻoga faʻaopoopo, matou te mauaina e le gata o faʻamatalaga fou, ae faʻapea foʻi ma foliga fou, lea o le a matou amanaia i algorithms uma o loʻo i lalo.

Fa'ata'ita'iga laina

Se'i fa'apea o lo'o i ai a tatou fa'asologa fa'aleaogaina. Matou te fatuina se faʻataʻitaʻiga leiloa mai vaega nei:

LogLoss i luga o faʻamatalaga fou;
matou te faʻavasegaina le mamafa o foliga fou (matou te le paʻi i mea tuai);
matou te aʻoaʻoina foʻi mai faʻamaumauga tuai ina ia faʻasaoina ai mamanu tuai;
ma, masalo, o le mea sili ona taua: matou te faʻaopoopoina le Harmonic Regularization, lea e faʻamautinoa ai o le a le suia tele le mamafa e faʻatatau i le faʻataʻitaʻiga tuai e tusa ai ma le masani.

Talu ai o vaega taʻitasi Loss e iai faʻatatau, e mafai ona tatou filifilia tulaga sili ona lelei mo la tatou galuega e ala i le faʻamaonia-faʻamaonia pe faʻavae i luga o manaʻoga o oloa.

O laau

Se'i tatou see atu i la'au filifiliga. Ua matou tuufaatasia le algorithm nei mo aʻoaʻoga faaopoopo o laau:

O le gaosiga e faʻatautaia se vaomatua o 100-300 laau, lea e aʻoaʻoina i luga o se seti faʻamaumauga tuai.
I le faaiuga matou te aveese M = 5 fasi pepa ma faʻaopoopo 2M = 10 fou, aʻoaʻoina i luga o le seti faʻamaumauga atoa, ae faʻatasi ai ma se mamafa maualuga mo faʻamatalaga fou, lea e faʻamaonia ai se suiga faʻaopoopo i le faʻataʻitaʻiga.

E manino lava, i le aluga o taimi, o le numera o laau e matua faateleina, ma e tatau ona faʻaitiitia i lea taimi ma lea taimi ina ia fetaui ma taimi. Ina ia faia lenei mea, matou te faʻaaogaina le Faʻamatalaga Faʻamatalaga (KD). Faapuupuu e uiga i le mataupu faavae o lona faagaoioiga.

O loʻo ia i matou le faʻataʻitaʻiga "faigata" o loʻo iai nei. Matou te fa'atautaia i luga o le seti fa'amaumauga o a'oa'oga ma maua le fa'asoasoaina o avanoa o le vasega i le fa'atinoga.
O le isi, matou te aʻoaʻoina le faʻataʻitaʻiga a le tamaititi aoga (le faʻataʻitaʻiga e laʻititi laʻau i lenei tulaga) e toe fai faʻataʻitaʻiga faʻataʻitaʻiga e faʻaaoga ai le tufatufaina o le vasega e fai ma suiga faʻatatau.
E taua le maitauina iinei tatou te le faʻaogaina le faʻailoga seti faʻamaumauga i soʻo se auala, ma o lea e mafai ai ona tatou faʻaogaina faʻamatalaga faʻamaonia. O le mea moni, matou te faʻaogaina se faʻataʻitaʻiga faʻamatalaga mai le vaitafe o le taua e fai ma faʻataʻitaʻiga aʻoaʻoga mo le faʻataʻitaʻiga a le tamaititi aoga. O le mea lea, o le seti aʻoaʻoga e faʻatagaina ai i matou e faʻamautinoa le saʻo o le faʻataʻitaʻiga, ma o le faʻataʻitaʻiga o le vaitafe e faʻamaonia ai se faʻatinoga tutusa i luga o le tufatufaina atu o le gaosiga, e totogi ai le faʻaituau o le seti aʻoaʻoga.

O le tuʻufaʻatasia o nei metotia e lua (faʻaopoopoina o laʻau ma faʻaitiitia i lea taimi ma lea taimi a latou numera e faʻaaoga ai le Knowledge Distillation) e faʻamautinoa ai le faʻaofiina o mamanu fou ma le faʻaauau pea.

Faatasi ai ma le fesoasoani a KD, matou te faia foi gaioiga eseese i luga o foliga faʻataʻitaʻiga, e pei o le aveeseina o foliga ma galue i va. I la matou tulaga, o loʻo i ai le tele o faʻamatalaga taua faʻamaumauga (e ala i le au lafo, text hashes, URLs, ma isi) o loʻo teuina i totonu o faʻamaumauga, lea e masani ona le manuia. O le faʻataʻitaʻiga, ioe, e le o sauni mo sea atinaʻe o mea na tutupu, talu ai o tulaga toilalo e le tupu i le seti aʻoaʻoga. I ia tulaga, matou te tuʻufaʻatasia KD ma augmentation techniques: pe a aʻoaʻoina mo se vaega o faʻamaumauga, matou te aveese pe toe faʻafoʻi foliga talafeagai, ma matou ave faʻailoga muamua (outputs o le faʻataʻitaʻiga o loʻo i ai nei), ma aʻoaʻo le tamaititi aoga e toe fai lenei tufatufaga. .

Na matou matauina o le sili atu ona ogaoga le faʻaogaina o faʻataʻitaʻiga e tupu, o le sili atu lea o le pasene o filo faʻataʻitaʻiga e manaʻomia.

O le aveeseina o foliga, o le gaioiga sili ona faigofie, e manaʻomia ai naʻo se vaega itiiti o le tafe, talu ai na o ni nai vaega e suia, ma o le faʻataʻitaʻiga o loʻo i ai nei na aʻoaʻoina i luga o le seti tutusa - o le eseesega e laʻititi. Ina ia faʻafaigofie le faʻataʻitaʻiga (faʻaitiitia le numera o laʻau i le tele o taimi), ua manaʻomia le 50 i le 50. Ma mo le faʻaaogaina o mea taua faʻamaumauga o le a matua aʻafia ai le faʻatinoga o le faʻataʻitaʻiga, e manaʻomia le tele o le tafe e faʻaleleia ai le galuega a le fa'ata'ita'iga fou e tete'e i fa'ailoga i ituaiga mata'itusi uma.

FastText

Se'i tatou aga'i atu ile FastText. Sei ou faamanatu atu ia te oe o le faatusa (Embedding) o se upu e aofia ai le aofaiga o le faapipiiina o le upu lava ia ma ona mataitusi uma N-grams, e masani lava o trigrams. Talu ai e mafai ona tele naua trigrams, o le Bucket Hashing e faʻaaogaina, o lona uiga, faʻaliliuina le avanoa atoa i se faʻafanua faʻamautu. O se taunuuga, o le mamafa matrix e maua ma le fua o le pito i totonu i numera o upu + pakete.

Faatasi ai ma aʻoaʻoga faʻaopoopo, e aliali mai faʻailoga fou: upu ma trigrams. E leai se mea taua e tupu i a'oa'oga tulitatao masani mai le Facebook. Na'o le mamafa tuai ma le cross-entropy e toe a'oa'oina i fa'amaumauga fou. O le mea lea, e le faʻaaogaina foliga fou, o le mea moni, o lenei auala o loʻo i ai faʻafitauli uma o loʻo faʻamatalaina i luga e fesoʻotaʻi ma le le mautonu o le faʻataʻitaʻiga i le gaosiga. O le mea lena na matou suia ai le FastText teisi. Matou te faʻaopoopoina uma mamafa fou (upu ma trigrams), faʻalautele le matrix atoa ma le cross-entropy ma faʻaopoopo le faʻaogaina o le harmonic e ala i le faʻatusa ma le faʻataʻitaʻiga laina, lea e faʻamaonia ai se suiga le taua i le mamafa tuai.

CNN

Feso'ota'iga feso'ota'iga e fai si lavelave. Afai e maeʻa vaega mulimuli i le CNN, o le mea moni, e mafai ona e faʻaogaina le faʻaogaina masani ma faʻamautinoa le faʻaauau. Ae afai e manaʻomia se aʻoaʻoga faʻaopoopo o le fesoʻotaʻiga atoa, ona le toe mafai lea ona faʻaogaina sea faʻatonuga i luga ole laulau uma. Ae ui i lea, o loʻo i ai se filifiliga e aʻoaʻoina ai faʻapipiʻi faʻaopoopo e ala i le Triplet Loss (ulua'i tusitusiga).

Tolu To’ilalo

I le faʻaaogaina o se galuega anti-phishing e fai ma faʻataʻitaʻiga, seʻi o tatou vaʻai ile Triplet Loss i tulaga lautele. Matou te ave a matou tagavai, faʻapea foʻi ma faʻataʻitaʻiga lelei ma le le lelei o tagavai a isi kamupani. Matou te faʻaitiitia le mamao i le va o le muamua ma faʻateleina le mamao i le va o le lona lua, matou te faia lenei mea i se vaʻa laʻititi e faʻamautinoa ai le sili atu o le compactness o vasega.

Afai tatou te aʻoaʻoina atili le fesoʻotaʻiga, ona suia atoa lea o la tatou metric space, ma e matua le fetaui ma le muamua. O se fa'afitauli tuga lea i fa'afitauli e fa'aogaina ai vectors. Ina ia foia lenei faafitauli, o le a matou faʻafefiloi i mea tuai i le taimi o toleniga.

Ua matou faʻaopoopoina faʻamatalaga fou i le seti aʻoaʻoga ma o loʻo aʻoaʻoina le lona lua o le faʻataʻitaʻiga mai le sasa. I le laasaga lona lua, matou te toe aʻoaʻoina a matou fesoʻotaʻiga (Finetuning): muamua le vaega mulimuli ua maeʻa, ona faʻamalo uma ai lea o le fesoʻotaʻiga. I le faagasologa o le fatuina o triplets, matou te fuafuaina naʻo se vaega o faʻapipiʻi e faʻaaoga ai le faʻataʻitaʻiga aʻoaʻoina, o isi - faʻaaogaina le mea tuai. O le mea lea, i le faagasologa o aʻoaʻoga faʻaopoopo, matou te faʻamautinoa le fetaui o avanoa metric v1 ma v2. O se fa'aaliga tulaga ese o le fa'atulagaina o le harmonic.

Faiga atoa

Afai tatou te mafaufau i le faiga atoa e faʻaaoga ai le antispam e fai ma faʻataʻitaʻiga, ona le faʻaesea lea o faʻataʻitaʻiga, ae faʻapipiʻi i totonu o le tasi ma le isi. Matou te puʻeina ata, tusitusiga ma isi mea, faʻaaoga CNN ma Fast Text matou te maua faʻapipiʻi. Sosoo ai, fa'avasegaina e fa'aoga i luga o fa'apipi'i, lea e maua ai togi mo vasega 'ese'ese (ituaiga mata'itusi, spam, i ai o se logo). O faʻailoga ma faʻailoga ua uma ona ulu atu i le vaomatua o laʻau mo le faʻaiuga mulimuli e fai. O fa'avasegaga ta'ito'atasi i totonu o lenei polokalame e mafai ai ona fa'amalamalama lelei i'uga o le faiga ma fa'apitoa le toe a'oa'oina o vaega pe a iai ni fa'afitauli, nai lo le fafagaina o fa'amaumauga uma i la'au fa'ai'uga i se faiga mata'utia.

O se taunuuga, matou te faʻamautinoa le faʻaauau i tulaga uma. I le tulaga pito i lalo i le CNN ma le Fast Text matou te faʻaogaina le faʻaogaina masani, mo le faʻavasegaina i le ogatotonu matou te faʻaogaina foi le faʻatulagaina o le tutusa ma le fua faʻatatau mo le tutusa o le tufatufaina o avanoa. Ia, o le faʻaleleia o laʻau e aʻoaʻoina faʻaopoopo pe faʻaaoga le Knowledge Distillation.

I se tulaga lautele, o le faatumauina o sea ituaiga masini aʻoaʻoga e masani lava o se tiga, talu ai o soʻo se vaega i le pito i lalo e taʻitaʻia ai se faʻafouga i le polokalama atoa i luga. Ae talu ai i la matou seti e suia laʻititi vaega taʻitasi ma e fetaui ma le muamua, e mafai ona faʻafouina le faiga atoa i lea vaega e aunoa ma le manaʻomia e toe faʻaleleia le fausaga atoa, lea e mafai ai ona lagolagoina e aunoa ma le ogaoga o le ulu.

Fa'atino

Ua matou talanoaina le aoina o faʻamaumauga ma aʻoaʻoga faʻaopoopo o ituaiga eseese o faʻataʻitaʻiga, o lea o loʻo matou agai i luma i latou faʻapipiʻiina i totonu o le gaosiga o le siosiomaga.

Su'ega A/B

E pei ona ou fai atu muamua, i le faagasologa o le aoina o faʻamatalaga, e masani lava ona tatou maua se faʻataʻitaʻiga faʻaituau, lea e le mafai ai ona iloilo le gaosiga o le faʻataʻitaʻiga. O le mea lea, pe a faʻapipiʻiina, e tatau ona faʻatusatusa le faʻataʻitaʻiga ma le lomiga muamua ina ia malamalama pe faʻafefea ona tupu mea, o lona uiga, faia suʻega A / B. O le mea moni, o le fa'agasologa o le ta'avale ma le su'esu'eina o siata e fai lava si masani ma e faigofie lava ona fa'autometi. Matou te faasolosolo malie atu a matou faʻataʻitaʻiga i le 5%, 30%, 50% ma le 100% o tagata faʻaoga, aʻo aoina uma metotia avanoa i tali faʻataʻitaʻiga ma manatu faʻaoga. I le tulaga o nisi faʻalavelave matuia, matou te otometi lava ona toe faʻafoʻi le faʻataʻitaʻiga, ma mo isi tulaga, i le aoina mai o se numera tele o kiliki tagata faʻaoga, matou te filifili e faʻateleina le pasene. O le iʻuga, matou te aumaia le faʻataʻitaʻiga fou i le 50% o tagata faʻaoga e otometi lava, ma o le taʻavale i le aofia atoa o le a faʻatagaina e se tagata, e ui lava o lenei laasaga e mafai ona otometi.

Ae ui i lea, o le faʻataʻitaʻiga A / B e ofoina atu avanoa mo le faʻaleleia atili. O le mea moni o soʻo se suʻega A / B e fai si umi (i le matou tulaga e manaʻomia mai le 6 i le 24 itula e faʻatatau i le aofaʻi o faʻamatalaga), lea e fai si taugata ma faʻatapulaʻaina punaoa. E le gata i lea, o se pasene maualuga maualuga o le tafe mo le suʻega e manaʻomia e faʻavavevave ai le taimi atoa o le suʻega A / B (suʻeina o se faʻataʻitaʻiga taua tele e iloilo ai metric i se pasene laʻititi e mafai ona umi se taimi), lea e fai ai. le numera o avanoa A/B e matua fa'atapula'aina. E manino lava, e manaʻomia ona tatou faʻataʻitaʻiina naʻo faʻataʻitaʻiga sili ona faʻamoemoeina, lea tatou te maua tele i le taimi o le aʻoaʻoga faʻaopoopo.

Ina ia foia lenei faʻafitauli, na matou aʻoaʻoina se faʻavasegaga ese e vaʻai ai le manuia o se suʻega A/B. Ina ia faia lenei mea, matou te faia fa'amaumauga o fa'ai'uga, Sa'o, Fa'amanatu ma isi fua fa'atatau i le seti a'oa'oga, i luga o le fa'ai'uga, ma le fa'ata'ita'iga mai le vaitafe e fai ma fa'aaliga. Matou te faʻatusatusaina foʻi le faʻataʻitaʻiga ma le mea o loʻo i ai nei i le gaosiga, faʻatasi ai ma le heuristic, ma amanaʻia le Lavelave o le faʻataʻitaʻiga. O le fa'aaogaina o nei vaega uma, o se fa'avasegaga ua a'oa'oina i le tala fa'asolopito o su'ega e iloilo ai fa'ata'ita'iga sui, i lo tatou tulaga o vaomatua ia o la'au, ma filifili po o ai e fa'aoga ile su'ega A/B.

I le taimi o le faʻatinoga, o lenei auala na mafai ai ona matou faʻateleina le numera o suʻega A / B manuia i le tele o taimi.

Su'ega & Mata'ituina

O le suʻega ma le mataʻituina, e ese lava, e le afaina ai lo tatou soifua maloloina; ae, i se isi itu, latou te faʻaleleia ma faʻamalolo i tatou mai le faʻalavelave le manaʻomia. O le su'ega e mafai ai ona e puipuia se toilalo, ma le mata'ituina e mafai ai ona e iloa i le taimi e fa'aitiitia ai le a'afiaga i tagata fa'aoga.

E taua le malamalama iinei e le o toe mamao pe mulimuli ane o le a faia pea e lau polokalama ni mea sese - e mafua ona o le atinaʻeina o soʻo se polokalama. I le amataga o le atinaʻeina o faiga o loʻo i ai i taimi uma le tele o bug seʻia oʻo ina faʻamautu mea uma ma faʻamaeʻaina le tulaga autu o le faʻafouina. Ae i le aluga o taimi, e faʻaleagaina le entropy, ma toe aliali mai mea sese - ona o le faʻaleagaina o vaega o loʻo siomia ai ma suiga i faʻamaumauga, lea na ou talanoa ai i le amataga.

O iinei ou te fia maitauina soʻo se masini aʻoaʻoga e tatau ona mafaufauina mai le vaaiga o lona tupe mama i lona olaga atoa. O le kalafi o loʻo i lalo o loʻo faʻaalia ai se faʻataʻitaʻiga o le auala e galue ai le faiga e puʻeina se ituaiga o spam (o le laina i le kalafi e latalata ile zero). I se tasi aso, ona o se uiga sese le teuina, na faavalevalea ai o ia. Ona o le laki e maua, e leai se mataʻituina mo faʻalavelave faʻafuaseʻi; o se taunuuga, na amata ai e le faiga ona faʻasaoina tusi i se aofaiga tele i le pusa "spam" i le tuaoi o le faia o filifiliga. E ui i le faʻasaʻoina o taunuuga, o le faiga ua uma ona faia mea sese i le tele o taimi e le mafai ona totogi mo ia lava e tusa lava pe lima tausaga. Ma o se toilalo atoatoa lea mai le vaaiga o le taamilosaga o le olaga o le faʻataʻitaʻiga.

O le mea lea, o se mea faigofie e pei o le mataʻituina e mafai ona avea ma ki i le olaga o se faʻataʻitaʻiga. I le faʻaopoopoga i fua faʻatatau ma manino, matou te mafaufau i le tufatufaina atu o tali faʻataʻitaʻiga ma togi, faʻapea foʻi ma le tufatufaina atu o mea taua. I le faʻaaogaina o le KL divergence, e mafai ona tatou faʻatusatusaina le tufatufaina o loʻo iai nei ma le tala faʻasolopito poʻo tau i le suʻega A / B ma le isi vaega o le vaitafe, lea e mafai ai ona tatou vaʻaia faʻalavelave i le faʻataʻitaʻiga ma toe faʻafoʻi suiga i se taimi talafeagai.

I le tele o tulaga, matou te fa'alauiloa a matou ulua'i fa'asologa o faiga fa'aoga faigofie heuristics po'o fa'ata'ita'iga matou te fa'aogaina e mata'ituina i le lumana'i. Mo se faʻataʻitaʻiga, matou te mataʻituina le faʻataʻitaʻiga o le NER pe a faʻatusatusa i mea masani mo faleoloa faʻapitoa i luga ole laiga, ma afai e pa'ū le faʻavasegaina o faʻasalalauga pe a faʻatusatusa ia i latou, ona tatou malamalama lea i mafuaʻaga. O le isi fa'aoga aoga o le heuristic!

O taunuʻuga

Se'i o tatou toe su'e manatu autu o le tala.

Fibdeck. Matou te mafaufau i taimi uma e uiga i le tagata faʻaoga: pe faʻapefea ona ia ola ma a matou mea sese, pe faʻafefea ona mafai ona ia lipotia. Aua neʻi galo o tagata faʻaoga e le o se faʻapogai o faʻamatalaga mama mo faʻataʻitaʻiga aʻoaʻoga, ma e manaʻomia ona faʻamalo i le fesoasoani a le ML fesoasoani. Afai e le mafai ona aoina mai se faʻailoga mai le tagata faʻaoga, ona matou vaʻavaʻai lea mo isi punaoa o manatu faaalia, mo se faʻataʻitaʻiga, fesoʻotaʻiga faiga.
Aoaoga faaopoopo. O le mea autu iinei o le faʻaauau, o lea matou te faʻalagolago i le gaosiga o loʻo iai nei. Matou te aʻoaʻoina ni faʻataʻitaʻiga fou ina ia latou le ese tele mai le muamua ona o le faʻaogaina masani ma togafiti tutusa.
Fa'atino. O le fa'aogaina otometi e fa'atatau i fua fa'atatau e matua fa'aitiitia ai le taimi mo le fa'atinoina o fa'ata'ita'iga. O le mataituina o fuainumera ma le tufatufaina o le faia o faaiuga, o le numera o pa'ū mai tagata faʻaoga e faʻamalosia mo lau moe malolo ma le faʻaiuga o le vaiaso.

Ia, ou te faʻamoemoe o le a fesoasoani lea ia te oe e faʻaleleia atili lau ML faiga, faʻavave i maketi, ma faʻalagolago atili ai ma faʻaitiitia le popole.

puna: www.habr.com

Fa'agaioiga o masini a'oa'oga ile Mail.ru Meli