Kev ua haujlwm ntawm kev kawm tshuab hauv Mail.ru Mail

Raws li kuv cov lus hais ntawm Highload++ thiab DataFest Minsk 2019.

Rau ntau hnub no, kev xa ntawv yog ib feem tseem ceeb ntawm lub neej online. Nrog nws cov kev pab, peb ua lag luam sau ntawv, khaws txhua yam ntaub ntawv tseem ceeb ntsig txog nyiaj txiag, booking tsev so, tso xaj thiab ntau ntxiv. Nyob rau hauv nruab nrab-2018, peb tsim ib lub tswv yim khoom rau kev xa ntawv. Yuav ua li cas niaj hnub xa ntawv yuav zoo li cas?

Xa ntawv yuav tsum yog ntse, uas yog, pab cov neeg siv taw qhia qhov nce ntim ntawm cov ntaub ntawv: lim, qauv thiab muab nws txoj hauv kev yooj yim tshaj plaws. Nws yuav tsum yog pab tau, tso cai rau koj los daws ntau yam dej num hauv koj lub thawv xa ntawv, piv txwv li, them nyiaj nplua (ib txoj haujlwm uas, hmoov tsis, kuv siv). Thiab tib lub sijhawm, tau kawg, xa ntawv yuav tsum muab cov ntaub ntawv tiv thaiv, txiav tawm spam thiab tiv thaiv kev nyiag, uas yog, yuav nyab xeeb.

Cov cheeb tsam no txhais tau ntau yam teeb meem tseem ceeb, ntau yam tuaj yeem daws tau zoo siv tshuab kev kawm. Nov yog cov piv txwv ntawm cov yam ntxwv uas twb muaj lawm tsim los ua ib feem ntawm lub tswv yim - ib qho rau txhua qhov kev taw qhia.

• Ntse Reply. Xa ntawv muaj cov lus teb ntse. Lub neural network txheeb xyuas cov ntawv ntawm tsab ntawv, nkag siab txog nws lub ntsiab lus thiab lub hom phiaj, thiab yog li ntawd muaj peb qhov kev xaiv zoo tshaj plaws: zoo, tsis zoo thiab nruab nrab. Qhov no yuav pab kom txuag tau sijhawm thaum teb cov ntawv, thiab feem ntau teb tsis yog tus qauv thiab kev lom zem.
• Pab pawg emailhais txog kev txiav txim hauv khw hauv online. Peb feem ntau kav khw hauv online, thiab, raws li txoj cai, cov khw muag khoom tuaj yeem xa ob peb email rau txhua qhov kev txiav txim. Piv txwv li, los ntawm AliExpress, qhov kev pabcuam loj tshaj plaws, ntau cov ntawv tuaj rau hauv ib qho kev txiav txim, thiab peb suav tias nyob rau hauv cov ntaub ntawv davhlau ya nyob twg lawv tus lej tuaj yeem ncav cuag 29. Yog li ntawd, siv tus qauv Named Entity Recognition, peb rho tawm tus lej xaj. thiab lwm yam ntaub ntawv los ntawm cov ntawv nyeem thiab pab pawg tag nrho cov ntawv nyob rau hauv ib tug xov. Peb kuj tso saib cov ntaub ntawv yooj yim hais txog qhov kev txiav txim nyob rau hauv ib lub thawv cais, uas ua rau nws yooj yim rau kev ua hauj lwm nrog hom email no.

  

• Anti-phishing. Phishing yog hom kev dag ntxias tshwj xeeb ntawm email, nrog kev pab los ntawm cov neeg tawm tsam sim kom tau txais cov ntaub ntawv nyiaj txiag (xws li tus neeg siv daim npav rho nyiaj) thiab nkag mus. Cov ntawv zoo li no ua rau cov neeg tiag tiag xa los ntawm kev pabcuam, suav nrog kev pom. Yog li ntawd, nrog kev pab los ntawm Computer Vision, peb paub cov logos thiab cov qauv tsim ntawm cov ntawv los ntawm cov tuam txhab loj (piv txwv li Mail.ru, Sber, Alfa) thiab coj qhov no mus rau hauv tus account nrog rau cov ntawv nyeem thiab lwm yam hauv peb cov spam thiab phishing classifiers. .

Tshuab kev kawm

Ib me ntsis txog kev kawm tshuab hauv email feem ntau. Xa ntawv yog ib qho kev thauj khoom hnyav: qhov nruab nrab ntawm 1,5 billion tsab ntawv ib hnub dhau los ntawm peb cov servers rau 30 lab DAU cov neeg siv. Txog 30 lub tshuab kev kawm tshuab txhawb nqa tag nrho cov haujlwm tsim nyog thiab nta.

Txhua tsab ntawv mus los ntawm tag nrho cov raj xa dej. Ua ntej peb txiav tawm spam thiab tawm email zoo. Cov neeg siv feem ntau tsis pom kev ua haujlwm ntawm antispam, vim tias 95-99% ntawm spam tsis txawm xaus rau hauv daim nplaub tshev tsim nyog. Kev lees paub spam yog ib feem tseem ceeb ntawm peb lub cev, thiab qhov nyuaj tshaj plaws, txij li hauv thaj tsam ntawm kev tiv thaiv spam muaj kev hloov pauv tas li ntawm kev tiv thaiv thiab kev tawm tsam, uas muab kev sib tw ua haujlwm txuas ntxiv rau peb pab neeg.

Tom ntej no, peb cais cov ntawv los ntawm tib neeg thiab cov neeg hlau. Emails los ntawm tib neeg yog qhov tseem ceeb tshaj plaws, yog li peb muab cov yam ntxwv zoo li Smart Reply rau lawv. Cov ntawv sau los ntawm cov neeg hlau tau muab faib ua ob ntu: kev hloov pauv - cov no yog cov ntawv tseem ceeb los ntawm cov kev pabcuam, piv txwv li, kev lees paub ntawm kev yuav khoom lossis kev so hauv tsev so, nyiaj txiag, thiab cov ntaub ntawv - cov no yog kev tshaj tawm kev lag luam, nyiaj cheb.

Peb ntseeg tias kev lag luam emails sib npaug hauv qhov tseem ceeb rau kev sau ntawv tus kheej. Lawv yuav tsum nyob ntawm tes, vim peb feem ntau yuav tsum tau ceev nrooj nrhiav cov ntaub ntawv hais txog kev xaj lossis daim pib caij dav hlau, thiab peb siv sijhawm los tshawb nrhiav cov ntawv no. Yog li ntawd, kom yooj yim, peb cia li faib lawv ua XNUMX pawg tseem ceeb: kev mus ncig, kev txiav txim, nyiaj txiag, daim pib, kev sau npe thiab, thaum kawg, nplua.

Cov ntawv xov xwm yog pawg loj tshaj plaws thiab tej zaum tseem ceeb tsawg, uas tsis tas yuav teb tam sim ntawd, vim tsis muaj dab tsi tseem ceeb yuav hloov pauv hauv tus neeg siv lub neej yog tias nws tsis nyeem tsab ntawv no. Hauv peb qhov kev sib tshuam tshiab, peb tsoo lawv mus rau hauv ob txoj xov: kev sib tham thiab cov ntawv xov xwm, yog li pom kev tshem tawm cov inbox thiab tawm tsuas yog cov lus tseem ceeb pom.

Ua haujlwm

Ntau lub tshuab ua rau muaj teeb meem ntau hauv kev ua haujlwm. Tom qab tag nrho, cov qauv degrade dhau sij hawm, zoo li txhua yam software: nta tawg, tshuab ua tsis tiav, cov lej ua yuam kev. Tsis tas li ntawd, cov ntaub ntawv hloov pauv tas li: cov tshiab tau ntxiv, cov qauv siv tus cwj pwm hloov pauv, thiab lwm yam, yog li tus qauv uas tsis muaj kev txhawb nqa yuav ua haujlwm tsis zoo thiab tsis zoo rau lub sijhawm.

Peb yuav tsum tsis txhob hnov ​​​​qab tias lub tshuab kev kawm tob tob nkag mus rau hauv lub neej ntawm cov neeg siv, qhov ntau dua qhov cuam tshuam lawv muaj nyob rau hauv ecosystem, thiab, vim li ntawd, qhov kev poob nyiaj ntau dua lossis cov txiaj ntsig kev lag luam tau txais. Yog li ntawd, nyob rau hauv ntau qhov chaw, cov neeg ua si tau yoog rau kev ua haujlwm ntawm ML algorithms (cov piv txwv classic yog kev tshaj tawm, tshawb nrhiav thiab cov antispam uas twb tau hais lawm).

Tsis tas li ntawd, cov haujlwm ntawm kev kawm tshuab muaj qhov tshwj xeeb: ib qho, txawm tias me, kev hloov pauv hauv lub cev tuaj yeem tsim kev ua haujlwm ntau nrog cov qauv: ua haujlwm nrog cov ntaub ntawv, rov ua haujlwm, xa tawm, uas tuaj yeem siv sijhawm ntau lub lis piam lossis ntau lub hlis. Yog li ntawd, qhov ceev ntawm ib puag ncig uas koj cov qauv ua haujlwm hloov pauv, nws yuav tsum tau siv zog ntau dua los tswj lawv. Ib pab neeg tuaj yeem tsim ntau lub tshuab thiab zoo siab rau nws, tab sis tom qab ntawd siv yuav luag tag nrho nws cov peev txheej tswj hwm lawv, tsis muaj sijhawm los ua dab tsi tshiab. Peb ib zaug ntsib qhov xwm txheej zoo li no hauv pab pawg antispam. Thiab lawv tau txiav txim siab pom tseeb tias kev txhawb nqa yuav tsum tau ua haujlwm.

Automation

Dab tsi tuaj yeem ua haujlwm tau? Yuav luag txhua yam, ua tau. Kuv tau txheeb xyuas plaub qhov chaw uas txhais tau hais tias lub tshuab kev kawm tshuab:

• sau cov ntaub ntawv;
• kev cob qhia ntxiv;
• xa mus;
• kuaj & saib xyuas.

Yog tias ib puag ncig tsis ruaj khov thiab hloov pauv tas li, tag nrho cov txheej txheem nyob ib puag ncig tus qauv hloov mus rau qhov tseem ceeb dua li tus qauv nws tus kheej. Tej zaum nws yuav yog qhov zoo qub linear classifier, tab sis yog tias koj pub nws cov yam ntxwv zoo thiab tau txais cov lus pom zoo los ntawm cov neeg siv, nws yuav ua haujlwm zoo dua li State-Of-The-Art qauv nrog txhua lub tswb thiab xuav.

Rov qab Loop

Lub voj voog no sib txuas cov ntaub ntawv sau, kev cob qhia ntxiv thiab kev xa tawm - qhov tseeb, tag nrho cov qauv hloov tshiab lub voj voog. Vim li cas thiaj tseem ceeb? Saib ntawm lub sijhawm sau npe hauv mail:

Tus tsim tawm tshuab kev kawm tau siv tus qauv tiv thaiv bot uas tiv thaiv bots los ntawm kev sau npe hauv email. Daim duab poob rau tus nqi uas tsuas yog cov neeg siv tiag nyob. Txhua yam zoo heev! Tab sis plaub teev dhau mus, cov bots tweak lawv cov ntawv, thiab txhua yam rov qab mus rau qhov qub. Hauv qhov kev siv no, tus tsim tawm siv sijhawm ib hlis ntxiv cov yam ntxwv thiab rov qhia tus qauv, tab sis tus spammer tuaj yeem hloov kho hauv plaub teev.

Txhawm rau kom tsis txhob mob hnyav heev thiab tsis tas yuav rov ua txhua yam tom qab, peb yuav tsum pib xav txog seb lub voj voog tawm tswv yim yuav zoo li cas thiab peb yuav ua li cas yog tias ib puag ncig hloov pauv. Cia peb pib nrog kev sau cov ntaub ntawv - qhov no yog cov roj rau peb cov algorithms.

Kev sau cov ntaub ntawv

Nws yog tseeb hais tias rau niaj hnub neural tes hauj lwm, cov ntaub ntawv ntau, qhov zoo dua, thiab lawv yog, qhov tseeb, tsim los ntawm cov neeg siv khoom. Cov neeg siv tuaj yeem pab peb los ntawm kev kos cov ntaub ntawv, tab sis peb tsis tuaj yeem tsim txom qhov no, vim tias qee lub sijhawm cov neeg siv yuav nkees ntawm kev ua tiav koj cov qauv thiab yuav hloov mus rau lwm yam khoom.

Ib qho yuam kev ntau tshaj plaws (ntawm no kuv ua ib qho kev siv rau Andrew Ng) yog tsom rau kev ntsuas ntau dhau ntawm cov ntaub ntawv xeem, thiab tsis yog cov lus tawm tswv yim los ntawm tus neeg siv, uas yog qhov tseem ceeb ntawm kev ua haujlwm zoo, txij li peb tsim ib yam khoom rau tus neeg siv. Yog tias tus neeg siv tsis nkag siab lossis tsis nyiam ua haujlwm ntawm tus qauv, ces txhua yam yuav raug puas tsuaj.

Yog li ntawd, tus neeg siv yuav tsum muaj peev xwm pov ntawv tawm suab thiab yuav tsum tau muab cov cuab yeej rau kev tawm tswv yim. Yog tias peb xav tias tsab ntawv hais txog nyiaj txiag tau tuaj txog hauv lub thawv ntawv, peb yuav tsum kos nws "nyiaj txiag" thiab kos lub pob uas tus neeg siv tuaj yeem nyem thiab hais tias qhov no tsis yog nyiaj txiag.

Cov lus pom zoo

Cia peb tham txog qhov zoo ntawm cov neeg siv lus tawm tswv yim. Ua ntej, koj thiab cov neeg siv tuaj yeem muab cov ntsiab lus sib txawv rau hauv ib lub tswv yim. Piv txwv li, koj thiab koj tus thawj tswj hwm cov khoom xav tias "nyiaj txiag" txhais tau tias cov ntawv los ntawm lub txhab nyiaj, thiab cov neeg siv xav tias tsab ntawv los ntawm pog yawg hais txog nws cov nyiaj laus kuj hais txog nyiaj txiag. Qhov thib ob, muaj cov neeg siv uas tsis nco qab nyiam nias khawm yam tsis muaj kev xav. Thirdly, tus neeg siv yuav ua yuam kev loj hauv nws cov lus xaus. Ib qho piv txwv zoo los ntawm peb qhov kev coj ua yog kev ua raws li kev cais tawm Nigerian spam, ib hom kev lom zem heev ntawm spam uas tus neeg siv tau thov kom nqa ntau lab nyiaj los ntawm ib tus txheeb ze pom nyob deb hauv Africa. Tom qab siv qhov kev faib tawm no, peb tau kuaj xyuas "Tsis yog Spam" nyem rau ntawm cov emails no, thiab nws tau pom tias 80% ntawm lawv yog cov kua dej Nigerian spam, uas qhia tias cov neeg siv tuaj yeem ua tsis ncaj ncees.

Thiab cia peb tsis txhob hnov ​​​​qab tias cov nyees khawm tuaj yeem nyem tsis yog los ntawm tib neeg, tab sis kuj los ntawm txhua hom bots uas ua txuj ua tus browser. Yog li cov lus qhia nyoos tsis zoo rau kev kawm. Koj tuaj yeem ua dab tsi nrog cov ntaub ntawv no?

Peb siv ob txoj kev:

• Cov lus teb los ntawm txuas ML. Piv txwv li, peb muaj online anti-bot system, uas, raws li kuv tau hais, ua kev txiav txim siab sai raws li cov cim qhia tsawg. Thiab muaj qhov thib ob, qeeb system uas ua haujlwm tom qab qhov tseeb. Nws muaj ntau cov ntaub ntawv hais txog tus neeg siv, nws tus cwj pwm, thiab lwm yam. Yog li ntawd, qhov kev txiav txim siab tshaj plaws yog ua tiav; raws li, nws muaj qhov tseeb dua thiab ua tiav. Koj tuaj yeem coj qhov sib txawv ntawm kev ua haujlwm ntawm cov tshuab no mus rau thawj zaug raws li cov ntaub ntawv qhia. Yog li ntawd, ib qho yooj yim system yuav ib txwm sim mus kom ze rau qhov kev ua tau zoo ntawm ib tug complex dua.
• Nyem qhov kev faib tawm. Koj tuaj yeem cais txhua tus neeg siv nyem, ntsuas nws qhov siv tau thiab siv tau. Peb ua qhov no hauv kev xa ntawv antispam, siv tus cwj pwm ntawm tus neeg siv, nws keeb kwm, tus cwj pwm xa khoom, cov ntawv nyeem nws tus kheej thiab cov txiaj ntsig ntawm cov khoom cais. Raws li qhov tshwm sim, peb tau txais qhov tsis siv neeg qhov system uas siv tau cov neeg siv cov lus pom zoo. Thiab txij li thaum nws yuav tsum tau rov ua haujlwm tsawg dua, nws txoj haujlwm tuaj yeem ua lub hauv paus rau tag nrho lwm cov tshuab. Qhov tseem ceeb hauv cov qauv no yog qhov tseeb, vim tias kev cob qhia tus qauv ntawm cov ntaub ntawv tsis raug yog fraught nrog rau qhov tshwm sim.

Thaum peb tab tom ntxuav cov ntaub ntawv thiab kev cob qhia ntxiv peb cov tshuab ML, peb yuav tsum tsis txhob hnov ​​​​qab txog cov neeg siv, vim tias rau peb, ntau txhiab, lab tus yuam kev ntawm daim duab yog kev txheeb cais, thiab rau cov neeg siv, txhua kab yog qhov xwm txheej. Ntxiv rau qhov tseeb tias tus neeg siv yuav tsum nyob nrog koj qhov kev ua yuam kev hauv cov khoom, tom qab tau txais cov lus pom zoo, nws cia siab tias qhov xwm txheej zoo sib xws yuav raug tshem tawm yav tom ntej. Yog li ntawd, nws yog ib txwm tsim nyog muab cov neeg siv tsis tsuas yog lub sijhawm los pov npav, tab sis kuj kho tus cwj pwm ntawm ML systems, tsim, piv txwv li, tus kheej heuristics rau txhua qhov kev tawm tswv yim nyem; nyob rau hauv cov ntaub ntawv ntawm kev xa ntawv, qhov no tuaj yeem yog lub peev xwm lim. cov ntawv no los ntawm tus xa thiab lub npe rau tus neeg siv no.

Koj kuj yuav tsum tau tsim ib qho qauv raws li qee cov lus ceeb toom lossis kev thov kom txhawb nqa hauv ib hom semi-automatic lossis phau ntawv qhia kom lwm tus neeg siv tsis raug kev txom nyem los ntawm cov teeb meem zoo sib xws.

Heuristics rau kev kawm

Muaj ob qhov teeb meem nrog cov heuristics thiab crutches. Qhov thib ib yog tias cov crutches ntau zuj zus yog qhov nyuaj rau kev tswj hwm, cia nyob ib leeg lawv cov kev ua tau zoo thiab kev ua haujlwm ntev ntev. Qhov teeb meem thib ob yog tias qhov yuam kev yuav tsis nquag, thiab ob peb clicks ntxiv rau kev cob qhia tus qauv yuav tsis txaus. Nws yuav zoo li tias ob qhov kev cuam tshuam tsis sib xws tuaj yeem ua rau muaj kev cuam tshuam loj heev yog tias siv txoj hauv kev hauv qab no.

1. Peb tsim ib lub ru tsev ib ntus.
2. Peb xa cov ntaub ntawv los ntawm nws mus rau tus qauv, nws tsis tu ncua hloov kho nws tus kheej, suav nrog ntawm cov ntaub ntawv tau txais. Ntawm no, tau kawg, nws yog ib qho tseem ceeb uas cov heuristics muaj qhov raug siab kom tsis txhob txo qhov zoo ntawm cov ntaub ntawv hauv cov txheej txheem kev cob qhia.
3. Tom qab ntawd peb tau teeb tsa kev saib xyuas kom ua rau lub cev muaj zog, thiab yog tias tom qab qee lub sijhawm lub cuab yeej tsis ua haujlwm thiab raug them tag nrho los ntawm tus qauv, ces koj tuaj yeem tshem nws yam xyuam xim. Tam sim no qhov teeb meem no tsis zoo li yuav tshwm sim dua.

Yog li ib pab tub rog ntawm crutches yog qhov tseem ceeb heev. Qhov tseem ceeb tshaj plaws yog tias lawv cov kev pabcuam yog ceev thiab tsis tas mus li.

Kev cob qhia ntxiv

Retraining yog txheej txheem ntawm kev ntxiv cov ntaub ntawv tshiab uas tau txais los ntawm kev tawm tswv yim los ntawm cov neeg siv lossis lwm lub tshuab, thiab kev cob qhia tus qauv uas twb muaj lawm ntawm nws. Tej zaum yuav muaj ntau yam teeb meem nrog kev cob qhia ntxiv:

1. Tus qauv yuav tsuas tsis txhawb nqa kev cob qhia ntxiv, tab sis tsuas yog kawm los ntawm kos.
2. Tsis muaj leej twg nyob hauv phau ntawv xwm txheej tau sau tseg tias kev cob qhia ntxiv yuav txhim kho kev ua haujlwm zoo hauv kev tsim khoom. Feem ntau qhov opposite tshwm sim, uas yog, tsuas yog deterioration yog ua tau.
3. Kev hloov pauv tuaj yeem ua tsis tau. Qhov no yog lub ntsiab lus me me uas peb tau txheeb xyuas rau peb tus kheej. Txawm hais tias tus qauv tshiab hauv kev xeem A / B qhia tau zoo sib xws piv rau tam sim no, qhov no tsis txhais tau tias nws yuav ua haujlwm zoo ib yam. Lawv txoj haujlwm yuav txawv ntawm ib feem pua, uas tuaj yeem ua rau qhov yuam kev tshiab lossis rov qab cov qub qub uas twb tau kho lawm. Ob peb thiab cov neeg siv twb paub yuav ua li cas ua neej nyob nrog qhov tsis raug tam sim no, thiab thaum muaj ntau qhov kev ua yuam kev tshiab tshwm sim, tus neeg siv kuj yuav tsis nkag siab qhov tshwm sim, vim nws xav tias yuav kwv yees tus cwj pwm.

Yog li ntawd, qhov tseem ceeb tshaj plaws hauv kev cob qhia ntxiv yog los xyuas kom meej tias tus qauv raug txhim kho, lossis tsawg kawg tsis ua phem.

Thawj qhov uas los rau hauv siab thaum peb tham txog kev cob qhia ntxiv yog Txoj Kev Kawm Ua Haujlwm. Qhov no txhais li cas? Piv txwv li, tus txheej txheem txiav txim siab seb email puas cuam tshuam txog nyiaj txiag, thiab nyob ib puag ncig nws txoj kev txiav txim siab peb ntxiv ib qho piv txwv ntawm cov ntawv sau ua piv txwv. Qhov no ua haujlwm zoo, piv txwv li, hauv kev tshaj tawm, qhov twg muaj kev tawm tswv yim ntau thiab koj tuaj yeem cob qhia tus qauv hauv online. Thiab yog tias muaj kev tawm tswv yim me ntsis, ces peb tau txais cov qauv kev coj ncaj ncees uas cuam tshuam rau cov ntaub ntawv tsim tawm, raws li qhov nws tsis tuaj yeem ntsuas tus cwj pwm ntawm tus qauv thaum lub sijhawm ua haujlwm.

Qhov tseeb, peb lub hom phiaj yog khaws cov qauv qub, cov qauv uas twb paub lawm, thiab tau txais cov tshiab. Kev txuas ntxiv tseem ceeb ntawm no. Tus qauv, uas peb feem ntau siv qhov mob hnyav los yob tawm, twb ua haujlwm, yog li peb tuaj yeem tsom mus rau nws qhov kev ua tau zoo.

Cov qauv sib txawv yog siv hauv kev xa ntawv: ntoo, linear, neural networks. Rau txhua tus peb ua peb tus kheej ntxiv kev cob qhia algorithm. Nyob rau hauv tus txheej txheem ntawm kev cob qhia ntxiv, peb tau txais tsis tau tsuas yog cov ntaub ntawv tshiab, tab sis kuj feem ntau tshiab nta, uas peb yuav coj mus rau hauv tus account nyob rau hauv tag nrho cov algorithms hauv qab no.

Cov qauv linear

Cia peb hais tias peb muaj logistic regression. Peb tsim cov qauv poob los ntawm cov khoom hauv qab no:

• LogLoss ntawm cov ntaub ntawv tshiab;
• peb ua raws li qhov hnyav ntawm cov yam ntxwv tshiab (peb tsis kov cov qub);
• peb kuj kawm los ntawm cov ntaub ntawv qub kom khaws cov qauv qub;
• thiab, tej zaum, qhov tseem ceeb tshaj plaws: peb ntxiv Harmonic Regularization, uas lav tias qhov hnyav yuav tsis hloov ntau npaum li cas rau cov qauv qub raws li cov qauv.

Txij li txhua qhov Loss tivthaiv muaj cov coefficients, peb tuaj yeem xaiv qhov zoo tshaj plaws rau peb txoj haujlwm los ntawm kev hla kev lees paub lossis raws li cov khoom xav tau.

Cov ntoo

Cia wb mus txiav txim ntoo. Peb tau sau cov algorithm hauv qab no rau kev cob qhia ntxiv ntawm cov ntoo:

1. Cov khoom lag luam khiav hav zoov ntawm 100-300 tsob ntoo, uas tau kawm ntawm cov ntaub ntawv qub.
2. Thaum kawg peb tshem tawm M = 5 daim thiab ntxiv 2M = 10 tus tshiab, kawm ntawm tag nrho cov ntaub ntawv teev, tab sis nrog ib tug hnyav hnyav rau cov ntaub ntawv tshiab, uas ib txwm guarantees ib tug incremental hloov nyob rau hauv tus qauv.

Pom tseeb, dhau sij hawm, cov ntoo nce ntau heev, thiab lawv yuav tsum tau txo qis ib ntus thiaj li ua tau raws li lub sijhawm. Txhawm rau ua qhov no, peb siv tam sim no ubiquitous Knowledge Distillation (KD). Luv luv txog lub hauv paus ntsiab lus ntawm nws txoj haujlwm.

1. Peb muaj cov qauv "complex" tam sim no. Peb khiav nws ntawm qhov kev cob qhia cov ntaub ntawv teeb tsa thiab tau txais cov chav kawm muaj peev xwm faib tawm ntawm cov zis.
2. Tom ntej no, peb cob qhia cov tub ntxhais kawm qauv (tus qauv nrog cov ntoo tsawg dua hauv qhov no) kom rov ua tus qauv cov txiaj ntsig uas siv cov chav faib khoom raws li lub hom phiaj sib txawv.
3. Nws yog ib qho tseem ceeb uas yuav tsum nco ntsoov ntawm no tias peb tsis siv cov ntaub ntawv teeb tsa hauv txhua txoj kev, thiab yog li peb tuaj yeem siv cov ntaub ntawv arbitrary. Tau kawg, peb siv cov qauv ntaub ntawv los ntawm kev sib ntaus sib tua ua qauv qhia rau cov tub ntxhais kawm qauv. Yog li, cov txheej txheem kev cob qhia tso cai rau peb los xyuas kom meej qhov tseeb ntawm cov qauv, thiab cov qauv kwj tau lees tias qhov kev ua tau zoo sib xws ntawm kev faib khoom, them nyiaj rau qhov tsis ncaj ncees ntawm cov txheej txheem kev cob qhia.

Kev sib xyaw ua ke ntawm ob txoj kev no (ntxiv ntoo thiab ncua sij hawm txo lawv tus lej siv Kev Paub Txog Distillation) ua kom muaj kev qhia txog cov qauv tshiab thiab ua tiav txuas ntxiv.

Nrog kev pab los ntawm KD, peb kuj ua haujlwm sib txawv ntawm cov qauv nta, xws li tshem tawm cov yam ntxwv thiab ua haujlwm ntawm qhov khoob. Nyob rau hauv peb cov ntaub ntawv, peb muaj ib tug xov tooj ntawm cov ntaub ntawv tseem ceeb nta (los ntawm senders, text hashes, URLs, thiab lwm yam) uas yog khaws cia nyob rau hauv lub database, uas yuav ua tsis tau tejyam. Tus qauv, ntawm chav kawm, tsis tau npaj rau xws li kev txhim kho ntawm cov xwm txheej, txij li cov xwm txheej tsis ua haujlwm tsis tshwm sim hauv cov txheej txheem kev cob qhia. Nyob rau hauv tas li ntawd, peb muab KD thiab augmentation cov tswv yim: thaum kev cob qhia rau ib feem ntawm cov ntaub ntawv, peb tshem tawm los yog rov pib dua cov yam ntxwv tsim nyog, thiab peb muab cov thawj daim ntawv lo (tso tawm ntawm tus qauv tam sim no), thiab cov tub ntxhais kawm qauv kawm rov ua qhov kev faib tawm no. .

Peb pom tias qhov kev ua qauv loj dua tshwm sim, qhov ntau dua qhov feem pua ​​​​ntawm cov qauv xov xav tau.

Kev tshem tawm cov yam ntxwv, kev ua haujlwm yooj yim tshaj plaws, tsuas yog yuav tsum muaj ib feem me me ntawm qhov ntws, txij li tsuas yog ob peb yam hloov pauv, thiab cov qauv tam sim no tau kawm ntawm tib lub teeb - qhov sib txawv tsawg heev. Txhawm rau ua kom yooj yim rau tus qauv (txo cov ntoo ntau zaus), 50 txog 50 yog qhov yuav tsum tau ua. tshiab omission-resistant qauv ntawm txhua hom ntawv.

FastText

Wb mus rau FastText. Cia kuv ceeb toom rau koj tias tus sawv cev (Embedding) ntawm ib lo lus muaj cov lej ntawm kev kos ntawm lo lus nws tus kheej thiab tag nrho nws tsab ntawv N-grams, feem ntau yog trigrams. Txij li thaum muaj peev xwm ua tau ntau trigrams, Bucket Hashing yog siv, uas yog, hloov tag nrho qhov chaw mus rau hauv ib qho kev ruaj khov hashmap. Raws li qhov tshwm sim, qhov hnyav matrix tau txais nrog qhov ntev ntawm cov txheej sab hauv ib tus lej ntawm cov lus + thoob.

Nrog kev cob qhia ntxiv, cov cim tshiab tshwm sim: cov lus thiab trigrams. Tsis muaj ib yam dab tsi tseem ceeb tshwm sim hauv kev qhia ua raws li tus qauv ntawm Facebook. Tsuas yog cov luj qub nrog tus ntoo khaub lig-entropy tau rov ua dua ntawm cov ntaub ntawv tshiab. Yog li, cov yam ntxwv tshiab tsis tau siv; tau kawg, txoj hauv kev no muaj tag nrho cov lus piav qhia saum toj no cuam tshuam nrog kev tsis tuaj yeem ntawm cov qauv hauv kev tsim khoom. Yog vim li cas peb hloov FastText me ntsis. Peb ntxiv tag nrho cov luj tshiab (cov lus thiab trigrams), nthuav tag nrho cov matrix nrog cross-entropy thiab ntxiv kev sib haum xeeb tsis tu ncua los ntawm kev sib piv nrog cov qauv linear, uas lav qhov kev hloov tsis tseem ceeb hauv cov luj qub.

CNN

Convolutional networks yog qhov nyuaj me ntsis. Yog tias cov txheej txheem kawg tau ua tiav hauv CNN, ces, ntawm chav kawm, koj tuaj yeem thov kev sib haum xeeb tsis tu ncua thiab lav kev txuas ntxiv. Tab sis yog tias xav tau kev cob qhia ntxiv ntawm tag nrho cov network, ces qhov kev ua kom zoo li no tsis tuaj yeem siv rau txhua txheej. Txawm li cas los xij, muaj kev xaiv los cob qhia cov kev sib txuas ntxiv los ntawm Triplet Loss (thawj tsab ntawv).

Triple Loss

Siv txoj haujlwm tiv thaiv phishing ua piv txwv, cia peb saib Triplet Loss hauv cov ntsiab lus dav dav. Peb coj peb lub logo, nrog rau cov piv txwv zoo thiab tsis zoo ntawm lub logo ntawm lwm lub tuam txhab. Peb txo qhov kev ncua deb ntawm thawj zaug thiab ua kom qhov kev ncua deb ntawm qhov thib ob, peb ua qhov no nrog qhov sib txawv me me kom ntseeg tau tias qhov sib npaug ntawm cov chav kawm ntau dua.

Yog tias peb txuas ntxiv cob qhia lub network, ces peb qhov chaw metric hloov pauv tag nrho, thiab nws yuav tsis sib haum nrog yav dhau los. Qhov no yog ib qho teeb meem loj hauv cov teeb meem uas siv vectors. Yuav kom tau txais ib ncig ntawm qhov teeb meem no, peb yuav sib tov rau hauv cov qub embeddings thaum lub sij hawm kev cob qhia.

Peb tau ntxiv cov ntaub ntawv tshiab rau cov txheej txheem kev cob qhia thiab tab tom kawm cov qauv thib ob ntawm tus qauv los ntawm kos. Nyob rau theem thib ob, peb ntxiv kev cob qhia peb lub network (Finetuning): thawj txheej txheej kawg tau ua tiav, thiab tom qab ntawd tag nrho lub network tsis khov. Nyob rau hauv tus txheej txheem ntawm composing triplets, peb xam tsuas yog ib feem ntawm cov embeddings siv cov kev cob qhia qauv, tus so - siv cov qub. Yog li, nyob rau hauv tus txheej txheem ntawm kev cob qhia ntxiv, peb xyuas kom meej qhov sib xws ntawm metric qhov chaw v1 thiab v2. Ib tug tshwj xeeb version ntawm harmonic normalization.

Tag nrho architecture

Yog tias peb xav txog tag nrho cov kab ke siv antispam ua piv txwv, ces cov qauv tsis raug cais tawm, tab sis nyob hauv ib leeg. Peb muab cov duab, ntawv nyeem thiab lwm yam nta, siv CNN thiab Fast Text peb tau txais embeddings. Tom ntej no, classifiers yog siv rau saum cov embeddings, uas muab cov qhab nia rau ntau chav kawm (hom ntawv, spam, muaj lub logo). Cov cim thiab cov cim qhia tau nkag mus rau hauv hav zoov ntawm cov ntoo kom txiav txim siab zaum kawg. Cov kev faib tawm ntawm tus kheej hauv cov tswv yim no ua rau nws tuaj yeem txhais cov txiaj ntsig ntawm qhov system zoo dua thiab tshwj xeeb tshaj yog khaws cov khoom hauv cov teeb meem, es tsis pub tag nrho cov ntaub ntawv rau hauv kev txiav txim siab ntoo hauv daim ntawv nyoos.

Yog li ntawd, peb lav kev txuas ntxiv ntawm txhua qib. Nyob rau theem hauv qab hauv CNN thiab Fast Text peb siv harmonic li niaj zaus, rau cov classifiers nyob rau hauv nruab nrab peb kuj siv harmonic li niaj zaus thiab tus nqi calibration rau qhov sib xws ntawm qhov yuav tsum tau faib. Zoo, tsob ntoo boosting yog kawm incrementally los yog siv Knowledge Distillation.

Feem ntau, kev tswj xyuas qhov kev kawm tshuab nested feem ntau yog qhov mob, vim tias ib qho kev tivthaiv ntawm qib qis ua rau muaj kev hloov kho rau tag nrho cov kab ke saum toj no. Tab sis txij li thaum peb teeb tsa txhua qhov kev hloov pauv me ntsis thiab sib haum nrog yav dhau los, tag nrho cov txheej txheem tuaj yeem hloov kho tshiab los ntawm ib qho yam tsis tas yuav rov kho tag nrho cov qauv, uas tso cai rau nws los txhawb tsis muaj nyiaj siv ua haujlwm loj.

Muab tso rau

Peb tau tham txog kev sau cov ntaub ntawv thiab kev cob qhia ntxiv ntawm ntau hom qauv, yog li peb tab tom hloov mus rau lawv cov kev xa mus rau hauv ib puag ncig ntau lawm.

Kev xeem A/B

Raws li kuv tau hais ua ntej lawm, nyob rau hauv cov txheej txheem ntawm kev sau cov ntaub ntawv, peb feem ntau tau txais cov qauv tsis ncaj ncees, los ntawm qhov uas nws tsis tuaj yeem ntsuas qhov kev ua tau zoo ntawm cov qauv. Yog li ntawd, thaum xa tawm, tus qauv yuav tsum tau muab piv nrog rau yav dhau los version txhawm rau nkag siab tias yam yuav mus li cas, uas yog, ua qhov kev xeem A / B. Qhov tseeb, cov txheej txheem ntawm dov tawm thiab txheeb xyuas cov kab kos yog qhov niaj hnub thiab tuaj yeem ua tau yooj yim automated. Peb yob tawm peb cov qauv maj mam mus rau 5%, 30%, 50% thiab 100% ntawm cov neeg siv, thaum sau tag nrho cov kev ntsuas muaj nyob rau hauv cov qauv lus teb thiab cov neeg siv tswv yim. Nyob rau hauv cov ntaub ntawv ntawm ib co loj outliers, peb cia li dov rov qab tus qauv, thiab rau lwm yam, tau sau ib tug txaus tus naj npawb ntawm cov neeg siv clicks, peb txiav txim siab mus nce qhov feem pua. Raws li qhov tshwm sim, peb coj tus qauv tshiab rau 50% ntawm cov neeg siv tag nrho, thiab qhov kev nthuav tawm rau tag nrho cov neeg tuaj saib yuav tau txais kev pom zoo los ntawm ib tug neeg, txawm tias cov kauj ruam no tuaj yeem siv tau.

Txawm li cas los xij, cov txheej txheem kuaj A / B muaj chav rau kev ua kom zoo. Qhov tseeb yog tias txhua qhov kev xeem A / B yog qhov ntev heev (hauv peb cov ntaub ntawv nws yuav siv sijhawm li ntawm 6 txog 24 teev nyob ntawm qhov kev tawm tswv yim), uas ua rau nws kim heev thiab tsis muaj peev txheej. Tsis tas li ntawd, qhov feem pua ​​​​ntawm cov dej txaus txaus rau qhov kev xeem yuav tsum tau ua kom lub sijhawm tag nrho ntawm qhov kev xeem A / B (nrhiav ib qho piv txwv tseem ceeb los ntsuas qhov ntsuas ntawm ib feem me me tuaj yeem siv sijhawm ntev), uas ua rau tus naj npawb ntawm A / B qhov txwv tsis pub dhau. Pom tseeb, peb yuav tsum sim tsuas yog cov qauv zoo tshaj plaws, uas peb tau txais ntau heev thaum lub sijhawm kev cob qhia ntxiv.

Txhawm rau daws qhov teeb meem no, peb tau cob qhia ib qho kev cais cais uas kwv yees qhov ua tiav ntawm qhov kev xeem A / B. Txhawm rau ua qhov no, peb muab cov ntaub ntawv txiav txim siab, Precision, Rov qab thiab lwm yam kev ntsuas ntawm cov txheej txheem kev cob qhia, ntawm qhov ncua sij hawm, thiab ntawm cov qauv ntawm cov kwj deg raws li cov yam ntxwv. Peb kuj muab piv cov qauv nrog rau tam sim no nyob rau hauv ntau lawm, nrog heuristics, thiab coj mus rau hauv tus account lub complexity ntawm tus qauv. Siv tag nrho cov yam ntxwv no, tus neeg ua haujlwm tau kawm txog keeb kwm kev xeem ntsuas cov qauv sib tw, hauv peb cov ntaub ntawv no yog hav zoov ntawm cov ntoo, thiab txiav txim siab seb yuav siv qhov twg hauv qhov kev xeem A / B.

Thaum lub sijhawm ua tiav, txoj hauv kev no tau tso cai rau peb nce qhov kev xeem A / B ua tiav ntau zaus.

Kev Ntsuas & Saib Xyuas

Kev ntsuam xyuas thiab kev soj ntsuam, oddly txaus, tsis ua mob rau peb noj qab haus huv; es, ntawm qhov tsis tooj, lawv txhim kho nws thiab txo peb ntawm kev ntxhov siab tsis tsim nyog. Kev ntsuam xyuas tso cai rau koj los tiv thaiv qhov tsis ua haujlwm, thiab kev saib xyuas tso cai rau koj kom pom nws nyob rau lub sijhawm los txo qhov cuam tshuam rau cov neeg siv.

Nws yog ib qho tseem ceeb kom nkag siab ntawm no tias tsis ntev los yog tom qab koj lub cev yuav ua yuam kev - qhov no yog vim lub voj voog kev loj hlob ntawm ib qho software. Thaum pib ntawm txoj kev loj hlob system yeej ib txwm muaj ntau cov kab kom txog thaum txhua yam nyob rau hauv thiab lub ntsiab theem ntawm innovation tiav. Tab sis dhau sij hawm, entropy yuav siv sij hawm nws tus xov tooj, thiab qhov yuam kev tshwm sim dua - vim yog degradation ntawm cov khoom nyob ib ncig ntawm thiab kev hloov pauv ntawm cov ntaub ntawv, uas kuv tau tham txog thaum pib.

Ntawm no kuv xav kom nco ntsoov tias txhua lub tshuab kev kawm yuav tsum tau txiav txim siab los ntawm qhov pom ntawm nws cov txiaj ntsig thoob plaws nws lub neej tag nrho. Daim duab hauv qab no qhia txog qhov piv txwv ntawm qhov system ua haujlwm li cas kom ntes tau hom spam tsawg (kab hauv daim duab zero). Muaj ib hnub, vim yog tus cwj pwm tsis raug cai, nws mus vwm. Raws li hmoov zoo yuav muaj nws, tsis muaj kev saib xyuas rau qhov tshwm sim txawv txav; vim li ntawd, lub kaw lus pib txuag cov ntawv ntau rau hauv "spam" nplaub tshev ntawm thaj tsam txiav txim siab. Txawm hais tias kho qhov tshwm sim, lub kaw lus tau ua yuam kev ntau zaus uas nws yuav tsis them rau nws tus kheej txawm tias hauv tsib xyoos. Thiab qhov no yog qhov ua tsis tiav los ntawm qhov pom ntawm tus qauv lub neej voj voog.

Yog li ntawd, xws li ib qho yooj yim xws li kev saib xyuas tuaj yeem ua qhov tseem ceeb hauv lub neej ntawm tus qauv. Ntxiv nrog rau cov qauv ntsuas thiab pom tseeb, peb xav txog kev faib cov qauv lus teb thiab cov qhab nia, nrog rau kev faib cov txiaj ntsig tseem ceeb. Siv KL divergence, peb tuaj yeem sib piv qhov kev faib tawm tam sim no nrog cov keeb kwm yav dhau los lossis cov txiaj ntsig hauv qhov kev xeem A / B nrog rau cov kwj deg, uas tso cai rau peb pom qhov tsis txaus ntseeg ntawm tus qauv thiab rov qab hloov pauv raws sijhawm.

Feem ntau, peb tso tawm peb thawj cov qauv ntawm cov tshuab siv yooj yim heuristics lossis cov qauv uas peb siv los saib xyuas yav tom ntej. Piv txwv li, peb saib xyuas tus qauv NER hauv kev sib piv nrog cov tsis tu ncua rau cov khw muag khoom online tshwj xeeb, thiab yog tias cov ntaub ntawv pov thawj poob qis hauv kev sib piv nrog lawv, ces peb nkag siab cov laj thawj. Lwm pab tau siv ntawm heuristics!

Cov txiaj ntsim tau los

Cia peb mus hla cov tswv yim tseem ceeb ntawm tsab xov xwm dua.

• Fibdeck. Peb ib txwm xav txog tus neeg siv: yuav ua li cas nws yuav ua neej nyob nrog peb qhov kev ua yuam kev, nws yuav tuaj yeem qhia lawv li cas. Tsis txhob hnov ​​​​qab tias cov neeg siv tsis yog lub hauv paus ntawm kev tawm tswv yim dawb huv rau cov qauv kev cob qhia, thiab nws yuav tsum raug tshem tawm nrog kev pab los ntawm ML systems. Yog tias nws tsis tuaj yeem sau cov teeb liab los ntawm tus neeg siv, ces peb saib rau lwm qhov chaw ntawm kev tawm tswv yim, piv txwv li, cov tshuab txuas nrog.
• Kev cob qhia ntxiv. Qhov tseem ceeb ntawm no yog kev txuas ntxiv, yog li peb cia siab rau cov qauv tsim khoom tam sim no. Peb cob qhia cov qauv tshiab kom lawv tsis txawv ntau ntawm yav dhau los vim muaj kev sib haum xeeb tsis tu ncua thiab kev ua kom zoo sib xws.
• Muab tso rau. Auto-deployment raws li metrics zoo heev txo lub sij hawm rau kev siv cov qauv. Kev soj ntsuam cov txheeb cais thiab kev faib tawm ntawm kev txiav txim siab, tus naj npawb ntawm kev poob los ntawm cov neeg siv yog qhov yuav tsum tau ua rau koj pw tsaug zog zoo thiab ua haujlwm rau hnub so.

Zoo, kuv vam tias qhov no yuav pab koj txhim kho koj cov tshuab ML sai dua, ua rau lawv mus rau kev lag luam sai dua, thiab ua rau lawv txhim khu kev qha thiab tsis tshua muaj kev ntxhov siab.

Tau qhov twg los: www.hab.com