Thaum koj txoj haujlwm yog los tsim ib yam dab tsi zoo nkauj, koj tsis tas yuav tham ntau txog nws, vim tias qhov tshwm sim yog ua ntej txhua tus neeg lub qhov muag. Tab sis yog tias koj tshem cov ntawv sau los ntawm lub laj kab, tsis muaj leej twg yuav pom koj txoj haujlwm ntev npaum li lub laj kab zoo li tsim nyog lossis txog thaum koj tshem tawm qee yam tsis raug.
Txhua qhov kev pabcuam twg koj tuaj yeem tawm lus, tshuaj xyuas, xa lus lossis xa duab sai lossis tom qab ntawd ntsib teeb meem ntawm spam, kev dag ntxias thiab kev qias neeg. Qhov no tsis tuaj yeem zam tau, tab sis nws yuav tsum tau ua nrog.
Kuv lub npe yog Mikhail, Kuv ua haujlwm ntawm pab pawg Antispam, uas tiv thaiv cov neeg siv ntawm Yandex cov kev pabcuam los ntawm cov teeb meem zoo li no. Peb txoj haujlwm tsis tshua pom (thiab qhov ntawd yog qhov zoo!), yog li hnub no kuv yuav qhia koj ntxiv txog nws. Koj mam li kawm thaum kev sib haum xeeb tsis muaj txiaj ntsig thiab vim li cas qhov tseeb tsis yog qhov qhia ntawm nws cov txiaj ntsig. Peb kuj tseem yuav tham txog kev cog lus uas siv cov piv txwv ntawm miv thiab dev thiab vim li cas qee zaum nws thiaj li muaj txiaj ntsig rau "xav li tus neeg cog lus."
Ntau thiab ntau cov kev pabcuam tau tshwm sim hauv Yandex qhov twg cov neeg siv tshaj tawm lawv cov ntsiab lus. Koj tuaj yeem nug ib lo lus nug lossis sau cov lus teb hauv Yandex.Q, sib tham txog xov xwm vaj tsev hauv Yandex.District, qhia cov xwm txheej hauv kev sib tham hauv Yandex.Maps. Tab sis thaum cov kev pab cuam cov neeg tuaj saib loj hlob, nws yuav txaus nyiam rau scammers thiab spammers. Lawv tuaj thiab sau cov lus hais: lawv muab nyiaj yooj yim, tshaj tawm cov kev kho mob txuj ci tseem ceeb thiab cog lus rau kev sib raug zoo. Vim yog spammers, qee cov neeg siv poob nyiaj, thaum lwm tus poob lub siab xav siv sijhawm ntawm qhov kev pabcuam tsis txaus ntseeg overgrown nrog spam.
Thiab qhov no tsis yog qhov teeb meem nkaus xwb. Peb siv zog tsis yog tsuas yog los tiv thaiv cov neeg siv los ntawm scammers, tab sis kuj tsim kom muaj qhov chaw zoo rau kev sib txuas lus. Yog tias tib neeg tau ntsib nrog kev cog lus thiab thuam hauv cov lus, lawv zoo li yuav tawm mus thiab tsis rov qab los. Qhov no txhais tau tias koj kuj yuav tsum muaj peev xwm daws tau qhov no.
Huv Web
Raws li feem ntau cov ntaub ntawv nrog peb, thawj qhov kev txhim kho tau yug los hauv Kev Tshawb Fawb, hauv qhov uas tawm tsam spam hauv kev tshawb nrhiav. Kwv yees li kaum xyoo dhau los, txoj haujlwm ntawm kev lim cov neeg laus cov ntsiab lus rau tsev neeg tshawb nrhiav thiab cov lus nug uas tsis xav tau cov lus teb los ntawm 18+ qeb tau tshwm sim nyob rau ntawd. Qhov no yog li cas thawj phau ntawv txhais lus ntawm porn thiab lus cog lus tau tshwm sim, lawv tau rov qab los ntawm cov kws tshuaj ntsuam. Lub luag haujlwm tseem ceeb yog txhawm rau txheeb xyuas cov lus thov rau hauv qhov uas nws pom zoo los qhia cov neeg laus thiab qhov twg nws tsis yog. Rau txoj hauj lwm no, cov cim tau sau, heuristics tau tsim, thiab cov qauv raug cob qhia. Qhov no yog li cas thawj qhov kev txhim kho rau kev lim cov ntsiab lus tsis xav tau tshwm sim.
Lub sijhawm dhau los, UGC (tus neeg siv cov ntsiab lus tsim tawm) pib tshwm hauv Yandex - cov lus uas tau sau los ntawm cov neeg siv lawv tus kheej, thiab Yandex tsuas yog luam tawm. Rau cov laj thawj tau piav qhia saum toj no, ntau cov lus tsis tuaj yeem luam tawm yam tsis tau saib - yuav tsum muaj kev saib xyuas. Tom qab ntawd lawv tau txiav txim siab los tsim cov kev pabcuam uas yuav muab kev tiv thaiv spam thiab tawm tsam rau txhua yam khoom Yandex UGC thiab siv cov kev tsim kho los lim cov ntsiab lus tsis xav tau hauv Kev Tshawb Fawb. Qhov kev pabcuam hu ua "Clean Web".
Cov hauj lwm tshiab thiab kev pab los ntawm cov neeg thawb
Thaum xub thawj, tsuas yog qhov yooj yim automation ua haujlwm rau peb: cov kev pabcuam xa peb cov ntawv, thiab peb tau khiav cov phau ntawv txhais lus phem, porn dictionaries thiab cov lus qhia tsis tu ncua rau lawv - cov kws tshuaj ntsuam tau sau txhua yam manually. Tab sis dhau sij hawm, cov kev pab cuam tau siv ntau zuj zus ntawm Yandex cov khoom, thiab peb yuav tsum kawm ua haujlwm nrog cov teeb meem tshiab.
Feem ntau, tsis yog kev tshuaj xyuas, cov neeg siv luam tawm cov ntawv tsis muaj ntsiab lus, sim ua kom lawv cov kev ua tiav, qee zaum lawv tshaj tawm lawv lub tuam txhab hauv kev tshuaj xyuas ntawm cov tuam txhab sib tw, thiab qee zaum lawv tsuas cuam tshuam cov koom haum thiab sau hauv kev tshuaj xyuas txog lub khw muag tsiaj: " Nqaij ntses zoo kawg nkaus!” Tej zaum muaj ib hnub kev txawj ntse txawj ntse yuav kawm kom nkag siab lub ntsiab lus ntawm cov ntawv nyeem, tab sis tam sim no automation qee zaum ua phem dua tib neeg.
Nws tau pom tseeb tias peb tsis tuaj yeem ua qhov no yam tsis muaj phau ntawv qhia, thiab peb ntxiv ib theem thib ob rau peb lub voj voog-xa mus rau kev tshuaj xyuas phau ntawv los ntawm ib tus neeg. Cov ntawv luam tawm uas tus cais tsis pom muaj teeb meem tau suav nrog. Koj tuaj yeem xav txog qhov ntsuas ntawm txoj haujlwm no yooj yim, yog li peb tsis tsuas yog tso siab rau cov neeg soj ntsuam, tab sis kuj tau siv qhov zoo ntawm "kev txawj ntse ntawm pawg neeg," uas yog, peb tig mus rau cov neeg sawv cev rau kev pab. Lawv yog cov uas pab peb txheeb xyuas qhov uas lub tshuab tsis tau, thiab yog li qhia nws.
Ntse caching thiab LSH hashing
Lwm qhov teeb meem peb tau ntsib thaum ua haujlwm nrog cov lus pom yog spam, lossis ntau dua, nws qhov ntim thiab nrawm ntawm kev sib kis. Thaum cov neeg tuaj saib Yandex.Region pib loj hlob sai, spammers tuaj rau ntawd. Lawv tau kawm los hla cov lus tsis tu ncua los ntawm kev hloov cov ntawv me ntsis. Spam, tau kawg, tseem pom thiab tshem tawm, tab sis ntawm qhov ntsuas ntawm Yandex, cov lus tsis lees paub tau tshaj tawm txawm tias 5 feeb tuaj yeem pom los ntawm ntau pua tus neeg.
Tau kawg, qhov no tsis haum rau peb, thiab peb tau ua cov ntawv nyeem ntse caching raws li LSH (). Nws ua haujlwm zoo li no: peb normalize cov ntawv nyeem, tshem tawm cov kev sib txuas los ntawm nws thiab txiav nws mus rau n-grams (ib ntu ntawm cov ntawv n). Tom ntej no, cov hashes ntawm n-grams raug xam, thiab LSH vector ntawm cov ntaub ntawv tau tsim los ntawm lawv. Lub ntsiab lus yog tias cov ntawv zoo sib xws, txawm tias lawv tau hloov me ntsis, hloov mus rau cov vectors zoo sib xws.
Qhov kev daws teeb meem no ua rau nws muaj peev xwm rov siv tau cov lus txiav txim ntawm cov cais tawm thiab cov neeg sawv cev rau cov ntawv zoo sib xws. Thaum muaj kev tawm tsam spam, sai li sai tau thaum thawj cov lus dhau los ntawm kev luam theej duab thiab nkag mus rau hauv lub cache nrog qhov kev txiav txim "spam", tag nrho cov lus zoo sib xws, txawm tias hloov kho, tau txais tib qhov kev txiav txim siab thiab raug tshem tawm. Tom qab ntawd, peb tau kawm yuav ua li cas cob qhia thiab cia li rov qhia spam classifiers, tab sis qhov "ntse cache" nyob nrog peb thiab tseem feem ntau pab peb tawm.
Cov ntawv nyeem zoo
Tsis muaj sijhawm los so los ntawm kev sib ntaus sib tua spam, peb pom tau tias 95% ntawm peb cov ntsiab lus tau hloov kho manually: classifiers tsuas yog cuam tshuam rau kev ua txhaum cai, thiab feem ntau ntawm cov ntawv zoo. Peb thauj cov neeg ntxuav uas nyob rau hauv 95 qhov ntawm 100 muab qhov ntsuas "Txhua yam yog OK". Kuv yuav tsum tau ua ib txoj hauj lwm txawv txawv - ua classifiers ntawm cov ntsiab lus zoo, hmoov zoo txaus markup tau sau nyob rau lub sij hawm no.
Tus thawj classifier zoo li no: peb lemmatize cov ntawv nyeem (txo cov lus rau lawv thawj daim ntawv), pov tawm tag nrho cov pab pawg ntawm kev hais lus thiab siv ib tug pre-npaj "dictionary ntawm zoo lemmas". Yog tias tag nrho cov lus hauv cov ntawv nyeem yog "zoo", ces tag nrho cov ntawv nyeem tsis muaj kev ua txhaum cai. Ntawm cov kev pabcuam sib txawv, txoj hauv kev no tau muab tam sim ntawd los ntawm 25 mus rau 35% automation ntawm phau ntawv cim. Tau kawg, txoj hauv kev no tsis yog qhov zoo tshaj plaws: nws yog ib qho yooj yim los ua ke ob peb lo lus dawb huv thiab tau txais cov lus tsis txaus siab, tab sis nws tau tso cai rau peb kom ncav cuag qib zoo ntawm automation thiab muab sijhawm rau peb los cob qhia ntau cov qauv.
Cov ntawv txuas ntxiv ntawm cov ntawv nyeem zoo tau suav nrog cov qauv kab, cov ntoo txiav txim siab, thiab lawv cov kev sib txuas. Txhawm rau cim qhov tsis zoo thiab kev thuam, piv txwv li, peb sim BERT neural network. Nws yog ib qho tseem ceeb kom nkag siab lub ntsiab lus ntawm lo lus hauv cov ntsiab lus thiab kev sib txuas ntawm cov lus los ntawm cov kab lus sib txawv, thiab BERT ua haujlwm zoo ntawm qhov no. (Los ntawm txoj kev, tsis ntev los no cov npoj yaig los ntawm Xov Xwm , siv tshuab li cas rau kev ua haujlwm tsis zoo - nrhiav qhov yuam kev hauv headers.) Raws li qhov tshwm sim, nws muaj peev xwm ua kom muaj zog mus txog 90% ntawm qhov ntws, nyob ntawm qhov kev pabcuam.
Qhov tseeb, tiav thiab ceev
Txhawm rau txhim kho, koj yuav tsum nkag siab tias cov txiaj ntsig zoo li cas qee qhov kev faib tawm tsis siv neeg nqa, kev hloov pauv hauv lawv, thiab seb qhov zoo ntawm phau ntawv txheeb xyuas puas yog degrading. Yuav kom ua tau li no, peb siv precision thiab rov qab metrics.
Qhov tseeb yog qhov kev faib ua feem ntawm cov lus txiav txim kom raug ntawm txhua qhov kev txiav txim siab txog cov ntsiab lus tsis zoo. Qhov tseeb dua, qhov tsis tseeb tsawg dua. Yog tias koj tsis xyuam xim rau qhov tseeb, tom qab ntawd hauv txoj kev xav koj tuaj yeem tshem tawm tag nrho cov spam thiab kev qias neeg, thiab nrog rau lawv ib nrab ntawm cov lus zoo. Ntawm qhov tod tes, yog tias koj tsuas yog tso siab rau qhov tseeb, ces qhov zoo tshaj plaws thev naus laus zis yuav yog qhov tsis ntes leej twg. Yog li ntawd, tseem muaj qhov taw qhia ntawm kev ua tiav: qhov sib faib ntawm cov ntsiab lus tsis zoo ntawm tag nrho cov ntsiab lus tsis zoo. Ob qhov kev ntsuas no sib npaug sib npaug.
Txhawm rau ntsuas, peb ua piv txwv tag nrho cov kwj tuaj rau txhua qhov kev pabcuam thiab muab cov ntsiab lus piv txwv rau cov neeg soj ntsuam rau kev soj ntsuam cov kws tshaj lij thiab sib piv nrog cov kev daws teeb meem.
Tab sis muaj lwm qhov taw qhia tseem ceeb.
Kuv tau sau saum toj no tias cov lus tsis txaus ntseeg tuaj yeem pom los ntawm ntau pua tus neeg txawm tias hauv 5 feeb. Yog li peb suav pes tsawg zaus peb tau qhia tib neeg cov ntsiab lus tsis zoo ua ntej peb zais nws. Qhov no yog qhov tseem ceeb vim tias nws tsis txaus los ua haujlwm zoo - koj kuj yuav tsum tau ua haujlwm sai. Thiab thaum peb txhim kho kev tiv thaiv kev cog lus, peb xav tias nws mus txog qhov kawg.
Antimatism siv cov piv txwv ntawm miv thiab dev
Ib tug me me lyrical digression. Qee tus yuav hais tias kev qias neeg thiab kev thuam tsis yog qhov txaus ntshai raws li kev sib txuas tsis zoo, thiab tsis yog kev ntxhov siab li spam. Tab sis peb siv zog ua kom muaj kev nyab xeeb rau kev sib txuas lus rau ntau lab tus neeg siv, thiab tib neeg tsis nyiam rov qab mus rau qhov chaw uas lawv raug thuam. Nws tsis yog rau tsis muaj dab tsi uas txwv tsis pub cog lus thiab kev thuam raug sau tseg hauv cov cai ntawm ntau lub zej zog, suav nrog hauv Habré. Tab sis peb digress.
Swearing dictionaries tsis tuaj yeem tiv nrog tag nrho cov nplua nuj ntawm Lavxias teb sab lus. Txawm tias muaj tseeb hais tias tsuas muaj plaub lub ntsiab lus cog lus, los ntawm lawv koj tuaj yeem tsim tau ntau tus lej ntawm cov lus uas tsis tuaj yeem ntes tau los ntawm txhua lub cav tsis tu ncua. Tsis tas li ntawd, koj tuaj yeem sau ib feem ntawm cov lus hauv kev txhais lus, hloov cov ntawv nrog cov kev sib txuas zoo sib xws, rov kho cov ntawv, ntxiv cov hnub qub, thiab lwm yam. Qee zaum, tsis muaj cov ntsiab lus, nws tsis yooj yim sua kom txiav txim siab tias tus neeg siv txhais lo lus cog lus. Peb hwm Habr txoj cai, yog li peb yuav ua kom pom qhov no tsis yog nrog cov qauv nyob, tab sis nrog miv thiab dev.
"Txoj Cai," tus miv hais. Tab sis peb nkag siab tias tus miv hais ib lo lus txawv ...
Peb pib xav txog "fuzzy matching" algorithms rau peb phau ntawv txhais lus thiab hais txog kev ua ntej smarter: peb muab kev txhais lus, nplaum qhov chaw thiab cov ntawv sau ua ke, nrhiav cov qauv thiab sau cov kab lus sib txawv rau lawv. Txoj kev no coj cov txiaj ntsig, tab sis feem ntau txo qhov raug thiab tsis muab qhov xav tau ua tiav.
Tom qab ntawd peb txiav txim siab "xav li cov lus cog tseg." Peb pib qhia cov suab nrov rau hauv cov ntaub ntawv peb tus kheej: peb rov kho cov ntawv, tsim cov ntawv sau, hloov cov ntawv nrog cov ntawv sau zoo sib xws, thiab lwm yam. Thawj qhov cim rau qhov no tau coj los ntawm kev siv cov phau ntawv txhais lus rau cov ntaub ntawv loj ntawm cov ntawv. Yog tias koj coj ib kab lus thiab twist nws ntau txoj hauv kev, koj yuav xaus nrog ntau kab lus. Txoj kev no koj tuaj yeem nce tus qauv kev cob qhia kaum tawm zaus. Txhua yam uas tseem tshuav yog kev cob qhia ntawm lub pas dej ua ke ib co ntau dua lossis tsawg tus qauv ntse uas coj mus rau hauv tus account lub ntsiab lus.
Nws yog ntxov dhau los tham txog qhov kev txiav txim zaum kawg. Peb tseem tab tom sim nrog txoj hauv kev rau qhov teeb meem no, tab sis peb tuaj yeem pom tau tias qhov yooj yim lub cim convolutional network ntawm ob peb txheej ua tau zoo tshaj cov ntawv txhais lus thiab cov cav tsis tu ncua: nws muaj peev xwm ua kom muaj tseeb thiab rov qab.
Tau kawg, peb nkag siab tias yuav muaj txoj hauv kev los hla txawm tias qhov kev ua haujlwm siab tshaj plaws, tshwj xeeb tshaj yog thaum muaj teeb meem txaus ntshai: sau rau hauv txoj kev uas lub tshuab ruam yuav tsis nkag siab. Ntawm no, zoo li hauv kev tawm tsam spam, peb lub hom phiaj tsis yog txhawm rau tshem tawm qhov muaj peev xwm ntawm kev sau qee yam qias neeg; peb txoj haujlwm yog kom paub tseeb tias qhov kev ua si tsis tsim nyog rau lub tswm ciab.
Qhib lub sijhawm los qhia koj cov kev xav, sib txuas lus thiab tawm tswv yim tsis yog qhov nyuaj. Nws yog qhov nyuaj dua kom ua tiav kev nyab xeeb, xis nyob thiab kev saib xyuas ntawm tib neeg. Thiab tsis muaj qhov no yuav tsis muaj kev txhim kho ntawm ib lub zej zog.
Tau qhov twg los: www.hab.com