Txhua qhov kev pabcuam uas cov neeg siv tuaj yeem tsim lawv tus kheej cov ntsiab lus (UGC - Cov neeg siv tsim cov ntsiab lus) raug yuam tsis yog los daws cov teeb meem kev lag luam xwb, tab sis kuj tseem yuav muab cov khoom hauv UGC. Cov ntsiab lus tsis zoo lossis cov ntsiab lus tsis zoo tuaj yeem txo qhov kev nyiam ntawm kev pabcuam rau cov neeg siv, txawm tias xaus nws txoj haujlwm.
Niaj hnub no peb yuav qhia koj txog kev sib koom ua ke ntawm Yula thiab Odnoklassniki, uas pab peb kom muaj txiaj ntsig kev tshaj tawm hauv Yula.
Kev sib koom ua ke feem ntau yog ib qho tseem ceeb heev, thiab nyob rau hauv lub ntiaj teb niaj hnub no, thaum technologies thiab cov qauv hloov pauv sai heev, nws tuaj yeem hloov mus ua tus cawm seej. Vim li cas nkim cov peev txheej tsawg thiab sij hawm tsim ib yam dab tsi uas twb tau tsim thiab coj los rau hauv siab ua ntej koj?
Peb xav tib yam thaum peb tau ntsib nrog tag nrho cov hauj lwm ntawm moderating cov neeg siv cov ntsiab lus - duab, ntawv nyeem thiab txuas. Peb cov neeg siv upload tsheej lab ntawm cov ntsiab lus rau Yula txhua hnub, thiab tsis muaj kev ua haujlwm tsis siv neeg nws yog tsis yooj yim sua kom nruab nrab tag nrho cov ntaub ntawv no manually.
Yog li ntawd, peb tau siv qhov kev npaj ua kom sib haum xeeb, uas los ntawm lub sijhawm ntawd peb cov npoj yaig los ntawm Odnoklassniki tau ua tiav rau lub xeev ntawm "yuav luag zoo tag nrho."
Vim li cas Odnoklassniki?
Txhua hnub, kaum tawm lab tus neeg siv tuaj rau hauv social network thiab tshaj tawm ntau lab ntawm cov ntsiab lus: los ntawm cov duab mus rau cov yeeb yaj kiab thiab cov ntawv. Odnoklassniki moderation platform pab tshawb xyuas cov ntaub ntawv loj heev thiab tawm tsam spammers thiab bots.
Pab pawg OK moderation tau sau ntau yam kev paub, txij li nws tau txhim kho nws cov cuab yeej rau 12 xyoo. Nws yog ib qho tseem ceeb uas lawv tuaj yeem tsis tsuas yog qhia lawv cov kev daws teeb meem npaj txhij, tab sis kuj kho cov qauv tsim ntawm lawv lub platform kom haum rau peb cov haujlwm tshwj xeeb.
Txij no mus, rau brevity, peb tsuas yog hu rau OK moderation platform "platform."
Yuav ua li cas txhua yam ua haujlwm
Cov ntaub ntawv sib pauv ntawm Yula thiab Odnoklassniki yog tsim los ntawm .
Vim li cas peb xaiv cov cuab yeej no:
- Nyob rau hauv Yula, tag nrho cov kev tshaj tawm yog post-moderated, yog li thawj zaug ib synchronous teb tsis tas yuav tsum tau.
- Yog tias kab lus tsis zoo tshwm sim thiab Yula lossis Odnoklassniki tsis muaj, suav nrog vim qee qhov siab tshaj plaws, cov ntaub ntawv los ntawm Kafka yuav tsis ploj mus qhov twg thiab tuaj yeem nyeem tom qab.
- Lub platform twb tau koom nrog Kafka, yog li feem ntau cov teeb meem kev nyab xeeb tau raug daws.
Rau txhua qhov kev tshaj tawm tsim lossis hloov kho los ntawm cov neeg siv hauv Yula, JSON nrog cov ntaub ntawv raug tsim tawm, uas tau muab tso rau hauv Kafka rau kev hloov kho tom ntej. Los ntawm Kafka, cov ntawv tshaj tawm raug thauj mus rau hauv lub platform, qhov twg lawv raug txiav txim siab los yog manually. Kev tshaj tawm tsis zoo raug thaiv nrog lub laj thawj, thiab cov uas lub platform tsis pom kev ua txhaum cai raug cim tias "zoo." Tom qab ntawd tag nrho cov kev txiav txim siab raug xa rov qab mus rau Yula thiab thov hauv kev pabcuam.
Thaum kawg, rau Yula nws tag nrho los rau qhov yooj yim ua: xa ib qho kev tshaj tawm mus rau Odnoklassniki platform thiab tau rov qab qhov kev daws teeb meem "ok", lossis yog vim li cas tsis "ok".
Tsis siv neeg ua
Yuav ua li cas rau ad tom qab nws hits lub platform? Txhua qhov kev tshaj tawm tau muab faib ua ntau qhov chaw:
- Lub npe,
- piav qhia,
- duab,
- cov neeg siv xaiv qeb thiab subcategory ntawm kev tshaj tawm,
- nqe
Lub platform tom qab ntawd ua pawg rau txhua qhov chaw los nrhiav cov duplicates. Ntxiv mus, cov ntawv nyeem thiab cov duab yog pawg raws li cov txheej txheem sib txawv.
Ua ntej sib sau ua ke, cov ntawv yog normalized kom tshem tawm cov cim tshwj xeeb, hloov cov ntawv thiab lwm yam khib nyiab. Cov ntaub ntawv tau txais tau muab faib ua N-grams, txhua qhov yog hashed. Qhov tshwm sim yog ntau cim hashes. Qhov zoo sib xws ntawm cov ntawv yog txiav txim los ntawm nruab nrab ntawm ob qhov tshwm sim. Yog hais tias qhov zoo sib xws yog ntau tshaj qhov pib, ces cov ntawv sau tau muab tso rau hauv ib pawg. Txhawm rau txhawm rau txhawm rau tshawb nrhiav cov pawg zoo sib xws, MinHash thiab Locality-sensitive hashing yog siv.
Ntau yam kev xaiv rau gluing dluab tau tsim rau cov duab, los ntawm kev sib piv cov duab pHash mus rau kev tshawb nrhiav duplicates siv lub neural network.
Txoj kev kawg yog qhov "mob hnyav" tshaj plaws. Txhawm rau cob qhia tus qauv, cov duab peb sab (N, A, P) raug xaiv nyob rau hauv uas N tsis zoo ib yam li A, thiab P yog zoo ib yam li A (yog ib nrab duplicate). Tom qab ntawd lub neural network tau kawm kom A thiab P ze li sai tau, thiab A thiab N kom deb li deb tau. Qhov no ua rau muaj qhov tsis zoo tsawg dua piv rau tsuas yog siv cov embeddings los ntawm lub network uas tau kawm ua ntej.
Thaum lub neural network tau txais cov duab raws li cov tswv yim, nws tsim N(128)-dimensional vector rau lawv txhua tus thiab thov kom ntsuas qhov sib thooj ntawm cov duab. Tom ntej no, ib tug pib yog xam nyob rau hauv uas kaw dluab yog suav tias yog duplicates.
Tus qauv muaj peev xwm txawj nrhiav spammers uas tshwj xeeb tshaj tawm cov khoom tib yam los ntawm ntau lub ces kaum txhawm rau hla kev sib piv pHash.
Ib qho piv txwv ntawm spam duab glued ua ke los ntawm neural network li duplicates.
Nyob rau theem kawg, kev tshaj tawm duplicate yog tshawb nrhiav ib txhij los ntawm cov ntawv nyeem thiab duab.
Yog tias ob lossis ntau qhov kev tshaj tawm tau daig ua ke hauv ib pawg, lub kaw lus pib tsis siv neeg thaiv, uas, siv qee qhov algorithms, xaiv qhov twg duplicates rho tawm thiab tawm qhov twg. Piv txwv li, yog tias ob tus neeg siv muaj tib cov duab hauv ib qho kev tshaj tawm, lub kaw lus yuav thaiv qhov tshaj tawm tsis ntev los no.
Thaum tsim, tag nrho pawg mus dhau ntawm cov lim tsis siv neeg. Txhua lub lim muab cov qhab nia rau pawg: yuav ua li cas nws yog tias nws muaj qhov kev hem thawj uas cov lim no txheeb xyuas.
Piv txwv li, lub kaw lus txheeb xyuas cov lus piav qhia hauv kev tshaj tawm thiab xaiv cov pawg muaj peev xwm rau nws. Tom qab ntawd nws yuav siv ib qho nrog qhov ua tau siab tshaj plaws thiab muab piv nrog cov qeb teev tseg los ntawm tus kws sau ntawv tshaj tawm. Yog tias lawv tsis sib xws, kev tshaj tawm raug thaiv rau pawg tsis raug. Thiab txij li thaum peb ua siab zoo thiab ncaj ncees, peb qhia ncaj qha rau cov neeg siv cov qeb uas nws xav tau xaiv txhawm rau txhawm rau tshaj tawm kom dhau qhov kev sib tw.
Kev ceeb toom ntawm kev thaiv rau cov qeb tsis raug.
Kev kawm tshuab xav zoo nyob hauv tsev hauv peb lub platform. Piv txwv li, nrog nws pab peb tshawb nrhiav hauv cov npe thiab cov lus piav qhia ntawm cov khoom txwv tsis pub hauv Lavxias Federation. Thiab cov qauv neural network ua tib zoo "saib" cov duab kom pom tias lawv muaj URLs, spam ntawv, xov tooj, thiab tib yam " txwv tsis pub" cov ntaub ntawv.
Rau cov xwm txheej uas lawv tab tom sim muag cov khoom txwv tsis pub zais ua ib yam dab tsi raug cai, thiab tsis muaj cov ntawv sau npe lossis cov lus piav qhia, peb siv cov duab kos. Rau txhua daim duab, txog li 11 txhiab lub cim sib txawv tuaj yeem muab ntxiv uas piav qhia txog dab tsi hauv daim duab.
Lawv tab tom sim muag cov hookah los ntawm kev zais nws li samovar.
Nyob rau hauv parallel nrog complex lim, yooj yim sawv daws yuav ua hauj lwm, daws teeb meem pom tseeb hais txog cov ntawv nyeem:
- antimat;
- URL thiab tus lej xov tooj ntes;
- hais txog instant messengers thiab lwm yam kev sib cuag;
- tus nqi txo;
- advertisements uas tsis muaj dab tsi yog muag, thiab lwm yam.
Niaj hnub no, txhua qhov kev tshaj tawm mus dhau los ntawm kev nplua zoo ntawm ntau dua 50 lub tshuab lim tsis siv neeg uas sim nrhiav qee yam tsis zoo hauv kev tshaj tawm.
Yog tias tsis muaj ib qho ntawm cov cuab yeej ntes tau ua haujlwm, ces cov lus teb raug xa mus rau Yula tias qhov kev tshaj tawm yog "feem ntau" hauv kev txiav txim zoo. Peb siv cov lus teb no rau peb tus kheej, thiab cov neeg siv uas tau sau npe rau tus muag khoom tau txais kev ceeb toom txog qhov muaj cov khoom tshiab.
Kev ceeb toom tias tus neeg muag khoom muaj cov khoom tshiab.
Raws li qhov tshwm sim, txhua qhov kev tshaj tawm yog "overgrown" nrog cov metadata, qee qhov yog tsim thaum tsim tawm (tus sau tus IP chaw nyob, tus neeg siv-tus neeg sawv cev, platform, geolocation, thiab lwm yam), thiab tus so yog cov qhab nia los ntawm txhua lub lim. .
Tshaj tawm queues
Thaum ib qho ad hits lub platform, lub kaw lus muab tso rau hauv ib qho ntawm cov kab. Txhua kab yog tsim los ntawm kev siv cov lej lej uas sib txuas cov npe metadata hauv txoj hauv kev uas kuaj pom cov qauv tsis zoo.
Piv txwv li, koj tuaj yeem tsim ib kab ntawm kev tshaj tawm hauv qeb "Xov tooj ntawm tes" los ntawm cov neeg siv Yula supposedly los ntawm St. Petersburg, tab sis lawv tus IP chaw nyob yog los ntawm Moscow lossis lwm lub nroog.
Ib qho piv txwv ntawm kev tshaj tawm los ntawm ib tus neeg siv hauv ntau lub nroog.
Lossis koj tuaj yeem tsim cov kab raws li cov qhab nia uas lub neural network muab rau kev tshaj tawm, npaj lawv los ntawm kev nqis tes ua.
Txhua kab, raws li nws tus kheej cov qauv, muab cov qhab nia kawg rau kev tshaj tawm. Tom qab ntawd koj tuaj yeem mus rau ntau txoj hauv kev:
- qhia txog qhov pib ntawm qhov kev tshaj tawm yuav tau txais qee yam kev thaiv;
- xa tag nrho cov kev tshaj tawm hauv kab rau cov neeg saib xyuas rau kev tshuaj xyuas phau ntawv;
- los yog muab cov kev xaiv yav dhau los: qhia qhov tsis siv neeg thaiv qhov pib thiab xa mus rau cov neeg saib xyuas cov kev tshaj tawm uas tsis tau mus txog qhov pib.
Vim li cas cov kab no xav tau? Cia peb hais tias tus neeg siv tau muab ib daim duab ntawm rab phom. Lub neural network muab nws qhov qhab nia ntawm 95 txog 100 thiab txiav txim siab nrog 99 feem pua ββββqhov tseeb tias muaj riam phom hauv daim duab. Tab sis yog tias tus qhab nia qis dua 95%, qhov tseeb ntawm tus qauv pib txo qis (qhov no yog qhov tshwj xeeb ntawm cov qauv neural network).
Raws li qhov tshwm sim, ib kab yog tsim raws li tus qauv qhab nia, thiab cov kev tshaj tawm uas tau txais ntawm 95 thiab 100 raug kaw cia li "Cov Khoom Txwv Tsis Pub". Kev tshaj tawm nrog tus qhab nia qis dua 95 raug xa mus rau cov neeg saib xyuas rau kev ua haujlwm ntawm phau ntawv.
Chocolate Beretta nrog cartridges. Tsuas yog rau kev tswj hwm tus kheej xwb! π
Manual moderation
Thaum pib ntawm 2019, kwv yees li 94% ntawm tag nrho cov kev tshaj tawm hauv Yula tau hloov kho tau.
Yog tias lub platform tsis tuaj yeem txiav txim siab rau qee qhov kev tshaj tawm, nws xa lawv mus rau kev tswj hwm kev tswj hwm. Odnoklassniki tau tsim lawv tus kheej cov cuab yeej: cov haujlwm rau cov neeg saib xyuas tam sim tso saib tag nrho cov ntaub ntawv tsim nyog los txiav txim siab sai - qhov kev tshaj tawm tsim nyog lossis yuav tsum raug thaiv, qhia qhov laj thawj.
Thiab yog li ntawd qhov zoo ntawm kev pabcuam tsis raug kev txom nyem thaum lub sijhawm tswj kev tswj hwm, tib neeg txoj haujlwm tau saib xyuas tas li. Piv txwv li, hauv kev ua haujlwm kwj dej, tus neeg saib xyuas tau pom "dab ntxwg nyoog" - tshaj tawm uas muaj cov kev daws teeb meem uas twb tau npaj lawm. Yog tias tus neeg saib xyuas qhov kev txiav txim siab tsis sib haum nrog qhov ua tiav, tus neeg saib xyuas tau muab qhov yuam kev.
Qhov nruab nrab, tus neeg saib xyuas siv sijhawm 10 vib nas this kuaj ib qho kev tshaj tawm. Ntxiv mus, tus naj npawb ntawm qhov yuam kev tsis ntau tshaj 0,5% ntawm tag nrho cov ntawv tshaj tawm.
Tib neeg kev coj noj coj ua
Cov npoj yaig los ntawm Odnoklassniki tau mus ntxiv thiab coj kom zoo dua ntawm "kev pab ntawm cov neeg tuaj saib": lawv tau sau ib daim ntawv thov kev ua si rau kev sib raug zoo uas koj tuaj yeem khij cov ntaub ntawv ntau, qhia txog qee qhov cim tsis zoo - Odnoklassniki Moderator (). Ib txoj hauv kev zoo los ua kom zoo dua ntawm kev pab ntawm OK cov neeg siv uas tab tom sim ua kom cov ntsiab lus txaus siab.
Ib qho kev ua si uas cov neeg siv tag cov duab uas muaj tus lej xov tooj rau lawv.
Txhua kab ntawm kev tshaj tawm hauv lub platform tuaj yeem raug xa mus rau Odnoklassniki Moderator game. Txhua yam uas cov neeg siv kev ua si cim tau raug xa mus rau cov neeg saib xyuas sab hauv los tshuaj xyuas. Cov tswv yim no tso cai rau koj los thaiv kev tshaj tawm uas cov ntxaij lim dej tseem tsis tau tsim, thiab ib txhij tsim cov qauv kev cob qhia.
Khaws cov txiaj ntsig zoo
Peb khaws tag nrho cov kev txiav txim siab uas tau ua thaum lub sij hawm nruab nrab kom peb tsis rov ua dua cov kev tshaj tawm uas peb tau txiav txim siab lawm.
Ntau lab pawg tau tsim txhua hnub raws li kev tshaj tawm. Nyob rau tib lub sijhawm, txhua pawg tau sau tias "zoo" lossis "phem." Txhua qhov kev tshaj tawm tshiab lossis nws qhov kev hloov kho, nkag mus rau pawg nrog lub cim, tau txais kev daws teeb meem los ntawm pawg nws tus kheej. Muaj txog 20 txhiab qhov kev daws teeb meem tsis siv neeg no hauv ib hnub.
Yog tias tsis muaj kev tshaj tawm tshiab tuaj txog rau pawg, nws raug tshem tawm ntawm lub cim xeeb thiab nws cov hash thiab kev daws teeb meem raug sau rau Apache Cassandra.
Thaum lub platform tau txais kev tshaj tawm tshiab, nws thawj zaug sim nrhiav cov pawg zoo sib xws ntawm cov uas twb tau tsim thiab muab cov kev daws teeb meem los ntawm nws. Yog tias tsis muaj pawg li no, lub platform mus rau Cassandra thiab saib rau ntawd. Koj puas pom nws? Zoo heev, siv cov tshuaj rau pawg thiab xa mus rau Yula. Muaj qhov nruab nrab ntawm 70 txhiab qhov kev txiav txim siab "rov ua dua" txhua hnub - 8% ntawm tag nrho.
Summing txog
Peb tau siv Odnoklassniki moderation platform rau ob thiab ib nrab xyoo. Peb nyiam cov txiaj ntsig:
- Peb cia li nruab nrab 94% ntawm tag nrho cov tshaj tawm hauv ib hnub.
- Tus nqi ntawm kev tswj hwm ib qho kev tshaj tawm raug txo los ntawm 2 rubles rau 7 kopecks.
- Ua tsaug rau cov cuab yeej npaj ua tiav, peb tsis nco qab txog cov teeb meem ntawm kev tswj cov neeg ua haujlwm.
- Peb tau nce tus naj npawb ntawm cov ntawv tshaj tawm los ntawm tus kheej los ntawm 2,5 npaug nrog tib tus naj npawb ntawm cov neeg saib xyuas thiab cov peev nyiaj. Qhov zoo ntawm kev tswj hwm tus kheej kuj tseem nce ntxiv vim kev tswj tsis siv neeg, thiab hloov pauv ntawm 0,5% ntawm qhov yuam kev.
- Peb sai sai npog hom tshiab ntawm spam nrog cov ntxaij lim dej.
- Peb txuas cov tuam tsev tshiab sai sai rau kev sib haum xeeb . Txij li thaum xyoo 2017, Yula tau ntxiv Cov Av, Cov Chaw Ua Haujlwm thiab Nws Pib Verticals.
Tau qhov twg los: www.hab.com