Tšebeletso e 'ngoe le e' ngoe eo basebelisi ba eona ba ka iketsetsang litaba tsa bona (UGC - Likahare tse hlahisoang ke basebelisi) ha li qobelloe feela ho rarolla mathata a khoebo, empa hape le ho beha lintho ka tatellano ho UGC. Tekanyetso e mpe kapa ea boleng bo tlase e ka qetella e fokolitse botle ba ts'ebeletso ho basebelisi, esita le ho emisa ts'ebetso ea eona.
Kajeno re tla u bolella ka synergy pakeng tsa Yula le Odnoklassniki, e re thusang ho lekanyetsa lipapatso tsa Yula.
Synergy ka kakaretso ke ntho e molemo haholo, 'me lefatšeng la kajeno, ha theknoloji le mekhoa e fetoha ka potlako, e ka fetoha mopholosi. Ke hobane'ng ha u senya lisebelisoa tse haellang le nako ho qapa ntho e seng e qapiloe 'me e hopoloe ka pel'a hau?
Re ile ra nahana ntho e tšoanang ha re ne re tobane le mosebetsi o felletseng oa ho lekanyetsa litaba tsa basebelisi - litšoantšo, mongolo le likhokahano. Basebelisi ba rona ba kenya limilione tsa dikahare ho Yula letsatsi le leng le le leng, 'me ntle le ts'ebetso ea othomathike ho ke ke ha khoneha ho lekanya lintlha tsena kaofela ka letsoho.
Ka hona, re ile ra sebelisa sethala se itokiselitseng ho leka-lekanya, seo ka nako eo basebetsi-'moho le rona ba Odnoklassniki ba neng ba se ba qetile ho "batla phetheho".
Ke hobane'ng ha Odnoklassniki?
Letsatsi le leng le le leng, basebelisi ba limilione ba tla liwebsaeteng tseo batho ba etsang metsoalle ho tsona 'me ba phatlalatsa libilione tsa litaba: ho tloha lifoto ho ea ho livideo le litemana. Sethala sa ho lekanya sa Odnoklassniki se thusa ho lekola palo e kholo ea data le ho hanyetsa li-spammers le bots.
Sehlopha sa OK se lekanyelitsoeng se bokelletse boiphihlelo bo bongata, kaha se 'nile sa ntlafatsa sesebelisoa sa sona ka lilemo tse 12. Ho bohlokoa hore ba se ke ba arolelana feela litharollo tsa bona tse seng li entsoe, empa hape ba etse moralo oa sethala sa bona hore se lumellane le mesebetsi ea rona e ikhethileng.
Ho tloha joale ho ea pele, bakeng sa bokhutšoanyane, re tla bitsa sethala sa OK "sethala".
Kamoo e sebetsang kateng kaofela
Phapanyetsano ea data pakeng tsa Yula le Odnoklassniki e thehiloe ka .
Hobaneng re khethile sesebelisoa sena:
- Yula, lipapatso tsohle li hlophisitsoe ka morao, kahoo qalong ho ne ho sa hlokahale karabo e lumellanang.
- Haeba serapa se sebe se etsahala mme Yula kapa Odnoklassniki ha li fumanehe, ho kenyeletsoa ka lebaka la meroalo e meng e phahameng, joale data e tsoang Kafka e ke ke ea nyamela kae kapa kae mme e ka baloa hamorao.
- Sethala se ne se se se kopantsoe le Kafka, kahoo litaba tse ngata tsa tšireletso li ile tsa rarolloa.
Bakeng sa papatso e 'ngoe le e 'ngoe e entsoeng kapa e fetotsoeng ke mosebelisi ho Yula, ho etsoa JSON e nang le data, e behiloeng Kafka bakeng sa tlhahlobo e latelang. Ho tloha Kafka, liphatlalatso li kenngoa sethaleng, moo li ahloloang ka bohona kapa ka letsoho. Lipapatso tse mpe li koetsoe ka lebaka, 'me tseo sethala se sa fumaneng litlolo li tšoauoa e le "tse ntle". Ebe liqeto tsohle li khutlisetsoa Yula ebe li sebelisoa tšebeletsong.
Qetellong, bakeng sa Yula tsohle li theohela liketsong tse bonolo: romella papatso ho sethaleng sa Odnoklassniki 'me u fumane qeto ea "ok", kapa ke hobane'ng ha "ho lokile".
Ho sebetsa ka ho iketsa
Ho etsahala'ng ka papatso ka mor'a hore e fihle sethaleng? Papatso ka 'ngoe e arotsoe ka likarolo tse' maloa:
- Lebitso,
- tlhaloso,
- linepe,
- sehlopha se khethiloeng ke basebelisi le karoloana ea papatso,
- theko.
Joale sethala se etsa clustering bakeng sa mokhatlo ka mong ho fumana tse kopitsoang. Ho feta moo, mongolo le lifoto li kopantsoe ho latela merero e fapaneng.
Pele ho kopanngoa, litemana li tloaelehile ho tlosa litlhaku tse khethehileng, litlhaku tse fetotsoeng le litšila tse ling. Lintlha tse amoheloang li arotsoe ka li-N-gram, tseo e 'ngoe le e' ngoe e leng hashed. Phello ke li-hashe tse ngata tse ikhethang. Ho tšoana ho teng lipakeng tsa litemana ho laoloe ke pakeng tsa lihlopha tse peli tse hlahisoang. Haeba ho tšoana ho le kholo ho feta moeli, joale litemana li kopanngoa hore e be sehlopha se le seng. Ho potlakisa ho batla lihlopha tse tšoanang, MinHash le Locality-sensitive hashing li sebelisoa.
Likhetho tse fapaneng tsa litšoantšo tsa gluing li qapiloe bakeng sa linepe, ho tloha ho bapisa litšoantšo tsa pHash ho ea ho batla tse kopitsoang ka marang-rang a neural.
Mokhoa oa ho qetela ke o "matla" ka ho fetisisa. Ho koetlisa mohlala, litšoantšo tse tharo (N, A, P) li khethiloe moo N e sa tšoaneng le A, 'me P e tšoana le A (ke semi-duplicate). Joale marang-rang a methapo a ithuta ho etsa hore A le P li be haufi ka hohle kamoo ho ka khonehang, le A le N ka hohle kamoo ho ka khonehang. Sena se fella ka maikutlo a fosahetseng a fokolang ha a bapisoa le ho nka feela likhatiso ho tsoa ho marang-rang a koetlisitsoeng esale pele.
Ha marang-rang a marang-rang a amohela litšoantšo e le ho kenya letsoho, e hlahisa vector ea N(128)-dimensional bakeng sa e 'ngoe le e' ngoe ea tsona 'me ho etsoa kopo ea ho hlahloba haufi le setšoantšo. Ka mor'a moo, ho baloa moeli oo ho oona litšoantšo tse haufi li nkoang e le likopi.
Mohlala o khona ho fumana li-spammers tse nkang setšoantšo ka ho khetheha sehlahisoa se le seng ho tloha ka mahlakoreng a fapaneng e le hore se fete papiso ea pHash.
Mohlala oa linepe tsa spam tse khomaretsoeng ke neural network joalo ka tse kopitsoang.
Qetellong, lipapatso tse tšoanang li batlisisoa ka nako e le 'ngoe ke mongolo le setšoantšo.
Haeba lipapatso tse peli kapa ho feta li khomaretsoe ka har'a sehlopha, tsamaiso e qala ho thibela ka mokhoa o itekanetseng, e leng, ka ho sebelisa li-algorithms tse itseng, e khethang hore na ke likopi life tse lokelang ho tlosoa le tse lokelang ho tloha. Mohlala, haeba basebelisi ba babeli ba na le linepe tse tšoanang papatsong, sistimi e tla thibela papatso ea morao-rao.
Ha li se li bōpiloe, lihlopha tsohle li kena letotong la li-filters tse itekanetseng. Setlhopha se seng le se seng se fana ka lintlha ho sehlopha: ho na le monyetla o mokae oa hore se be le tšokelo eo sefe sena se se khethollang.
Mohlala, sistimi e sekaseka tlhaloso ea papatso ebe e khetha likarolo tse ka bang teng bakeng sa eona. Ebe e nka e nang le monyetla o moholo oa ho e bapisa le sehlopha se boletsoeng ke mongoli oa papatso. Haeba li sa tsamaisane, papatso e koetsoe bakeng sa sehlopha se fosahetseng. 'Me kaha re mosa ebile re tšepahala, re bolella mosebelisi ka kotloloho hore na o hloka ho khetha mofuta ofe e le hore papatso e fetele pele.
Tsebiso ea ho thibela sehlopha se fosahetseng.
Ho ithuta ka mochini ho utloahala hantle sethaleng sa rona. Ka mohlala, ka thuso ea eona re batla mabitso le litlhaloso tsa thepa e thibetsoeng Russia Federation. 'Me mefuta ea marang-rang ea neural e "hlahlobisisa" litšoantšo ka hloko ho bona hore na li na le li-URL, mangolo a spam, linomoro tsa mohala, le lintlha tse tšoanang tse "hanetsoeng".
Maemong ao ba lekang ho rekisa sehlahisoa se thibetsoeng se entsoeng ka mokhoa o kang oa molao, 'me ho se na mongolo sehloohong kapa tlhalosong, re sebelisa litšoantšo. Bakeng sa setšoantšo ka seng, ho ka kenyelletsoa li-tag tse fapaneng tse likete tse 11 tse hlalosang se setšoantšong.
Ba leka ho rekisa hookah ka ho e etsa eka ke samovar.
Ka ho tsamaisana le li-filters tse rarahaneng, tse bonolo le tsona lia sebetsa, li rarolla mathata a hlakileng a amanang le mongolo:
- antimat;
- URL le mochine oa nomoro ea mohala;
- ho bua ka manqosa a hang-hang le mabitso a mang;
- theko e fokotsehileng;
- lipapatso tseo ho tsona ho seng letho le rekisoang, joalo-joalo.
Kajeno, papatso e 'ngoe le e 'ngoe e feta ka har'a sefe ea li-filters tse fetang 50 tse lekang ho fumana ntho e mpe papatsong.
Haeba ha ho le e 'ngoe ea li-detectors e ileng ea sebetsa, joale karabo e romelloa ho Yula hore papatso "e ka etsahala" ka tatellano e phethahetseng. Re sebelisa karabo ena ka borona, 'me basebelisi ba ngolisitseng morekisi ba fumana tsebiso mabapi le boteng ba sehlahisoa se secha.
Tsebiso ea hore morekisi o na le sehlahisoa se secha.
Ka lebaka leo, papatso e 'ngoe le e 'ngoe e "feta" ka lintlha tse ngata, tseo tse ling tsa tsona li hlahisoang ha papatso e etsoa (aterese ea IP ea sengoli, mosebelisi, sethala, geolocation, joalo-joalo), 'me tse ling kaofela ke lintlha tse fanoeng ke sefe ka seng. .
Mela ea phatlalatso
Ha papatso e fihla sethaleng, sistimi e e beha ho e 'ngoe ea mela. Lethathamo le leng le le leng le etsoa ho sebelisoa mokhoa oa lipalo o kopanyang boitsebiso ba lipapatso ka tsela e lemohang mekhoa efe kapa efe e mpe.
Ka mohlala, u ka etsa lethathamo la lipapatso ho sehlopha sa "Liselefounu" ho tsoa ho basebelisi ba Yula bao ho thoeng ba tsoa St. Petersburg, empa liaterese tsa bona tsa IP li tsoa Moscow kapa metseng e meng.
Mohlala oa lipapatso tse behiloeng ke mosebelisi a le mong litoropong tse fapaneng.
Kapa u ka etsa mela ho latela lintlha tseo neural network e li abelang lipapatso, u li hlophisa ka tatellano e theohang.
Lethathamo le leng le le leng, ho latela mokhoa oa lona, le fana ka lintlha tsa ho qetela ho papatso. Joale o ka tsoela pele ka litsela tse fapaneng:
- hlakisa moeli oo papatso e tla fumana mofuta o itseng oa ho thibela;
- romela lipapatso tsohle tse moleng ho batsamaisi bakeng sa tlhahlobo ea matsoho;
- kapa kopanya likhetho tse fetileng: hlakisa moeli oa ho thibela othomathiki 'me u romele ho batsamaisi lipapatso tse so fihlelle moeling ona.
Hobaneng mela ee e hlokahala? Ha re re mosebelisi o kentse senepe sa sethunya. Neural network e fana ka lintlha ho tloha ho 95 ho ea ho 100 'me e etsa qeto ka ho nepahala ha 99% hore ho na le sebetsa setšoantšong. Empa haeba boleng ba lintlha bo ka tlase ho 95%, ho nepahala ha mohlala ho qala ho fokotseha (ena ke tšobotsi ea mekhoa ea neural network).
Ka lebaka leo, ho thehoa mokoloko ho ipapisitsoe le mohlala oa lintlha, 'me lipapatso tse ileng tsa amoheloa pakeng tsa 95 le 100 li thibeloa ka mokhoa o itekanetseng e le "Lihlahisoa Tse Hanetsoeng". Lipapatso tse nang le lintlha tse ka tlase ho 95 li romelloa ho batsamaisi bakeng sa ts'ebetso ea matsoho.
Chocolate Beretta e nang le li-cartridges. Feela bakeng sa boitlhopho ka letsoho! 🙂
Tekanyetso ka letsoho
Qalong ea 2019, hoo e ka bang 94% ea lipapatso tsohle tsa Yula li ikamahanya le maemo.
Haeba sethala se sa khone ho etsa qeto ka lipapatso tse ling, se li romella bakeng sa tlhahlobo ea matsoho. Odnoklassniki e hlahisitse sesebelisoa sa bona: mesebetsi bakeng sa batsamaisi hang-hang e bonts'a tlhahisoleseling eohle e hlokahalang ho etsa qeto e potlakileng - papatso e loketse kapa e lokela ho thibeloa, e bontšang lebaka.
'Me e le hore boleng ba tšebeletso bo se ke ba utloa bohloko nakong ea ho lekanyetsoa ka letsoho, mosebetsi oa batho o lula o behiloe leihlo. Ka mohlala, molemong oa mosebetsi, mookameli o bontšoa "maraba" -lipapatso tseo ho seng ho ntse ho e-na le litharollo tse lokiselitsoeng. Haeba qeto ea mookameli e sa lumellane le e phethiloeng, mookameli o fuoa phoso.
Ka kakaretso, mookameli o qeta metsotsoana e 10 a sheba papatso e le 'ngoe. Ho feta moo, palo ea liphoso ha e fete 0,5% ea lipapatso tsohle tse netefalitsoeng.
Tekanyetso ea batho
Basebetsi-'moho le Odnoklassniki ba ile ba ea hole le ho feta mme ba nka monyetla ka "thuso ea bamameli": ba ngotse kopo ea papali bakeng sa liwebsaete tsa sechaba moo o ka tšoaeang data e ngata kapele, o totobatsa lets'oao le lebe - Moderator oa Odnoklassniki (). Mokhoa o motle oa ho nka monyetla ka thuso ea basebelisi ba OK ba lekang ho etsa hore litaba li be monate le ho feta.
Papali eo ho eona basebelisi ba tšoaeang linepe tse nang le nomoro ea mohala ho tsona.
Letoto lefe kapa lefe la lipapatso sethaleng le ka fetisetsoa papaling ea Odnoklassniki Moderator. Ntho e 'ngoe le e 'ngoe eo basebelisi ba papali ba e tšoaeang e romeloa ho balaoli ba ka hare bakeng sa ho netefatsoa. Morero ona o u lumella ho thibela lipapatso tseo li-filters li e-so thetsoe, 'me ka nako e le' ngoe u thehe mehlala ea koetliso.
Ho boloka liphetho tsa tlhahlobo
Re boloka liqeto tsohle tse entsoeng nakong ea tekano e le hore re se ke ra sebetsana hape le lipapatso tseo re seng re entse qeto ka tsona.
Lihlopha tsa limilione li etsoa letsatsi le leng le le leng ho ipapisitsoe le lipapatso. Ha nako e ntse e ea, sehlopha ka seng se ngotsoe "se setle" kapa "se mpe." Papatso e 'ngoe le e 'ngoe e ncha kapa ntlafatso ea eona, e kenang sehlopheng se nang le letšoao, e fumana qeto ka boeona ho tsoa sehlopheng ka boeona. Ho na le liqeto tse ikemetseng tse joalo tse ka bang likete tse 20 ka letsatsi.
Haeba ha ho liphatlalatso tse ncha tse fihlang sehlopheng, e tlosoa mohopolong 'me hashi le tharollo ea eona li ngolloa Apache Cassandra.
Ha sethala se fumana papatso e ncha, se qala ka ho leka ho fumana sehlopha se tšoanang har'a tse seng li entsoe le ho nka tharollo ho eona. Haeba ho se na sehlopha se joalo, sethala se ea Cassandra 'me se sheba moo. Na u e fumane? E kholo, e sebelisa tharollo ho sehlopha ebe e e romella Yula. Ho na le karolelano ea liqeto tse joalo tse “pheta-phetang” tse likete tse 70 letsatsi le leng le le leng—8% ea kakaretso.
Ho akaretsa
Re qetile lilemo tse peli le halofo re sebelisa sethala sa ho lekanya sa Odnoklassniki. Re rata liphetho:
- Re lekanya 94% ea lipapatso tsohle ka letsatsi.
- Litsenyehelo tsa ho lekanyetsa papatso e le 'ngoe li fokotsoe ho tloha ho li-ruble tse 2 ho isa ho tse 7 tsa kopecks.
- Ka lebaka la sesebelisoa se entsoeng hantle, re lebetse ka mathata a ho laola batsamaisi.
- Re ekelitse palo ea lipapatso tse sebetsitsoeng ka letsoho ka makhetlo a 2,5 ka palo e tšoanang ea batsamaisi le tekanyetso. Boleng ba ho lekanyetsoa ka letsoho le bona bo eketsehile ka lebaka la taolo ea boiketsetso, 'me bo fetoha ho pota 0,5% ea liphoso.
- Ka potlako re koahela mefuta e mecha ea spam ka li-filters.
- Ka potlako re hokahanya mafapha a macha le teka-tekano . Ho tloha ka 2017, Yula e kentse Real Estate, Vacancies le Auto verticals.
Source: www.habr.com