Ha mosebetsi oa hau e le ho etsa ntho e ntle, ha ho hlokahale hore u bue haholo ka eona, hobane phello e ka pel'a mahlo a bohle. Empa haeba u hlakola mengolo ho terata, ha ho motho ea tla hlokomela mosebetsi oa hau hafeela terata e shebahala e hlompheha kapa ho fihlela u hlakola ntho e fosahetseng.
Tšebeletso leha e le efe moo u ka tlohelang maikutlo, ho hlahloba, ho romela molaetsa kapa ho kenya litšoantšo kapele kapa hamorao ho tobana le bothata ba spam, bolotsana le litšila. Sena se ke ke sa qojoa, empa se tlameha ho sebetsanoa le sona.
Lebitso la ka ke Mikhail, ke sebetsa sehlopheng sa Antispam, se sireletsang basebelisi ba litšebeletso tsa Yandex mathateng a joalo. Mosebetsi oa rona ha o hlokomeloe ('me ke ntho e ntle!), kahoo kajeno ke tla u bolella haholoanyane ka eona. U tla ithuta ha ho leka-lekana ho se na thuso le hore na ke hobane'ng ha ho nepahala e se eona feela sesupo sa katleho ea eona. Re tla boela re bue ka ho rohakana re sebelisa mohlala oa likatse le lintja le hore na ke hobane'ng ha ka linako tse ling ho le molemo ho "nahana joaloka motho ea rohakang."
Litšebeletso tse ngata li ntse li hlaha ho Yandex moo basebelisi ba phatlalatsang litaba tsa bona. O ka botsa potso kapa oa ngola karabo ho Yandex.Q, bua ka litaba tsa jarete ho Yandex.District, arolelana maemo a sephethephethe lipuisanong ho Yandex.Maps. Empa ha bamameli ba tšebeletso ba ntse ba hōla, e ba e khahlehang ho batho ba scammers le spammers. Ba tla 'me ba tlatsa maikutlo: ba fana ka chelete e bonolo, ba phatlalatsa lipholiso tsa mohlolo le ho tšepisa melemo ea sechaba. Ka lebaka la li-spammers, basebelisi ba bang ba lahleheloa ke chelete, ha ba bang ba lahleheloa ke takatso ea ho qeta nako tšebeletsong e sa tsitsang e tletseng spam.
Mme ha se bona feela bothata. Ha re leke ho sireletsa basebelisi ho tsoa ho batho ba qhekellang feela, empa hape le ho theha moea o motle oa puisano. Haeba batho ba tobane le mahlapa le mahlapa litlhalosong, ho ka etsahala hore ba tsamaee 'me ba se ke ba khutla. Sena se bolela hore o boetse o hloka ho khona ho sebetsana le sena.
Websaete e Hloekileng
Joalo ka ha ho tloaelehile ho rona, lintlafatso tsa pele li hlahile ho Patlisiso, karolong e loantšang spam liphethong tsa lipatlisiso. Hoo e ka bang lilemo tse leshome tse fetileng, mosebetsi oa ho sefa litaba tsa batho ba baholo bakeng sa lipatlisiso tsa malapa le lipotso tse neng li sa hloke likarabo ho tsoa sehlopheng sa 18+ se ile sa hlaha moo. Ke kamoo lidikishinari tsa pele tse hatisitsoeng ka letsoho tsa bootsoa le mahlapa li hlahang, li ile tsa tlatsoa ke bahlahlobisisi. Mosebetsi o ka sehloohong e ne e le ho arola likopo ho tseo ho amohelehang ho bonts'a litaba tsa batho ba baholo le moo li sa amoheleheng. Bakeng sa mosebetsi ona, ho ile ha bokelloa markup, ho hahoa li-heuristics, 'me mehlala ea koetlisoa. Ke kamoo lintlafatso tsa pele tsa ho sefa litaba tse sa batleheng li hlahileng.
Ha nako e ntse e ea, UGC (litaba tse hlahisitsoeng ke basebelisi) li ile tsa qala ho hlaha ho Yandex - melaetsa e ngotsoeng ke basebelisi ka bobona, mme Yandex e hatisa feela. Ka mabaka a hlalositsoeng ka holimo, melaetsa e mengata e ne e ke ke ea hatisoa ntle le ho sheba - ho ne ho hlokahala hore ho be le tekano. Eaba ba etsa qeto ea ho theha tšebeletso e tla fana ka tšireletso khahlanong le spam le bahlaseli bakeng sa lihlahisoa tsohle tsa Yandex UGC le ho sebelisa tsoelo-pele ho sefa lintho tse sa batleheng ho Batla. Tšebeletso e ne e bitsoa "Clean Web".
Mesebetsi e mecha le thuso e tsoang ho ba sututsang
Qalong, re ne re sebetsa ka mokhoa o itekanetseng feela: lits'ebeletso li ile tsa re romella litemana, 'me re ne re tsamaisa li-dictionaries tse nyonyehang, dikishinari tsa bootsoa le lipolelo tse tloaelehileng ho tsona - bahlahlobisisi ba ile ba bokella ntho e' ngoe le e 'ngoe ka letsoho. Empa ha nako e ntse e ea, tšebeletso e ne e sebelisoa ka palo e ntseng e eketseha ea lihlahisoa tsa Yandex, 'me re ile ra tlameha ho ithuta ho sebetsana le mathata a macha.
Hangata, ho e-na le tlhahlobo, basebelisi ba hatisa mangolo a se nang moelelo, ba leka ho eketsa seo ba se finyeletseng, ka linako tse ling ba phatlalatsa k'hamphani ea bona ka litlhaloso tsa k'hamphani ea tlhōlisano, 'me ka linako tse ling ba ferekanya mekhatlo ebe ba ngola tlhahlobo ka lebenkele la liphoofolo: " Litlhapi tse phehiloeng hantle!” Mohlomong ka letsatsi le leng bohlale ba maiketsetso bo tla ithuta ho utloisisa moelelo oa mongolo o mong le o mong, empa joale ka linako tse ling othomathike e sebetsana le mathata ho feta batho.
Ho ile ha hlaka hore re ke ke ra etsa sena ntle le ho tšoaea ka letsoho, ’me re ile ra eketsa mohato oa bobeli potolohong ea rōna—re e romela hore e hlahlojoe ka letsoho ke motho. Litemana tse hatisitsoeng tseo mokhethoa a sa kang a bona mathata leha e le afe li ne li kenyelelitsoe moo. U ka inahanela habonolo boholo ba mosebetsi o joalo, kahoo ha rea ka ra itšetleha feela ka bahlahlobi, empa hape re ile ra sebelisa monyetla oa "bohlale ba bongata," ke hore, re ile ra retelehela ho ba-toloker bakeng sa thuso. Ke bona ba re thusang ho tseba hore na mochini o fositse eng, mme ka ho etsa joalo re e rute.
Smart caching le LSH hashing
Bothata bo bong boo re ileng ra kopana le bona ha re sebetsa le maikutlo e ne e le spam, kapa ka nepo, molumo oa eona le lebelo la ho hasana. Ha bamameli ba Yandex.Region ba qala ho hōla ka potlako, li-spammers li ile tsa tla moo. Ba ile ba ithuta ho hlokomoloha mantsoe a tloaelehileng ka ho fetola temana hanyenyane. Spam, ha e le hantle, e ne e ntse e fumanoa 'me e hlakotsoe, empa ka tekanyo ea Yandex, molaetsa o sa amoheleheng o rometsoeng esita le metsotso ea 5 o ne o ka bonoa ke batho ba makholo.
Ehlile, sena se ne se sa re tšoanele, mme re entse caching ea mongolo e bohlale ho latela LSH (). E sebetsa ka tsela ena: re ile ra etsa hore mongolo o tloaelehe, re tlose likhokahano ho oona ebe re o khaola ka li-n-grams (tatellano ea litlhaku tsa n). Ka mor'a moo, li-hashes tsa n-grams li ne li baloa, 'me vector ea LSH ea tokomane e hahiloe ho bona. Taba ke hore litemana tse tšoanang, leha li ne li fetotsoe hanyane, li ile tsa fetoha li-vector tse tšoanang.
Tharollo ena e entse hore ho khonehe ho sebelisa hape likahlolo tsa lihlopha le li-tolokers bakeng sa litemana tse tšoanang. Nakong ea tlhaselo ea spam, hang ha molaetsa oa pele o feta skena 'me o kena ka har'a cache ka qeto ea "spam", melaetsa eohle e mecha e tšoanang, esita le e fetotsoeng, e ile ea fumana kahlolo e tšoanang' me ea tlosoa ka boomo. Hamorao, re ile ra ithuta mokhoa oa ho koetlisa le ho koetlisa li-spam classifiers, empa "smart cache" ena e ile ea lula le rona 'me e ntse e re thusa khafetsa.
Sehlopha se setle sa mongolo
Ntle le ho ba le nako ea ho phomola ho loantša spam, re ile ra hlokomela hore 95% ea litaba tsa rona e lekanyelitsoe ka letsoho: lihlopha tsa lihlopha li arabela feela ho tlōlo ea molao, 'me boholo ba litemana li ntle. Re kenya lihloekisi tseo ho tse 95 ho tse 100 li fanang ka lintlha "Tsohle li lokile". Ke ile ka tlameha ho etsa mosebetsi o sa tloaelehang - ho etsa lihlopha tsa litaba tse ntle, ka lehlohonolo li-markup tse lekaneng li ne li bokelletse nakong ena.
Sehlopha sa pele se ne se shebahala tjena: re fokotsa mongolo (fokotsa mantsoe ho ea ka mokhoa oa bona oa pele), re lahla likarolo tsohle tsa puo le ho sebelisa "dictionary of good lemmas" e lokiselitsoeng esale pele. Haeba mantsoe ohle a mongolong a le "ntle", joale temana eohle ha e na tlōlo ea molao. Litšebeletsong tse fapaneng, mokhoa ona o ile oa fana hang-hang ho tloha ho 25 ho isa ho 35% ea mochine oa matsoho. Ha e le hantle, mokhoa ona ha o tšoanelehe: ho bonolo ho kopanya mantsoe a 'maloa a se nang molato le ho fumana polelo e khopisang haholo, empa e ile ea re lumella ho potlakela ho fihla boemong bo botle ba ho iketsetsa lintho le ho re fa nako ea ho koetlisa mehlala e rarahaneng haholoanyane.
Liphetolelo tse latelang tsa lihlopha tse ntle tsa mongolo li se li kenyelelitse mehlala ea mela, lifate tsa liqeto, le motsoako oa tsona. Ho tšoaea ho hloka tlhompho le mahlapa, mohlala, re leka marang-rang a neural BERT. Ho bohlokoa ho utloisisa moelelo oa lentsoe moelelong le kamano pakeng tsa mantsoe a tsoang lipolelong tse fapaneng, 'me BERT e etsa mosebetsi o motle tabeng ena. (Ka tsela, basebetsi-'moho le bona ba tsoa ho News , kamoo theknoloji e sebelisetsoang mosebetsi o sa tloaelehang - ho fumana liphoso lihloohong.) Ka lebaka leo, ho ne ho ka khoneha ho iketsetsa ho fihlela ho 90% ea phallo, ho itšetlehile ka tšebeletso.
Ho nepahala, botlalo le lebelo
Ho nts'etsapele, o hloka ho utloisisa hore na ke melemo efe e tlisoang ke li-classifiers tse ling, liphetoho ho tsona, le hore na boleng ba tlhahlobo ea matsoho boa nyenyefatsa. Ho etsa sena, re sebelisa ho nepahala le ho hopola metrics.
Ho nepahala ke karolo ea likahlolo tse nepahetseng har'a likahlolo tsohle tse mabapi le litaba tse mpe. Ha ho nepahala ho phahame, ho fokotseha ho fokolang ho fokolang. Haeba u sa ele hloko ho nepahala, joale ka khopolo u ka hlakola li-spam tsohle le lintho tse nyonyehang, hammoho le halofo ea melaetsa e metle. Ka lehlakoreng le leng, haeba u itšetlehile feela ka ho nepahala, joale theknoloji e ntle ka ho fetisisa e tla ba eona e sa tšoase motho ho hang. Ka hona, ho boetse ho na le sesupo sa botlalo: karolo ea litaba tse mpe tse khethiloeng har'a kakaretso ea litaba tse mpe. Li-metrics tsena tse peli lia lekana.
Ho lekanya, re etsa mohlala oa phallo eohle e kenang bakeng sa ts'ebeletso ka 'ngoe le ho fa bahlahlobi mehlala ea litaba bakeng sa tlhahlobo ea litsebi le ho bapisa le tharollo ea mochini.
Empa ho na le sesupo se seng sa bohlokoa.
Ke ngotse ka holimo hore molaetsa o sa amoheleheng o ka bonoa ke batho ba makholo esita le ka metsotso ea 5. Kahoo re bala hore na ke makhetlo a makae re ileng ra bontša batho litaba tse mpe pele re li pata. Sena ke sa bohlokoa hobane ha sea lekana ho sebetsa ka mokhoa o atlehileng - hape o hloka ho sebetsa kapele. 'Me ha re haha tšireletso khahlanong le ho hlapanya, re ile ra ikutloa ka ho feletseng.
Antimatism ho sebelisa mohlala oa likatse le lintja
Phallo e nyane ya pina. Ba bang ba ka 'na ba re manyala le mahlapa ha li kotsi joaloka li-link tse kotsi,' me ha li tena joaloka spam. Empa re ikitlaelletsa ho boloka maemo a matle bakeng sa puisano bakeng sa basebelisi ba limilione, 'me batho ha ba rate ho khutlela libakeng tseo ba rohakiloeng ho tsona. Hase lefeela hore thibelo ea ho rohakana le ho rohakana e hlalositsoe ka melao ea lichaba tse ngata, ho akarelletsa le Habré. Empa re fosahetse.
Lidikishinari tse rohakanang ha li khone ho sebetsana le borui bohle ba puo ea Serussia. Ho sa tsotellehe taba ea hore ho na le metso e mene feela ea lihlapa tse ka sehloohong, ho tsoa ho tsona u ka etsa palo e se nang palo ea mantsoe a ke keng a tšoaroa ke lienjini leha e le life tse tloaelehileng. Ho phaella moo, u ka ngola karolo ea lentsoe ka ho fetolela litlhaku, ho fetola litlhaku ka motsoako o tšoanang, ho hlophisa litlhaku bocha, ho eketsa linaleli, joalo-joalo. Re hlompha melao ea Habr, kahoo re ke ke ra bontša sena ka mehlala e phelang, empa ka likatse le lintja.
“Molao,” ha rialo katse. Empa rea utloisisa hore katse e buile lentsoe le fapaneng ...
Re ile ra qala ho nahana ka "ho bapisa lintho tse nyahamisang" bakeng sa bukantswe ya rona le ka tlhophiso e hlalefileng: ra fana ka diphetolelo, dibaka tse kgomaretseng le matshwao a puo mmoho, ra batla dipaterone mme ra ngola dipolelwana tse tlwaelehileng ho tsona. Mokhoa ona o ile oa tlisa liphello, empa hangata o fokolitse ho nepahala 'me ha oa ka oa fana ka botlalo bo lakatsehang.
Eaba re etsa qeto ea ho “nahana joaloka batho ba rohakanang.” Re ile ra qala ho kenya lerata ka har'a data ka borona: re ile ra hlophisa litlhaku bocha, ra hlahisa li-typos, ra fetola litlhaku tse nang le mopeleto o tšoanang, joalo-joalo. Qeto ea pele ea sena e entsoe ka ho sebelisa didikishinari tsa mat ho lingoliloeng tse ngata. Haeba u nka polelo e le 'ngoe u e sotha ka litsela tse ngata, u qetella u e-na le lipolelo tse ngata. Ka tsela ena o ka eketsa sampole ea koetliso ka makhetlo a mashome. Sohle se neng se setse e ne e le ho koetlisa letamo le hlahisang mofuta o mong o bohlale o neng o ela hloko moelelo oa taba.
Ho sa le qalong haholo ho bua ka qeto ea ho qetela. Re ntse re leka mekhoa ea ho rarolla bothata bona, empa re se re ntse re bona hore marang-rang a bonolo a convolutional a likarolo tse 'maloa a feta lidikishinari le lienjineri tse tloaelehileng: hoa khoneha ho eketsa ho nepahala le ho hopola.
Ha e le hantle, rea utloisisa hore ho tla lula ho e-na le litsela tsa ho feta esita le li-automation tse tsoetseng pele ka ho fetisisa, haholo-holo ha taba e le kotsi haholo: ngola ka tsela eo mochine o hlokang kelello o ke keng oa utloisisa. Mona, joalo ka ntoeng khahlanong le spam, sepheo sa rona ha se ho felisa monyetla oa ho ngola ntho e nyonyehang; mosebetsi oa rona ke ho etsa bonnete ba hore papali ha e tšoanelehe kerese.
Ho bula monyetla oa ho arolelana maikutlo a hau, ho buisana le ho fana ka maikutlo ha ho thata. Ho thata haholo ho fumana maemo a bolokehileng, a boiketlo le tšoaro e hlomphehang ea batho. Mme ntle le sena ho ke ke ha eba le ntshetsopele ya setjhaba sefe kapa sefe.
Source: www.habr.com