Mgbe ọrụ gị bụ ịmepụta ihe mara mma, ịkwesighi ikwubiga okwu ókè banyere ya, n'ihi na nsonaazụ dị n'ihu onye ọ bụla. Ma ọ bụrụ na ị hichapụ ihe odide na ngere, ọ dịghị onye ga-ahụ ọrụ gị ma ọ bụrụhaala na ngere ahụ dị mma ma ọ bụ ruo mgbe i kpochapụrụ ihe na-adịghị mma.
Ọrụ ọ bụla ebe ị nwere ike ịhapụ ikwu, nyochaa, zipu ozi ma ọ bụ bulite foto n'oge na-adịghị anya na-eche nsogbu nke spam, aghụghọ na okwu rụrụ arụ ihu. Enweghị ike izere nke a, mana a ga-emerịrị ya.
Aha m bụ Mikhail, m na-arụ ọrụ na otu Antispam, nke na-echebe ndị ọrụ Yandex site na nsogbu ndị dị otú ahụ. A naghị achọpụta ọrụ anyị (na nke ahụ bụ ihe dị mma!), Ya mere, taa, m ga-agwa gịkwu banyere ya. Ị ga-amụta mgbe imeru ihe n'ókè na-abaghị uru yana ihe kpatara na izi ezi abụghị naanị ihe na-egosi ịdị irè ya. Anyị ga-ekwukwa banyere ịsụ iyi site n'iji ihe atụ nke nwamba na nkịta na ihe kpatara na ọ bara uru mgbe ụfọdụ "iche dị ka onye na-aṅụ iyi."
Ọrụ ndị ọzọ na-apụta na Yandex ebe ndị ọrụ na-ebipụta ọdịnaya ha. Ị nwere ike ịjụ ajụjụ ma ọ bụ dee azịza na Yandex.Q, kparịta akụkọ yard na Yandex.District, kesaa ọnọdụ okporo ụzọ na mkparịta ụka na Yandex.Maps. Ma mgbe ndị na-ege ntị ọrụ na-eto eto, ọ na-adọrọ mmasị na ndị scammers na ndị spammers. Ha na-abịa dejupụta nkọwa: ha na-enye ego dị mfe, na-akpọsa ọgwụgwọ ọrụ ebube ma kwe nkwa uru ọha mmadụ. N'ihi spammers, ụfọdụ ndị ọrụ na-efunahụ ego, ebe ndị ọzọ na-efunahụ ọchịchọ nke itinye oge na ọrụ na-adịghị mma nke jupụtara na spam.
Ma nke a abụghị naanị nsogbu. Anyị na-agbalịsi ike ọ bụghị naanị ichebe ndị ọrụ site na ndị scammers, kamakwa ịmepụta ikuku dị mma maka nkwurịta okwu. Ọ bụrụ na a na-eche ndị mmadụ ihu na nkwutọ na mkparị na nkọwa, ha nwere ike ịpụ ma ghara ịlaghachi. Nke a pụtara na ị ga-enwekwa ike imeri nke a.
Weebụ dị ọcha
Dị ka ọ na-adịkarị n'ebe anyị nọ, a mụrụ mmepe mbụ na Search, na akụkụ nke na-alụ ọgụ spam na nsonaazụ ọchụchọ. Ihe dị ka afọ iri gara aga, ọrụ nke nzacha ọdịnaya okenye maka nyocha ezinụlọ yana ajụjụ ndị na-achọghị azịza sitere na ngalaba 18+ pụtara n'ebe ahụ. Nke a bụ ka akwụkwọ ọkọwa okwu ndị na-akpali agụụ mmekọahụ na ịkwa iyi pụtara nke mbụ ejiri aka dee, ndị nyocha mejuputara ha. Ọrụ bụ isi bụ ikewa arịrịọ n'ime ebe a na-anabata iji gosi ọdịnaya okenye yana ebe ọ na-adịghị. Maka ọrụ a, a na-anakọta akara, arụ ọrụ heuristics, na zụrụ ụdị. Nke a bụ ka mmalite mbụ maka nzacha ọdịnaya achọghị si pụta.
Ka oge na-aga, UGC (ọdịnaya emepụtara onye ọrụ) malitere ịpụta na Yandex - ozi nke ndị ọrụ na-ede n'onwe ha, na Yandex naanị na-ebipụta. N'ihi ihe ndị a akọwara n'elu, enweghị ike ibipụta ọtụtụ ozi na-eleghị anya - achọrọ imeru ihe n'ókè. Mgbe ahụ, ha kpebiri ịmepụta ọrụ nke ga-enye nchebe pụọ na spam na ndị na-awakpo ngwaahịa Yandex UGC niile ma jiri mmepe na-enyocha ọdịnaya achọghị na ọchụchọ. Akpọrọ ọrụ ahụ "Webụ dị ọcha".
Ọrụ ọhụrụ yana enyemaka sitere n'aka ndị na-akwagharị
Na mbụ, ọ bụ naanị mfe akpaaka na-arụ ọrụ maka anyị: ọrụ zitere anyị ederede, na anyị efehe okwu rụrụ arụ, porn akwụkwọ ọkọwa okwu na mgbe okwu na ha - nyocha chịkọtara ihe niile aka. Ma ka oge na-aga, a na-eji ọrụ ahụ na ọnụ ọgụgụ na-arịwanye elu nke ngwaahịa Yandex, anyị aghaghị ịmụta ịrụ ọrụ na nsogbu ọhụrụ.
Ọtụtụ mgbe, kama nyocha, ndị ọrụ na-ebipụta akwụkwọ ozi na-enweghị isi, na-anwa ịbawanye ihe ha rụzuru, mgbe ụfọdụ ha na-akpọsa ụlọ ọrụ ha na nyocha nke ụlọ ọrụ asọmpi, na mgbe ụfọdụ ha na-agbagha òtù dị iche iche wee dee na nyocha banyere ụlọ ahịa anụ ụlọ: " Azụ esichara nke ọma!” Ikekwe otu ụbọchị ọgụgụ isi ga-amụta ịghọta nke ọma ihe ederede ọ bụla, ma ugbu a akpaaka na-enwe mgbe ụfọdụ njọ karịa ụmụ mmadụ.
Ọ bịara doo anya na anyị apụghị ime nke a ma ọ bụrụ na anyị enweghị akara aka, anyị gbakwunyere usoro nke abụọ na sekit anyị - na-ezigara ya maka mmadụ iji aka nyochaa ya. Ederede ndị ahụ ebipụtara nke onye nhazi ahụ ahụghị nsogbu ọ bụla etinyere n'ebe ahụ. Ị nwere ike iche n'echiche nke ọrụ dị otú ahụ n'ụzọ dị mfe, n'ihi ya, ọ bụghị nanị na anyị na-adabere na ndị na-enyocha ihe, ma jirikwa "amamihe nke ìgwè mmadụ ahụ" mee ihe, ya bụ, anyị tụgharịrị gaa na ndị na-ahụ maka enyemaka. Ọ bụ ha na-enyere anyị aka ịmata ihe igwe ahụ furu efu, wee si otú a kuziere ya.
Smart caching na LSH hashing
Nsogbu ọzọ anyị zutere mgbe anyị na-arụ ọrụ na nkọwa bụ spam, ma ọ bụ karịa kpọmkwem, olu ya na ọsọ nke mgbasa. Mgbe ndị na-ege ntị Yandex.Region malitere ịmalite ngwa ngwa, ndị spammers bịara ebe ahụ. Ha mụtara ịghara ikwu okwu mgbe niile site n'ịgbanwe ntakịrị ihe ederede. N'ezie, a ka chọtara ma kpochapụ spam, ma na ọnụ ọgụgụ nke Yandex, ozi na-adịghị anabata nke e bipụtara ọbụna maka nkeji 5 nwere ike ịhụ ọtụtụ narị mmadụ.
N'ezie, nke a adabaghị anyị, anyị mere caching ederede smart dabere na LSH (). Ọ na-arụ ọrụ dị ka nke a: anyị na-edozi ederede ahụ, wepụ njikọ na ya wee bee ya n'ime n-gram (usoro nke n mkpụrụedemede). Na-esote, a gbakọọ hashes nke n-gram, wee si na ha wuo vector LSH nke akwụkwọ ahụ. Isi ihe bụ na ederede ndị yiri ya, ọ bụrụgodị na agbanwere ya ntakịrị, tụgharịrị ghọọ vectors yiri ya.
Ngwọta a mere ka o kwe omume ijighachi mkpebi nke ndị nhazi na ndị na-ekwu okwu maka ederede ndị yiri ya. N'oge mwakpo spam, ozugbo ozi mbụ gafere nyocha ahụ wee banye na cache na mkpebi "spam", ozi ọhụrụ niile yiri ya, ọbụlagodi ndị gbanwere, nwetara otu mkpebi ahụ wee ehichapụ ya na-akpaghị aka. Mgbe e mesịrị, anyị mụtara ka e si azụ ma na-azụghachi ndị na-emepụta spam na-akpaghị aka, mana "smart cache" a nọnyere anyị ma na-enyere anyị aka mgbe niile.
Nkewa ederede dị mma
Na-enweghị oge iji wepụ spam na-alụ ọgụ, anyị chọpụtara na 95% nke ọdịnaya anyị ejiri aka mee ihe: ndị na-emepụta ihe na-emeghachi omume na mmebi iwu, na ọtụtụ n'ime ederede dị mma. Anyị na-ebu ndị na-ehicha ihe na ikpe 95 n'ime 100 na-enye ọkwa "Ihe niile dị mma". Ekwesịrị m ịrụ ọrụ pụrụ iche - ime nhazi ọkwa nke ọdịnaya dị mma, ọ dabara nke ọma, achịkọbala akara ngosi zuru oke n'oge a.
Nke mbụ classifier dị ka nke a: anyị lemmatize ederede (belata okwu na mbụ ha ụdị), tufuo niile inyeaka akụkụ nke okwu na-eji a kwadebere tupu akwadoro "akwụkwọ ọkọwa okwu nke ọma lemmas". Ọ bụrụ na okwu niile dị na ederede dị "mma", mgbe ahụ, ederede dum enweghị mmebi ọ bụla. Na ọrụ dị iche iche, usoro a nyere ozugbo site na 25 ruo 35% akpaaka nke akara aka. N'ezie, usoro a adịghị mma: ọ dị mfe ijikọta ọtụtụ okwu na-emeghị ihe ọjọọ ma nweta nkwupụta mkparị, ma o kwere ka anyị mee ngwa ngwa ruo ọkwa dị mma nke akpaaka ma nye anyị oge iji zụọ ụdị mgbagwoju anya.
Ụdị na-esote nke nhazi ọkwa ederede dị mma etinyelarị ụdị linear, osisi mkpebi, na nchikota ha. Iji gosi mkparị na mkparị, dịka ọmụmaatụ, anyị na-anwale netwọkụ akwara BERT. Ọ dị mkpa ịghọta ihe okwu pụtara na gburugburu yana njikọ dị n'etiti okwu sitere na ahịrịokwu dị iche iche, BERT na-arụkwa ọrụ nke ọma na nke a. (Site n'ụzọ, ndị ọrụ ibe na nso nso a si News , otú e si eji nkà na ụzụ eme ihe maka ọrụ na-abụghị ọkọlọtọ - ịchọta njehie na nkụnye eji isi mee.) N'ihi ya, ọ ga-ekwe omume ịmegharị ihe ruru 90% nke ntinye, dabere na ọrụ ahụ.
Izi ezi, izu oke na ọsọ
Iji zụlite, ịkwesịrị ịghọta uru ụfọdụ klas nke akpaka na-eweta, mgbanwe na ha, yana ma àgwà nlele akwụkwọ ntuziaka ọ na-eweda ya ala. Iji mee nke a, anyị na-eji nkenke na icheta metrik.
Izi ezi bụ oke nke mkpebi ziri ezi n'etiti mkpebi niile gbasara ọdịnaya ọjọọ. Nke dị elu nke ziri ezi, ntakịrị ihe na-ezighị ezi. Ọ bụrụ na ị naghị eleba anya na izi ezi, mgbe ahụ na tiori ị nwere ike ihichapụ spam na ihe rụrụ arụ niile, yana ya na ọkara nke ozi ọma. N'aka nke ọzọ, ọ bụrụ na ị dabere naanị na izi ezi, mgbe ahụ, teknụzụ kachasị mma ga-abụ nke na-adịghị ejide onye ọ bụla. Ya mere, enwekwara ihe ngosi nke izu oke: òkè nke ọdịnaya ọjọọ achọpụtara n'etiti mkpokọta nke ọdịnaya ọjọọ. Metiriks abụọ a na-edozi ibe ha.
Iji tụọ, anyị na-enyocha mmiri iyi niile na-abata maka ọrụ ọ bụla wee nye ndị nyocha ihe atụ ọdịnaya maka nleba anya ọkachamara na ntụnyere na ngwọta igwe.
Ma e nwere ihe ọzọ dị mkpa na-egosi.
Edere m n'elu na ọtụtụ narị mmadụ nwere ike ịhụ ozi na-adịghị anabata ọbụna na 5 nkeji. Ya mere, anyị na-agụ ugboro ole anyị gosiri ndị mmadụ ọdịnaya ọjọọ tupu anyị ezochi ya. Nke a dị mkpa n'ihi na ọ bụghị iji rụọ ọrụ nke ọma - ịkwesịrị ịrụ ọrụ ngwa ngwa. Ma mgbe anyị wulitere ihe nchebe pụọ n'ịṅụ iyi, anyị nwetara ya nke ọma.
Antimatism na-eji ihe atụ nke nwamba na nkịta
Obere egwu egwu egwu. Ụfọdụ nwere ike ịsị na okwu rụrụ arụ na mkparị adịghị ize ndụ dị ka njikọ ọjọọ, ọ bụghịkwa na-ewe iwe dị ka spam. Ma anyị na-agbalịsi ike ịnọgide na-enwe ọnọdụ dị mma maka nkwurịta okwu maka ọtụtụ nde ndị ọrụ, na ndị mmadụ adịghị amasị ịlaghachi n'ebe a na-akparị ha. Ọ bụghị n'efu ka a na-edepụta mmachibido nke ịkpọ iyi na mkparị n'iwu nke ọtụtụ obodo, gụnyere na Habré. Ma anyị na-aga.
Akwụkwọ ọkọwa okwu na-aṅụ iyi enweghị ike ịnagide ịba ụba niile nke asụsụ Russian. N'agbanyeghị eziokwu na e nwere nanị anọ isi iyi mgbọrọgwụ, site na ha ị nwere ike ime ka ọnụ ọgụgụ na-apụghị ịgụta ọnụ nke okwu na-apụghị ijide ọ bụla mgbe engines. Na mgbakwunye, ị nwere ike dee akụkụ nke okwu na ntụgharị asụsụ, dochie mkpụrụedemede nwere njikọ yiri ya, megharịa mkpụrụedemede, tinye akara akara, wdg. Mgbe ụfọdụ, na-enweghị ihe gbara ya gburugburu, ọ bụ ihe na-agaghị ekwe omume ịchọpụta na onye ọrụ pụtara okwu iyi. Anyị na-asọpụrụ iwu Habr, yabụ anyị ga-egosipụta nke a ọ bụghị site na ihe atụ dị ndụ, kama na nwamba na nkịta.
"Iwu," pusi kwuru. Mana anyị ghọtara na nwamba ahụ kwuru okwu dị iche ...
Anyị malitere iche maka algọridim maka akwụkwọ ọkọwa okwu anyị yana maka usoro nhazi nke ọma: anyị nyere ntụgharị asụsụ, oghere jikọtara na akara edemede ọnụ, chọọ usoro wee dee okwu oge niile na ha. Ụzọ a wetara nsonaazụ, mana ọ na-ebelatakarị izi ezi ma enyeghị izuzu achọrọ.
Mgbe ahụ, anyị kpebiri ‘iche echiche dị ka ndị na-aṅụ iyi. Anyị malitere iwebata mkpọtụ n'ime data ahụ n'onwe anyị: anyị na-ahazigharị mkpụrụedemede, mepụta typos, dochie mkpụrụedemede na mkpope ndị yiri ya, na ihe ndị ọzọ. Ewere akara mbụ maka nke a site n'itinye akwụkwọ ọkọwa okwu mat na nnukwu akụkụ ederede. Ọ bụrụ na i were otu ahịrịokwu wee tụgharịa ya n'ụzọ dị iche iche, ị ga-eji ọtụtụ ahịrịokwu mechie. N'ụzọ dị otú a, ị nwere ike ịbawanye ihe nlele ọzụzụ ugboro iri. Naanị ihe fọdụrụ bụ ịzụ ọzụzụ n'ọdọ mmiri nke ga-esi na ya pụta, ụfọdụ ụdị smart ma ọ bụ karịa nke weere n'uche ihe ndị gbara ya gburugburu.
Ọ bụ oge na-adịghị anya ikwu maka mkpebi ikpeazụ. Anyị ka na-anwale ụzọ iji dozie nsogbu a, mana anyị nwere ike ịhụ na netwọkụ mmekọrịta dị mfe nke ọtụtụ n'ígwé na-eme nke ọma karịa akwụkwọ ọkọwa okwu na injin oge niile: ọ ga-ekwe omume ịbawanye ma izi ezi na icheta.
N'ezie, anyị na-aghọta na a ga-enwe mgbe niile ụzọ gabiga ọbụna ndị kasị elu akpaaka, karịsịa mgbe okwu ahụ dị ize ndụ: dee n'ụzọ dị otú ahụ a nzuzu igwe agaghị aghọta. N'ebe a, dịka n'ọgụ megide spam, ihe mgbaru ọsọ anyị abụghị ikpochapụ ohere nke ide ihe rụrụ arụ; ọrụ anyị bụ ijide n'aka na egwuregwu ahụ abaghị uru kandụl.
Imepe ohere ịkọrọ echiche gị, nkwurịta okwu na ikwu okwu adịghị ike. Ọ na-esi ike karịa ịnweta ọnọdụ nchekwa, ọnọdụ dị mma na nkwanye ùgwù maka ndị mmadụ. Ma na-enweghị nke a, a gaghị enwe mmepe obodo ọ bụla.
isi: www.habr.com