A na-amanye ọrụ ọ bụla nke ndị ọrụ ya nwere ike ịmepụta ọdịnaya nke ha (UGC - Onye na-emepụta ihe) ọ bụghị nanị iji dozie nsogbu azụmahịa, kamakwa itinye ihe n'usoro na UGC. Ọdịnaya adịghị mma ma ọ bụ nke dị ala nwere ike belata mma ọrụ maka ndị ọrụ, ọbụlagodi na-akwụsị ọrụ ya.
Taa, anyị ga-agwa gị gbasara mmekọrịta dị n'etiti Yula na Odnoklassniki, nke na-enyere anyị aka ịbelata mgbasa ozi na Yula nke ọma.
Mmekọrịta n'ozuzu bụ ihe bara uru nke ukwuu, na n'ụwa nke oge a, mgbe teknụzụ na usoro na-agbanwe ngwa ngwa, ọ nwere ike ịghọ onye na-azọpụta ndụ. Kedu ihe kpatara na-efunahụ ụkọ ihe onwunwe na oge iji chepụta ihe emepụtarala ma weta n'uche gị?
Anyị chere otu ihe ahụ mgbe anyị chere ọrụ zuru oke nke ịhazi ọdịnaya onye ọrụ - foto, ederede na njikọ. Ndị ọrụ anyị na-ebugote ọtụtụ nde ọdịnaya na Yula kwa ụbọchị, na-enweghị nhazi akpaaka, ọ gaghị ekwe omume kpamkpam iji aka hazie data a niile.
Ya mere, anyị na-eji usoro ihe eji eme ihe eji eme ihe, bụ nke n'oge ahụ ndị ọrụ ibe anyị si Odnoklassniki emechaala n'ọnọdụ "ihe fọrọ nke nta ka ọ bụrụ izu okè."
Gịnị mere Odnoklassniki?
Kwa ụbọchị, ọtụtụ iri nde ndị ọrụ na-abịa na netwọk mmekọrịta wee bipụta ọtụtụ ijeri ọdịnaya: site na foto gaa na vidiyo na ederede. Odnoklassniki moderation n'elu ikpo okwu na-enyere aka ịlele nnukwu data na igbochi spammers na bots.
Ndị otu nhazi OK achịkọtala ọtụtụ ahụmịhe, ebe ọ na-emeziwanye ngwa ọrụ ya afọ iri na abụọ. Ọ dị mkpa na ọ bụghị naanị na ha nwere ike kesaa ihe ngwọta ha emebere, kamakwa hazie nhazi nke ikpo okwu ha ka ọ dabara na ọrụ anyị akọwapụtara.
Site ugbu a gaa n'ihu, maka nkenke, anyị ga-akpọ OK moderation platform "platform."
Ka ihe niile si arụ ọrụ
Emebere mgbanwe data n'etiti Yula na Odnoklassniki site na .
Ihe mere anyị ji họrọ ngwá ọrụ a:
- Na Yula, mgbasa ozi niile ka emezigharịrị, yabụ na mbụ ọnweghị nzaghachi mmekọrịta.
- Ọ bụrụ na paragraf ọjọọ emee na Yula ma ọ bụ Odnoklassniki adịghị, gụnyere n'ihi ụfọdụ ibu dị elu, mgbe ahụ data sitere na Kafka agaghị apụ n'ebe ọ bụla ma nwee ike ịgụ ya ma emechaa.
- Ejikọlarị ikpo okwu na Kafka, yabụ edozila ọtụtụ nsogbu nchekwa.
Maka mgbasa ozi ọ bụla mepụtara ma ọ bụ megharịa site na onye ọrụ na Yula, a na-emepụta JSON nwere data, nke a na-etinye na Kafka maka nhazigharị na-esote. Site na Kafka, a na-ebuba ọkwa ọkwa n'ime ikpo okwu, ebe a na-ekpe ikpe na-akpaghị aka ma ọ bụ aka. A na-eji ihe kpatara egbochi mgbasa ozi ọjọọ, na ndị nke ikpo okwu ahụghị mmebi iwu ka a na-ede akara dị ka "ezigbo." Mgbe ahụ, a na-ezigaghachi mkpebi niile na Yula ma tinye ya na ọrụ ahụ.
N'ikpeazụ, maka Yula, ihe niile na-adabere na omume dị mfe: zipu mgbasa ozi na ikpo okwu Odnoklassniki wee nwetaghachi mkpebi "ọ dị mma", ma ọ bụ gịnị kpatara na ọ bụghị "ọ dị mma".
Nhazi akpaaka
Kedu ihe na-eme mgbasa ozi ahụ mgbe ọ dakwasịrị n'elu ikpo okwu? E kewara mgbasa ozi ọ bụla n'ime ọtụtụ ụlọ ọrụ:
- aha,
- nkọwa,
- foto,
- Otu onye ọrụ ahọpụtara na ngalaba mgbasa ozi,
- цена.
Ikpo okwu ahụ na-arụ ọrụ nchịkọta maka ụlọ ọrụ ọ bụla iji chọta oyiri. Ọzọkwa, a na-achịkọta ederede na foto dịka atụmatụ dị iche iche si dị.
Tupu nchịkọta, a na-ahazi ederede iji wepụ mkpụrụedemede pụrụ iche, mkpụrụedemede gbanwere na ihe mkpofu ndị ọzọ. A na-ekewa data natara n'ime N-gram, nke ọ bụla n'ime ha na-agbanye. Nsonaazụ bụ ọtụtụ hashes pụrụ iche. A na-ekpebi myirịta dị n'etiti ederede n'etiti abụọ tent tent. Ọ bụrụ na myirịta dị ukwuu karịa ọnụ ụzọ, mgbe ahụ, a na-ejikọta ederede na otu ụyọkọ. Iji mee ka ịchọọ ụyọkọ ndị yiri ya ọsọ ọsọ, a na-eji MinHash na hashing nwere mmetụta mpaghara.
E chepụtala nhọrọ dị iche iche maka ijikọ onyonyo maka foto, site na ntụnyere foto pHash gaa na-achọ ụdị oyiri site na iji netwọk akwara.
Usoro ikpeazụ bụ nke kachasị "siri ike". Iji zụọ ihe nlereanya ahụ, a họpụtara ihe oyiyi atọ (N, A, P) nke N na-adịghị ka A, na P yiri A (bụ ọkara oyiri). Mgbe ahụ netwọk neural mụtara ime ka A na P dị nso dị ka o kwere mee, na A na N dị ka o kwere mee. Nke a na-ebute nhụta ụgha ole na ole ma e jiri ya tụnyere iwere ihe ntinye site na netwọk a zụrụ azụ.
Mgbe netwọk neural na-enweta ihe oyiyi dị ka ntinye, ọ na-emepụta vector N (128) maka nke ọ bụla n'ime ha ma rịọ arịrịọ iji chọpụta ịdị nso nke onyinyo ahụ. Na-esote, a na-agbakọ ọnụ ụzọ ebe a na-ewere onyonyo dị nso dị ka nke oyiri.
Ihe nlereanya ahụ nwere ike nke ọma chọta ndị spammers ndị na-ese foto otu ngwaahịa ahụ site n'akụkụ dị iche iche iji gafere ntụnyere pHash.
Ihe atụ nke foto spam jikọtara ọnụ site na netwọk akwara dị ka oyiri.
N'ọkwa ikpeazụ, a na-enyocha mgbasa ozi oyiri n'otu oge site na ederede na onyonyo.
Ọ bụrụ na mgbasa ozi abụọ ma ọ bụ karịa jikọtara ọnụ na ụyọkọ, usoro ahụ na-amalite igbochi akpaaka, nke, na-eji ụfọdụ algọridim, họrọ nke oyiri ihichapụ na nke ị ga-ahapụ. Dịka ọmụmaatụ, ọ bụrụ na ndị ọrụ abụọ nwere otu foto na mgbasa ozi, sistemụ ahụ ga-egbochi mgbasa ozi na nso nso a.
Ozugbo emepụtara, ụyọkọ niile na-aga n'usoro nzacha akpaka. Ihe nzacha ọ bụla na-ekenye akara na ụyọkọ: kedu ka o si dị na ọ nwere ihe iyi egwu nke nzacha a na-achọpụta.
Dịka ọmụmaatụ, sistemụ ahụ na-enyocha nkọwapụta na mgbasa ozi wee họrọ ụdị nwere ike maka ya. Mgbe ahụ, ọ na-ewe nke nwere ike kachasị ma jiri ya tụnyere ụdị nke onye dere mgbasa ozi ahụ akọwapụtara. Ọ bụrụ na ha adabaghị, a na-egbochi mgbasa ozi maka udi na-ezighi ezi. Ma ebe ọ bụ na anyị nwere obiọma na eziokwu, anyị na-agwa onye ọrụ ozugbo ụdị nke ọ chọrọ ịhọrọ ka mgbasa ozi ahụ gafere n'ókè.
Ịma ọkwa nke igbochi maka ngalaba na-ezighi ezi.
Ịmụ igwe na-enwe mmetụta nke ọma n'ụlọ n'elu ikpo okwu anyị. Dịka ọmụmaatụ, site n'enyemaka ya, anyị na-achọ aha na nkọwa nke ngwaahịa ndị amachibidoro na Russian Federation. Na ụdị netwọkụ akwara ozi nke ọma “nyochaa” onyonyo a ka ịhụ ma ha nwere URL, ederede spam, nọmba ekwentị, yana otu ozi “amachibidoro iwu”.
Maka ikpe ebe ha na-agbalị ire ngwaahịa amachibidoro ngbanwe dị ka ihe iwu kwadoro, na enweghị ederede na aha ma ọ bụ nkọwa, anyị na-eji mkpado onyonyo. Maka onyonyo ọ bụla, enwere ike ịgbakwunye ihe ruru puku iri na otu mkpado dị iche iche nke na-akọwa ihe dị na onyonyo a.
Ha na-agbalị ire hookah site n'ịgbanwe ya dị ka samovar.
N'otu aka ahụ na nzacha dị mgbagwoju anya, ndị dị mfe na-arụkwa ọrụ, na-edozi nsogbu doro anya metụtara ederede:
- mgbochi;
- URL na akara ekwentị;
- banyere ndị ozi ozugbo na kọntaktị ndị ọzọ;
- ọnụ ahịa belatara;
- mgbasa ozi nke ọ dịghị ihe a na-ere ere, wdg.
Taa, mgbasa ozi ọ bụla na-agafe ezigbo sieve nke ihe nzacha akpaka 50 na-agbalị ịchọta ihe ọjọọ na mgbasa ozi ahụ.
Ọ bụrụ na ọ nweghị onye nchọpụta ahụ rụrụ ọrụ, a na-ezigara Yula nzaghachi na mgbasa ozi ahụ "yikarịrị" n'usoro zuru oke. Anyị na-eji azịza a n'onwe anyị, ndị ọrụ debanyere aha na onye na-ere ahịa na-enweta ọkwa maka nnweta ngwaahịa ọhụrụ.
Ịma ọkwa na onye na-ere ahịa nwere ngwaahịa ọhụrụ.
N'ihi nke a, mgbasa ozi nke ọ bụla na-eji metadata ' tolitere', ụfọdụ n'ime ha na-emepụta mgbe emepụtara mgbasa ozi (adreesị IP onye edemede, onye ọrụ-onye ọrụ, ikpo okwu, geolocation, wdg), na nke ọzọ bụ akara nke ọ bụla nzacha nyere. .
kwụ n'ahịrị ọkwa
Mgbe mgbasa ozi rutere n'elu ikpo okwu, usoro ahụ na-etinye ya n'otu n'ime ahịrị. A na-emepụta kwụ n'ahịrị ọ bụla site na iji usoro mgbakọ na mwepụ na-ejikọta mgbasa ozi metadata n'ụzọ na-achọpụta ụkpụrụ ọjọọ ọ bụla.
Dịka ọmụmaatụ, ị nwere ike ịmepụta kwụ n'ahịrị mgbasa ozi na ngalaba "ekwentị ekwenti" sitere na ndị ọrụ Yula nke a na-eche na ha sitere na St. Petersburg, mana adreesị IP ha sitere na Moscow ma ọ bụ obodo ndị ọzọ.
Ihe atụ nke mgbasa ozi nke otu onye ọrụ biputere n'obodo dị iche iche.
Ma ọ bụ ị nwere ike ịmepụta kwụ n'ahịrị dabere na akara nke netwọkụ akwara na-ekenye na mgbasa ozi, na-ahazi ha n'usoro na-agbada.
Ahịrị ọ bụla, dịka usoro nke ya siri dị, na-ekenye akara ikpeazụ na mgbasa ozi. Mgbe ahụ ị nwere ike ịga n'ihu n'ụzọ dị iche iche:
- ezipụta ọnụ ụzọ nke mgbasa ozi ga-enweta ụfọdụ ụdị mgbochi;
- zipu mgbasa ozi niile na kwụ n'ahịrị gaa na ndị nhazi maka nyocha akwụkwọ ntuziaka;
- ma ọ bụ jikọta nhọrọ ndị gara aga: ezipụta ụzọ mgbochi akpaka wee ziga ndị nhazi mgbasa ozi ndị ahụ erubeghị oke a.
Gịnị mere e ji chọọ ahịrị ndị a? Ka anyị kwuo na onye ọrụ bulitere foto nke egbe. Netwọk akwara na-ekenye ya akara site na 95 ruo 100 wee kpebie na pasent 99 ziri ezi na enwere ngwa ọgụ na foto a. Ma ọ bụrụ na akara akara dị n'okpuru 95%, izi ezi nke ihe nlereanya ahụ amalite ibelata (nke a bụ njirimara nke ụdị netwọkụ neural).
N'ihi ya, a na-etolite kwụ n'ahịrị dabere na ụdị akara, na mgbasa ozi ndị natara n'etiti 95 na 100 na-egbochi ozugbo dị ka "ngwaahịa amachibidoro". A na-eziga mgbasa ozi nwere akara n'okpuru 95 na ndị nhazi maka nhazi akwụkwọ ntuziaka.
Chocolate Beretta na katrij. Naanị maka nhazi akwụkwọ ntuziaka! 🙂
Ntuzi aka nke aka
Na mbido 2019, ihe dị ka 94% nke mgbasa ozi na Yula na-edozi ya na-akpaghị aka.
Ọ bụrụ na ikpo okwu enweghị ike ikpebi ụfọdụ mgbasa ozi, ọ na-ezigara ha maka nhazi ntuziaka. Odnoklassniki mepụtara ngwá ọrụ nke ha: ọrụ maka ndị nhazi ozugbo na-egosipụta ozi niile dị mkpa iji mee mkpebi ngwa ngwa - mgbasa ozi kwesịrị ekwesị ma ọ bụ kwesịrị igbochi ya, na-egosi ihe kpatara ya.
Na ka àgwà ọrụ ahụ ghara ịta ahụhụ n'oge nhazi akwụkwọ ntuziaka, a na-enyocha ọrụ ndị mmadụ mgbe niile. Dịka ọmụmaatụ, na iyi ọrụ, a na-egosi onye nhazi "ọnyà" - mgbasa ozi nke enweelarị ihe ngwọta edoziworo. Ọ bụrụ na mkpebi onye njikwa adabaghị na nke emechara, a na-enye onye njikwa ahụ njehie.
Na nkezi, onye njikwa na-eji sekọnd iri na-elele otu mgbasa ozi. Ọzọkwa, ọnụ ọgụgụ nke njehie abụghị ihe karịrị 10% nke mgbasa ozi niile enwetara.
Ndị mmadụ imeru ihe n'ókè
Ndị ọrụ ibe si Odnoklassniki gara n'ihu ma jiri "enyemaka nke ndị na-ege ntị" mee ihe: ha dere ngwa egwuregwu maka netwọk mmekọrịta nke ị nwere ike itinye akara ngwa ngwa data buru ibu, na-egosipụta ụfọdụ akara ọjọọ - Odnoklassniki Moderator (). Ụzọ dị mma iji nweta enyemaka nke ndị ọrụ OK na-agbalị ime ka ọdịnaya dịkwuo ụtọ.
Egwuregwu nke ndị ọrụ na-akpado foto nwere nọmba ekwentị na ha.
Enwere ike ibugharị kwụ n'ahịrị mgbasa ozi ọ bụla n'elu ikpo okwu gaa na egwuregwu Odnoklassniki Moderator. A na-eziga ihe ọ bụla ndị ọrụ egwuregwu debara aha na ndị nhazi ime maka nyocha. Atụmatụ a na-enye gị ohere igbochi mgbasa ozi nke emebebeghị ihe nzacha maka ya, ma mepụta ihe nzacha ọzụzụ n'otu oge.
Na-echekwa nsonaazụ nrịbama
Anyị na-echekwa mkpebi niile emere n'oge ime ihe ka anyị ghara ịhazigharị mgbasa ozi ndị ahụ anyị mere mkpebi na ya.
A na-emepụta ọtụtụ nde ụyọkọ kwa ụbọchị dabere na mgbasa ozi. Ka oge na-aga, a na-akpọ ụyọkọ nke ọ bụla "dị mma" ma ọ bụ "ọjọọ." Mgbasa ozi ọhụrụ ọ bụla ma ọ bụ ngbanwe ya, na-abanye ụyọkọ nwere akara, na-enweta mkpebi ozugbo site na ụyọkọ n'onwe ya. Enwere ihe dị ka puku iri abụọ ụdị mkpebi akpaka kwa ụbọchị.
Ọ bụrụ na ọ nweghị ọkwa ọhụụ bịarutere na ụyọkọ ahụ, a ga-ewepụ ya na ebe nchekwa ma dee hash na ngwọta ya na Apache Cassandra.
Mgbe ikpo okwu na-enweta mgbasa ozi ọhụrụ, ọ na-ebu ụzọ agbalị ịchọta ụyọkọ yiri nke ahụ n'etiti ndị emeberela ma were ngwọta na ya. Ọ bụrụ na enweghị ụyọkọ dị otú ahụ, ikpo okwu na-aga Cassandra ma lelee ebe ahụ. Ị chọtara ya? Ọ dị mma, na-etinye ngwọta na ụyọkọ ahụ wee ziga ya na Yula. Enwere nkezi nke 70 puku ụdị mkpebi "ugboro ugboro" kwa ụbọchị - 8% nke ngụkọta.
Iji chịkọta
Anyị na-eji Odnoklassniki moderation ikpo okwu afọ abụọ na ọkara. Nsonaazụ na-amasị anyị:
- Anyị na-edozi 94% nke mgbasa ozi niile kwa ụbọchị.
- E belatara ọnụ ahịa ịmegharị otu mgbasa ozi site na 2 rubles gaa na kopecks 7.
- Ekele maka ngwá ọrụ dị njikere, anyị chefuru nsogbu nke ijikwa ndị nhazi.
- Anyị mụbara ọnụ ọgụgụ mgbasa ozi ejiri aka hazie site na ugboro 2,5 yana otu ọnụ ọgụgụ ndị nhazi na mmefu ego. Ogo nke nhazi akwụkwọ ntuziaka abawanyela n'ihi njikwa akpaaka, ma na-agbanwe gburugburu 0,5% nke njehie.
- Anyị na-eji nzacha kpuchie ụdị spam ọhụrụ ngwa ngwa.
- Anyị na-ejikọta ngalaba ọhụrụ ngwa ngwa na nhazi . Kemgbe 2017, Yula agbakwunyela Real Estate, Vacancies na Auto vetikal.
isi: www.habr.com