Pehea mākou e hoʻololi ai i nā hoʻolaha

Pehea mākou e hoʻololi ai i nā hoʻolaha

ʻO kēlā me kēia lawelawe i hiki i nā mea hoʻohana ke hana i kā lākou ʻike ponoʻī (UGC - Mea hoʻohana i hana ʻia) ʻaʻole i koi wale ʻia e hoʻoponopono i nā pilikia ʻoihana, akā e hoʻonohonoho pū i nā mea i ka UGC. Hiki i ka hoʻohaʻahaʻa haʻahaʻa a maikaʻi ʻole paha ke hoʻohaʻahaʻa i ka nani o ka lawelawe no nā mea hoʻohana, me ka hoʻopau ʻana i kāna hana.

I kēia lā e haʻi mākou iā ʻoe e pili ana i ka synergy ma waena o Yula a me Odnoklassniki, e kōkua ana iā mākou e hoʻololi i nā hoʻolaha ma Yula.

He mea pono loa ka Synergy ma ke ao holoʻokoʻa, i ka wā e loli koke ai nā ʻenehana a me nā ʻano, hiki ke lilo i mea ola. No ke aha e hoʻonele ai i nā kumuwaiwai liʻiliʻi a me ka manawa e noʻonoʻo ai i kahi mea i hana ʻia a hoʻomanaʻo ʻia i mua ou?

Ua manaʻo mākou i ka mea like i ka wā i kū ai mākou i ka hana piha o ka hoʻololi ʻana i nā mea hoʻohana - nā kiʻi, nā kikokikona a me nā loulou. Hoʻouna kā mākou mea hoʻohana i nā miliona o ka ʻikepili iā Yula i kēlā me kēia lā, a me ka ʻole o ka hoʻoili ʻana ʻana ʻaʻole hiki ke hoʻololi i kēia ʻikepili āpau me ka lima.

No laila, ua hoʻohana mākou i kahi papa hana hoʻohālikelike i hoʻomākaukau ʻia, a ma ia manawa ua hoʻopau kā mākou mau hoa hana mai Odnoklassniki i kahi kūlana "aneane hemolele."

No ke aha ʻo Odnoklassniki?

I kēlā me kēia lā, hele mai nā ʻumi miliona o nā mea hoʻohana i ka ʻoihana pūnaewele a hoʻolaha i nā piliona o nā ʻāpana: mai nā kiʻi i nā wikiō a me nā kikokikona. ʻO ka Odnoklassniki moderation platform e kōkua i ka nānā ʻana i ka nui o nā ʻikepili a kūʻē i nā spammers a me nā bots.

Ua hōʻiliʻili ka hui OK moderation i ka nui o ka ʻike, ʻoiai ua hoʻomaikaʻi ʻo ia i kāna mea hana no 12 mau makahiki. He mea nui ʻaʻole hiki iā lākou ke kaʻana like i kā lākou mau hoʻonā i mākaukau, akā hoʻonohonoho pū i ka hoʻolālā o kā lākou paepae e kūpono i kā mākou mau hana kikoʻī.

Pehea mākou e hoʻololi ai i nā hoʻolaha

Mai kēia manawa, no ka pōkole, e kapa mākou i ka OK moderation platform "platform."

Pehea e hana ai nā mea a pau

Hoʻokumu ʻia ka hoʻololi ʻikepili ma waena o Yula a me Odnoklassniki ma Apache Kafka.

No ke aha mākou i koho ai i kēia mea hana:

  • Ma Yula, ua hoʻololi ʻia nā hoʻolaha āpau, no laila ʻaʻole koi ʻia kahi pane synchronous.
  • Inā loaʻa kahi paukū maikaʻi ʻole a loaʻa ʻole ʻo Yula a i ʻole Odnoklassniki, e komo pū ana ma muli o kekahi mau haʻahaʻa kiʻekiʻe, a laila ʻaʻole e nalowale ka ʻikepili mai Kafka ma kahi a hiki ke heluhelu ʻia ma hope.
  • Ua hoʻohui ʻia ke kahua me Kafka, no laila ua hoʻoholo ʻia ka hapa nui o nā pilikia palekana.

Pehea mākou e hoʻololi ai i nā hoʻolaha

No kēlā me kēia hoʻolaha i hana ʻia a hoʻololi ʻia paha e ka mea hoʻohana ma Yula, ua hana ʻia kahi JSON me ka ʻikepili, a waiho ʻia ma Kafka no ka hoʻololi hou ʻana. Mai Kafka, hoʻouka ʻia nā hoʻolaha i loko o ke kahua, kahi e hoʻokolokolo ʻia ai lākou a i ʻole ma ka lima. Hoʻopaʻa ʻia nā hoʻolaha maikaʻi ʻole me kahi kumu, a ʻo nā mea i ʻike ʻole ʻia e ka paepae ʻaʻole i hōʻino ʻia e hōʻailona ʻia he "maikaʻi." A laila hoʻihoʻi ʻia nā hoʻoholo āpau iā Yula a noi ʻia i ka lawelawe.

I ka hopena, no Yula e hele mai i lalo i nā hana maʻalahi: e hoʻouna i kahi hoʻolaha i ka platform Odnoklassniki a hoʻihoʻi i kahi hoʻoholo "ok", a no ke aha ʻaʻole "ok".

Hana ʻakomi

He aha ka hopena o ka hoʻolaha ma hope o ka loaʻa ʻana o ka paepae? Hoʻokaʻawale ʻia kēlā me kēia hoʻolaha i kekahi mau hui:

  • inoa,
  • wehewehe,
  • nā kiʻi,
  • waeʻia i koho ʻia e ka mea hoʻohana a me ka māhele o ka hoʻolaha,
  • uku

Pehea mākou e hoʻololi ai i nā hoʻolaha

A laila hana ka paepae i ka hui ʻana no kēlā me kēia hui e ʻimi i nā kope. Eia kekahi, ua hui pū ʻia nā kikokikona a me nā kiʻi e like me nā papahana like ʻole.

Ma mua o ka hui ʻana, hoʻomaʻamaʻa ʻia nā kikokikona e wehe i nā huaʻōlelo kūikawā, nā leka i hoʻololi ʻia a me nā ʻōpala ʻē aʻe. Hoʻokaʻawale ʻia ka ʻikepili i loaʻa i N-grams, kēlā me kēia mea i hashed. ʻO ka hopena he nui nā hashes kūʻokoʻa. Hoʻoholo ʻia ka like ma waena o nā kikokikona e Ka ana a Jaccard ma waena o nā pūʻulu hopena ʻelua. Inā ʻoi aku ka like ma mua o ka paepae, a laila hoʻohui ʻia nā kikokikona i hoʻokahi puʻupuʻu. No ka wikiwiki i ka ʻimi ʻana i nā puʻupuʻu like, hoʻohana ʻia ʻo MinHash a me Locality-sensitive hashing.

Ua hana ʻia nā koho like ʻole no ka hoʻopili ʻana i nā kiʻi no nā kiʻi, mai ka hoʻohālikelike ʻana i nā kiʻi pHash a i ka ʻimi ʻana i nā kope kope me ka hoʻohana ʻana i kahi pūnaewele neural.

ʻO ke ala hope loa ka "koʻikoʻi". No ka hoʻomaʻamaʻa ʻana i ke kumu hoʻohālike, ua koho ʻia nā ʻekolu o nā kiʻi (N, A, P) i like ʻole ʻo N me A, a ua like ʻo P me A (he semi-duplicate). A laila ua aʻo ka ʻupena neural e hana i ka A a me P i kahi kokoke loa, a ʻo A a me N i kahi mamao loa. Loaʻa kēia i ka liʻiliʻi o nā hopena wahaheʻe i hoʻohālikelike ʻia me ka lawe wale ʻana i nā hoʻopili ʻana mai kahi pūnaewele i hoʻomaʻamaʻa mua ʻia.

I ka loaʻa ʻana o nā kiʻi i ka neural network ma ke ʻano he hoʻokomo, hoʻopuka ia i kahi vector N(128)-dimensional no kēlā me kēia o lākou a noi ʻia e loiloi i ka pili o ke kiʻi. A laila, helu ʻia kahi paepae kahi i manaʻo ʻia ai nā kiʻi kokoke he mau kope.

Hiki i ke kŘkohu ke 'imi akamai i ka po'e spammers i ki'i pono'ī i ka huahana like mai nā kihi like 'ole i mea e pale aku ai i ka ho'ohālikelike pHash.

Pehea mākou e hoʻololi ai i nā hoʻolahaPehea mākou e hoʻololi ai i nā hoʻolaha
ʻO kahi laʻana o nā kiʻi spam i hoʻopili ʻia e kahi neural network e like me nā kope.

Ma ka pae hope, huli ʻia nā hoʻolaha hoʻolaha i ka manawa like e nā kikokikona a me ke kiʻi.

Inā hoʻopaʻa ʻia nā hoʻolaha ʻelua a ʻoi aku paha i loko o kahi puʻupuʻu, hoʻomaka ka ʻōnaehana i ka pale ʻana, kahi, me ka hoʻohana ʻana i kekahi mau algorithms, koho i nā mea kope e holoi a waiho ʻia. No ka laʻana, inā loaʻa i nā mea hoʻohana ʻelua nā kiʻi like i loko o kahi hoʻolaha, e ālai ka ʻōnaehana i ka hoʻolaha hou.

Ke hana ʻia, hele nā ​​pūʻulu a pau ma ke ʻano o nā kānana ʻakomi. Hāʻawi kēlā me kēia kānana i ka helu i ka puʻupuʻu: pehea paha ia i loko o ka hoʻoweliweli a kēia kānana e ʻike ai.

No ka laʻana, kālele ka ʻōnaehana i ka wehewehe ʻana ma kahi hoʻolaha a koho i nā waeʻano kūpono no ia. A laila lawe ʻo ia i ka mea me ka nui o ka probability a hoʻohālikelike iā ia me ka māhele i kuhikuhi ʻia e ka mea kākau o ka hoʻolaha. Inā ʻaʻole like lākou, ua ālai ʻia ka hoʻolaha no ka māhele hewa. A no ka mea he lokomaikaʻi mākou a me ka ʻoiaʻiʻo, haʻi pololei mākou i ka mea hoʻohana i kāna ʻāpana e pono ai e koho i mea e hala ai ka hoʻolaha.

Pehea mākou e hoʻololi ai i nā hoʻolaha
Hoʻolaha no ka pāpā ʻana no ka waeʻano hewa.

Manaʻo ke aʻo ʻana i ka mīkini ma ka home ma kā mākou kahua. No ka laʻana, me kāna kōkua ʻimi mākou i nā inoa a me nā wehewehe o nā waiwai i pāpā ʻia ma ka Russian Federation. A ʻo nā hiʻohiʻona neural network meticulously "noʻonoʻo" i nā kiʻi e ʻike inā loaʻa iā lākou nā URL, nā kikokikona spam, nā helu kelepona, a me nā ʻike like ʻole "papa ʻia".

No nā hihia kahi e hoʻāʻo nei lākou e kūʻai aku i kahi huahana i pāpā ʻia i hoʻololi ʻia he mea kū kānāwai, a ʻaʻohe kikokikona ma ka inoa a i ʻole ka wehewehe ʻana, hoʻohana mākou i ka hōʻailona kiʻi. No kēlā me kēia kiʻi, hiki ke hoʻohui ʻia a hiki i 11 tausani mau hōʻailona like ʻole e wehewehe i nā mea i loko o ke kiʻi.

Pehea mākou e hoʻololi ai i nā hoʻolaha
Ke hoʻāʻo nei lākou e kūʻai aku i ka hookah ma ke ʻano he samovar.

E like me nā kānana paʻakikī, hana nā mea maʻalahi, e hoʻoponopono i nā pilikia pili i ka kikokikona:

  • antimat;
  • URL a me ka helu kelepona;
  • ka haʻi ʻana i nā ʻelele koke a me nā pilina ʻē aʻe;
  • hoemiia ke kumukuai;
  • nā hoʻolaha ʻaʻohe mea kūʻai aku, etc.

I kēia lā, hele kēlā me kēia hoʻolaha i kahi kānana maikaʻi o nā kānana maʻalahi ma mua o 50 e hoʻāʻo nei e ʻimi i kahi mea ʻino i ka hoʻolaha.

Inā ʻaʻole i hana kekahi o nā mea ʻike, a laila hoʻouna ʻia kahi pane iā Yula e "ʻoi aku ka maikaʻi" o ka hoʻolaha. Hoʻohana mākou i kēia pane iā mākou iho, a loaʻa i nā mea hoʻohana i kākau inoa i ka mea kūʻai aku i kahi leka e pili ana i ka loaʻa ʻana o kahi huahana hou.

Pehea mākou e hoʻololi ai i nā hoʻolaha
Hoʻomaopopo he huahana hou ka mea kūʻai aku.

ʻO ka hopena, ʻo kēlā me kēia hoʻolaha ua "hoʻonui ʻia" me nā metadata, kahi i hana ʻia i ka wā i hana ʻia ai ka hoʻolaha (ka helu IP o ka mea kākau, mea hoʻohana-agent, platform, geolocation, etc.), a ʻo ke koena ka helu i hoʻopuka ʻia e kēlā me kēia kānana. .

Nā laina hoʻolaha

Ke paʻi ka hoʻolaha i ka paepae, hoʻokomo ka ʻōnaehana i kekahi o nā pila. Hana ʻia kēlā me kēia queue me ka hoʻohana ʻana i kahi ʻano makemakika e hoʻohui i nā metadata hoʻolaha ma ke ala e ʻike ai i nā ʻano ʻino.

No ka laʻana, hiki iā ʻoe ke hana i kahi laina o nā hoʻolaha ma ka ʻāpana "Cell Phones" mai nā mea hoʻohana Yula i manaʻo ʻia mai St.

Pehea mākou e hoʻololi ai i nā hoʻolaha
He laʻana o nā hoʻolaha i kau ʻia e kekahi mea hoʻohana ma nā kūlanakauhale like ʻole.

A i ʻole hiki iā ʻoe ke hana i nā queues e pili ana i nā helu i hāʻawi ʻia e ka neural network i nā hoʻolaha, e hoʻonohonoho ana iā lākou ma ke ʻano iho.

ʻO kēlā me kēia queue, e like me kāna kumu ponoʻī, hāʻawi i ka helu hope i ka hoʻolaha. A laila hiki iā ʻoe ke hana ma nā ʻano like ʻole:

  • e kuhikuhi i ka paepae kahi e loaʻa ai i kahi hoʻolaha kekahi ʻano pale;
  • e hoʻouna i nā hoʻolaha āpau i ka laina i nā mea hoʻoponopono no ka loiloi lima;
  • a i ʻole e hoʻohui i nā koho mua: e kuhikuhi i ka paepae pale ʻakomi a hoʻouna i nā mea hoʻoponopono i nā hoʻolaha i hiki ʻole i kēia paepae.

Pehea mākou e hoʻololi ai i nā hoʻolaha

No ke aha e pono ai kēia mau laina? E ʻōlelo kākou ua hoʻouka kekahi mea hoʻohana i ke kiʻi o kahi pū. Hāʻawi ka neural network iā ia i ka helu mai 95 a 100 a hoʻoholo me ka 99 pakeneka pololei aia he mea kaua ma ke kiʻi. Akā inā ʻoi aku ka nui o ka helu ma lalo o 95%, hoʻomaka ka emi ʻana o ka pololei o ke kumu hoʻohālike (he hiʻohiʻona kēia o nā hiʻohiʻona neural network).

ʻO ka hopena, ua hoʻokumu ʻia kahi queue ma muli o ke kumu hoʻohālike, a ʻo kēlā mau hoʻolaha i loaʻa ma waena o 95 a me 100 ua pāpā ʻia ʻo ia ma ke ʻano he "Prohibited Products". Hoʻouna ʻia nā hoʻolaha me ka helu ma lalo o 95 i nā mea hoʻoponopono no ka hana lima.

Pehea mākou e hoʻololi ai i nā hoʻolaha
Chocolate Beretta me nā pahu pahu. No ka hoʻoponopono lima wale nō! 🙂

Hoʻoponopono lima lima

I ka hoʻomaka ʻana o 2019, ma kahi o 94% o nā hoʻolaha āpau ma Yula i hoʻololi ʻia.

Pehea mākou e hoʻololi ai i nā hoʻolaha

Inā ʻaʻole hiki i ka paepae ke hoʻoholo i kekahi mau hoʻolaha, hoʻouna ʻo ia iā lākou no ka hoʻoponopono lima. Ua hoʻomohala ʻo Odnoklassniki i kā lākou mea hana ponoʻī: nā hana no nā moderators e hōʻike koke i nā ʻike āpau e pono ai e hoʻoholo wikiwiki - kūpono ka hoʻolaha a i ʻole e pāpā ʻia, e hōʻike ana i ke kumu.

A no laila ʻaʻole pilikia ka maikaʻi o ka lawelawe i ka wā o ka hoʻololi ʻana i ka manual, e nānā mau ʻia ka hana a nā kānaka. No ka laʻana, i loko o ke kahawai hana, hōʻike ʻia ka mea hoʻoponopono i nā "pahele" - nā hoʻolaha i loaʻa i nā hoʻonā mākaukau. Inā ʻaʻole i kūlike ka hoʻoholo a ka mea hoʻoponopono me ka mea i hoʻopau ʻia, hāʻawi ʻia ka mea hoʻoponopono i ka hewa.

Ma ka awelika, hoʻohana ka moderator i 10 kekona e nānā i hoʻokahi hoʻolaha. Eia kekahi, ʻaʻole ʻoi aku ka nui o nā hewa ma mua o 0,5% o nā hoʻolaha i hōʻoia ʻia.

ʻO ka hoʻohaʻahaʻa kanaka

Ua hele hou aku nā hoa hana mai Odnoklassniki a hoʻohana i ka "kōkua o ka lehulehu": kākau lākou i kahi noi pāʻani no ka ʻoihana pūnaewele kahi hiki iā ʻoe ke hōʻailona wikiwiki i ka nui o ka ʻikepili, e hōʻike ana i kekahi hōʻailona maikaʻi ʻole - Odnoklassniki Moderator (https://ok.ru/app/moderator). ʻO kahi ala maikaʻi e hoʻohana ai i ke kōkua o nā mea hoʻohana OK e hoʻāʻo nei e hoʻohauʻoli i ka ʻike.

Pehea mākou e hoʻololi ai i nā hoʻolaha
He pāʻani kahi e hōʻailona ai nā mea hoʻohana i nā kiʻi i loaʻa kahi helu kelepona ma luna o lākou.

Hiki ke hoʻihoʻi ʻia kekahi laina o nā hoʻolaha i ka pāʻani Odnoklassniki Moderator. Hoʻouna ʻia nā mea a pau i hōʻailona ʻia e nā mea pāʻani i nā moderators kūloko no ka loiloi. Hāʻawi kēia papahana iā ʻoe e ālai i nā hoʻolaha no ka mea ʻaʻole i hana ʻia nā kānana, a i ka manawa like e hana i nā laʻana aʻo.

E mālama i nā hopena hoʻololi

Mālama mākou i nā hoʻoholo a pau i hana ʻia i ka wā hoʻohaʻahaʻa i ʻole mākou e hana hou i kēlā mau hoʻolaha a mākou i hoʻoholo ai.

Hana ʻia nā miliona o nā hui i kēlā me kēia lā ma muli o nā hoʻolaha. I ka wā lōʻihi, ua kapa ʻia kēlā me kēia puʻupuʻu "maikaʻi" a i ʻole "ʻino." ʻO kēlā me kēia hoʻolaha hou a i ʻole kāna hoʻoponopono hou ʻana, e komo ana i kahi pūʻulu me kahi hōʻailona, ​​e loaʻa maʻalahi kahi hoʻonā mai ka pūʻulu ponoʻī. Aia ma kahi o 20 tausani ia mau hoʻoholo maʻalahi i kēlā me kēia lā.

Pehea mākou e hoʻololi ai i nā hoʻolaha

Inā ʻaʻole hiki mai nā hoʻolaha hou i ka hui, ua wehe ʻia ia mai ka hoʻomanaʻo ʻana a kākau ʻia kāna hash a me ka hopena iā Apache Cassandra.

Ke loaʻa ka paepae i kahi hoʻolaha hou, e hoʻāʻo mua ʻo ia e ʻimi i kahi hui like i waena o nā mea i hana ʻia a lawe i kahi hopena mai ia mea. Inā ʻaʻohe puʻupuʻu like, hele ka paepae iā Cassandra a nānā i laila. Ua loaʻa iā ʻoe? Maikaʻi, hoʻopili i ka hopena i ka hui a hoʻouna iā Yula. Aia ka awelika o 70 tausani o ia mau hoʻoholo "hoʻopiʻi" i kēlā me kēia lā-8% o ka huina.

E hōʻuluʻulu

Ua hoʻohana mākou i ka Odnoklassniki moderation platform no ʻelua a me ka hapa makahiki. Makemake mākou i nā hopena:

  • Hoʻololi maʻalahi mākou i ka 94% o nā hoʻolaha āpau i kēlā me kēia lā.
  • Ua ho'ēmiʻia ke kumukūʻai o ka hoʻololiʻana i hoʻokahi hoʻolaha mai 2 rubles i 7 kopecks.
  • Mahalo i ka mea hana i hoʻomākaukau ʻia, ua poina iā mākou e pili ana i nā pilikia o ka mālama ʻana i nā moderators.
  • Ua hoʻonui mākou i ka helu o nā hoʻolaha i hana lima ʻia e 2,5 mau manawa me ka helu like o nā mea hoʻoponopono a me ka waihona kālā. Ua hoʻonui ʻia ka maikaʻi o ka moderation manual ma muli o ka mana automated, a fluctuates ma kahi o 0,5% o nā hewa.
  • Hoʻopili koke mākou i nā ʻano spam hou me nā kānana.
  • Hoʻohui koke mākou i nā keʻena hou i ka hoʻohaʻahaʻa "Yula Verticals". Mai ka makahiki 2017, ua hoʻohui ʻo Yula i ka Real Estate, Vacancies and Auto verticals.

Source: www.habr.com

Pākuʻi i ka manaʻo hoʻopuka