Her karûbarek ku bikarhêner dikarin naveroka xwe biafirînin (UGC - Naveroka ku ji hêla bikarhêner ve hatî çêkirin) neçar e ku ne tenê pirsgirêkên karsaziyê çareser bike, lê di heman demê de tiştan di UGC de jî rêz bike. Moderasyona naverokê ya belengaz an kêm-kalîteyê dikare di dawiyê de balkêşiya karûbarê ji bo bikarhêneran kêm bike, tewra operasyona wê jî bi dawî bike.
Îro em ê li ser hevrêziya di navbera Yula û Odnoklassniki de ji we re vebêjin, ku ji me re dibe alîkar ku bi bandor reklamên li Yula nerm bikin.
Synergy bi gelemperî tiştek pir bikêr e, û di cîhana nûjen de, dema ku teknolojiyên û meylên pir zû diguhezin, ew dikare bibe rizgarkerek jiyanê. Çima çavkanî û wextê kêm ji bo îcadkirina tiştekî ku berê hatî îcadkirin û berî we hatî bîra we winda bikin?
Em heman tişt difikirin dema ku em bi tevahî peywira nermkirina naveroka bikarhêner - wêne, nivîs û girêdan re rû bi rû man. Bikarhênerên me her roj bi mîlyonan perçeyên naverokê li Yula bar dikin, û bêyî pêvajoyek otomatîkî ne gengaz e ku meriv van hemî daneyan bi destan nerm bike.
Ji ber vê yekê, me platformek nermalav a amade bikar anî, ku wê demê hevkarên me yên ji Odnoklassniki di rewşek "hema bêkêmasî" de qedandibûn.
Çima Odnoklassniki?
Her roj, bi deh mîlyon bikarhêner têne tora civakî û bi mîlyaran perçeyên naverokê diweşînin: ji wêneyan bigire heya vîdyoyan û nivîsan. Platforma moderatoriya Odnoklassniki ji bo kontrolkirina cildên pir mezin ên daneyê û berevajîkirina spammers û botan dibe alîkar.
Tîma moderatoriya OK gelek ezmûn berhev kiriye, ji ber ku ew 12 sal in amûra xwe baştir dike. Girîng e ku ew ne tenê nikaribin çareseriyên xwe yên amade parve bikin, lê di heman demê de mîmariya platforma xwe jî xweş bikin ku li gorî peywirên me yên taybetî be.
Ji niha û pê ve, ji bo kurtasî, em ê tenê ji platforma moderatoriya OK re "platform" bi nav bikin.
Çawa ew hemî dixebite
Danûstandina daneyan di navbera Yula û Odnoklassniki de bi rê ve tê saz kirin .
Çima me ev amûr hilbijart:
- Di Yula de, hemî reklam piştî-moderatîf in, ji ber vê yekê di destpêkê de bersivek hevdemî ne hewce bû.
- Ger paragrafek xirab çêbibe û Yula an Odnoklassniki ne berdest bin, di nav de ji ber hin bargiraniyên lûtkeyê, wê hingê daneyên Kafka dê li cîhek winda nebin û paşê werin xwendin.
- Platform jixwe bi Kafka re bû yek, ji ber vê yekê piraniya pirsgirêkên ewlehiyê hatin çareser kirin.
Ji bo her reklamek ku di Yula de ji hêla bikarhêner ve hatî çêkirin an guheztin, JSONek bi daneyan tê hilberandin, ku ji bo moderasyona paşîn li Kafka tê danîn. Ji Kafka, ragihandin di platformê de têne barkirin, li wir ew bixwe an bi destan têne darizandin. Reklamên xirab bi sedemek têne asteng kirin, û yên ku platform tê de binpêkirinan nabîne wekî "baş" têne nîşankirin. Dûv re hemî biryar ji Yula re têne şandin û di karûbarê de têne sepandin.
Di dawiyê de, ji bo Yula her tişt bi kiryarên hêsan tê: reklamek ji platforma Odnoklassniki re bişînin û çareseriyek "ok" paşde bistînin, an çima ne "ok".
Pêvajoya otomatîkî
Piştî ku reklamê dikeve platformê çi diqewime? Her reklam li çend saziyan tê dabeş kirin:
- Nav,
- terîf,
- wêne,
- kategorî û binkategoriya reklamê ku ji hêla bikarhêner ve hatî hilbijartin,
- bihayê.
Dûv re platform ji bo her saziyek komkirinê pêk tîne da ku dubareyan bibîne. Wekî din, nivîs û wêne li gorî nexşeyên cûda têne kom kirin.
Berî kombûnê, nivîs têne normalîzekirin da ku tîpên taybetî, tîpên guheztin û zibilên din jê bibin. Daneyên wergirtî di nav N-graman de têne dabeş kirin, ku her yek ji wan ve hatî haş kirin. Encam gelek haşeyên bêhempa ye. Wekheviya di navbera metnan de ji aliyê di navbera du komên encam de. Ger wekhevî ji bendeyê mezintir be, wê hingê nivîs di yek komê de têne yek kirin. Ji bo bilezkirina lêgerîna komên wekhev, MinHash û hesaskirina Herêmî têne bikar anîn.
Vebijarkên cûrbecûr ji bo zeliqandina wêneyan ji bo wêneyan hatine vedîtin, ji berhevdana wêneyên pHash bigire heya lêgerîna dubareyan bi karanîna tora neuralî.
Rêbaza dawî ya herî "tund" e. Ji bo perwerdekirina modelê, sêçikên wêneyan (N, A, P) hatin hilbijartin ku tê de N ne mîna A ye, û P jî dişibihe A (nîv ducarî ye). Dûv re tora neuralî fêr bû ku A û P bi qasî ku pêkan nêzîk bike, û A û N jî bi qasî ku gengaz be. Ev li gorî bi tenê girtina vegirtinên ji torgilokek pêş-perwerdekirî kêmtir erênîyên derewîn encam dide.
Dema ku tora neuralî wêneyan wekî têketinê werdigire, ew ji bo her yek ji wan vektorek N(128)-alî çêdike û daxwaz tê kirin ku nêzîkbûna wêneyê were nirxandin. Dûv re, bendek tê hesibandin ku tê de wêneyên nêzîk wekî dubare têne hesibandin.
Model dikare bi jêhatî spammerên ku bi taybetî heman hilberê ji aliyên cihêreng wêne dikin bibînin da ku ji berhevdana pHash derbas bibin.
Nimûneyek wêneyên spam ên ku ji hêla torgilokek neuralî ve wekî dubare têne girêdan.
Di qonaxa dawîn de, reklamên dubare hem ji hêla nivîs û hem jî ji hêla wêneyê ve hemdem têne lêgerîn.
Ger du an bêtir reklam di komekê de bi hev ve zeliqin, pergal dest bi astengkirina otomatîkî dike, ku, bi karanîna hin algorîtmayan, hildibijêre ku kîjan dubareyan jê bibe û kîjan berde. Mînakî, heke du bikarhêner di reklamekê de heman wêneyan hebin, pergal dê reklama nûtirîn asteng bike.
Piştî ku têne afirandin, hemî kom di nav rêzek fîlterên otomatîkî re derbas dibin. Her parzûnek ji komê re xalek destnîşan dike: çiqasî îhtîmal e ku ew xetereya ku ev parzûn destnîşan dike dihewîne.
Mînakî, pergal şiroveya di reklamekê de analîz dike û ji bo wê kategoriyên potansiyel hildibijêre. Dûv re ew yeka bi îhtîmala herî zêde digire û wê bi kategoriya ku ji hêla nivîskarê reklamê ve hatî destnîşan kirin berhev dike. Ger ew li hev nebin, reklam ji bo kategoriya xelet tê asteng kirin. Û ji ber ku em dilnizm û durust in, em rasterast ji bikarhênerê re vedibêjin ka ew kîjan kategoriyê divê hilbijêrin da ku reklam ji nermbûnê derbas bibe.
Agahdariya astengkirina ji bo kategoriya çewt.
Fêrbûna makîneyê di platforma me de li malê rast hîs dike. Mînakî, bi alîkariya wê em di nav û danasînên tiştên ku li Federasyona Rûsyayê qedexe ne digerin. Û modelên tora neuralî bi hûrgulî wêneyan "lêkolîn" dikin da ku bibînin ka ew URL, nivîsên spam, hejmarên têlefonê û heman agahdariya "qedexe" hene.
Ji bo rewşên ku ew hewl didin ku hilberek qedexekirî ku wekî tiştek qanûnî veşartî bifroşin, û di sernav û şiroveyê de nivîsek tune, em nîşankirina wêneyê bikar tînin. Ji bo her wêneyê, heta 11 hezar etîketên cûda dikarin werin zêdekirin ku di wêneyê de çi heye diyar dikin.
Hewl didin ku nargilê wek semovarê bifroşin.
Digel fîlterên tevlihev, yên sade jî dixebitin, pirsgirêkên eşkere yên têkildarî nivîsê çareser dikin:
- antimat;
- Detektorê URL û hejmara têlefonê;
- behsa peyamnêrên tavilê û têkiliyên din;
- bihayê kêm kirin;
- reklamên ku tê de tiştek nayê firotin, hwd.
Îro, her reklam ji 50 fîlterên otomatîkî yên ku hewl didin di reklamê de tiştek xirab bibînin re derbas dibe.
Ger yek ji dedektoran nexebite, wê hingê bersivek ji Yula re tê şandin ku reklam "bi îhtîmalek mezin" bi rêzek bêkêmasî ye. Em bi xwe vê bersivê bikar tînin, û bikarhênerên ku ji firoşkarê re bûne abone di derbarê hebûna hilberek nû de agahdariyek distînin.
Agahdariya ku firoşkar hilberek nû heye.
Wekî encamek, her reklam bi metadata "zêdetir" e, hin ji wan dema ku reklam tê afirandin têne çêkirin (navnîşana IP-ya nivîskar, nûnerê bikarhêner, platform, cîhê erdnîgarî, hwd.), û yên mayî jî jimareya ku ji hêla her parzûnê ve hatî derxistin e. .
Rêzên ragihandinê
Dema ku reklamek dikeve platformê, pergal wê di yek ji rêzan de dixe. Her rêzek bi karanîna formulek matematîkî tête çêkirin ku metadata reklamê bi rengekî ku her şêwazên xirab destnîşan dike tê çêkirin.
Mînakî, hûn dikarin rêzek reklaman di kategoriya "Telefonên Desta" de ji bikarhênerên Yula yên ku qaşo ji St.
Nimûneyek reklamên ku ji hêla yek bikarhêner ve li bajarên cûda hatine şandin.
An jî hûn dikarin li gorî pûanên ku tora neuralî ji reklaman re destnîşan dike, rêzan çêbikin, wan bi rêza daketinê rêz bikin.
Her rêzek, li gorî formula xwe, xalek dawîn ji reklamê re destnîşan dike. Wê hingê hûn dikarin bi awayên cûda bimeşin:
- tixûbê ku reklamek dê celebek astengkirinê bistîne diyar bike;
- ji bo vekolîna destan hemî reklamên di rêzê de ji moderatoran re bişînin;
- an vebijarkên berê li hev bikin: sînorê astengkirina otomatîkî diyar bikin û reklamên ku negihiştine vê bendê ji moderatoran re bişînin.
Çima ev rêz hewce ne? Em bêjin bikarhênerek wêneyek çekek barkirî. Tora neuralî ji 95 heta 100 puan dide û bi rastbûna ji sedî 99 diyar dike ku di wêneyê de çekek heye. Lê heke nirxa puanê di binê 95% de be, rastbûna modelê dest pê dike ku kêm bibe (ev taybetmendiyek modelên tora neuralî ye).
Di encamê de, li gorî modela puanê rêzek çêdibe, û ew reklamên ku di navbera 95 û 100 de hatine wergirtin bixweber wekî "Berhemên Qedexekirî" têne asteng kirin. Reklamên bi pûanek jêrîn 95 ji bo pêvajoyek bi destan ji moderatoran re têne şandin.
Çikolata Beretta bi cerjoran. Tenê ji bo moderatoriya manual! 🙂
Moderasyona Manual
Di destpêka 2019-an de, ji sedî 94% ji hemî reklamên li Yula bixweber têne moderator kirin.
Ger platform nikaribe li ser hin reklaman biryar bide, ew wan ji bo moderatoriya manual dişîne. Odnoklassniki amûrê xwe pêşxist: peywirên ji bo moderatoran tavilê hemî agahdariya pêwîst destnîşan dikin da ku biryarek bilez bidin - reklam maqûl e an jî divê were asteng kirin, sedem destnîşan dike.
Û da ku kalîteya karûbarê di dema nermkirina destan de zirarê nede, karê mirovan bi domdarî tê şopandin. Mînakî, di gera peywirê de, moderator "xefik" tê xuyang kirin - reklamên ku jixwe çareseriyên amade hene. Ger biryara moderator bi ya qedandî re li hev neke, ji moderator re xeletiyek tê dayîn.
Bi gelemperî, moderatorek 10 saniyeyan li yek reklamê kontrol dike. Digel vê yekê, hejmara xeletiyan ji% 0,5ê hemî reklamên pejirandî ne zêdetir e.
Moderasyona gel
Hevalên ji Odnoklassniki hê wêdetir çûn û ji "alîkariya temaşevanan" sûd werdigirin: wan ji bo tora civakî serîlêdanek lîstikê nivîsand ku tê de hûn dikarin zû hejmareke mezin daneyan nîşan bikin, hin nîşanek xirab ronî bikin - Moderatorê Odnoklassniki (). Rêbazek baş e ku meriv ji arîkariya bikarhênerên OK ên ku hewl didin naverokê xweştir bikin sûd werbigirin.
Lîstikek ku tê de bikarhêner wêneyên ku jimareyek têlefonê li ser wan heye etîket dikin.
Di platformê de her rêzek reklaman dikare ji lîstika Moderatorê Odnoklassniki re were rêve kirin. Her tiştê ku bikarhênerên lîstikê destnîşan dikin ji bo vekolînê ji moderatorên navxweyî re têne şandin. Ev nexşe dihêle hûn reklamên ku hîna fîlterên wan nehatine çêkirin asteng bikin, û di heman demê de nimûneyên perwerdehiyê biafirînin.
Encamên moderatoriyê hilîne
Em hemî biryarên ku di dema moderatoriyê de hatine girtin tomar dikin da ku em wan reklamên ku me berê biryarek li ser wan daye ji nû ve pêvajo nekin.
Her roj bi mîlyonan kom li ser bingeha reklaman têne afirandin. Bi demê re, her komik "baş" an "xirab" tê binavkirin. Her reklama nû an guhertoya wê, ketina komek bi nîşanek, bixweber çareseriyek ji komê bixwe distîne. Di rojê de nêzî 20 hezar biryarên otomatîk ên weha hene.
Ger ti daxuyaniyên nû negihîjin komê, ew ji bîrê tê derxistin û haş û çareseriya wê ji Apache Cassandra re tê nivîsandin.
Dema ku platform reklamek nû werdigire, ew pêşî hewl dide ku di nav wan ên ku jixwe hatine afirandin de komeke wekhev bibîne û çareseriyek jê bistîne. Ger komek wusa tune be, platform diçe Cassandra û li wir dinêre. Te ew dît? Mezin, çareseriyê li komê bicîh tîne û ji Yula re dişîne. Her roj bi navînî 70 hezar biryarên "dubarekirî" hene - 8% ji tevahî.
Ji bo kurteya
Ev du sal û nîv e ku em platforma moderatoriya Odnoklassniki bikar tînin. Em ji encaman hez dikin:
- Em rojane 94% ji hemî reklaman bixweber nerm dikin.
- Mesrefa moderatoriya yek reklamê ji 2 rubleyan daket 7 kopekan.
- Bi saya amûra amade, me pirsgirêkên birêvebirina moderatoran ji bîr kir.
- Me bi heman jimareya moderator û budçeyê re hejmara reklamên ku bi destan hatine hilberandin 2,5 carî zêde kir. Qalîteya nermkirina destan jî ji ber kontrolkirina otomatîkî zêde bûye, û li dora% 0,5 ji xeletiyan diguhere.
- Em zû cûreyên nû yên spam bi parzûnan vedişêrin.
- Em zû beşên nû bi nermbûnê ve girêdidin . Ji sala 2017-an vir ve, Yula neql, valahî û vertîkalên Otomatîkê lê zêde kiriye.
Source: www.habr.com