Hver þjónusta þar sem notendur geta búið til sitt eigið efni (UGC - User-generated content) neyðist ekki aðeins til að leysa viðskiptavandamál, heldur einnig til að koma hlutunum í lag í UGC. Léleg eða vönduð efnishömlun getur á endanum dregið úr aðdráttarafl þjónustunnar fyrir notendur, jafnvel hætt rekstri hennar.
Í dag munum við segja þér frá samvirkni milli Yula og Odnoklassniki, sem hjálpar okkur að stjórna auglýsingum í Yula á áhrifaríkan hátt.
Samvirkni er almennt mjög gagnlegur hlutur og í nútíma heimi, þegar tækni og straumar breytast mjög hratt, getur það breyst í björgun. Af hverju að eyða af skornum skammti og tíma í að finna upp eitthvað sem þegar hefur verið fundið upp og komið í hugann á undan þér?
Við hugsuðum það sama þegar við stóðum frammi fyrir því verkefni að stjórna efni notenda - myndum, texta og tenglum. Notendur okkar hlaða upp milljónum af efni til Yula á hverjum degi og án sjálfvirkrar vinnslu er algjörlega ómögulegt að stjórna öllum þessum gögnum handvirkt.
Þess vegna notuðum við tilbúinn stjórnunarvettvang, sem á þeim tíma höfðu samstarfsmenn okkar frá Odnoklassniki lokið í „nánast fullkomnun“.
Af hverju Odnoklassniki?
Á hverjum degi koma tugir milljóna notenda á samfélagsnetið og birta milljarða efnis: allt frá myndum til myndskeiða og texta. Odnoklassniki stjórnunarvettvangurinn hjálpar til við að athuga mjög mikið magn af gögnum og vinna gegn ruslpóstsmiðlum og vélmennum.
OK stjórnunarteymið hefur safnað upp mikilli reynslu þar sem það hefur verið að bæta verkfæri sitt í 12 ár. Það er mikilvægt að þeir gætu ekki aðeins deilt tilbúnum lausnum sínum, heldur einnig sérsniðið arkitektúr vettvangs síns til að henta sérstökum verkefnum okkar.
Héðan í frá munum við einfaldlega kalla OK stjórnunarvettvanginn „vettvang“.
Hvernig allt virkar
Gagnaskipti milli Yula og Odnoklassniki eru stofnuð í gegnum .
Af hverju við völdum þetta tól:
- Í Yula eru allar auglýsingar í kjölfarið stjórnað, þannig að upphaflega var ekki krafist samstillts svars.
- Ef slæm málsgrein gerist og Yula eða Odnoklassniki eru ekki tiltækar, þar á meðal vegna hámarksálags, þá hverfa gögnin frá Kafka hvergi og hægt er að lesa þau síðar.
- Vettvangurinn var þegar samþættur Kafka, þannig að flest öryggisvandamál voru leyst.
Fyrir hverja auglýsingu sem notandinn býr til eða breytir í Yula er JSON með gögnum mynduð sem er sett í Kafka til síðari stjórnunar. Frá Kafka er tilkynningum hlaðið inn á pallinn, þar sem þær eru dæmdar sjálfkrafa eða handvirkt. Lokað er fyrir slæmar auglýsingar af ástæðu og þær sem vettvangurinn finnur ekki brot á eru merktar sem „góðar“. Síðan eru allar ákvarðanir sendar aftur til Yula og beitt í þjónustunni.
Að lokum, fyrir Yula, kemur allt niður á einföldum aðgerðum: sendu auglýsingu á Odnoklassniki vettvang og fáðu til baka ályktun „allt í lagi“ eða hvers vegna ekki „allt í lagi“.
Sjálfvirk vinnsla
Hvað verður um auglýsinguna eftir að hún kemur á vettvang? Hver auglýsing skiptist í nokkra einingar:
- Nafn,
- lýsing,
- myndir,
- notandi valinn flokkur og undirflokkur auglýsingarinnar,
- verðið.
Pallurinn framkvæmir síðan klasa fyrir hverja einingu til að finna afrit. Þar að auki eru texti og ljósmyndir settar í hóp eftir mismunandi kerfum.
Áður en þyrping er sett eru textar staðlaðir til að fjarlægja sérstafi, breytta stafi og annað rusl. Gögnum sem berast er skipt í N-grömm sem hvert um sig er hashað. Niðurstaðan er mörg einstök kjötkássa. Líkindi milli texta ræðst af á milli tveggja setta sem myndast. Ef líkindin eru meiri en viðmiðunarmörkin eru textarnir sameinaðir í einn klasa. Til að flýta fyrir leitinni að svipuðum klösum eru MinHash og Locality-sensitive hashing notuð.
Ýmsir möguleikar til að líma myndir hafa verið fundnar upp fyrir ljósmyndir, allt frá því að bera saman pHash myndir til að leita að afritum með tauganeti.
Síðasta aðferðin er sú „alvarlegasta“. Til að þjálfa líkanið voru valdir þrískiptingar af myndum (N, A, P) þar sem N er ekki svipað A og P er svipað A (er hálfgerð afrit). Þá lærði tauganetið að gera A og P eins nálægt og hægt er og A og N eins langt og hægt er. Þetta hefur í för með sér færri falskar jákvæðar niðurstöður samanborið við einfaldlega að taka innfellingar frá fyrirfram þjálfuðu neti.
Þegar tauganetið fær myndir sem inntak myndar það N(128)-víddar vektor fyrir hverja þeirra og óskað er eftir því að meta nálægð myndarinnar. Næst er þröskuldur reiknaður þar sem nærmyndir teljast afrit.
Líkanið er fær um að finna ruslpóstsmiðlara sem mynda sérstaklega sömu vöruna frá mismunandi sjónarhornum til að komast framhjá pHash samanburðinum.
Dæmi um ruslpóstsmyndir sem eru límdar saman af taugakerfi sem afrit.
Á lokastigi er leitað í tvíteknum auglýsingum samtímis bæði með texta og mynd.
Ef tvær eða fleiri auglýsingar eru fastar saman í klasa, byrjar kerfið sjálfvirka lokun, sem með ákveðnum reikniritum velur hvaða afrit á að eyða og hverjum á að fara. Til dæmis, ef tveir notendur eru með sömu myndirnar í auglýsingu, mun kerfið loka á nýlegri auglýsingu.
Þegar búið er að búa til fara allir klasar í gegnum röð sjálfvirkra sía. Hver sía gefur klasanum einkunn: hversu líklegt er að það innihaldi ógnina sem þessi sía auðkennir.
Kerfið greinir til dæmis lýsinguna í auglýsingu og velur hugsanlega flokka fyrir hana. Síðan tekur það þann sem er með mestar líkur og ber hann saman við flokkinn sem höfundur auglýsingarinnar tilgreinir. Ef þær passa ekki er auglýsingunni lokað fyrir rangan flokk. Og þar sem við erum góð og heiðarleg segjum við notandanum beint hvaða flokk hann þarf að velja til að auglýsingin standist hóf.
Tilkynning um lokun fyrir rangan flokk.
Vélarnám líður vel á vettvangi okkar. Til dæmis, með hjálp þess, leitum við í nöfnum og lýsingum á vörum sem eru bannaðar í Rússlandi. Og taugakerfislíkön „skoða“ nákvæmlega myndirnar til að sjá hvort þær innihalda vefslóðir, ruslpóst, símanúmer og sömu „bönnuðu“ upplýsingarnar.
Fyrir tilvik þar sem þeir eru að reyna að selja bönnuð vöru dulbúna sem eitthvað löglegt, og það er enginn texti í hvorki titlinum né lýsingunni, notum við myndmerkingar. Fyrir hverja mynd má bæta við allt að 11 þúsund mismunandi merkjum sem lýsa því sem er á myndinni.
Þeir eru að reyna að selja vatnspípuna með því að dulbúa hana sem samóvar.
Samhliða flóknum síum virka einfaldar líka og leysa augljós vandamál sem tengjast texta:
- andstæðingur;
- Slóð og símanúmer skynjari;
- minnst á spjallboð og aðra tengiliði;
- lækkað verð;
- auglýsingar þar sem ekkert er til sölu o.s.frv.
Í dag fer hver auglýsing í gegnum fínt sigti með meira en 50 sjálfvirkum síum sem reyna að finna eitthvað slæmt í auglýsingunni.
Ef enginn skynjara virkaði, þá er svar sent til Yula um að auglýsingin sé „líklegast“ í fullkominni röð. Við notum þetta svar sjálf og notendur sem hafa gerst áskrifandi að seljanda fá tilkynningu um framboð á nýrri vöru.
Tilkynning um að seljandi sé með nýja vöru.
Þar af leiðandi er hver auglýsing „ofvaxin“ af lýsigögnum, sum þeirra verða til þegar auglýsingin er búin til (IP tölu höfundar, umboðsmaður notenda, vettvangur, landfræðileg staðsetning o.s.frv.), og restin er stigin sem hver sía gefur út. .
Tilkynningarraðir
Þegar auglýsing berst á vettvang setur kerfið hana í eina af biðröðunum. Hver biðröð er búin til með stærðfræðilegri formúlu sem sameinar lýsigögn auglýsinga á þann hátt sem skynjar slæm mynstur.
Til dæmis geturðu búið til biðröð af auglýsingum í flokknum „farsímar“ frá Yula notendum sem eru að sögn frá St. Pétursborg, en IP tölur þeirra eru frá Moskvu eða öðrum borgum.
Dæmi um auglýsingar sem einn notandi hefur sett inn í mismunandi borgum.
Eða þú getur myndað biðraðir byggðar á stigunum sem tauganetið úthlutar auglýsingum, raða þeim í lækkandi röð.
Hver biðröð, samkvæmt sinni eigin formúlu, gefur auglýsingunni lokaeinkunn. Þá geturðu haldið áfram á mismunandi vegu:
- tilgreina þröskuldinn þar sem auglýsing mun fá ákveðna tegund af lokun;
- senda allar auglýsingar í biðröð til stjórnenda til handvirkrar skoðunar;
- eða sameina fyrri valkostina: tilgreindu sjálfvirka lokunarþröskuldinn og sendu stjórnendum þær auglýsingar sem hafa ekki náð þessum þröskuldi.
Af hverju þarf þessar biðraðir? Segjum að notandi hafi sett inn mynd af skotvopni. Tauganetið gefur því einkunn frá 95 til 100 og ákvarðar með 99 prósent nákvæmni að það sé vopn á myndinni. En ef stigagildið er undir 95% fer nákvæmni líkansins að minnka (þetta er eiginleiki taugakerfislíkana).
Fyrir vikið myndast biðröð byggð á stigalíkaninu og þær auglýsingar sem berast á milli 95 og 100 eru sjálfkrafa læstar sem „Bönnuð vörur“. Auglýsingar með einkunn undir 95 eru sendar til stjórnenda til handvirkrar vinnslu.
Súkkulaði Beretta með skothylki. Aðeins til handvirkrar stjórnunar! 🙂
Handvirk stjórnsemi
Í byrjun árs 2019 er um 94% allra auglýsinga í Yula stjórnað sjálfkrafa.
Ef pallurinn getur ekki ákveðið sumar auglýsingar sendir hann þær til handvirkrar stjórnunar. Odnoklassniki þróaði sitt eigið tól: verkefni fyrir stjórnendur birta strax allar nauðsynlegar upplýsingar til að taka skjóta ákvörðun - auglýsingin hentar eða ætti að loka á hana og gefur til kynna ástæðuna.
Og svo að gæði þjónustunnar fari ekki úr skorðum við handvirkt hófsemi er stöðugt fylgst með vinnu fólks. Til dæmis, í verkefnastraumnum, eru stjórnanda sýndar „gildrur“ — auglýsingar sem þegar eru til tilbúnar lausnir fyrir. Ef ákvörðun stjórnanda fellur ekki saman við þá ákvörðun sem lokið er, fær stjórnanda villu.
Að meðaltali eyðir stjórnandi 10 sekúndum í að skoða eina auglýsingu. Þar að auki er fjöldi villna ekki meira en 0,5% af öllum staðfestum auglýsingum.
Hófsemi fólks
Samstarfsmenn frá Odnoklassniki gengu enn lengra og nýttu sér „hjálp áhorfenda“: þeir skrifuðu leikjaforrit fyrir samfélagsnetið þar sem þú getur fljótt merkt mikið magn af gögnum og bent á slæm merki - Odnoklassniki Moderator (). Góð leið til að nýta hjálp OK notenda sem eru að reyna að gera efnið skemmtilegra.
Leikur þar sem notendur merkja myndir sem hafa símanúmer á þeim.
Hægt er að beina hvaða röð auglýsinga sem er á pallinum í Odnoklassniki Moderator leikinn. Allt sem notendur leikja merkja er síðan sent til innri stjórnenda til skoðunar. Þetta kerfi gerir þér kleift að loka fyrir auglýsingar sem síur hafa ekki enn verið búnar til og búa samtímis til æfingasýnishorn.
Geymir niðurstöður meðalhófs
Við vistum allar ákvarðanir sem teknar eru við stjórnunartíma svo við endurvinnum ekki þær auglýsingar sem við höfum þegar tekið ákvörðun um.
Milljónir klasa verða til á hverjum degi út frá auglýsingum. Með tímanum er hver klasi merktur „góður“ eða „slæmur“. Hver ný auglýsing eða endurskoðun hennar, sem fer inn í klasa með merki, fær sjálfkrafa upplausn frá klasanum sjálfum. Það eru um 20 þúsund slíkar sjálfvirkar upplausnir á dag.
Ef engar nýjar tilkynningar berast til þyrpingarinnar er hann fjarlægður úr minni og kjötkássa hans og lausn skrifuð til Apache Cassandra.
Þegar vettvangurinn fær nýja auglýsingu reynir hann fyrst að finna svipaðan klasa meðal þeirra sem þegar eru búnir til og taka lausn úr honum. Ef engin slík þyrping er til, fer pallurinn til Cassöndru og lítur þangað. Fannstu það? Frábært, beitir lausninni á klasann og sendir hana til Yula. Það eru að meðaltali 70 þúsund slíkar „endurteknar“ ákvarðanir á hverjum degi — 8% af heildinni.
Toppur upp
Við höfum notað Odnoklassniki stjórnunarvettvanginn í tvö og hálft ár. Okkur líkar við niðurstöðurnar:
- Við stjórnum sjálfkrafa 94% af öllum auglýsingum á dag.
- Kostnaður við að stjórna einni auglýsingu var lækkaður úr 2 rúblum í 7 kopek.
- Þökk sé tilbúnu tólinu gleymdum við vandamálum við að stjórna stjórnendum.
- Við fjölguðum fjölda handvirkra auglýsinga um 2,5 sinnum með sama fjölda stjórnenda og kostnaðarhámarki. Gæði handvirkrar hófsemi hafa einnig aukist vegna sjálfvirkrar stjórnunar og sveiflast um 0,5% villna.
- Við náum fljótt yfir nýjar tegundir ruslpósts með síum.
- Við tengjum nýjar deildir fljótt við hófsemi . Síðan 2017 hefur Yula bætt við lóðréttum fasteignum, lausum störfum og bílum.
Heimild: www.habr.com