All Service, deem seng Benotzer hiren eegene Inhalt erstellen (UGC - User-generéiert Inhalt) ass gezwongen net nëmme fir Geschäftsproblemer ze léisen, mee och d'Saachen an der UGC an Uerdnung ze setzen. Schlecht oder niddereg-Qualitéit Inhalt Moderatioun kann schlussendlech d'Attraktivitéit vum Service fir Benotzer reduzéieren, souguer seng Operatioun ofzeschléissen.
Haut wäerte mir Iech iwwer d'Synergie tëscht Yula an Odnoklassniki soen, wat eis hëlleft effektiv Annoncen am Yula ze moderéieren.
Synergy am Allgemengen ass eng ganz nëtzlech Saach, an an der moderner Welt, wann Technologien an Trends ganz séier änneren, kann et zu engem Rettungsdéngscht ginn. Firwat knapps Ressourcen an Zäit verschwenden eppes ze erfannen, wat scho virun Iech erfonnt an am Kapp bruecht gouf?
Mir hunn datselwecht geduecht wa mir mat der voller Aufgab konfrontéiert waren de Benotzerinhalt ze moderéieren - Biller, Text a Linken. Eis Benotzer lueden all Dag Millioune Stécker vun Inhalt op Yula erop, an ouni automatesch Veraarbechtung ass et komplett onméiglech all dës Donnéeën manuell ze moderéieren.
Dofir hu mir eng fäerdeg Moderatiounsplattform benotzt, déi zu där Zäit eis Kollegen vun Odnoklassniki zu engem Zoustand vun "bal Perfektioun" ofgeschloss hunn.
Firwat Odnoklassniki?
All Dag kommen zéng Millioune Benotzer op de sozialen Netzwierk a publizéieren Milliarden Inhaltsstécker: vu Fotoen bis Videoen an Texter. D'Odnoklassniki Moderatiounsplattform hëlleft fir ganz grouss Bänn vun Daten ze kontrolléieren an Spammeren a Bots entgéint ze wierken.
D'OK Moderatiouns-Team huet vill Erfahrung gesammelt, well et säin Tool zënter 12 Joer verbessert huet. Et ass wichteg datt se net nëmmen hir fäerdeg Léisungen deelen, mee och d'Architektur vun hirer Plattform personaliséiere fir eis spezifesch Aufgaben ze passen.
Vun elo un, fir Kuerzegkeet, wäerte mir einfach d'OK Moderatiounsplattform "Plattform" nennen.
Wéi alles funktionnéiert
Datenaustausch tëscht Yula an Odnoklassniki gëtt duerch etabléiert .
Firwat hu mir dëst Tool gewielt:
- Zu Yula sinn all Annoncen postmoderéiert, sou datt am Ufank eng synchron Äntwert net erfuerderlech war.
- Wann e schlechten Abschnitt geschitt an Yula oder Odnoklassniki sinn net verfügbar, och wéinst e puer Peakbelaaschtungen, da verschwannen d'Donnéeë vu Kafka néierens a kënne spéider gelies ginn.
- D'Plattform war scho mat Kafka integréiert, sou datt déi meescht Sécherheetsprobleemer geléist goufen.
Fir all Annonce, déi vum Benotzer am Yula erstallt oder geännert gëtt, gëtt e JSON mat Daten generéiert, deen a Kafka plazéiert gëtt fir spéider Moderatioun. Vum Kafka ginn Ukënnegungen op d'Plattform gelueden, wou se automatesch oder manuell beurteelt ginn. Schlecht Annoncen gi mat engem Grond blockéiert, an déi an deenen d'Plattform keng Violatioune fënnt, ginn als "gutt" markéiert. Da ginn all Entscheedungen zréck op Yula geschéckt an am Service applizéiert.
Um Enn, fir Yula kënnt et alles op einfach Handlungen: schéckt eng Annonce op d'Odnoklassniki Plattform a kritt eng Resolutioun "ok", oder firwat net "ok".
Automatesch Veraarbechtung
Wat geschitt mat der Annonce nodeems se op der Plattform kommt? All Annonce ass an e puer Entitéite opgedeelt:
- Numm,
- Beschreiwung,
- Fotoen,
- Benotzer-ausgewielt Kategorie an Ënnerkategorie vun der Annonce,
- Präis
D'Plattform mécht dann Clustering fir all Entitéit fir Duplikaten ze fannen. Ausserdeem ginn Text a Fotoen no verschiddene Schemaen clusteréiert.
Virun Clustering ginn Texter normaliséiert fir speziell Zeechen, geännert Buschtawen an aner Dreck ze läschen. Déi kritt Donnéeën sinn an N-Gram ënnerdeelt, jidderee vun deenen ass hashed. D'Resultat ass vill eenzegaarteg Hashes. D'Ähnlechkeet tëscht Texter gëtt bestëmmt duerch tëscht den zwee resultéierende Sets. Wann d'Ähnlechkeet méi grouss ass wéi d'Schwell, da ginn d'Texter an ee Stärekoup fusionéiert. Fir d'Sich no ähnleche Cluster ze beschleunegen, ginn MinHash a Locality-sensitive Hashing benotzt.
Verschidde Méiglechkeeten fir Biller ze léien goufen fir Fotoen erfonnt, vu pHash Biller ze vergläichen bis no Duplikate mat engem neuralen Netzwierk ze sichen.
Déi lescht Method ass déi "schwéier". Fir de Modell ze trainéieren, goufen Triplets vu Biller (N, A, P) ausgewielt an deenen N net ähnlech wéi A ass, a P ähnlech wéi A ass (ass e semi-Duplikat). Dunn huet den neuralen Netzwierk geléiert A a P sou no wéi méiglech ze maachen, an A an N sou wäit wéi méiglech. Dëst resultéiert a manner falsch Positiver am Verglach mam einfachen Embeddings aus engem viraus trainéierten Netzwierk ze huelen.
Wann dat neuralt Netzwierk Biller als Input kritt, generéiert et en N (128)-dimensionalen Vektor fir jidderee vun hinnen an eng Ufro gëtt gemaach fir d'Proximitéit vum Bild ze bewäerten. Als nächst gëtt e Schwell berechent, bei deem no Biller als Duplikate ugesi ginn.
De Modell ass fäeg Spammeren ze fannen déi speziell datselwecht Produkt aus verschiddene Winkele fotograféieren fir de pHash Verglach ze ëmgoen.
E Beispill vu Spam-Fotoen, déi vun engem neurale Netzwierk als Duplikate zesummegeklemmt sinn.
An der leschter Etapp ginn duplizéiert Annoncen gläichzäiteg duerch Text a Bild gesicht.
Wann zwou oder méi Reklammen an engem Cluster zesummenhänken, fänkt de System automatesch Blockéierung un, déi mat bestëmmte Algorithmen auswielt wéi eng Duplikate fir ze läschen a wéi eng ze verloossen. Zum Beispill, wann zwee Benotzer déi selwecht Fotoen an enger Annonce hunn, blockéiert de System déi méi rezent Annonce.
Eemol erstallt ginn all Cluster duerch eng Serie vun automatesche Filtere. All Filter gëtt dem Cluster e Score zou: wéi wahrscheinlech ass et datt et d'Drohung enthält déi dëse Filter identifizéiert.
Zum Beispill analyséiert de System d'Beschreiwung an enger Annonce a wielt potenziell Kategorien dofir. Dann hëlt et dee mat der maximaler Wahrscheinlechkeet a vergläicht et mat der Kategorie, déi vum Auteur vun der Annonce spezifizéiert ass. Wann se net passen, gëtt d'Annonce fir déi falsch Kategorie gespaart. A well mir léif an éierlech sinn, soen mir de Benotzer direkt wéi eng Kategorie hie muss auswielen fir datt d'Annonce Moderatioun passéiert.
Notifikatioun vun Spär fir falsch Kategorie.
Maschinn Léieren fillt sech direkt doheem op eiser Plattform. Zum Beispill, mat senger Hëllef sichen mir an den Nimm a Beschreiwunge vu Wueren, déi an der russescher Federatioun verbueden sinn. An neural Netzwierkmodeller "ënnersichen" d'Biller virsiichteg fir ze kucken ob se URLen, Spam-Texter, Telefonsnummeren an déiselwecht "verbueden" Informatioun enthalen.
Fir Fäll wou se versichen e verbuedenen Produit ze verkafen als eppes legal verkleed, an et gëtt keen Text entweder am Titel oder Beschreiwung, mir benotzen Bild Tagging. Fir all Bild kënne bis zu 11 dausend verschidden Tags bäigefüügt ginn, déi beschreiwen wat am Bild ass.
Si probéieren d'Hookah ze verkafen andeems se se als Samovar verkleeden.
Parallel mat komplexe Filtere funktionnéieren och déi einfach, léisen selbstverständlech Problemer am Zesummenhang mam Text:
- antimat;
- URL an Telefonsnummer Detektor;
- Ernimmung vun Instant Messenger an aner Kontakter;
- reduzéierte Präis;
- Annoncen an deenen näischt ze verkafen ass, asw.
Haut geet all Annonce duerch e feine Sieb vu méi wéi 50 automatesche Filteren déi probéieren eppes Schlechtes an der Annonce ze fannen.
Wann keen vun den Detektoren geschafft huet, da gëtt eng Äntwert un de Yula geschéckt datt d'Annonce "wahrscheinlech" an der perfekter Uerdnung ass. Mir benotzen dës Äntwert selwer, a Benotzer, déi de Verkeefer abonnéiert hunn, kréien eng Notifikatioun iwwer d'Disponibilitéit vun engem neie Produkt.
Notifikatioun datt de Verkeefer en neit Produkt huet.
Als Resultat ass all Annonce "iwwerwuessen" mat Metadaten, vun deenen e puer generéiert ginn wann d'Annonce erstallt gëtt (IP Adress vum Auteur, User-Agent, Plattform, Geolocatioun, etc.), an de Rescht ass de Score deen vun all Filter erausginn ass. .
Ukënnegung Schlaangen
Wann eng Annonce op d'Plattform trëfft, setzt de System se an eng vun de Schlaangen. All Schlaang gëtt mat enger mathematesch Formel erstallt, déi Ad-Metadate kombinéiert op eng Manéier déi schlecht Mustere erkennt.
Zum Beispill, kënnt Dir eng Schlaang vun Annoncen an der Kategorie "Handyen" aus Yula Benotzer supposéierter aus St.
E Beispill vu Reklammen déi vun engem Benotzer a verschiddene Stied gepost ginn.
Oder Dir kënnt Schlaangen bilden op Basis vun de Partituren déi den neurale Netzwierk un d'Annoncen zougewisen huet, se an ofstigend Uerdnung arrangéiert.
All Schlaang, no senger eegener Formel, gëtt e Schlussscore un d'Annonce zou. Da kënnt Dir op verschidde Weeër virugoen:
- spezifizéiert de Schwelle bei deem eng Annonce eng gewëssen Aart vu Blockéierung kritt;
- schéckt all Annoncen an der Schlaang ze Moderatore fir manuell Iwwerpréiwung;
- oder kombinéieren déi viregt Optiounen: spezifizéiert den automatesche Spärschwell a schéckt un d'Moderatoren déi Annoncen déi dës Schwell net erreecht hunn.
Firwat sinn dës Schlaangen néideg? Loosst eis soen datt e Benotzer eng Foto vun engem Feierwaff eropgelueden huet. Den neuralen Netzwierk gëtt et e Score vun 95 bis 100 a bestëmmt mat 99 Prozent Genauegkeet datt et eng Waff am Bild ass. Awer wann de Scorewäert ënner 95% ass, fänkt d'Genauegkeet vum Modell un ze reduzéieren (dëst ass eng Feature vun neuralen Netzwierkmodeller).
Als Resultat gëtt eng Schlaang geformt op Basis vum Score-Modell, an déi Annoncen déi tëscht 95 an 100 kruten ginn automatesch als "Verbueden Produkter" blockéiert. Annoncen mat engem Score ënner 95 ginn u Moderatore fir manuell Veraarbechtung geschéckt.
Schockela Beretta mat Patrounen. Nëmme fir manuell Moderatioun! 🙂
Manuell Moderatioun
Am Ufank vum Joer 2019 sinn ongeféier 94% vun all Annoncen am Yula automatesch moderéiert.
Wann d'Plattform net iwwer e puer Annoncen entscheeden kann, schéckt se se fir manuell Moderatioun. Odnoklassniki huet hiren eegene Tool entwéckelt: Aufgabe fir Moderatoren weisen direkt all déi néideg Informatioune fir eng séier Entscheedung ze treffen - d'Annonce ass gëeegent oder soll blockéiert ginn, wat de Grond uginn.
A fir datt d'Qualitéit vum Service net während der manueller Moderatioun leiden, gëtt d'Aarbecht vun de Leit stänneg iwwerwaacht. Zum Beispill, am Task Stream gëtt de Moderator "Fallen" gewisen - Annoncen fir déi et scho fäerdeg Léisunge gëtt. Wann d'Entscheedung vum Moderator net mat der fäerdeger Entscheedung entsprécht, kritt de Moderator e Feeler.
Am Duerchschnëtt verbréngt e Moderator 10 Sekonnen fir eng Annonce ze kontrolléieren. Ausserdeem ass d'Zuel vu Feeler net méi wéi 0,5% vun all verifizéiert Annoncen.
Leit d'Moderatioun
D'Kollegen vun Odnoklassniki sinn nach méi wäit gaang an hunn vun der "Hëllef vum Publikum" profitéiert: si hunn eng Spillapplikatioun fir de sozialen Netzwierk geschriwwen, an där Dir séier eng grouss Quantitéit un Donnéeën markéiere kënnt, e schlecht Zeechen markéieren - Odnoklassniki Moderator (). E gudde Wee fir d'Hëllef vun OK Benotzer ze profitéieren déi probéieren den Inhalt méi agreabel ze maachen.
E Spill an deem d'Benotzer Fotoen markéieren déi eng Telefonsnummer drop hunn.
All Schlaang vun Annoncen op der Plattform kann op d'Odnoklassniki Moderator Spill ëmgeleet ginn. Alles wat d'Spill Benotzer markéieren gëtt dann un intern Moderatore geschéckt fir ze iwwerpréiwen. Dëse Schema erlaabt Iech Annoncen ze blockéieren fir déi Filteren nach net erstallt goufen, a gläichzäiteg Trainingsprouwen erstellen.
Moderatiounsresultater späicheren
Mir späicheren all Entscheedungen, déi während der Moderatioun getraff ginn, fir datt mir déi Annoncen, op déi mir schonn eng Entscheedung getraff hunn, net nei veraarbecht.
Millioune Cluster ginn all Dag op Basis vu Reklammen erstallt. Mat der Zäit gëtt all Cluster "gutt" oder "schlecht" bezeechent. All nei Annonce oder seng Revisioun, déi e Stärekoup mat enger Mark eragitt, kritt automatesch eng Resolutioun vum Cluster selwer. Et gi ongeféier 20 dausend sou automatesch Resolutiounen pro Dag.
Wa keng nei Ukënnegung an de Stärekoup kommen, gëtt et aus der Erënnerung geläscht a säin Hash a seng Léisung ginn op Apache Cassandra geschriwwe.
Wann d'Plattform eng nei Annonce kritt, probéiert se fir d'éischt en ähnleche Cluster ënnert deenen, déi scho geschafe sinn, ze fannen an eng Léisung dovunner ze huelen. Wann et keen esou Cluster ass, geet d'Plattform op d'Cassandra a kuckt do. Hutt Dir et fonnt? Super, applizéiert d'Léisung op de Stärekoup a schéckt se op Yula. Et ginn all Dag am Duerchschnëtt 70 Tausend esou "widderholl" Entscheedungen - 8% vum Gesamt.
Zesummefaassung
Mir hunn d'Odnoklassniki Moderatiounsplattform fir zwee an en halleft Joer benotzt. Mir gefällt d'Resultater:
- Mir moderéieren automatesch 94% vun all Annoncen pro Dag.
- D'Käschte fir eng Annonce ze moderéieren gouf vun 2 Rubel op 7 kopeck reduzéiert.
- Dank dem fäerdege Tool hu mir d'Problemer vun der Gestioun vun Moderatoren vergiess.
- Mir hunn d'Zuel vun de manuell veraarbechten Annoncen ëm 2,5 Mol erhéicht mat der selwechter Zuel vu Moderatoren a Budget. D'Qualitéit vun der manueller Moderatioun ass och eropgaang wéinst automatiséierter Kontroll, a schwankt ëm 0,5% vu Feeler.
- Mir decken séier nei Zorte vu Spam mat Filteren.
- Mir verbannen séier nei Departementer mat Moderatioun . Zënter 2017 huet de Yula d'Immobilien, Vakanzen an Auto Vertikalen bäigefüügt.
Source: will.com