Quaelibet opera cuius utentes contenta sua creare possunt ( UGC - User-generated content ) non solum quaestiones negotiationes solvendas coguntur, sed etiam res ordine in UGC ponere coguntur. Pauperum vel humilium qualitas contentorum moderatio potest ad ultimum reducere delectationem servitii pro utentibus, usque ad eius operationem terminandam.
Hodie tibi de synergia inter Yula et Odnoklassniki narrabimus, quae nos adiuvat utiliter adscriptiones moderatas in Yula.
Synergia generatim res utilissima est, et in mundo huius temporis, cum technologiae et trends cito mutant, potest in vitalem converti. Cur vix opes et tempus inveniendi aliquid, quod iam inventum et propositum est ante te?
Idem putavimus cum praegressi sumus cum pleno munere contentorum usoris moderandi - imaginibus, textibus et nexus. Nostri usores decies centena millia fragmentorum contentorum ad Yula quotidie imponunt, et sine processu latis omnino impossibile est omnia haec notitia manually moderari.
Praeparato igitur moderamine suggestu usi sumus, quod eo tempore collegae nostri ab Odnoklassniki ad statum "fere perfectionis" perfecerunt.
Cur Odnoklassniki?
Quotidie decies centena milia usorum ad retia socialia accedunt et billiona de fragmentis contentorum emittunt: ex imaginibus ad videos et textibus. Modus Modus Odnoklassniki moderatio adiuvat ad reprimendum amplissima volumina notitiarum et spammers et automata reprimenda.
Turma OK moderatio multum experientiae collegerat, quia instrumentum suum per 12 annos auget. Praestat ut non solum solutiones paratas communicare possint, sed etiam architecturae suggesti consuescere ut nostris muniis conveniat.
Posthac, pro brevitate, simpliciter suggestum OK moderatio " suggestus" appellabimus.
Quomodo omnia operatur
Data commutatio inter Yula et Odnoklassniki constat per .
Quare hoc instrumentum elegimus;
- In Yula omnes tabulae post-moderatae sunt, itaque initio responsio synchrona non requiritur.
- Si malus paragraphus inciderit et Yula vel Odnoklassniki perpendat, inclusa ob aliquas sarcinas apicem, tunc notitia Kafka nusquam evanescit et postea legi potest.
- suggestum iam cum Kafka integratum est, itaque quaestiones maximae securitatis solutae sunt.
Utraque ad creata vel mutata ab usore in Yula, a JSON cum notitia generatur, quae in Kafka ponitur propter moderationem subsequentem. Ex Kafka, nuntia in suggestum onerata, ubi automatice aut manually diiudicantur. Mali praeconium ratione praecluduntur, et eae in quibus suggestum violationes non invenit ut "bona". Tunc omnia decreta Yula remittuntur et in servicium applicantur.
In fine, quia Yula omnia ad actiones simplices descendit: ad suggestum Odnoklassniki mitte et solutionem "ok" redi, vel cur non "ok".
Lorem processus
Quid accidit ad postquam pervenit suggestum? Unumquodque ad divisum est in plura entia:
- Nomen,
- descriptio;
- imagines,
- categoriae usoris selectae et subcategoriae instrumenti,
- pretium.
In suggestu deinde glomerari singula entitas efficit ut duplicata invenias. Textus praeterea et imagines ad varias technas glomerantur.
Priusquam racemosi sunt, textus normales sunt ad tollendas characteres speciales, litteras mutatas et alia purgamenta. Data recepta in N-P. dividitur, quorum unumquodque deicitur. Ex pluribus singularibus hashes. Similitudo inter textuum determinatur per inter utrumque ponit. Si similitudo maior est quam limen, textus in unum botrum coalescit. Ad inquisitionem accelerandam similes ligaturae, MinHash et Locality-sensitiva hashing adhibentur.
Variae optiones pro imaginibus conglutinando inventae sunt ad imagines photographicas, comparando pHash imagines ad quaerendas duplicatas usus retis neuralis.
Ultima methodus est gravissima "gravissima". Exemplar instituendi, trigemini imaginum (N, A, P) delecti sunt, in quibus N non est similis A, et P similis A (est semiduplicatus). Tum retis neuralis didicit facere A, P quam proxime, et A et N quam maxime. Hic eventus in paucioribus positivis falsis comparatis simpliciter sumens incommoda ex ornatum retis praeordinatis.
Cum reticularis neural imagines input accipit, vector dimensiva N(128) generat pro unoquoque eorum et petitio fit ut propinquitas imaginis perpendat. Deinde limen computatur in quo prope imagines duplicatae considerantur.
Exemplar sollerter spammers invenire potest qui idem productum ex diversis angulis specie photographat ut pHash comparationem praetermittas.
Exemplum spamma photographicas cum reticulo neurali ut duplicata conglutinata est.
In ultimo gradu, tabulae duplicatae simul ab utroque textu et imagine scrutantur.
Si duae vel plures tabulae in botro conglutinatae sunt, systema latis interclusionis incipit, quae, adhibitis quibusdam algorithmis, eligit quae duplicat delere et quae relinquere. Exempli gratia, si duo usores easdem imagines in an ad rationem habent, ratio recentioris ad claudet.
Postquam creatae sunt, omnes ligaturae per filtras latae seriei egrediuntur. Singulae colum ustulo botro assignat: quam verisimile est eam continere comminationem quam hoc colum identificat.
Exempli gratia, systema descriptionem describit et ad genera potentiale eligit. Deinde cum maxima probabilitate sumit eam cum praedicamento ab auctore ad- definito comparat. Si non concordant, ad praeclusum est pro categoria mali. Et quoniam benigni et honesti sumus, protinus indicamus utentem quo genere eligendum sit ut ad modum fiat.
Notification claudendi pro falsa genus.
Apparatus eruditionis recte sentit domi in suggestu nostro. Exempli gratia, eius ope quaerimus in nominibus et descriptionibus bonorum prohibitorum Foederationis Russicae. Ac neural retis exempla adamussim imagines "examine" videre si URLs, spamma textus, numeros telephonicos contineant, eademque informationes "prohibita".
In casibus enim ubi prohibitum productum simulatum legale vendere conantur, et in textu vel titulo vel descriptione nulla est, imagine tagging utimur. Unaquaeque enim imago, usque ad 11 milia diversarum textorum, addi potest quae in imagine describam.
Quaerunt hookah fuco illam ut samovar vendere.
Parallela filtra complexorum, simplicia etiam operantur, solvendo problemata patentia cum textu relata:
- antimat;
- URL et numerus telephonicus detector;
- de nunciis instantis et aliis contactibus;
- pretium imminutum;
- tabulae in quibus nihil est venale, etc.
Hodie, omnis ad percrebruit cribrum plusquam 50 eliquarum automaticarum quae aliquid mali invenire conantur in ad.
Si nemo detectorum laboravit, responsum Yula mittitur ut "verisimile" sit in ordine perfecto. Hoc nobis respondemus, et utentes qui venditori subscripserunt notificationem de promptitudine novi operis accipimus.
Notification quod venditor habet novum opus.
Quo fit, uterque ad metadata est "obsitus", quarum quaedam generatur cum ad creatur (inscriptionis IP auctoris, agentis usoris, suggestus, geolocation, etc.), reliquum est nomen a singulis colum latis. .
Nuntius stantibus anteponere
Cum suggestum ad hits, ratio in unum stantibus anteponere. Quaeque queue creata est utens formula mathematica quae ad metadatam coniungit ut mala aliqua exemplaria deprehendat.
Pro exemplo, queue ads in "Cell Phones" categoriam ex Yula utentibus St. Petersburg creare potes, sed eorum IP inscriptiones e Moscuae vel aliis urbibus sunt.
Exemplum tabulae ab uno usuario in diversis urbibus missae.
Vel queues formare potes in ustulo quod reticulum neurale assignatis ads adsignat, eas in ordine descendendo disponens.
Quaeque queue, secundum suam formulam, finalem score ad assignat. Tunc diversimode procedere potes;
- specificare limen quo ad accipiendum quoddam genus interclusionis;
- omnia adscriptiones in queue ad moderatores manualis recensionis mittere;
- vel compone optiones praecedentes: limen latis specificae interclusio et moderatores mitte ad tabulas quae hoc limen non attigerunt.
Cur haec stantibus anteponere? Dicamus usorem uploaded photographicam firearm. Retis neuralis ustulo ab 95 ad 100 assignat et cum 99 cento accurate determinat quod telum in pictura est. Sed si valor score infra 95% est, accuratio exemplaris decrescere incipit (hoc est notae retis neuralis exemplorum).
Quam ob rem, queue formatur secundum exemplar score, et adscriptiones quae inter 95 et 100 receptae automatice impediuntur ut "Prohibitae Products". Praescriptiones cum score infra 95 mittuntur moderatores ad processum manualem.
Scelerisque Beretta cum cartridges. Tantum ad manualem moderationem! 🙂
Moderatio manualis
Ineunte 2019, circiter 94% omnium tabulae in Yula ipso facto moderatae sunt.
Si suggestum de aliquibus additionibus decernere non potest, ad moderationem manualem emittit. Odnoklassniki proprium instrumentum evolvit: moderatores operas statim ostendunt omnia necessaria informationes ad decisionem promptam faciendam - the ad idoneus vel obstruendus, rationem indicans.
Itaque ut qualitas servitii in moderatione manuali non patitur, opus hominum assidue monitum est. Exempli gratia, in munere fluminis moderator "laquei" ostenditur - adscriptiones pro quibus solutiones iam paratae sunt. Si consilium moderatoris cum finito non coincidit, Moderator errori datus est.
In mediocris, moderator expendit 10 seconds iniecta unum ad. Praeterea numerus errorum non plus quam 0,5% omnium additorum veritatum est.
Populi moderatio
Collegi ab Odnoklassniki etiam longius progressi sunt et "auxilium audientium" scripserunt: scripserunt lusum applicationis ad network socialem in quo celeriter magnam copiam notitiarum notare potes, signa mali alicuius - Odnoklassniki Moderatoris (.). Via bona uteretur auxilio OK utentium qui contentum iucundiorem reddere conantur.
Ludus in quo users tag imagines quae in eis numerum telephonicum habent.
Quaevis queue adscriptionum in suggestu ad ludum Odnoklassniki Moderatoris referri potest. Omnia ludi utentes notant, tunc moderatoribus internis pro verificatione mittuntur. Quae res te permittit ut praeconia intercludantur quae Filtra nondum creata sunt, et simul exempla formandi creandi.
Temperantiae thesaurizantes eventus
Omnes decisiones in moderatione servamus, ne illae adscriptiones re- tractentur de quibus iam decrevimus.
Milia uvarum quotidie creata sunt in ostentationibus. Subinde quilibet botrus dictus est "bonus" vel "malus". Quaelibet nova ad vel recognoscenda, botrum cum caractere ingrediens, automatice resolutionem ab ipso botro accipit. Tam latae sententiae per diem circiter XX milia sunt.
Si nullae novae annuntiationes ad botrum pervenerunt, memoria tollitur et eius Nullam et solutionem Apache Cassandrae scriptae sunt.
Cum suggestum novam tabulam accipit, primum similem botrum inter iam creatos inventurum et solutionem ab eo capiat. Si non est botrus talis, tribunal Cassandram adit et illuc spectat. ecquem reperis? Magna solutionem botri applicat et in Yulam mittit. Mediocris 70 milium talium "iteratorum" sunt sententiae in dies 8% totius.
quoquo
Moderatorem suggestum Odnoklassniki duobus et dimidio annis usi sumus. Eventus placet:
- Nos automatice XCIV% omnium additorum per diem moderari.
- Sumptus unus ad modum moderandi ex 2 rublis ad 7 kopecks redactus est.
- Per instrumentum praeparatum obliti sumus de quaestionibus moderatoribus administrandi.
- Numerum manually adscriptionum processuum per 2,5 vicibus totidem moderatorum et rerum oeconomicarum auximus. Modus moderationis manualis etiam auctus est propter automatum imperium et circa 0,5% errorum fluctuat.
- Celeriter nova genera spam columellarum operimus.
- Nos cito coniungere novas Dicasteria ad modum . Cum 2017, Yula addidit Real Estate, Vacanciis et Auto verticalibus.
Source: www.habr.com