Kila huduma ambayo watumiaji wanaweza kuunda maudhui yao wenyewe (UGC - Maudhui yanayotokana na Mtumiaji) inalazimika si tu kutatua matatizo ya biashara, lakini pia kuweka mambo katika UGC. Udhibiti wa maudhui duni au wa ubora wa chini unaweza hatimaye kupunguza mvuto wa huduma kwa watumiaji, hata kukomesha utendakazi wake.
Leo tutakuambia kuhusu ushirikiano kati ya Yula na Odnoklassniki, ambayo hutusaidia kwa ufanisi kudhibiti matangazo katika Yula.
Harambee kwa ujumla ni jambo muhimu sana, na katika ulimwengu wa kisasa, wakati teknolojia na mwelekeo hubadilika haraka sana, inaweza kugeuka kuwa kuokoa maisha. Kwa nini upoteze rasilimali adimu na wakati kuvumbua kitu ambacho tayari kimevumbuliwa na kukumbukwa mbele yako?
Tulifikiri jambo lile lile tulipokabiliwa na kazi kamili ya kudhibiti maudhui ya mtumiaji - picha, maandishi na viungo. Watumiaji wetu hupakia mamilioni ya vipande vya maudhui kwa Yula kila siku, na bila kuchakata kiotomatiki haiwezekani kudhibiti data hii yote kwa mikono.
Kwa hivyo, tulitumia jukwaa la wastani lililotengenezwa tayari, ambalo wakati huo wenzetu kutoka Odnoklassniki walikuwa wamekamilisha kwa hali ya "karibu ukamilifu."
Kwa nini Odnoklassniki?
Kila siku, makumi ya mamilioni ya watumiaji huja kwenye mtandao wa kijamii na kuchapisha mabilioni ya vipande vya maudhui: kutoka kwa picha hadi video na maandishi. Jukwaa la udhibiti wa Odnoklassniki husaidia kuangalia kiasi kikubwa sana cha data na kukabiliana na spammers na bots.
Timu ya usimamizi ya OK imekusanya uzoefu mwingi, kwani imekuwa ikiboresha zana yake kwa miaka 12. Ni muhimu kwamba hawakuweza tu kushiriki masuluhisho yao yaliyotengenezwa tayari, lakini pia kubinafsisha usanifu wa jukwaa lao ili kuendana na kazi zetu mahususi.
Kuanzia sasa na kuendelea, kwa ufupi, tutaita tu jukwaa la usimamizi la OK "jukwaa."
Jinsi yote inavyofanya kazi
Ubadilishanaji wa data kati ya Yula na Odnoklassniki huanzishwa kupitia .
Kwa nini tulichagua chombo hiki:
- Katika Yula, matangazo yote yamedhibitiwa, kwa hivyo mwanzoni majibu ya kisawazisha hayakuhitajika.
- Ikiwa aya mbaya itatokea na Yula au Odnoklassniki haipatikani, ikiwa ni pamoja na kutokana na mizigo ya kilele, basi data kutoka Kafka haitapotea popote na inaweza kusomwa baadaye.
- Jukwaa lilikuwa tayari limeunganishwa na Kafka, kwa hivyo maswala mengi ya usalama yalitatuliwa.
Kwa kila tangazo lililoundwa au kurekebishwa na mtumiaji katika Yula, JSON yenye data inatolewa, ambayo huwekwa katika Kafka kwa udhibiti unaofuata. Kutoka Kafka, matangazo hupakiwa kwenye jukwaa, ambapo huamuliwa kiotomatiki au kwa mikono. Matangazo mabaya yamezuiwa kwa sababu, na yale ambayo mfumo haupati ukiukaji hutiwa alama kuwa "nzuri." Kisha maamuzi yote yanarejeshwa kwa Yula na kutumika katika huduma.
Mwishowe, kwa Yula yote inakuja kwa vitendo rahisi: tuma tangazo kwenye jukwaa la Odnoklassniki na upate azimio "sawa", au kwa nini sio "sawa".
Usindikaji otomatiki
Je, nini kitatokea kwa tangazo baada ya kugonga jukwaa? Kila tangazo limegawanywa katika vyombo kadhaa:
- Jina,
- maelezo,
- picha,
- kategoria iliyochaguliwa na mtumiaji na kitengo kidogo cha tangazo,
- bei
Kisha jukwaa hufanya nguzo kwa kila chombo kupata nakala. Kwa kuongezea, maandishi na picha zimeunganishwa kulingana na miradi tofauti.
Kabla ya kuunganishwa, maandishi yanarekebishwa ili kuondoa herufi maalum, herufi zilizobadilishwa na takataka zingine. Data iliyopokelewa imegawanywa katika N-gramu, ambayo kila moja ni ya haraka. Matokeo yake ni heshi nyingi za kipekee. Kufanana kati ya maandishi huamuliwa na kati ya seti mbili zinazosababisha. Ikiwa kufanana ni kubwa zaidi kuliko kizingiti, basi maandiko yanaunganishwa kwenye nguzo moja. Ili kuharakisha utafutaji wa makundi sawa, MinHash na hashing nyeti ya Eneo hutumiwa.
Chaguo mbalimbali za picha za kuunganisha zimevumbuliwa kwa ajili ya picha, kutoka kwa kulinganisha picha za pHash hadi kutafuta nakala kwa kutumia mtandao wa neva.
Njia ya mwisho ni "kali" zaidi. Ili kutoa mafunzo kwa mfano huo, picha tatu (N, A, P) zilichaguliwa ambazo N haifanani na A, na P ni sawa na A (ni nusu-duplicate). Kisha mtandao wa neva ulijifunza kufanya A na P karibu iwezekanavyo, na A na N kadri inavyowezekana. Hii inasababisha chanya chache za uwongo ikilinganishwa na kuchukua tu upachikaji kutoka kwa mtandao uliofunzwa mapema.
Mtandao wa neva unapopokea picha kama ingizo, huzalisha vekta ya N(128)-dimensional kwa kila moja yao na ombi hufanywa kutathmini ukaribu wa picha hiyo. Ifuatayo, kiwango cha juu kinahesabiwa ambapo picha za karibu huchukuliwa kuwa nakala.
Muundo huu unaweza kupata watumaji taka ambao hupiga picha mahususi bidhaa sawa kutoka pembe tofauti ili kukwepa ulinganisho wa pHash.
Mfano wa picha taka zilizounganishwa pamoja na mtandao wa neva kama nakala.
Katika hatua ya mwisho, matangazo ya nakala hutafutwa kwa wakati mmoja na maandishi na picha.
Ikiwa matangazo mawili au zaidi yamekwama pamoja katika kundi, mfumo huanza kuzuia kiotomatiki, ambayo, kwa kutumia algorithms fulani, huchagua ni nakala gani za kufuta na zipi za kuondoka. Kwa mfano, ikiwa watumiaji wawili wana picha sawa kwenye tangazo, mfumo utazuia tangazo la hivi majuzi zaidi.
Mara baada ya kuundwa, makundi yote hupitia mfululizo wa vichujio otomatiki. Kila kichujio kinapeana alama kwa nguzo: kuna uwezekano gani kuwa ina tishio ambalo kichujio hiki kitatambua.
Kwa mfano, mfumo huchanganua maelezo katika tangazo na kuchagua kategoria zinazowezekana kwa ajili yake. Kisha inachukua ile iliyo na uwezekano mkubwa zaidi na kuilinganisha na kategoria iliyobainishwa na mwandishi wa tangazo. Ikiwa hazilingani, tangazo limezuiwa kwa kategoria isiyo sahihi. Na kwa kuwa sisi ni watu wema na waaminifu, tunamwambia mtumiaji moja kwa moja aina anayohitaji kuchagua ili tangazo lipitishe udhibiti.
Arifa ya kuzuia kwa kategoria isiyo sahihi.
Kujifunza kwa mashine kunahisi sawa katika jukwaa letu. Kwa mfano, kwa msaada wake tunatafuta katika majina na maelezo ya bidhaa zilizopigwa marufuku katika Shirikisho la Urusi. Na miundo ya mtandao wa neva kwa uangalifu "huchunguza" picha ili kuona ikiwa zina URL, maandishi ya barua taka, nambari za simu, na maelezo sawa "yaliyokatazwa".
Katika hali ambapo wanajaribu kuuza bidhaa iliyopigwa marufuku iliyofichwa kama kitu halali, na hakuna maandishi katika kichwa au maelezo, tunatumia tagi ya picha. Kwa kila picha, hadi vitambulisho elfu 11 tofauti vinaweza kuongezwa vinavyoelezea kile kilicho kwenye picha.
Wanajaribu kuuza hookah kwa kuibadilisha kama samovar.
Sambamba na vichungi ngumu, rahisi pia hufanya kazi, kutatua shida dhahiri zinazohusiana na maandishi:
- antimat;
- URL na kigunduzi cha nambari ya simu;
- kutaja wajumbe wa papo hapo na mawasiliano mengine;
- bei iliyopunguzwa;
- matangazo ambayo hakuna kitu cha kuuza, nk.
Leo, kila tangazo hupitia ungo mzuri wa vichujio otomatiki zaidi ya 50 ambavyo hujaribu kupata kitu kibaya kwenye tangazo.
Ikiwa hakuna vigunduzi vilivyofanya kazi, basi jibu hutumwa kwa Yula kwamba tangazo "lina uwezekano mkubwa" katika mpangilio kamili. Tunatumia jibu hili sisi wenyewe, na watumiaji ambao wamejisajili kwa muuzaji hupokea arifa kuhusu upatikanaji wa bidhaa mpya.
Taarifa kwamba muuzaji ana bidhaa mpya.
Kwa hivyo, kila tangazo "huzidiwa" na metadata, ambayo baadhi huzalishwa wakati tangazo linaundwa (anwani ya IP ya mwandishi, wakala wa mtumiaji, jukwaa, eneo la kijiografia, n.k.), na iliyosalia ni alama iliyotolewa na kila kichujio. .
Foleni za matangazo
Tangazo linapogonga jukwaa, mfumo huliweka kwenye mojawapo ya foleni. Kila foleni huundwa kwa kutumia fomula ya hisabati inayochanganya metadata ya tangazo kwa njia ambayo hutambua ruwaza zozote mbaya.
Kwa mfano, unaweza kuunda foleni ya matangazo katika kitengo cha "Simu za rununu" kutoka kwa watumiaji wa Yula wanaodaiwa kutoka St. Petersburg, lakini anwani zao za IP zinatoka Moscow au miji mingine.
Mfano wa matangazo yaliyotumwa na mtumiaji mmoja katika miji tofauti.
Au unaweza kuunda foleni kulingana na alama ambazo mtandao wa neva unapeana matangazo, ukizipanga kwa mpangilio wa kushuka.
Kila foleni, kulingana na fomula yake, hutoa alama ya mwisho kwa tangazo. Kisha unaweza kuendelea kwa njia tofauti:
- taja kizingiti ambacho tangazo litapokea aina fulani ya kuzuia;
- tuma matangazo yote kwenye foleni kwa wasimamizi kwa ukaguzi wa mikono;
- au unganisha chaguo za awali: taja kizingiti cha kuzuia kiotomatiki na utume kwa wasimamizi yale matangazo ambayo hayajafikia kikomo hiki.
Kwa nini foleni hizi zinahitajika? Hebu tuseme mtumiaji alipakia picha ya bunduki. Mtandao wa neva huipa alama kutoka 95 hadi 100 na huamua kwa usahihi wa asilimia 99 kwamba kuna silaha kwenye picha. Lakini ikiwa thamani ya alama iko chini ya 95%, usahihi wa mfano huanza kupungua (hii ni kipengele cha mifano ya mtandao wa neural).
Kwa hivyo, foleni inaundwa kulingana na muundo wa alama, na matangazo yaliyopokelewa kati ya 95 na 100 yanazuiwa kiotomatiki kama "Bidhaa Zilizopigwa marufuku". Matangazo yaliyo na alama chini ya 95 hutumwa kwa wasimamizi kwa usindikaji wa mikono.
Chokoleti Beretta na cartridges. Kwa usimamizi wa mwongozo tu! π
Udhibiti wa mwongozo
Mwanzoni mwa 2019, karibu 94% ya matangazo yote katika Yula yanadhibitiwa kiotomatiki.
Ikiwa jukwaa haliwezi kuamua juu ya baadhi ya matangazo, inawatuma kwa udhibiti wa kibinafsi. Odnoklassniki ilitengeneza zana yao wenyewe: kazi za wasimamizi zinaonyesha mara moja habari zote muhimu kufanya uamuzi wa haraka - tangazo linafaa au linapaswa kuzuiwa, ikionyesha sababu.
Na hivyo kwamba ubora wa huduma hauteseka wakati wa udhibiti wa mwongozo, kazi ya watu inafuatiliwa daima. Kwa mfano, katika mkondo wa kazi, msimamizi anaonyeshwa "mitego" -matangazo ambayo tayari kuna ufumbuzi tayari. Ikiwa uamuzi wa msimamizi haufanani na kumaliza, msimamizi hupewa kosa.
Kwa wastani, msimamizi hutumia sekunde 10 kuangalia tangazo moja. Zaidi ya hayo, idadi ya makosa sio zaidi ya 0,5% ya matangazo yote yaliyothibitishwa.
Kiasi cha watu
Wenzake kutoka Odnoklassniki walikwenda mbali zaidi na kuchukua fursa ya "msaada wa watazamaji": waliandika maombi ya mchezo kwa mtandao wa kijamii ambao unaweza kuweka alama kwa haraka idadi kubwa ya data, ikionyesha ishara mbaya - Msimamizi wa Odnoklassniki () Njia nzuri ya kunufaika na usaidizi wa watumiaji wa OK ambao wanajaribu kufanya maudhui yawe ya kufurahisha zaidi.
Mchezo ambao watumiaji huweka lebo kwenye picha ambazo zina nambari ya simu.
Foleni yoyote ya matangazo kwenye jukwaa inaweza kuelekezwa kwenye mchezo wa Odnoklassniki Moderator. Kila kitu ambacho watumiaji wa mchezo huweka alama hutumwa kwa wasimamizi wa ndani ili kuthibitishwa. Mpango huu hukuruhusu kuzuia matangazo ambayo vichungi bado hazijaundwa, na wakati huo huo kuunda sampuli za mafunzo.
Kuhifadhi matokeo ya udhibiti
Tunahifadhi maamuzi yote yaliyofanywa wakati wa udhibiti ili tusiyachakate tena yale matangazo ambayo tayari tumefanya uamuzi.
Mamilioni ya vikundi huundwa kila siku kulingana na matangazo. Baada ya muda, kila kikundi kinaitwa "nzuri" au "mbaya." Kila tangazo jipya au marekebisho yake, yakiingia kwenye kundi lenye alama, hupokea kiotomatiki azimio kutoka kwa nguzo yenyewe. Kuna takriban maazimio elfu 20 kama haya kwa siku.
Ikiwa hakuna matangazo mapya yanayofika kwenye nguzo, huondolewa kwenye kumbukumbu na heshi na suluhisho lake huandikwa kwa Apache Cassandra.
Jukwaa linapopokea tangazo jipya, kwanza hujaribu kutafuta kundi linalofanana kati ya zile ambazo tayari zimeundwa na kuchukua suluhu kutoka kwake. Ikiwa hakuna nguzo kama hiyo, jukwaa huenda kwa Cassandra na kuangalia huko. Je, umeipata? Kubwa, hutumia suluhisho kwa nguzo na kuituma kwa Yula. Kuna wastani wa maamuzi elfu 70 kama hayo "yanayorudiwa" kila siku - 8% ya jumla.
Akihitimisha
Tumekuwa tukitumia jukwaa la udhibiti wa Odnoklassniki kwa miaka miwili na nusu. Tunapenda matokeo:
- Tunasimamia kiotomatiki 94% ya matangazo yote kwa siku.
- Gharama ya kudhibiti tangazo moja ilipunguzwa kutoka rubles 2 hadi kopecks 7.
- Shukrani kwa chombo kilichopangwa tayari, tulisahau kuhusu matatizo ya kusimamia wasimamizi.
- Tuliongeza idadi ya matangazo yaliyochakatwa wenyewe kwa mara 2,5 kwa idadi sawa ya wasimamizi na bajeti. Ubora wa udhibiti wa mwongozo pia umeongezeka kwa sababu ya udhibiti wa kiotomatiki, na hubadilika karibu 0,5% ya makosa.
- Tunashughulikia haraka aina mpya za barua taka na vichungi.
- Tunaunganisha haraka idara mpya kwa usimamizi . Tangu 2017, Yula ameongeza Majengo, Nafasi za Kazi na Wima Otomatiki.
Chanzo: mapenzi.com