İstifadəçiləri öz məzmununu yarada bilən hər bir xidmət (UGC - İstifadəçi tərəfindən yaradılan məzmun) təkcə biznes problemlərini həll etmək deyil, həm də UGC-də işləri qaydaya salmaq məcburiyyətindədir. Zəif və ya aşağı keyfiyyətli məzmun moderasiyası son nəticədə xidmətin istifadəçilər üçün cəlbediciliyini azalda bilər, hətta onun fəaliyyətini dayandıra bilər.
Bu gün biz sizə Yula və Odnoklassniki arasındakı sinerji haqqında məlumat verəcəyik ki, bu da bizə Yula-da reklamları effektiv şəkildə idarə etməyə kömək edir.
Ümumilikdə sinerji çox faydalı bir şeydir və müasir dünyada texnologiyalar və tendensiyalar çox tez dəyişdikdə, o, xilasediciyə çevrilə bilər. Nə üçün artıq icad edilmiş və ağlınıza gətirilən bir şeyi icad etməklə qıt resursları və vaxt sərf edirsiniz?
İstifadəçi məzmununu - şəkillər, mətn və keçidləri idarə etmək kimi tam vəzifə ilə qarşılaşanda da eyni şeyi düşündük. İstifadəçilərimiz hər gün Yula-ya milyonlarla məzmun yükləyirlər və avtomatik emal olmadan bütün bu məlumatları əl ilə idarə etmək tamamilə mümkün deyil.
Buna görə də biz hazır moderasiya platformasından istifadə etdik, o vaxta qədər Odnoklassniki-dəki həmkarlarımız onu “demək olar ki, mükəmməllik” vəziyyətinə gətirmişdilər.
Niyə Odnoklassniki?
Hər gün on milyonlarla istifadəçi sosial şəbəkəyə gəlir və milyardlarla məzmunu dərc edir: fotolardan tutmuş videolara və mətnlərə qədər. Odnoklassniki moderasiya platforması çox böyük həcmdə məlumatların yoxlanılmasına və spamerlərə və botlara qarşı mübarizə aparmağa kömək edir.
OK moderator komandası 12 ildir ki, alətini təkmilləşdirdiyi üçün çoxlu təcrübə toplayıb. Onların nəinki hazır həllərini paylaşa bilmələri, həm də platformalarının arxitekturasını bizim xüsusi tapşırıqlarımıza uyğunlaşdıra bilmələri vacibdir.
Bundan sonra, qısalıq üçün biz sadəcə olaraq OK moderasiya platformasını “platforma” adlandıracağıq.
Hər şey necə işləyir
Yula və Odnoklassniki arasında məlumat mübadiləsi vasitəsilə qurulur .
Niyə bu aləti seçdik:
- Yula-da bütün reklamlar post-moderasiya olunur, ona görə də əvvəlcə sinxron cavab tələb olunmur.
- Pis bir abzas baş verərsə və Yula və ya Odnoklassniki, o cümlədən bəzi pik yüklərə görə əlçatan deyilsə, Kafkadan gələn məlumatlar heç yerdə yox olmayacaq və sonra oxuna bilər.
- Platforma artıq Kafka ilə inteqrasiya olunmuşdu, ona görə də əksər təhlükəsizlik məsələləri həll olundu.
Yula-da istifadəçi tərəfindən yaradılmış və ya dəyişdirilmiş hər bir reklam üçün verilənlərlə JSON yaradılır və o, sonrakı moderasiya üçün Kafkaya yerləşdirilir. Kafkadan elanlar platformaya yüklənir, burada avtomatik və ya əl ilə mühakimə olunur. Pis reklamlar səbəblə bloklanır və platformanın pozuntu tapmadığı reklamlar “yaxşı” kimi qeyd olunur. Sonra bütün qərarlar yenidən Yulaya göndərilir və xidmətdə tətbiq olunur.
Nəhayət, Yula üçün hər şey sadə hərəkətlərə düşür: Odnoklassniki platformasına bir reklam göndərin və "yaxşı" qətnaməsini geri alın, ya da niyə "yaxşı" olmasın.
Avtomatik emal
Platforma daxil olduqdan sonra reklamla nə baş verir? Hər bir reklam bir neçə obyektə bölünür:
- ad,
- təsviri
- fotolar,
- istifadəçi tərəfindən seçilmiş kateqoriya və reklamın alt kateqoriyası,
- qiyməti
Platforma daha sonra dublikatları tapmaq üçün hər bir qurum üçün klasterləşdirmə aparır. Üstəlik, mətn və fotoşəkillər müxtəlif sxemlərə görə qruplaşdırılır.
Qruplaşmadan əvvəl mətnlər xüsusi simvolları, dəyişdirilmiş hərfləri və digər zibilləri çıxarmaq üçün normallaşdırılır. Qəbul edilən məlumatlar N-qramlara bölünür, onların hər biri heşlənir. Nəticə çoxlu unikal hashlardır. Mətnlər arasında oxşarlıq müəyyən edilir iki nəticə dəsti arasında. Oxşarlıq həddən artıqdırsa, mətnlər bir klasterə birləşdirilir. Oxşar klasterlərin axtarışını sürətləndirmək üçün MinHash və Locality-həssas hashing istifadə olunur.
Şəkillər üçün pHash şəkillərinin müqayisəsindən tutmuş neyron şəbəkəsindən istifadə edərək dublikatların axtarışına qədər şəkillərin yapışdırılması üçün müxtəlif variantlar icad edilmişdir.
Sonuncu üsul ən "ağır"dır. Modeli öyrətmək üçün N-nin A-ya, P-nin isə A-ya bənzədiyi (yarı dublikatdır) üçlü təsvirlər (N, A, P) seçildi. Sonra neyron şəbəkəsi A və P-ni mümkün qədər yaxın, A və N-ni isə mümkün qədər yaxın etməyi öyrəndi. Bu, əvvəlcədən öyrədilmiş şəbəkədən sadəcə daxiletmələr götürməklə müqayisədə daha az yanlış müsbət nəticə ilə nəticələnir.
Neyron şəbəkəsi şəkilləri giriş kimi qəbul etdikdə, onların hər biri üçün N(128) ölçülü vektor yaradır və təsvirin yaxınlığını qiymətləndirmək üçün sorğu verilir. Sonra, yaxın şəkillərin dublikat sayılacağı hədd hesablanır.
Model pHash müqayisəsindən yan keçmək üçün eyni məhsulun müxtəlif bucaqlardan fotoşəkilini çəkən spam göndərənləri məharətlə tapa bilir.
Neyron şəbəkəsi tərəfindən dublikat kimi yapışdırılmış spam fotoşəkillərə nümunə.
Son mərhələdə dublikat reklamlar həm mətn, həm də şəkil üzrə eyni vaxtda axtarılır.
Bir klasterdə iki və ya daha çox reklam bir-birinə ilişibsə, sistem müəyyən alqoritmlərdən istifadə edərək hansı dublikatların silinəcəyini və hansının tərk ediləcəyini seçən avtomatik bloklamağa başlayır. Məsələn, bir reklamda iki istifadəçinin eyni fotoşəkili varsa, sistem daha son reklamı bloklayacaq.
Yarandıqdan sonra bütün klasterlər bir sıra avtomatik filtrlərdən keçir. Hər bir filtr klasterə xal təyin edir: onun bu filtrin müəyyən etdiyi təhlükənin olması ehtimalı nə qədərdir.
Məsələn, sistem reklamdakı təsviri təhlil edir və onun üçün potensial kateqoriyalar seçir. Sonra maksimum ehtimalı olanı götürür və onu elanın müəllifinin göstərdiyi kateqoriya ilə müqayisə edir. Əgər onlar uyğun gəlmirsə, reklam yanlış kateqoriyaya görə bloklanır. Biz mehriban və dürüst olduğumuz üçün istifadəçiyə reklamın moderasiyadan keçməsi üçün hansı kateqoriyanı seçməli olduğunu birbaşa deyirik.
Yanlış kateqoriya üçün bloklama bildirişi.
Platformamızda maşın öyrənməsi özünü evdəki kimi hiss edir. Məsələn, onun köməyi ilə biz Rusiya Federasiyasında qadağan olunmuş malların adları və təsvirlərində axtarış aparırıq. Neyroşəbəkə modelləri isə URL-ləri, spam mətnləri, telefon nömrələrini və eyni “qadağan olunmuş” məlumatı ehtiva edib-etmədiyini görmək üçün şəkilləri diqqətlə “incələyir”.
Qanuni bir şey kimi gizlədilmiş qadağan olunmuş məhsulu satmağa çalışdıqları və başlıqda və ya təsvirdə heç bir mətn olmadığı hallarda biz şəkil etiketləməsindən istifadə edirik. Hər bir şəkil üçün təsvirdə olanları təsvir edən 11 minə qədər müxtəlif etiket əlavə edilə bilər.
Qəlyanı samovar qiyafəsində saxlayıb satmağa çalışırlar.
Mürəkkəb filtrlərlə paralel olaraq sadələr də işləyir, mətnlə bağlı aşkar problemləri həll edir:
- antimat;
- URL və telefon nömrəsi detektoru;
- ani mesajlaşmaların və digər əlaqələrin qeyd edilməsi;
- endirimli qiymət;
- heç bir şeyin satılmadığı elanlar və s.
Bu gün hər bir reklam reklamda pis bir şey tapmağa çalışan 50-dən çox avtomatik filtrdən ibarət incə ələkdən keçir.
Detektorlardan heç biri işləməyibsə, o zaman Yulaya reklamın "çox güman ki" mükəmməl qaydada olduğu barədə cavab göndərilir. Bu cavabı özümüz istifadə edirik və satıcıya abunə olan istifadəçilər yeni məhsulun mövcudluğu barədə bildiriş alırlar.
Satıcının yeni məhsulu olması barədə bildiriş.
Nəticədə, hər bir reklam metaməlumatla “böyüdülür”, bəziləri reklam yaradılarkən yaradılır (müəllifin IP ünvanı, istifadəçi-agent, platforma, geolokasiya və s.), qalanı isə hər bir filtr tərəfindən verilən xaldır. .
Elan növbələri
Reklam platformaya düşdüyü zaman sistem onu növbələrdən birinə qoyur. Hər növbə reklam metadatasını hər hansı pis nümunələri aşkar edəcək şəkildə birləşdirən riyazi düsturdan istifadə etməklə yaradılır.
Məsələn, guya Sankt-Peterburqdan olan Yula istifadəçilərindən “Cib telefonları” kateqoriyasında reklam növbəsi yarada bilərsiniz, lakin onların IP ünvanları Moskva və ya digər şəhərlərdəndir.
Müxtəlif şəhərlərdə bir istifadəçi tərəfindən yerləşdirilən reklam nümunəsi.
Və ya neyron şəbəkənin reklamlara təyin etdiyi ballar əsasında onları azalan ardıcıllıqla düzərək növbələr yarada bilərsiniz.
Hər növbə öz düsturuna uyğun olaraq reklama yekun xal verir. Sonra müxtəlif yollarla davam edə bilərsiniz:
- reklamın müəyyən bir bloklama növü alacağı həddi müəyyənləşdirin;
- növbədəki bütün reklamları əl ilə nəzərdən keçirmək üçün moderatorlara göndərin;
- və ya əvvəlki variantları birləşdirin: avtomatik bloklama həddini təyin edin və bu həddə çatmayan reklamları moderatorlara göndərin.
Bu növbələr niyə lazımdır? Tutaq ki, istifadəçi odlu silahın şəklini yükləyib. Neyroşəbəkə ona 95-dən 100-ə qədər xal verir və şəkildəki silahın olduğunu 99 faiz dəqiqliklə müəyyən edir. Lakin xal dəyəri 95%-dən aşağı olarsa, modelin dəqiqliyi azalmağa başlayır (bu, neyron şəbəkə modellərinin xüsusiyyətidir).
Nəticədə, xal modelinə əsasən növbə yaranır və 95-100 arası alınan reklamlar avtomatik olaraq “Qadağan olunmuş Məhsullar” kimi bloklanır. Balı 95-dən aşağı olan reklamlar əl ilə işlənmək üçün moderatorlara göndərilir.
Şokoladlı Beretta patronlu. Yalnız əl ilə moderasiya üçün! 🙂
Manual moderasiya
2019-cu ilin əvvəlində Yula-da bütün reklamların təxminən 94%-i avtomatik moderasiya olunur.
Platforma bəzi reklamlara qərar verə bilmirsə, onları əl ilə moderasiyaya göndərir. Odnoklassniki öz alətini inkişaf etdirdi: moderatorlar üçün tapşırıqlar dərhal qərar qəbul etmək üçün bütün lazımi məlumatları göstərir - reklam uyğundur və ya səbəbi göstərilməklə bloklanmalıdır.
Əl ilə moderasiya zamanı xidmət keyfiyyətinin pisləşməməsi üçün insanların işinə daim nəzarət edilir. Məsələn, tapşırıq axınında moderatora "tələlər" - artıq hazır həlləri olan reklamlar göstərilir. Moderatorun qərarı bitmiş qərarla üst-üstə düşmürsə, moderatora xəta verilir.
Moderator orta hesabla bir reklamı yoxlamağa 10 saniyə sərf edir. Üstəlik, səhvlərin sayı bütün təsdiqlənmiş reklamların 0,5% -dən çox deyil.
İnsanların mülayimliyi
Odnoklassniki-dən olan həmkarları daha da irəli getdilər və "tamaşaçıların köməyindən" yararlandılar: onlar sosial şəbəkə üçün bir oyun proqramı yazdılar, orada bəzi pis işarələri vurğulayaraq çoxlu məlumatı tez bir zamanda qeyd edə bilərsiniz - Odnoklassniki Moderatoru (). Məzmunu daha zövqlü etməyə çalışan OK istifadəçilərinin köməyindən yararlanmağın yaxşı yolu.
İstifadəçilərin telefon nömrəsi olan şəkilləri etiketlədiyi oyun.
Platformada istənilən reklam növbəsi Odnoklassniki Moderator oyununa yönləndirilə bilər. Oyun istifadəçilərinin qeyd etdiyi hər şey sonra yoxlama üçün daxili moderatorlara göndərilir. Bu sxem filtrləri hələ yaradılmamış reklamları bloklamağa və eyni zamanda təlim nümunələrini yaratmağa imkan verir.
Moderasiya nəticələrinin saxlanması
Artıq qərar verdiyimiz reklamları təkrar emal etməmək üçün moderasiya zamanı qəbul edilmiş bütün qərarları saxlayırıq.
Hər gün reklamlar əsasında milyonlarla klaster yaradılır. Vaxt keçdikcə hər bir çoxluq "yaxşı" və ya "pis" olaraq etiketlənir. Hər bir yeni reklam və ya onun təftişi, işarəsi olan klasterə daxil olmaqla, avtomatik olaraq klasterin özündən bir qətnamə alır. Gündə təxminən 20 min belə avtomatik qətnamə var.
Əgər klasterə yeni elanlar gəlməzsə, o, yaddaşdan silinir və onun hash və həlli Apache Cassandra-ya yazılır.
Platforma yeni bir reklam aldıqda, ilk növbədə artıq yaradılmışlar arasında oxşar klaster tapmağa və ondan həll yolu götürməyə çalışır. Əgər belə klaster yoxdursa, platforma Kassandraya gedir və ora baxır. Tapdın? Əla, həlli klasterə tətbiq edir və Yulaya göndərir. Hər gün orta hesabla 70 min belə “təkrarlanan” qərar qəbul edilir - ümumi sayının 8%-i.
Yekunlaşdırma
Biz iki il yarımdır ki, Odnoklassniki moderasiya platformasından istifadə edirik. Nəticələri bəyənirik:
- Biz gündə bütün reklamların 94%-ni avtomatik yoxlayırıq.
- Bir reklamın moderasiya dəyəri 2 rubldan 7 qəpiyə endirildi.
- Hazır alət sayəsində moderatorların idarə edilməsi problemlərini unutduq.
- Eyni sayda moderator və büdcə ilə əl ilə işlənmiş reklamların sayını 2,5 dəfə artırdıq. Əl ilə moderasiyanın keyfiyyəti də avtomatlaşdırılmış idarəetmə sayəsində artıb və xətaların 0,5%-i ətrafında dəyişir.
- Biz tez bir zamanda yeni spam növlərini filtrlərlə əhatə edirik.
- Biz tez bir zamanda yeni şöbələri moderasiyaya bağlayırıq . 2017-ci ildən Yula Daşınmaz Əmlak, Vakansiyalar və Avtomatik şaquliləri əlavə etdi.
Mənbə: www.habr.com