როგორ გავხსნათ კომენტარები და არ ჩაძიროთ სპამში

როცა შენი საქმეა რაღაც ლამაზის შექმნა, ამაზე ბევრი ლაპარაკი არ არის საჭირო, რადგან შედეგი ყველას თვალწინ არის. მაგრამ თუ თქვენ წაშლით წარწერებს ღობეებიდან, ვერავინ შეამჩნევს თქვენს ნამუშევარს, სანამ ღობეები წესიერად გამოიყურება ან სანამ რაიმე არასწორად წაშლით.

ნებისმიერი სერვისი, სადაც შეგიძლიათ დატოვოთ კომენტარი, მიმოხილვა, გაგზავნოთ შეტყობინება ან ატვირთოთ სურათები ადრე თუ გვიან, აწყდება სპამის, თაღლითობისა და უხამსობის პრობლემას. ამის თავიდან აცილება შეუძლებელია, მაგრამ უნდა მოგვარდეს.

მე მქვია მიხაილ, ვმუშაობ ანტისპამის გუნდში, რომელიც იცავს Yandex სერვისების მომხმარებლებს ასეთი პრობლემებისგან. ჩვენს ნამუშევრებს იშვიათად ამჩნევენ (და ეს კარგია!), ამიტომ დღეს უფრო მეტს გეტყვით ამის შესახებ. თქვენ გაიგებთ, როდის არის ზომიერება უსარგებლო და რატომ არ არის სიზუსტე მისი ეფექტურობის ერთადერთი მაჩვენებელი. ჩვენ ასევე ვისაუბრებთ გინებაზე კატებისა და ძაღლების მაგალითზე და რატომ არის ზოგჯერ სასარგებლო „გინებაზე ფიქრი“.

უფრო და უფრო მეტი სერვისი ჩნდება Yandex-ში, სადაც მომხმარებლები აქვეყნებენ თავიანთ შინაარსს. შეგიძლიათ დასვათ შეკითხვა ან დაწეროთ პასუხი Yandex.Q-ში, განიხილოთ ეზოს სიახლეები Yandex.District-ში, გააზიაროთ მოძრაობის პირობები საუბრებში Yandex.Maps-ზე. მაგრამ როდესაც სერვისის აუდიტორია იზრდება, ის მიმზიდველი ხდება თაღლითებისა და სპამერებისთვის. ისინი მოდიან და ავსებენ კომენტარებს: გვთავაზობენ მარტივ ფულს, რეკლამირებენ სასწაულებრივ მკურნალობას და გვპირდებიან სოციალურ სარგებელს. სპამერების გამო, ზოგიერთი მომხმარებელი კარგავს ფულს, ზოგი კი კარგავს სურვილს, დახარჯოს დრო სპამით გადატვირთულ მოწესრიგებულ სერვისზე.

და ეს არ არის ერთადერთი პრობლემა. ჩვენ ვცდილობთ არა მხოლოდ დავიცვათ მომხმარებლები თაღლითებისგან, არამედ შევქმნათ კომფორტული ატმოსფერო კომუნიკაციისთვის. თუ ადამიანებს კომენტარებში გინება და შეურაცხყოფა აწყდებათ, სავარაუდოდ, ისინი წავლენ და აღარ დაბრუნდებიან. ეს ნიშნავს, რომ თქვენ ასევე უნდა შეძლოთ ამის გამკლავება.

სუფთა ვებ

როგორც ხშირად ხდება ჩვენთან, პირველი განვითარება დაიბადა Search-ში, იმ ნაწილში, რომელიც ებრძვის სპამს ძიების შედეგებში. დაახლოებით ათი წლის წინ, აქ გაჩნდა ზრდასრულთა კონტენტის ფილტრაციის ამოცანა ოჯახის ძიებებისთვის და კითხვებისთვის, რომლებიც არ მოითხოვდნენ პასუხებს 18+ კატეგორიიდან. ასე გაჩნდა პორნოსა და გინების პირველი ხელით აკრეფილი ლექსიკონები, რომლებიც ანალიტიკოსებმა შეავსეს. მთავარი ამოცანა იყო მოთხოვნების კლასიფიკაცია ისეთებად, სადაც მისაღებია ზრდასრულთა შინაარსის ჩვენება და სად არა. ამ ამოცანისთვის შეგროვდა მარკირება, აშენდა ევრისტიკა და მომზადდა მოდელები. ასე გაჩნდა პირველი განვითარება არასასურველი შინაარსის ფილტრაციისთვის.

დროთა განმავლობაში, Yandex-ში UGC (მომხმარებლის გენერირებული შინაარსი) გამოჩნდა - შეტყობინებები, რომლებსაც თავად მომხმარებლები წერენ და Yandex მხოლოდ აქვეყნებს. ზემოთ აღწერილი მიზეზების გამო, ბევრი გზავნილის გამოქვეყნება შეუძლებელია ნახვის გარეშე - საჭირო იყო მოდერაცია. შემდეგ მათ გადაწყვიტეს შეექმნათ სერვისი, რომელიც უზრუნველყოფს დაცვას სპამისგან და თავდამსხმელებისგან Yandex UGC-ის ყველა პროდუქტისთვის და გამოიყენებდა განვითარებას Search-ში არასასურველი შინაარსის გასაფილტრად. სერვისს ერქვა "სუფთა ვებ".

ახალი ამოცანები და დამხმარეების დახმარება

თავიდან ჩვენთვის მხოლოდ უბრალო ავტომატიზაცია მუშაობდა: სერვისები გვიგზავნიდნენ ტექსტებს, ჩვენ კი უხამსობის ლექსიკონები, პორნო ლექსიკონები და მათზე რეგულარული გამონათქვამები - ანალიტიკოსებმა ყველაფერი ხელით შეადგინეს. მაგრამ დროთა განმავლობაში, სერვისი გამოიყენებოდა Yandex-ის მზარდ რაოდენობაში და ჩვენ უნდა გვესწავლა ახალ პრობლემებზე მუშაობა.

ხშირად, მიმოხილვის ნაცვლად, მომხმარებლები აქვეყნებენ წერილების უაზრო კომპლექტს, ცდილობენ გაზარდონ თავიანთი მიღწევები, ზოგჯერ ისინი აცხადებენ თავიანთ კომპანიას კონკურენტის კომპანიის მიმოხილვებში, ზოგჯერ კი უბრალოდ აბნევენ ორგანიზაციებს და წერენ მიმოხილვაში შინაური ცხოველების მაღაზიის შესახებ: ” იდეალურად მოხარშული თევზი!” შესაძლოა, ოდესმე ხელოვნური ინტელექტი ისწავლოს სრულყოფილად გაითავისოს ნებისმიერი ტექსტის მნიშვნელობა, მაგრამ ახლა ავტომატიზაცია ზოგჯერ ადამიანებზე უარესად უმკლავდება.

გაირკვა, რომ ჩვენ ამას ხელით მარკირების გარეშე ვერ გავაკეთებდით და ჩვენს წრეს დავამატეთ მეორე ეტაპი - პირის მიერ ხელით შესამოწმებლად გაგზავნა. ის გამოქვეყნებული ტექსტები, რომლებშიც კლასიფიკატორი ვერ ხედავდა რაიმე პრობლემას, იქ იყო ჩართული. თქვენ შეგიძლიათ მარტივად წარმოიდგინოთ ასეთი დავალების მასშტაბები, ამიტომ ჩვენ არა მხოლოდ ვეყრდნობოდით შემფასებლებს, არამედ ვისარგებლეთ „ბრბოს სიბრძნით“, ანუ დახმარებისთვის მივმართეთ ტოლერანტებს. სწორედ ისინი გვეხმარებიან იმის დადგენაში, თუ რა გამოტოვა მანქანამ და ამით ვასწავლით მას.

ჭკვიანი ქეშირება და LSH ჰეშირება

კიდევ ერთი პრობლემა, რომელიც კომენტარებთან მუშაობისას შეგვხვდა, იყო სპამი, უფრო ზუსტად, მისი მოცულობა და გავრცელების სიჩქარე. როდესაც Yandex.Region აუდიტორია სწრაფად გაიზარდა, სპამერები იქ მოვიდნენ. მათ ისწავლეს რეგულარული გამონათქვამების გვერდის ავლით ტექსტის ოდნავ შეცვლით. სპამი, რა თქმა უნდა, მაინც იქნა ნაპოვნი და წაშლილი, მაგრამ Yandex-ის მასშტაბით, თუნდაც 5 წუთის განმავლობაში გამოქვეყნებული მიუღებელი შეტყობინება ასობით ადამიანს შეეძლო ენახა.

რა თქმა უნდა, ეს არ მოგვწონდა და ჩვენ გავაკეთეთ ტექსტის ჭკვიანი ქეშირება LSH-ზე (ლოკალიზაციისადმი მგრძნობიარე ჰეშირება). ის ასე მუშაობს: ტექსტის ნორმალიზება მოვახდინეთ, ლინკები ამოვიღეთ და დავჭრათ n-გრამებად (n ასოების თანმიმდევრობა). შემდეგ გამოითვალა n-გრამების ჰეშები და მათგან აშენდა დოკუმენტის LSH ვექტორი. საქმე იმაშია, რომ მსგავსი ტექსტები, თუნდაც ოდნავ შეცვლილი, მსგავს ვექტორებად იქცა.

ამ გადაწყვეტამ შესაძლებელი გახადა კლასიფიკატორებისა და ტოლოკერების განაჩენების ხელახლა გამოყენება მსგავსი ტექსტებისთვის. სპამის შეტევის დროს, როგორც კი პირველმა შეტყობინებამ გაიარა სკანირება და შევიდა ქეშში „სპამის“ განაჩენით, ყველა ახალი მსგავსი შეტყობინება, თუნდაც შეცვლილი, მიიღო იგივე განაჩენი და ავტომატურად წაიშალა. მოგვიანებით ვისწავლეთ როგორ მოვამზადოთ და ავტომატურად გადავამზადოთ სპამის კლასიფიკატორები, მაგრამ ეს „ჭკვიანი ქეში“ ჩვენთან დარჩა და ხშირად გვეხმარება.

კარგი ტექსტის კლასიფიკატორი

სპამთან ბრძოლაში შესვენების გარეშე, მივხვდით, რომ ჩვენი კონტენტის 95% მოდერირებულია ხელით: კლასიფიკატორები რეაგირებენ მხოლოდ დარღვევებზე და ტექსტების უმეტესობა კარგია. ვტვირთავთ დამლაგებლებს, რომლებიც 95-დან 100 შემთხვევაში აძლევენ რეიტინგს „ყველაფერი კარგადაა“. მე მომიწია არაჩვეულებრივი სამუშაოს გაკეთება - კარგი შინაარსის კლასიფიკატორების დამზადება, საბედნიეროდ საკმარისი მარკირება დაგროვდა ამ ხნის განმავლობაში.

პირველი კლასიფიკატორი ასე გამოიყურებოდა: ვაკეთებთ ტექსტს (სიტყვებს ვამცირებთ საწყის ფორმამდე), ვყრით მეტყველების ყველა დამხმარე ნაწილს და ვიყენებთ წინასწარ მომზადებულ „კარგი ლემების ლექსიკონს“. თუ ტექსტში ყველა სიტყვა არის „კარგი“, მაშინ მთელი ტექსტი არ შეიცავს რაიმე დარღვევას. სხვადასხვა სერვისებზე, ამ მიდგომამ დაუყოვნებლივ მისცა ხელით მარკირების ავტომატიზაცია 25-დან 35%-მდე. რა თქმა უნდა, ეს მიდგომა არ არის იდეალური: ადვილია რამდენიმე უდანაშაულო სიტყვის შერწყმა და ძალიან შეურაცხმყოფელი განცხადების მიღება, მაგრამ ამან მოგვცა საშუალება სწრაფად მიგვეღწია ავტომატიზაციის კარგ დონეს და მოგვცა დრო უფრო რთული მოდელების მომზადებისთვის.

კარგი ტექსტის კლასიფიკატორების შემდეგი ვერსიები უკვე მოიცავდა ხაზოვან მოდელებს, გადაწყვეტილების ხეებს და მათ კომბინაციებს. უხეშობისა და შეურაცხყოფის აღსანიშნავად, მაგალითად, ვცდილობთ BERT ნერვულ ქსელს. მნიშვნელოვანია სიტყვის მნიშვნელობის გაგება კონტექსტში და კავშირი სხვადასხვა წინადადების სიტყვებს შორის და BERT ამაში კარგად აკეთებს საქმეს. (სხვათა შორის, ახლახანს კოლეგები News-დან განუცხადა, როგორ გამოიყენება ტექნოლოგია არასტანდარტული ამოცანისთვის - სათაურებში შეცდომების პოვნა.) შედეგად შესაძლებელი გახდა ნაკადის 90%-მდე ავტომატიზაცია, სერვისის მიხედვით.

სიზუსტე, სისრულე და სიჩქარე

განვითარებისთვის, თქვენ უნდა გესმოდეთ, რა სარგებელს მოაქვს გარკვეული ავტომატური კლასიფიკატორები, ცვლილებები მათში და არის თუ არა დამამცირებელი ხელით შემოწმების ხარისხი. ამისათვის ჩვენ ვიყენებთ სიზუსტეს და გავიხსენოთ მეტრიკა.

სიზუსტე არის სწორი განაჩენის პროპორცია ცუდი შინაარსის შესახებ ყველა განაჩენს შორის. რაც უფრო მაღალია სიზუსტე, მით ნაკლებია ცრუ დადებითი. თუ ყურადღებას არ აქცევთ სიზუსტეს, მაშინ თეორიულად შეგიძლიათ წაშალოთ ყველა სპამი და უხამსობა და მათთან ერთად კარგი შეტყობინებების ნახევარი. მეორეს მხრივ, თუ მხოლოდ სიზუსტეს დაეყრდნობით, მაშინ საუკეთესო ტექნოლოგია იქნება ის, რომელიც საერთოდ არავის იჭერს. მაშასადამე, არსებობს სისრულის მაჩვენებელიც: გამოვლენილი ცუდი შინაარსის წილი ცუდი კონტენტის მთლიან მოცულობაში. ეს ორი მეტრიკა აბალანსებს ერთმანეთს.

გასაზომად, ჩვენ ვარჩევთ მთლიან შემომავალ ნაკადს თითოეული სერვისისთვის და ვაძლევთ შინაარსის ნიმუშებს შემფასებლებს ექსპერტის შეფასებისთვის და მანქანების გადაწყვეტილებებთან შედარებისთვის.

მაგრამ არის კიდევ ერთი მნიშვნელოვანი მაჩვენებელი.

ზემოთ დავწერე, რომ მიუღებელი მესიჯი 5 წუთშიც ასობით ადამიანს ნახავს. ასე რომ, ჩვენ ვითვლით რამდენჯერ ვაჩვენეთ ხალხს ცუდი შინაარსი, სანამ დავმალავდით. ეს მნიშვნელოვანია, რადგან საკმარისი არ არის ეფექტური მუშაობა - თქვენ ასევე გჭირდებათ სწრაფად მუშაობა. და როდესაც ჩვენ ვაშენებდით თავდაცვას ლანძღვისგან, ჩვენ ვგრძნობდით ამას სრულად.

ანტიმატიზმი კატებისა და ძაღლების მაგალითით

მცირე ლირიკული გადახრა. ზოგიერთმა შეიძლება თქვას, რომ უხამსობა და შეურაცხყოფა არ არის ისეთი საშიში, როგორც მავნე ბმულები და არც ისეთი შემაშფოთებელი, როგორც სპამი. მაგრამ ჩვენ ვცდილობთ შევინარჩუნოთ კომფორტული პირობები კომუნიკაციისთვის მილიონობით მომხმარებლისთვის და ადამიანებს არ მოსწონთ იმ ადგილებში დაბრუნება, სადაც მათ შეურაცხყოფენ. ტყუილად არ არის, რომ გინებისა და შეურაცხყოფის აკრძალვა გაწერილია მრავალი თემის წესებში, მათ შორის ჰაბრეზე. მაგრამ ჩვენ გადავდივართ.

გინების ლექსიკონები ვერ უმკლავდებიან რუსული ენის მთელ სიმდიდრეს. იმისდა მიუხედავად, რომ არსებობს მხოლოდ ოთხი ძირითადი გინების ფესვი, მათგან შეგიძლიათ შეადგინოთ უთვალავი სიტყვა, რომელთა დაჭერა შეუძლებელია ნებისმიერი ჩვეულებრივი ძრავით. გარდა ამისა, შეგიძლიათ დაწეროთ სიტყვის ნაწილი ტრანსლიტერაციაში, შეცვალოთ ასოები მსგავსი კომბინაციებით, გადააწყოთ ასოები, დაამატოთ ვარსკვლავები და ა.შ. ზოგჯერ კონტექსტის გარეშე, ძირითადად, შეუძლებელია იმის დადგენა, რომ მომხმარებელმა იგულისხმა გინება. ჩვენ პატივს ვცემთ ჰაბრის წესებს, ამიტომ ჩვენ ამას ვაჩვენებთ არა ცოცხალი მაგალითებით, არამედ კატებისა და ძაღლებით.

- კანონი, - თქვა კატამ. მაგრამ ჩვენ გვესმის, რომ კატამ სხვა სიტყვა თქვა...

ჩვენ დავიწყეთ ფიქრი ჩვენი ლექსიკონისთვის „ფუზური შესატყვისების“ ალგორითმებზე და უფრო ჭკვიანურ წინასწარ დამუშავებაზე: ჩვენ მივაწოდეთ ტრანსლიტერაცია, ვამაგრებდით სივრცეებს ​​და პუნქტუაციას, ვეძებდით შაბლონებს და დავწერეთ მათზე ცალკეული რეგულარული გამონათქვამები. ამ მიდგომამ მოიტანა შედეგი, მაგრამ ხშირად შეამცირა სიზუსტე და არ უზრუნველყო სასურველი სისრულე.

შემდეგ ჩვენ გადავწყვიტეთ, რომ „გეფიცებივით გვეფიქრა“. ჩვენ თვითონ დავიწყეთ მონაცემებში ხმაურის შეყვანა: ასოების გადალაგება, შეცდომების გენერირება, ასოები მსგავსი მართლწერით ჩანაცვლება და ა.შ. ამის საწყისი მარკირება მიღებულ იქნა მატ ლექსიკონების გამოყენებით ტექსტების დიდ კორპუსებზე. თუ აიღებთ ერთ წინადადებას და გადაატრიალებთ მას რამდენიმე გზით, მთავრდება მრავალი წინადადება. ამ გზით თქვენ შეგიძლიათ გაზარდოთ ტრენინგის ნიმუში ათჯერ. დარჩა მხოლოდ მიღებულ აუზზე ვარჯიში, მეტ-ნაკლებად ჭკვიანი მოდელი, რომელიც ითვალისწინებდა კონტექსტს.

საბოლოო გადაწყვეტილებაზე საუბარი ჯერ ნაადრევია. ჩვენ ჯერ კიდევ ვატარებთ ექსპერიმენტებს ამ პრობლემისადმი მიდგომებზე, მაგრამ უკვე ვხედავთ, რომ რამდენიმე ფენისგან შემდგარი მარტივი სიმბოლური კონვოლუციური ქსელი მნიშვნელოვნად აღემატება ლექსიკონებსა და ჩვეულებრივ ძრავებს: შესაძლებელია როგორც სიზუსტის, ასევე დამახსოვრების გაზრდა.

რა თქმა უნდა, ჩვენ გვესმის, რომ ყოველთვის იარსებებს გზები ყველაზე მოწინავე ავტომატიზაციის გვერდის ავლით, განსაკუთრებით მაშინ, როდესაც საქმე იმდენად საშიშია: დაწერე ისე, რომ სულელურმა მანქანამ ვერ გაიგოს. აქ, ისევე როგორც სპამის წინააღმდეგ ბრძოლაში, ჩვენი მიზანი არ არის აღმოვფხვრათ რაიმე უცენზურო დაწერის შესაძლებლობა; ჩვენი ამოცანაა დავრწმუნდეთ, რომ თამაში არ ღირს სანთლად.

თქვენი აზრის გაზიარების, კომუნიკაციისა და კომენტარის შესაძლებლობის გახსნა არ არის რთული. გაცილებით რთულია უსაფრთხო, კომფორტული პირობების მიღწევა და ადამიანების პატივისცემით მოპყრობა. და ამის გარეშე არ იქნება არც ერთი საზოგადოების განვითარება.

წყარო: www.habr.com