İşiniz güzel bir şey yaratmak olduğunda bunun hakkında çok fazla konuşmanıza gerek yok çünkü sonuç herkesin gözünün önünde. Ancak çitlerdeki yazıları silerseniz, çitler düzgün göründüğü sürece veya siz yanlış bir şeyi silene kadar kimse çalışmanızı fark etmeyecektir.
Yorum bırakabileceğiniz, inceleyebileceğiniz, mesaj gönderebileceğiniz veya resim yükleyebileceğiniz herhangi bir hizmet, er ya da geç spam, sahtekarlık ve müstehcenlik sorunuyla karşı karşıya kalır. Bu önlenemez, ancak ele alınması gerekir.
Adım Mikhail, Yandex servis kullanıcılarını bu tür sorunlardan koruyan Antispam ekibinde çalışıyorum. Çalışmalarımız nadiren fark ediliyor (ve bu iyi bir şey!), bu yüzden bugün size bunun hakkında daha fazla bilgi vereceğim. Ölçülü olmanın ne zaman işe yaramadığını ve doğruluğun neden etkinliğinin tek göstergesi olmadığını öğreneceksiniz. Ayrıca kedi köpek örneğini kullanarak küfür etmekten ve bazen “küfür eden gibi düşünmenin” neden yararlı olduğundan bahsedeceğiz.
Kullanıcıların içeriklerini yayınladığı Yandex'de giderek daha fazla hizmet ortaya çıkıyor. Yandex.Q'da soru sorabilir veya cevap yazabilir, Yandex.Bölge'de bahçe haberlerini tartışabilir, Yandex.Haritalar'daki görüşmelerde trafik koşullarını paylaşabilirsiniz. Ancak hizmetin hedef kitlesi büyüdüğünde dolandırıcılar ve spam gönderenler için çekici hale gelir. Gelip yorumları dolduruyorlar: Kolay para teklif ediyorlar, mucizevi tedavilerin reklamını yapıyorlar ve sosyal faydalar vaat ediyorlar. Spam gönderenler yüzünden bazı kullanıcılar para kaybederken, diğerleri spam ile büyümüş dağınık bir hizmette zaman harcama arzusunu kaybeder.
Ve tek sorun bu değil. Kullanıcıları yalnızca dolandırıcılardan korumak için değil, aynı zamanda rahat bir iletişim ortamı yaratmak için de çalışıyoruz. Eğer kişiler yorumlarda küfür ve hakaretle karşılaşırlarsa büyük ihtimalle ayrılırlar ve bir daha geri dönmezler. Bu, bununla da başa çıkabilmeniz gerektiği anlamına gelir.
Web'i Temizle
Bizde de çoğu zaman olduğu gibi ilk gelişmeler Arama'da, arama sonuçlarında spam ile mücadele eden kısımda doğdu. Yaklaşık on yıl önce, aile aramaları ve 18+ kategorisinden yanıt gerektirmeyen sorgular için yetişkinlere yönelik içeriği filtreleme görevi orada ortaya çıktı. Elle yazılan ilk porno ve küfür sözlükleri bu şekilde ortaya çıktı, analistler tarafından dolduruldu. Ana görev, istekleri yetişkinlere yönelik içeriğin gösterilmesinin kabul edilebilir olduğu ve olmadığı durumlar olarak sınıflandırmaktı. Bu görev için işaretlemeler toplandı, buluşsal yöntemler oluşturuldu ve modeller eğitildi. İstenmeyen içeriklerin filtrelenmesine yönelik ilk gelişmeler bu şekilde ortaya çıktı.
Zamanla, Yandex'de UGC (kullanıcı tarafından oluşturulan içerik) görünmeye başladı - kullanıcıların kendileri tarafından yazılan mesajlar ve Yandex yalnızca yayınlıyor. Yukarıda açıklanan nedenlerden dolayı, birçok mesaja bakılmadan yayınlanamadı; denetim yapılması gerekiyordu. Ardından, tüm Yandex UGC ürünleri için spam ve saldırganlara karşı koruma sağlayacak ve Arama'daki istenmeyen içeriği filtrelemek için geliştirmeleri kullanacak bir hizmet oluşturmaya karar verdiler. Hizmete “Temiz Web” adı verildi.
Yeni görevler ve iticilerden yardım
İlk başta, yalnızca basit otomasyon bizim için işe yaradı: hizmetler bize metinler gönderdi ve biz bunların üzerinde müstehcenlik sözlükleri, porno sözlükleri ve düzenli ifadeler çalıştırdık - analistler her şeyi manuel olarak derledi. Ancak zamanla hizmet giderek artan sayıda Yandex ürününde kullanıldı ve yeni sorunlarla çalışmayı öğrenmek zorunda kaldık.
Çoğu zaman, kullanıcılar bir inceleme yerine, başarılarını artırmaya çalışan anlamsız bir dizi mektup yayınlarlar, bazen rakip bir şirketin incelemelerinde şirketlerinin reklamını yaparlar ve bazen de sadece kuruluşların kafasını karıştırıp bir evcil hayvan mağazası hakkında bir inceleme yazarlar: " Mükemmel pişmiş balık!” Belki bir gün yapay zeka herhangi bir metnin anlamını mükemmel bir şekilde kavramayı öğrenecektir, ancak artık otomasyon bazen insanlardan daha kötü durumlarla başa çıkabiliyor.
Bunu manuel işaretleme olmadan yapamayacağımız anlaşıldı ve devremize ikinci bir aşama ekledik; devreyi manuel olarak incelemeye gönderdik. Sınıflandırıcının herhangi bir sorun görmediği yayınlanmış metinler buraya dahil edildi. Böyle bir görevin boyutunu kolayca hayal edebilirsiniz, bu yüzden sadece değerlendiricilere güvenmekle kalmadık, aynı zamanda "kalabalığın bilgeliğinden" de yararlandık, yani yardım için görevlilere başvurduk. Makinenin neyi gözden kaçırdığını belirlememize ve dolayısıyla ona öğretmemize yardımcı olan kişiler onlardır.
Akıllı önbelleğe alma ve LSH karması
Yorumlarla çalışırken karşılaştığımız bir diğer sorun da spam, daha doğrusu hacmi ve yayılma hızıydı. Yandex.Bölge'nin kitlesi hızla büyümeye başlayınca spam gönderenler oraya geldi. Metni biraz değiştirerek normal ifadeleri atlamayı öğrendiler. Elbette spam yine de bulundu ve silindi, ancak Yandex ölçeğinde 5 dakika boyunca bile gönderilen kabul edilemez bir mesaj yüzlerce kişi tarafından görülebiliyordu.
Tabii bu bize yakışmadı ve LSH'ye dayalı akıllı metin önbellekleme yaptık (). Şu şekilde çalışıyor: metni normalleştirdik, içindeki bağlantıları kaldırdık ve n gramlara (n harf dizileri) böldük. Daha sonra n-gramların karmaları hesaplandı ve belgenin LSH vektörü bunlardan oluşturuldu. Mesele şu ki, benzer metinler biraz değiştirilse bile benzer vektörlere dönüştü.
Bu çözüm, benzer metinler için sınıflandırıcıların ve tolokerlerin kararlarının yeniden kullanılmasını mümkün kıldı. Bir spam saldırısı sırasında, ilk mesaj taramayı geçip "spam" kararıyla önbelleğe girdiğinde, tüm yeni benzer mesajlar, hatta değiştirilmiş olanlar bile aynı kararı aldı ve otomatik olarak silindi. Daha sonra spam sınıflandırıcılarını nasıl eğiteceğimizi ve otomatik olarak yeniden eğiteceğimizi öğrendik, ancak bu "akıllı önbellek" bizimle kaldı ve hâlâ bize yardımcı oluyor.
İyi metin sınıflandırıcı
Spam ile mücadeleye ara vermek için zamanımız olmadan, içeriğimizin %95'inin manuel olarak denetlendiğini fark ettik: sınıflandırıcılar yalnızca ihlallere tepki verir ve metinlerin çoğu iyidir. 95 üzerinden 100'inde "Her şey yolunda" notunu veren temizlikçileri yüklüyoruz. Alışılmadık bir iş yapmak zorundaydım; iyi içeriğe sahip sınıflandırıcılar oluşturmak, neyse ki bu süre zarfında yeterince işaretleme birikmişti.
İlk sınıflandırıcı şuna benziyordu: Metni lemmatize ediyoruz (kelimeleri orijinal hallerine indiriyoruz), konuşmanın tüm yardımcı kısımlarını atıyoruz ve önceden hazırlanmış bir "iyi lemmalar sözlüğü" kullanıyoruz. Metindeki tüm kelimeler “iyi” ise metnin tamamı herhangi bir ihlal içermiyor demektir. Farklı hizmetlerde, bu yaklaşım anında manuel işaretlemenin %25 ila %35 oranında otomasyonunu sağladı. Elbette bu yaklaşım ideal değil: Birkaç masum kelimeyi birleştirerek çok saldırgan bir ifade elde etmek kolaydır, ancak bu bize hızlı bir şekilde iyi bir otomasyon düzeyine ulaşmamızı sağladı ve bize daha karmaşık modelleri eğitmemiz için zaman verdi.
İyi metin sınıflandırıcılarının sonraki versiyonları zaten doğrusal modelleri, karar ağaçlarını ve bunların kombinasyonlarını içeriyordu. Örneğin kabalık ve hakaretleri işaretlemek için BERT sinir ağını deneriz. Bir kelimenin bağlam içindeki anlamını ve farklı cümlelerdeki kelimeler arasındaki bağlantıyı kavramak önemlidir ve BERT bu konuda iyi bir iş çıkarmaktadır. (Bu arada, yakın zamanda News'den meslektaşlarım , teknolojinin standart olmayan bir görev için nasıl kullanıldığı - başlıklardaki hataları bulma.) Sonuç olarak, hizmete bağlı olarak akışın %90'a kadar otomatikleştirilmesi mümkün oldu.
Doğruluk, bütünlük ve hız
Geliştirmek için belirli otomatik sınıflandırıcıların ne gibi faydalar sağladığını, bunlardaki değişiklikleri ve manuel kontrollerin kalitesinin düşüp düşmediğini anlamanız gerekir. Bunu yapmak için kesinlik ve geri çağırma ölçümlerini kullanırız.
Doğruluk, kötü içerikle ilgili tüm kararlar arasında doğru kararların oranıdır. Doğruluk ne kadar yüksek olursa, yanlış pozitifler o kadar az olur. Doğruluğa dikkat etmezseniz, teorik olarak tüm spam ve müstehcen içerikleri ve onlarla birlikte iyi mesajların yarısını silebilirsiniz. Öte yandan, yalnızca doğruluğa güvenirseniz, en iyi teknoloji kimseyi yakalamayan teknoloji olacaktır. Bu nedenle, bir bütünlük göstergesi de vardır: belirlenen kötü içeriğin toplam kötü içerik hacmi içindeki payı. Bu iki ölçüm birbirini dengeler.
Ölçmek amacıyla, her hizmet için gelen akışın tamamını örnekliyoruz ve uzman değerlendirmesi ve makine çözümleriyle karşılaştırma için değerlendiricilere içerik örnekleri veriyoruz.
Ancak önemli bir gösterge daha var.
Kabul edilemez bir mesajın 5 dakika içinde bile yüzlerce kişi tarafından görülebildiğini yukarıda yazmıştım. Bu yüzden, kötü içeriği saklamadan önce insanlara kaç kez gösterdiğimizi sayıyoruz. Bu önemlidir çünkü verimli çalışmak yeterli değildir; aynı zamanda hızlı çalışmanız da gerekir. Ve küfüre karşı savunmayı oluşturduğumuzda bunu sonuna kadar hissettik.
Kedi ve köpek örneğini kullanarak antimatizm
Küçük bir lirik ara söz. Bazıları müstehcenlik ve hakaretlerin kötü niyetli bağlantılar kadar tehlikeli olmadığını ve spam kadar sinir bozucu olmadığını söyleyebilir. Ancak milyonlarca kullanıcı için rahat iletişim koşulları sağlamaya çalışıyoruz ve insanlar hakarete uğradıkları yerlere geri dönmekten hoşlanmıyorlar. Habré de dahil olmak üzere birçok topluluğun kurallarında küfür ve hakaret yasağının belirtilmesi boşuna değil. Ama konuyu saptırıyoruz.
Küfür sözlükleri Rus dilinin tüm zenginliğiyle baş edemez. Yalnızca dört ana küfür kökü olmasına rağmen, bunlardan herhangi bir normal motorun yakalayamayacağı sayısız sayıda kelime oluşturabilirsiniz. Ek olarak, bir kelimenin bir kısmını harf çevirisiyle yazabilir, harfleri benzer kombinasyonlarla değiştirebilir, harfleri yeniden düzenleyebilir, yıldız işareti ekleyebilirsiniz vb. Bazen, bağlam olmadan, kullanıcının küfürlü bir kelimeyi kastettiğini belirlemek temelde imkansızdır. Habr'ın kurallarına saygı duyuyoruz, dolayısıyla bunu canlı örneklerle değil, kedi ve köpeklerle göstereceğiz.
"Kanun" dedi kedi. Ama kedinin farklı bir söz söylediğini anlıyoruz...
Sözlüğümüz için "bulanık eşleştirme" algoritmaları ve daha akıllı ön işleme hakkında düşünmeye başladık: harf çevirisi sağladık, boşlukları ve noktalama işaretlerini birbirine yapıştırdık, kalıplar aradık ve üzerlerine ayrı düzenli ifadeler yazdık. Bu yaklaşım sonuçlar getirdi ancak çoğu zaman doğruluğu azalttı ve istenen bütünlüğü sağlamadı.
Sonra “küfür edenler gibi düşünmeye” karar verdik. Verilere kendimiz gürültü katmaya başladık: Harfleri yeniden düzenledik, yazım hataları oluşturduk, harfleri benzer yazımlarla değiştirdik vb. Bunun için ilk işaretleme, büyük metin topluluklarına mat sözlükleri uygulanarak yapıldı. Bir cümleyi alıp onu çeşitli yönlere çevirirseniz, birçok cümle elde edersiniz. Bu sayede eğitim örneğini onlarca kat artırabilirsiniz. Geriye kalan tek şey, ortaya çıkan havuz üzerinde bağlamı dikkate alan az çok akıllı bir model yetiştirmekti.
Nihai karar hakkında konuşmak için henüz çok erken. Hala bu soruna yönelik yaklaşımlar üzerinde denemeler yapıyoruz, ancak birkaç katmandan oluşan basit bir sembolik evrişimsel ağın sözlüklerden ve normal motorlardan önemli ölçüde daha iyi performans gösterdiğini zaten görebiliyoruz: hem doğruluğu hem de hatırlamayı artırmak mümkündür.
Tabii ki, en gelişmiş otomasyonu bile atlamanın her zaman yollarının olacağını biliyoruz, özellikle de konu çok tehlikeli olduğunda: aptal bir makinenin anlayamayacağı şekilde yazın. Spam ile mücadelede olduğu gibi burada da amacımız müstehcen bir şey yazma olasılığını ortadan kaldırmak değil; görevimiz oyunun muma değmeyeceğinden emin olmaktır.
Fikrinizi paylaşma, iletişim kurma ve yorum yapma fırsatını açmak zor değil. Güvenli, konforlu koşullar ve insanlara saygılı davranılması çok daha zordur. Ve bu olmadan hiçbir toplumun gelişmesi mümkün olmayacaktır.
Kaynak: habr.com