댓글을 열고 스팸에 빠지지 않는 방법

당신의 임무가 아름다운 것을 창조하는 것이라면, 그것에 대해 너무 많이 말할 필요는 없습니다. 결과가 모든 사람의 눈앞에 있기 때문입니다. 그러나 울타리에 있는 비문을 지우면 울타리가 괜찮아 보이거나 잘못된 부분을 지울 때까지 아무도 당신의 작업을 알아차리지 못할 것입니다.

조만간 댓글을 남기고, 검토하고, 메시지를 보내고, 사진을 업로드할 수 있는 모든 서비스는 스팸, 사기 및 외설의 문제에 직면합니다. 이는 피할 수 없지만 처리해야 합니다.

제 이름은 Mikhail이고 Yandex 서비스 사용자를 이러한 문제로부터 보호하는 Antispam 팀에서 일하고 있습니다. 우리의 작업은 눈에 띄는 경우가 거의 없으므로(그것은 좋은 일입니다!) 오늘은 이에 대해 자세히 설명하겠습니다. 중재가 쓸모없는 경우와 정확성이 그 효과를 나타내는 유일한 지표가 아닌 이유를 배우게 됩니다. 또한 고양이와 개를 예로 들어 욕설에 대해 이야기하고 때로는 “욕하는 사람처럼 생각하는 것”이 왜 유용한지 이야기할 것입니다.

사용자가 콘텐츠를 게시하는 Yandex에 점점 더 많은 서비스가 나타나고 있습니다. Yandex.Q에서 질문을 하거나 답변을 작성하고, Yandex.District에서 마당 뉴스에 대해 논의하고, Yandex.Maps에서 대화를 통해 교통 상황을 공유할 수 있습니다. 그러나 서비스의 사용자가 늘어나면 사기꾼과 스패머에게 매력적으로 다가옵니다. 그들은 와서 의견을 작성합니다. 그들은 쉽게 돈을 벌고, 기적의 치료법을 광고하고, 사회적 혜택을 약속합니다. 스패머 때문에 일부 사용자는 돈을 잃고, 다른 사용자는 스팸으로 가득 찬 정리되지 않은 서비스에 시간을 보내고 싶은 욕구를 잃습니다.

그리고 이것이 유일한 문제는 아닙니다. 우리는 사기꾼으로부터 사용자를 보호할 뿐만 아니라 편안한 의사소통 분위기를 조성하기 위해 노력합니다. 댓글에서 욕설과 모욕적인 내용을 접하면 사람들은 떠나고 다시는 돌아오지 않을 가능성이 높습니다. 이는 당신도 이 문제를 처리할 수 있어야 한다는 것을 의미합니다.

클린 웹

우리의 경우 흔히 그렇듯이 검색 결과에서 스팸을 퇴치하는 부분인 검색에서 첫 번째 개발이 탄생했습니다. 약 18년 전, 가족 검색과 XNUMX세 이상 카테고리의 답변이 필요하지 않은 쿼리에 대한 성인 콘텐츠를 필터링하는 작업이 나타났습니다. 이것이 바로 최초의 수동 입력 포르노 및 욕설 사전이 등장한 방식이며 분석가에 의해 보충되었습니다. 주요 작업은 요청을 성인 콘텐츠 표시가 허용되는 것과 허용되지 않는 것으로 분류하는 것이었습니다. 이 작업을 위해 마크업이 수집되고, 경험적 방법이 구축되었으며, 모델이 훈련되었습니다. 이것이 원치 않는 콘텐츠를 필터링하는 최초의 개발이 나타난 방식입니다.

시간이 지남에 따라 UGC(사용자 생성 콘텐츠)가 Yandex에 나타나기 시작했습니다. 이는 사용자가 직접 작성한 메시지이며 Yandex는 게시만 합니다. 위에서 설명한 이유로 인해 많은 메시지를 확인하지 않고는 게시할 수 없었으며 조정이 필요했습니다. 그런 다음 그들은 모든 Yandex UGC 제품에 대해 스팸 및 공격자로부터 보호를 제공하고 개발을 사용하여 검색에서 원치 않는 콘텐츠를 필터링하는 서비스를 만들기로 결정했습니다. 이 서비스는 '클린웹(Clean Web)'이라고 불렸습니다.

새로운 작업과 푸셔의 도움

처음에는 간단한 자동화만 효과가 있었습니다. 서비스가 우리에게 텍스트를 보냈고 우리는 이에 대한 외설 사전, 포르노 사전 및 정규 표현식을 실행했습니다. 분석가는 모든 것을 수동으로 편집했습니다. 그러나 시간이 지나면서 이 서비스는 점점 더 많은 Yandex 제품에 사용되었고 우리는 새로운 문제를 해결하는 방법을 배워야 했습니다.

종종 리뷰 대신에 사용자는 자신의 성과를 높이려고 의미 없는 편지 세트를 게시하고 때로는 경쟁사 회사에 대한 리뷰에서 자신의 회사를 광고하고 때로는 단순히 조직을 혼란스럽게 하고 애완동물 가게에 대한 리뷰를 작성합니다. 완벽하게 요리된 생선!” 아마도 언젠가는 인공지능이 텍스트의 의미를 완벽하게 파악하는 법을 배우게 될 것입니다. 그러나 이제는 자동화가 인간보다 더 나쁜 상황에 대처하는 경우도 있습니다.

수동 마킹 없이는 이 작업을 수행할 수 없다는 것이 분명해졌고 회로에 두 번째 단계를 추가하여 사람이 수동으로 검사할 수 있도록 보냈습니다. 분류자가 아무런 문제도 발견하지 못한 출판된 텍스트가 여기에 포함되었습니다. 그러한 작업의 규모를 쉽게 상상할 수 있으므로 우리는 평가자에게 의존했을 뿐만 아니라 "군중의 지혜"도 활용했습니다. 즉, 우리는 수고하는 사람에게 도움을 요청했습니다. 그들은 기계가 무엇을 놓쳤는지를 우리가 식별하고 이를 통해 가르치는 데 도움을 주는 사람들입니다.

스마트 캐싱 및 LSH 해싱

댓글 작업 시 직면한 또 다른 문제는 스팸, 더 정확하게는 스팸의 양과 확산 속도였습니다. Yandex.Region 잠재고객이 빠르게 성장하기 시작하자 스패머가 그곳으로 왔습니다. 그들은 텍스트를 약간 변경하여 정규식을 우회하는 방법을 배웠습니다. 물론 스팸은 여전히 ​​발견되어 삭제되었지만 Yandex 규모에서는 5분 동안 게시된 용납할 수 없는 메시지를 수백 명의 사람들이 볼 수 있었습니다.

물론 이것은 우리에게 적합하지 않았고 LSH를 기반으로 스마트 텍스트 캐싱을 만들었습니다(지역에 민감한 해싱). 작동 방식은 다음과 같습니다. 텍스트를 정규화하고 링크를 제거한 후 n-그램(n개 문자 시퀀스)으로 자릅니다. 다음으로 n-gram의 해시를 계산하고 이를 통해 문서의 LSH 벡터를 구축했습니다. 요점은 유사한 텍스트가 약간만 변경되더라도 유사한 벡터로 변한다는 것입니다.

이 솔루션을 사용하면 유사한 텍스트에 대한 분류기 및 toloker의 판정을 재사용할 수 있습니다. 스팸 공격 중에 첫 번째 메시지가 검사를 통과하고 "스팸" 판정으로 캐시에 들어가자마자 모든 새로운 유사한 메시지는 수정된 메시지라도 동일한 판정을 받고 자동으로 삭제되었습니다. 나중에 우리는 스팸 분류기를 훈련하고 자동으로 재훈련하는 방법을 배웠지만 이 "스마트 캐시"는 우리와 함께 있었고 여전히 종종 우리를 도와줍니다.

좋은 텍스트 분류기

스팸과 맞서 싸울 시간도 없이 콘텐츠의 95%가 수동으로 조정된다는 사실을 깨달았습니다. 분류자는 위반 사항에만 반응하며 대부분의 텍스트는 훌륭합니다. 우리는 95개 중 100개 사례에서 "모든 것이 정상"이라는 평가를 받은 청소업체를 로드합니다. 나는 좋은 콘텐츠의 분류자를 만드는 특이한 일을 해야 했는데, 다행스럽게도 이 기간 동안 충분한 마크업이 축적되었습니다.

첫 번째 분류자는 다음과 같습니다. 텍스트를 표제어로 분류하고(단어를 초기 형식으로 축소), 모든 보조 품사를 버리고 미리 준비된 "좋은 기본형 사전"을 사용합니다. 텍스트의 모든 단어가 "양호"하면 전체 텍스트에 위반 사항이 포함되지 않습니다. 다양한 서비스에서 이 접근 방식은 수동 마크업의 25~35% 자동화를 즉시 제공했습니다. 물론 이 접근 방식은 이상적이지 않습니다. 여러 개의 순진한 단어를 결합하여 매우 공격적인 진술을 얻는 것은 쉽지만 이를 통해 우리는 신속하게 좋은 수준의 자동화에 도달할 수 있었고 더 복잡한 모델을 훈련할 시간을 확보할 수 있었습니다.

좋은 텍스트 분류기의 다음 버전에는 이미 선형 모델, 의사결정 트리 및 이들의 조합이 포함되어 있습니다. 예를 들어, 무례함과 모욕을 표시하기 위해 BERT 신경망을 사용해 봅니다. 문맥에서 단어의 의미와 다른 문장의 단어 간의 연결을 파악하는 것이 중요하며 BERT는 이를 잘 수행합니다. (그런데 최근 뉴스의 동료들이 말한, 비표준 작업에 기술이 사용되는 방식 - 헤더에서 오류 찾기.) 결과적으로 서비스에 따라 최대 90%의 흐름을 자동화할 수 있었습니다.

정확성, 완전성 및 속도

개발하려면 특정 자동 분류기가 가져오는 이점, 변경 사항, 수동 검사 품질이 저하되는지를 이해해야 합니다. 이를 위해 정밀도와 재현율 측정항목을 사용합니다.

정확도는 불량 콘텐츠에 대한 모든 판정 중 올바른 판정의 비율입니다. 정확도가 높을수록 오탐률이 줄어듭니다. 정확성에 주의를 기울이지 않으면 이론적으로 모든 스팸과 음란물을 삭제할 수 있으며 좋은 메시지의 절반도 함께 삭제할 수 있습니다. 반면, 정확성에만 의존한다면 최고의 기술은 누구도 따라잡지 못하는 기술이 될 것입니다. 따라서 전체 불량 콘텐츠 양 중 식별된 불량 콘텐츠의 비율이라는 완전성 지표도 있습니다. 이 두 측정항목은 서로 균형을 이룹니다.

측정을 위해 우리는 각 서비스에 대한 전체 수신 스트림을 샘플링하고 전문가 평가 및 기계 솔루션과의 비교를 위해 평가자에게 콘텐츠 샘플을 제공합니다.

그러나 또 다른 중요한 지표가 있습니다.

받아들일 수 없는 메시지는 5분 안에도 수백 명이 볼 수 있다고 위에서 썼습니다. 그래서 우리는 나쁜 콘텐츠를 숨기기 전에 사람들에게 몇 번이나 보여줬는지 계산합니다. 효율적으로 작업하는 것만으로는 충분하지 않기 때문에 이는 중요합니다. 또한 신속하게 작업해야 합니다. 그리고 욕설에 대한 방어책을 세웠을 때 우리는 그것을 최대한 느꼈습니다.

고양이와 개를 예로 든 반유기주의

작은 서정적 여담. 어떤 사람들은 외설과 모욕이 악성 링크만큼 위험하지도 않고 스팸만큼 짜증나지도 않는다고 말할 수도 있습니다. 그러나 우리는 수백만 명의 사용자가 편안한 의사소통 환경을 유지하기 위해 노력하고 있으며 사람들은 모욕을 받는 곳으로 돌아가는 것을 좋아하지 않습니다. Habré를 포함한 많은 커뮤니티의 규칙에 욕설과 모욕 금지가 명시되어 있는 것은 아무것도 아닙니다. 그러나 우리는 빗나간다.

욕설 사전은 러시아어의 모든 풍부함에 대처할 수 없습니다. 주요 욕의 뿌리가 XNUMX개뿐이라는 사실에도 불구하고, 그로부터 일반 엔진으로는 포착할 수 없는 수많은 단어를 구성할 수 있습니다. 또한 단어의 일부를 음역으로 작성하고, 문자를 유사한 조합으로 대체하고, 문자를 재배열하고, 별표를 추가하는 등의 작업을 수행할 수 있습니다. 때로는 문맥 없이는 사용자가 욕설을 의미했는지 판단하는 것이 기본적으로 불가능합니다. 우리는 Habr의 규칙을 존중하므로 이를 실제 사례가 아닌 고양이와 개를 통해 보여드리겠습니다.

"법률이요." 고양이가 말했습니다. 하지만 우리는 고양이가 다른 말을 한 것을 이해합니다...

우리는 사전의 "퍼지 매칭" 알고리즘과 보다 스마트한 전처리에 대해 생각하기 시작했습니다. 음역, 공백 및 구두점을 함께 제공하고 패턴을 찾고 여기에 별도의 정규 표현식을 작성했습니다. 이 접근 방식은 결과를 가져왔지만 정확도가 떨어지고 원하는 완전성을 제공하지 못하는 경우가 많았습니다.

그런 다음 우리는 "욕하는 사람처럼 생각하기"로 결정했습니다. 우리는 스스로 데이터에 노이즈를 도입하기 시작했습니다. 문자를 재배열하고, 오타를 생성하고, 문자를 유사한 철자로 바꾸는 등의 작업을 수행했습니다. 이에 대한 초기 마크업은 대규모 텍스트 말뭉치에 매트 사전을 적용하여 수행되었습니다. 한 문장을 취하고 여러 가지로 비틀어 보면 결국에는 많은 문장이 됩니다. 이렇게 하면 훈련 샘플을 수십 배 늘릴 수 있습니다. 남은 것은 결과 풀에서 상황을 고려한 다소 스마트한 모델을 훈련하는 것뿐이었습니다.

최종 결정을 논하기에는 아직 이르다. 우리는 이 문제에 대한 접근 방식을 계속 실험하고 있지만 여러 계층으로 구성된 간단한 기호 컨벌루션 네트워크가 사전 및 일반 엔진보다 훨씬 뛰어난 성능을 보인다는 것을 이미 볼 수 있습니다. 즉, 정확도와 재현율을 모두 높일 수 있습니다.

물론, 우리는 특히 문제가 매우 위험한 경우 가장 진보된 자동화조차 우회할 수 있는 방법이 항상 있다는 것을 알고 있습니다. 어리석은 기계가 이해하지 못할 방식으로 작성하십시오. 스팸과의 싸움에서와 마찬가지로 여기서 우리의 목표는 외설적인 내용을 작성할 가능성을 근절하는 것이 아니라 게임이 가치가 없는지 확인하는 것입니다.

귀하의 의견을 공유하고, 소통하고, 논평할 수 있는 기회를 여는 것은 어렵지 않습니다. 안전하고 편안한 환경을 조성하고 사람들을 존중하는 대우를 받는 것이 훨씬 더 어렵습니다. 이것이 없으면 어떤 공동체도 발전할 수 없습니다.

출처 : habr.com