광고를 검토하는 방법

사용자가 자신만의 콘텐츠(UGC - 사용자 생성 콘텐츠)를 만들 수 있는 각 서비스는 비즈니스 문제를 해결할 뿐만 아니라 UGC에 정리해야 합니다. 품질이 좋지 않거나 품질이 낮은 콘텐츠 조정은 궁극적으로 사용자에 대한 서비스 매력을 감소시킬 수 있으며 심지어 서비스 운영을 종료할 수도 있습니다.

오늘은 Yula에서 광고를 효과적으로 관리하는 데 도움이 되는 Yula와 Odnoklassniki 간의 시너지 효과에 대해 설명하겠습니다.

일반적으로 시너지 효과는 매우 유용한 것이며, 현대 사회에서는 기술과 트렌드가 매우 빠르게 변화할 때 생명의 은인이 될 수 있습니다. 이미 발명되어 여러분 앞에 떠오른 것을 발명하는데 왜 부족한 자원과 시간을 낭비합니까?

사진, 텍스트, 링크 등 사용자 콘텐츠를 조정하는 전체 작업에 직면했을 때 우리도 같은 생각을 했습니다. 우리 사용자는 매일 수백만 개의 콘텐츠를 Yula에 업로드하며, 자동 처리 없이는 이 모든 데이터를 수동으로 관리하는 것이 완전히 불가능합니다.

따라서 우리는 Odnoklassniki의 동료들이 "거의 완벽" 상태로 완료한 기성 중재 플랫폼을 사용했습니다.

왜 Odnoklassniki인가?

매일 수천만 명의 사용자가 소셜 네트워크를 방문하여 사진에서 비디오, 텍스트에 이르기까지 수십억 개의 콘텐츠를 게시합니다. Odnoklassniki 중재 플랫폼은 매우 많은 양의 데이터를 확인하고 스팸 발송자 및 봇에 대응하는 데 도움이 됩니다.

OK 중재팀은 12년 동안 도구를 개선하면서 많은 경험을 축적했습니다. 기성 솔루션을 공유할 수 있을 뿐만 아니라 특정 작업에 맞게 플랫폼 아키텍처를 사용자 정의할 수 있다는 것이 중요합니다.

이제부터는 간략하게 OK 중재 플랫폼을 '플랫폼'이라고 부르겠습니다.

작동 방식

Yula와 Odnoklassniki 간의 데이터 교환은 다음을 통해 이루어집니다. 아파치 카프카.

이 도구를 선택한 이유:

• Yula에서는 모든 광고가 사후 조정되므로 처음에는 동기 응답이 필요하지 않았습니다.
• 잘못된 단락이 발생하고 일부 최대 로드로 인해 Yula 또는 Odnoklassniki를 사용할 수 없는 경우 Kafka의 데이터는 어디에서나 사라지지 않으며 나중에 읽을 수 있습니다.
• 플랫폼은 이미 Kafka와 통합되어 있어 대부분의 보안 문제가 해결되었습니다.

Yula에서 사용자가 생성하거나 수정한 각 광고에 대해 데이터가 포함된 JSON이 생성되며, 이는 후속 조정을 위해 Kafka에 배치됩니다. Kafka에서 공지사항은 플랫폼에 로드되어 자동 또는 수동으로 판정됩니다. 불량 광고는 이유가 있으면 차단되며, 플랫폼에서 위반 사항을 발견하지 못한 광고는 '양호'로 표시됩니다. 그런 다음 모든 결정은 Yula로 다시 전송되어 서비스에 적용됩니다.

결국 Yula의 경우 모든 것이 간단한 작업으로 귀결됩니다. Odnoklassniki 플랫폼에 광고를 보내고 "ok"라는 해결 방법을 받거나 "ok"가 아닌 이유는 무엇입니까?

자동 처리

플랫폼에 게재된 광고는 어떻게 되나요? 각 광고는 여러 항목으로 구분됩니다.

• 이름,
• 설명,
• 사진,
• 사용자가 선택한 광고 카테고리 및 하위 카테고리,
• 가격.

그런 다음 플랫폼은 각 엔터티에 대해 클러스터링을 수행하여 중복 항목을 찾습니다. 또한, 텍스트와 사진은 서로 다른 구성표에 따라 클러스터됩니다.

클러스터링하기 전에 텍스트를 정규화하여 특수 문자, 변경된 문자 및 기타 쓰레기를 제거합니다. 수신된 데이터는 N-gram으로 나누어지고 각각은 해싱됩니다. 그 결과 많은 고유한 해시가 생성됩니다. 텍스트 간의 유사성은 다음에 의해 결정됩니다. Jaccard의 측정 두 결과 세트 사이. 유사성이 임계값보다 크면 텍스트가 하나의 클러스터로 병합됩니다. 유사한 클러스터 검색 속도를 높이기 위해 MinHash 및 지역 구분 해싱이 사용됩니다.

pHash 사진 비교부터 신경망을 사용한 중복 검색에 이르기까지 사진을 위한 다양한 이미지 접착 옵션이 발명되었습니다.

마지막 방법은 가장 "심각한" 방법입니다. 모델을 훈련하기 위해 N은 A와 유사하지 않고 P는 A와 유사한(반중복) 이미지의 세 쌍(N, A, P)을 선택했습니다. 그런 다음 신경망은 A와 P를 최대한 가깝게 만들고, A와 N을 최대한 멀리 만드는 방법을 학습했습니다. 이로 인해 단순히 사전 훈련된 네트워크에서 임베딩을 가져오는 것에 비해 거짓양성이 더 적습니다.

신경망이 이미지를 입력으로 받으면 각 이미지에 대해 N(128)차원 벡터를 생성하고 이미지의 근접성을 평가하라는 요청이 이루어집니다. 다음으로 가까운 이미지가 중복된 것으로 간주되는 임계값이 계산됩니다.

이 모델은 pHash 비교를 우회하기 위해 동일한 제품을 다양한 각도에서 특별히 사진을 찍는 스패머를 능숙하게 찾을 수 있습니다.

신경망에 의해 중복으로 접착된 스팸 사진의 예입니다.

마지막 단계에서는 텍스트와 이미지를 동시에 검색하여 중복광고를 검색합니다.

두 개 이상의 광고가 클러스터에 함께 붙어 있는 경우 시스템은 자동 차단을 시작합니다. 이 차단은 특정 알고리즘을 사용하여 삭제할 중복 항목과 남길 중복 항목을 선택합니다. 예를 들어, 두 명의 사용자가 광고에 동일한 사진을 포함하는 경우 시스템은 더 최근의 광고를 차단합니다.

일단 생성되면 모든 클러스터는 일련의 자동 필터를 거칩니다. 각 필터는 클러스터에 점수(이 필터가 식별하는 위협이 포함되어 있을 가능성)를 할당합니다.

예를 들어 시스템은 광고의 설명을 분석하고 잠재적인 카테고리를 선택합니다. 그런 다음 확률이 가장 높은 항목을 선택하여 광고 작성자가 지정한 카테고리와 비교합니다. 일치하지 않으면 잘못된 카테고리에 대해 광고가 차단됩니다. 그리고 우리는 친절하고 정직하기 때문에 광고가 심사를 통과하려면 어떤 카테고리를 선택해야 하는지 사용자에게 직접 알려줍니다.

잘못된 카테고리에 대한 차단 알림입니다.

우리 플랫폼에서는 기계 학습이 마치 집처럼 느껴집니다. 예를 들어, 우리는 이 도구의 도움을 받아 러시아 연방에서 금지된 상품의 이름과 설명을 검색합니다. 그리고 신경망 모델은 이미지에 URL, 스팸 텍스트, 전화번호 및 동일한 "금지된" 정보가 포함되어 있는지 확인하기 위해 이미지를 꼼꼼하게 "검사"합니다.

합법적인 것을 가장하여 금지된 상품을 판매하려는 경우, 제목이나 설명에 텍스트가 없는 경우에는 이미지 태그를 사용합니다. 각 이미지에 대해 이미지 내용을 설명하는 최대 11개의 다양한 태그를 추가할 수 있습니다.

그들은 물담배를 사모바르로 위장하여 판매하려고 합니다.

복잡한 필터와 병행하여 간단한 필터도 작동하여 텍스트와 관련된 명백한 문제를 해결합니다.

• 안티매트;
• URL 및 전화번호 감지기;
• 인스턴트 메신저 및 기타 연락처에 대한 언급
• 인하 된 가격;
• 판매할 물건이 아닌 광고 등

오늘날 모든 광고는 50개 이상의 자동 필터를 통해 광고에서 잘못된 점을 찾아냅니다.

탐지기 중 어느 것도 작동하지 않으면 광고가 완벽한 순서로 "가장 가능성이 높다"는 응답이 Yula로 전송됩니다. 우리는 이 답변을 직접 사용하며, 판매자를 구독한 사용자는 새 제품 출시에 대한 알림을 받습니다.

판매자에게 새 제품이 있다는 알림입니다.

결과적으로 각 광고는 메타데이터로 "과잉"되며, 그 중 일부는 광고가 생성될 때 생성되고(작성자의 IP 주소, 사용자 에이전트, 플랫폼, 지리적 위치 등) 나머지는 각 필터에서 발행된 점수입니다. .

공지 대기열

광고가 플랫폼에 도달하면 시스템은 광고를 대기열 중 하나에 넣습니다. 각 대기열은 잘못된 패턴을 감지하는 방식으로 광고 메타데이터를 결합하는 수학 공식을 사용하여 생성됩니다.

예를 들어, 상트페테르부르크 출신으로 추정되는 Yula 사용자로부터 "휴대폰" 카테고리에 광고 대기열을 생성할 수 있지만 IP 주소는 모스크바나 다른 도시에 있습니다.

한 사용자가 여러 도시에 게시한 광고의 예입니다.

또는 신경망이 광고에 할당하는 점수를 기반으로 대기열을 형성하여 내림차순으로 정렬할 수 있습니다.

각 대기열은 자체 공식에 따라 광고에 최종 점수를 할당합니다. 그런 다음 다양한 방법으로 진행할 수 있습니다.

• 광고가 특정 유형의 차단을 받는 임계값을 지정합니다.
• 수동 검토를 위해 대기열에 있는 모든 광고를 중재자에게 보냅니다.
• 또는 이전 옵션을 결합하십시오. 자동 차단 임계값을 지정하고 이 임계값에 도달하지 않은 광고를 조정자에게 보냅니다.

이러한 대기열이 필요한 이유는 무엇입니까? 사용자가 총기 사진을 업로드했다고 가정해 보겠습니다. 신경망은 95에서 100까지의 점수를 할당하고 99%의 정확도로 사진에 무기가 있다고 판단합니다. 하지만 점수 값이 95% 미만이면 모델의 정확도가 떨어지기 시작합니다(이것은 신경망 모델의 특징입니다).

결과적으로 점수 모델을 기반으로 대기열이 형성되고 95에서 100 사이에 수신된 광고는 자동으로 "금지 제품"으로 차단됩니다. 점수가 95점 미만인 광고는 수동 처리를 위해 중재자에게 전송됩니다.

카트리지가 포함된 초콜릿 베레타. 수동 조정에만 해당됩니다! 🙂

수동 조정

2019년 초에 Yula의 모든 광고 중 약 94%가 자동으로 조정됩니다.

플랫폼에서 일부 광고를 결정할 수 없는 경우 수동 조정을 위해 해당 광고를 보냅니다. Odnoklassniki는 자체 도구를 개발했습니다. 중재자의 작업은 빠른 결정을 내리는 데 필요한 모든 정보를 즉시 표시합니다. 광고가 적합하거나 차단되어야 하며 이유를 나타냅니다.

그리고 수동 조정 중에 서비스 품질이 저하되지 않도록 사람들의 작업이 지속적으로 모니터링됩니다. 예를 들어, 작업 스트림에서 중재자는 이미 준비된 솔루션이 있는 광고인 "트랩"으로 표시됩니다. 중재자의 결정이 완료된 결정과 일치하지 않으면 중재자에게 오류가 발생합니다.

평균적으로 중재자는 하나의 광고를 확인하는 데 10초를 소비합니다. 또한, 검증된 전체 광고의 오류 개수는 0,5%를 넘지 않습니다.

사람들의 절제

Odnoklassniki의 동료들은 더 나아가 "청중의 도움"을 활용했습니다. 그들은 많은 양의 데이터를 빠르게 표시하고 일부 나쁜 신호를 강조할 수 있는 소셜 네트워크용 게임 애플리케이션을 작성했습니다. - Odnoklassniki 중재자(https://ok.ru/app/moderator). 콘텐츠를 더욱 즐겁게 만들기 위해 노력하는 OK유저들의 도움을 활용하는 좋은 방법입니다.

사용자가 전화번호가 있는 사진에 태그를 붙이는 게임입니다.

플랫폼의 모든 광고 대기열은 Odnoklassniki 중재자 게임으로 리디렉션될 수 있습니다. 게임 사용자가 마크업한 모든 내용은 확인을 위해 내부 중재자에게 전송됩니다. 이 구성표를 사용하면 필터가 아직 생성되지 않은 광고를 차단하는 동시에 훈련 샘플을 생성할 수 있습니다.

조정 결과 저장

우리는 이미 결정한 광고를 다시 처리하지 않도록 조정 중에 내린 모든 결정을 저장합니다.

광고를 기반으로 매일 수백만 개의 클러스터가 생성됩니다. 시간이 지남에 따라 각 클러스터에는 "양호" 또는 "불량"이라는 레이블이 지정됩니다. 표시가 있는 클러스터에 들어가는 각 새 광고 또는 해당 개정은 자동으로 클러스터 자체에서 해결 방법을 받습니다. 하루에 약 20개의 자동 해결 방법이 있습니다.

클러스터에 새로운 공지가 도착하지 않으면 메모리에서 제거되고 해당 해시와 솔루션이 Apache Cassandra에 기록됩니다.

플랫폼은 새로운 광고를 수신하면 먼저 이미 생성된 클러스터 중에서 유사한 클러스터를 찾아 해결책을 모색합니다. 그러한 클러스터가 없으면 플랫폼은 Cassandra로 이동하여 그곳을 찾습니다. 그거 찾았 어? 좋습니다. 솔루션을 클러스터에 적용하고 Yula로 보냅니다. 매일 평균 70만 건의 이러한 "반복" 결정이 발생하며 전체의 8%입니다.

최대 합계

우리는 2년 반 동안 Odnoklassniki 중재 플랫폼을 사용해 왔습니다. 우리는 결과를 좋아합니다:

• 우리는 매일 모든 광고의 94%를 자동으로 조정합니다.
• 하나의 광고를 조정하는 비용이 2루블에서 7코펙으로 감소되었습니다.
• 기성 도구 덕분에 중재자 관리 문제를 잊어 버렸습니다.
• 동일한 수의 중재자와 예산으로 수동으로 처리되는 광고의 수를 2,5배 늘렸습니다. 수동 조정의 품질도 자동화된 제어로 인해 향상되었으며 오류는 약 0,5% 변동합니다.
• 우리는 필터를 사용하여 새로운 유형의 스팸을 신속하게 처리합니다.
• 새로운 부서를 중재에 신속하게 연결합니다. "율라 버티칼스". 2017년부터 Yula는 부동산, 공석 및 자동차 카테고리를 추가했습니다.

출처 : habr.com