🥇사이트 침입자(사기)를 퇴치하기 위한 자동 시스템 구축

지난 약 XNUMX개월 동안 저는 이에 대한 초기 인프라 없이 사기(사기 행위, 사기 등)를 퇴치하기 위한 시스템을 만들어 왔습니다. 오늘날 우리 시스템에서 발견하고 구현한 아이디어는 많은 사기 활동을 탐지하고 분석하는 데 도움이 됩니다. 이 글에서는 기술적인 부분을 다루지 않고 우리가 따랐던 원칙과 우리 시스템의 현재 상태를 달성하기 위해 우리가 한 일에 대해 이야기하고 싶습니다.

우리 시스템의 원리

"자동" 및 "사기"와 같은 용어를 들으면 아마도 기계 학습, Apache Spark, Hadoop, Python, Airflow 및 Apache Foundation 생태계와 데이터 과학 분야의 기타 기술에 대해 생각하기 시작할 것입니다. 이러한 도구를 사용하는 데에는 일반적으로 언급되지 않는 한 가지 측면이 있다고 생각합니다. 즉, 사용을 시작하기 전에 엔터프라이즈 시스템에 특정 전제 조건이 필요하다는 것입니다. 즉, 데이터 레이크와 웨어하우스를 포함하는 엔터프라이즈 데이터 플랫폼이 필요합니다. 하지만 그러한 플랫폼이 없고 여전히 이 방식을 개발해야 한다면 어떻게 될까요? 아래에서 제가 공유하는 다음 원칙은 우리가 효과적인 아이디어를 찾는 것보다 아이디어를 개선하는 데 집중할 수 있는 지점에 도달하는 데 도움이 되었습니다. 그러나 이는 프로젝트 고원이 아닙니다. 기술적인 측면이나 제품적인 측면에서 아직 계획에 남아 있는 부분이 많습니다.

원칙 1: 비즈니스 가치 우선

우리는 모든 노력의 최전선에 "비즈니스 가치"를 둡니다. 일반적으로 모든 자동 분석 시스템은 자동화 수준이 높고 기술적 복잡성이 높은 복잡한 시스템 그룹에 속합니다. 처음부터 새로 만들면 완전한 솔루션을 만드는 데 많은 시간이 걸립니다. 우리는 사업적 가치를 최우선으로 하고, 기술적 완성도를 그 다음으로 두기로 결정했습니다. 실생활에서 이것은 우리가 첨단 기술을 교리로 받아들이지 않는다는 것을 의미합니다. 우리는 현재 우리에게 가장 적합한 기술을 선택합니다. 시간이 지나면 일부 모듈을 다시 구현해야 할 것 같습니다. 이것이 우리가 받아들인 타협안입니다.

원칙 2: 증강 지능

머신러닝 솔루션 개발에 깊이 관여하지 않은 대부분의 사람들은 인간을 대체하는 것이 목표라고 생각할 것입니다. 실제로 머신러닝 솔루션은 완벽과는 거리가 멀고 특정 영역에서만 대체가 가능합니다. 우리는 사기 행위에 대한 불균형한 데이터와 기계 학습 모델에 대한 포괄적인 기능 목록을 제공할 수 없다는 등 여러 가지 이유로 이 아이디어를 처음부터 거부했습니다. 대조적으로 우리는 향상된 지능 옵션을 선택했습니다. 이는 인공지능의 보조 역할에 초점을 맞춘 인공지능의 대안 개념으로, 인지 기술이 인간 지능을 대체하는 것이 아니라 향상시키는 것을 목적으로 한다는 점을 강조한다. [1]

이를 감안할 때 처음부터 완전한 기계 학습 솔루션을 개발하려면 엄청난 노력이 필요하며 이로 인해 비즈니스 가치 창출이 지연될 수 있습니다. 우리는 도메인 전문가의 지도 아래 반복적으로 성장하는 기계 학습 측면을 갖춘 시스템을 구축하기로 결정했습니다. 이러한 시스템을 개발할 때 어려운 부분은 사기 행위인지 여부뿐만 아니라 분석가에게 사례를 제공해야 한다는 것입니다. 일반적으로 고객 행동의 이상 현상은 전문가가 어떻게든 조사하고 대응해야 하는 의심스러운 사례입니다. 보고된 사례 중 실제로 사기로 분류될 수 있는 사례는 극히 일부에 불과합니다.

원칙 3: 풍부한 분석 플랫폼

우리 시스템에서 가장 어려운 부분은 시스템 작업 흐름을 엔드투엔드 방식으로 검증하는 것입니다. 분석가와 개발자는 분석에 사용되는 모든 지표가 포함된 과거 데이터 세트를 쉽게 얻어야 합니다. 또한 데이터 플랫폼은 기존 측정항목 세트를 새로운 측정항목으로 보완하는 쉬운 방법을 제공해야 합니다. 단순한 소프트웨어 프로세스가 아닌 우리가 만드는 프로세스를 통해 이전 기간을 쉽게 다시 계산하고, 새로운 지표를 추가하고, 데이터 예측을 변경할 수 있습니다. 우리는 생산 시스템에서 생성되는 모든 데이터를 축적함으로써 이를 달성할 수 있습니다. 이 경우 데이터는 점차 귀찮아지게 됩니다. 우리는 사용하지 않는 점점 더 많은 양의 데이터를 저장하고 보호해야 합니다. 이러한 시나리오에서 데이터는 시간이 지남에 따라 점점 더 쓸모없어지지만, 여전히 데이터를 관리하기 위한 노력이 필요합니다. 우리에게는 데이터를 쌓아두는 것이 타당하지 않았기 때문에 다른 접근 방식을 취하기로 결정했습니다. 분류하려는 대상 개체를 중심으로 실시간 데이터 저장소를 구성하고, 가장 최근의 관련 기간을 확인할 수 있는 데이터만 저장하기로 결정했습니다. 이러한 노력에 대한 과제는 우리 시스템이 일관성 있는 방식으로 작동하기 위해 세심한 계획이 필요한 여러 데이터 저장소와 소프트웨어 모듈로 인해 이기종이라는 것입니다.

우리 시스템의 설계 개념

우리 시스템에는 수집 시스템, 계산, BI 분석 및 추적 시스템이라는 네 가지 주요 구성 요소가 있습니다. 이들은 구체적이고 격리된 목적을 수행하며 특정 설계 접근 방식을 따라 격리된 상태를 유지합니다.

계약 기반 설계

우선, 우리는 구성 요소가 구성 요소 간에 전달되는 특정 데이터 구조(계약)에만 의존해야 한다는 데 동의했습니다. 이를 통해 구성 요소 간의 통합이 쉽고 구성 요소의 특정 구성(및 순서)을 강요하지 않아도 됩니다. 예를 들어, 어떤 경우에는 접수 시스템을 경고 추적 시스템과 직접 통합할 수 있습니다. 그러한 경우, 이는 합의된 경고 계약에 따라 수행됩니다. 이는 두 구성 요소가 다른 구성 요소에서 사용할 수 있는 계약을 사용하여 통합됨을 의미합니다. 입력 시스템에서 추적 시스템에 경고를 추가하기 위해 추가 계약을 추가하지 않을 것입니다. 이 접근 방식은 미리 결정된 최소 수의 계약을 사용해야 하며 시스템과 통신을 단순화합니다. 기본적으로 우리는 "Contract First Design"이라는 접근 방식을 취하고 이를 스트리밍 계약에 적용합니다. [2]

어디서나 스트리밍

시스템에서 상태를 저장하고 관리하는 것은 필연적으로 구현 시 복잡해집니다. 일반적으로 상태는 모든 구성 요소에서 액세스할 수 있어야 하며 모든 구성 요소에서 일관성을 유지하고 최신 값을 제공해야 하며 올바른 값으로 신뢰할 수 있어야 합니다. 또한 최신 상태를 검색하기 위해 영구 저장소를 호출하면 I/O 작업 수가 늘어나고 실시간 파이프라인에 사용되는 알고리즘이 복잡해집니다. 이 때문에 우리는 가능하다면 시스템에서 상태 저장소를 완전히 제거하기로 결정했습니다. 이 접근 방식에서는 필요한 모든 데이터가 전송된 데이터 블록(메시지)에 포함되어야 합니다. 예를 들어, 일부 관찰의 총 수(특정 특성을 가진 작업 또는 사례 수)를 계산해야 하는 경우 이를 메모리에서 계산하고 해당 값의 스트림을 생성합니다. 종속 모듈은 파티션 및 일괄 처리를 사용하여 스트림을 엔터티로 분할하고 최신 값으로 작동합니다. 이 접근 방식을 사용하면 해당 데이터를 위한 영구 디스크 스토리지가 필요하지 않습니다. 우리 시스템은 Kafka를 메시지 브로커로 사용하며 KSQL과 함께 데이터베이스로 사용할 수 있습니다. [3] 그러나 이를 사용하면 우리 솔루션이 Kafka에 크게 묶여서 사용하지 않기로 결정했습니다. 우리가 선택한 접근 방식을 사용하면 시스템 내부를 크게 변경하지 않고도 Kafka를 다른 메시지 브로커로 교체할 수 있습니다.

이 개념은 디스크 스토리지와 데이터베이스를 사용하지 않는다는 의미는 아닙니다. 시스템 성능을 테스트하고 분석하려면 다양한 지표와 상태를 나타내는 상당한 양의 데이터를 디스크에 저장해야 합니다. 여기서 중요한 점은 실시간 알고리즘은 그러한 데이터에 의존하지 않는다는 것입니다. 대부분의 경우, 당사는 시스템이 생성하는 특정 사례 및 결과의 오프라인 분석, 디버깅 및 추적을 위해 저장된 데이터를 사용합니다.

우리 시스템의 문제점

특정 수준까지 해결한 특정 문제가 있지만 더 사려 깊은 솔루션이 필요합니다. 이제 각 요점이 해당 기사의 가치가 있기 때문에 여기서 언급하고 싶습니다.

자동화된 데이터 분석, 검색 및 탐색을 위해 의미 있고 관련성 있는 데이터의 축적을 지원하는 프로세스와 정책을 정의해야 합니다.
인간의 분석 결과를 자동으로 시스템을 설정하는 과정에 반영하여 최신 데이터로 업데이트합니다. 이는 모델을 업데이트할 뿐만 아니라 프로세스를 업데이트하고 데이터에 대한 이해를 향상시킵니다.
IF-ELSE의 결정론적 접근 방식과 ML 간의 균형 찾기. 누군가 “ML은 절박한 사람들을 위한 도구”라고 말했습니다. 즉, 알고리즘을 최적화하고 개선하는 방법을 더 이상 이해하지 못할 때 ML을 사용하고 싶을 것입니다. 반면, 결정론적 접근 방식에서는 예상하지 못한 이상 현상을 탐지할 수 없습니다.
데이터의 측정항목 간의 가설이나 상관관계를 테스트할 수 있는 간단한 방법이 필요합니다.
시스템에는 여러 수준의 참양성 결과가 있어야 합니다. 사기 사례는 시스템에 긍정적인 것으로 간주될 수 있는 모든 사례의 일부일 뿐입니다. 예를 들어, 분석가는 확인을 위해 모든 의심 사례를 수신하고 싶어하는데 그 중 사기는 극히 일부에 불과합니다. 시스템은 실제 사기인지 의심스러운 행동인지에 관계없이 분석가에게 모든 사례를 효율적으로 제시해야 합니다.
데이터 플랫폼은 즉시 생성 및 계산된 계산을 통해 과거 데이터 세트를 검색할 수 있어야 합니다.
프로덕션, 실험(베타) 및 개발자를 위한 최소 세 가지 환경에서 시스템 구성 요소를 쉽고 자동으로 배포합니다.
그리고 마지막으로 중요한 것은. 우리는 모델을 분석할 수 있는 풍부한 성능 테스트 플랫폼을 구축해야 합니다. [4]

참조

출처 : habr.com

사이트 침입자 퇴치(사기)를 위한 자동 시스템 구축