보안 및 개인 정보 보호를 위한 확장 가능한 데이터 분류

콘텐츠를 기반으로 데이터를 분류하는 것은 열린 작업입니다. 기존의 데이터 손실 방지(DLP) 시스템은 관련 데이터를 핑거프린팅하고 핑거프린팅을 위해 엔드포인트를 모니터링하여 이 문제를 해결합니다. Facebook에서 끊임없이 변화하는 수많은 데이터 리소스를 고려할 때 이 접근 방식은 확장되지 않을 뿐만 아니라 데이터의 위치를 ​​파악하는 데에도 비효율적입니다. 이 기사는 Facebook에서 민감한 의미론적 유형을 대규모로 감지하고 데이터 저장 및 액세스 제어를 자동으로 시행하도록 구축된 종단 간 시스템에 관한 것입니다.

여기에 설명된 접근 방식은 Facebook의 모든 데이터를 표시하고 분류하기 위해 데이터 신호, 기계 학습 및 기존 지문 기술을 통합하여 이 문제를 해결하려는 최초의 종단 간 개인 정보 보호 시스템입니다. 설명된 시스템은 프로덕션 환경에서 운영되며 수십 개의 저장소에서 많은 데이터 리소스를 처리하면서 다양한 개인 정보 보호 등급에 대해 평균 F2 점수 0,9+를 달성합니다. 기계 학습을 기반으로 한 보안 및 개인 정보 보호를 위한 확장 가능한 데이터 분류에 대한 ArXiv의 Facebook 게시물 번역을 소개합니다.

소개

오늘날 조직은 다양한 형식과 위치에서 많은 양의 데이터를 수집하고 저장합니다[1]. 그런 다음 데이터는 여러 장소에서 사용되며 때로는 여러 번 복사 또는 캐시되어 귀중하고 중요한 비즈니스 정보가 여러 기업 데이터 저장소에 분산됩니다. 민사 소송에서 규정 준수와 같이 조직이 특정 법적 또는 규제 요구 사항을 준수해야 하는 경우 필요한 데이터의 위치에 대한 데이터를 수집해야 합니다. 개인 정보 조례에서 조직이 개인 정보를 승인되지 않은 주체에게 전송할 때 모든 SSN(사회 보장 번호)을 마스킹해야 한다고 명시한 경우 자연스러운 첫 번째 단계는 조직 전체 데이터 저장소에서 모든 SSN을 조회하는 것입니다. 이러한 상황에서는 데이터 분류가 중요해집니다[1]. 분류 시스템을 통해 조직은 액세스 제어 정책, 데이터 보존 활성화와 같은 개인 정보 보호 및 보안 정책을 자동으로 시행할 수 있습니다. Facebook은 여러 데이터 신호, 확장 가능한 시스템 아키텍처 및 기계 학습을 사용하여 민감한 의미론적 데이터 유형을 감지하는 Facebook에서 구축한 시스템을 소개합니다.

데이터 검색 및 분류는 필요할 때 관련 정보를 빠르고 효율적으로 검색할 수 있도록 데이터를 찾고 레이블을 지정하는 것입니다. 현재 프로세스는 수동 프로세스에 가깝고 관련 법률 또는 규정을 검토하고 어떤 유형의 정보를 민감하게 고려해야 하는지 결정하고 이에 따라 등급 및 분류 정책을 구축하는 것으로 구성됩니다[1]. DLP(Data Loss Prevention) 시스템 이후 데이터에 지문이 생성되고 다운스트림 엔드포인트에서 지문이 모니터링됩니다. 많은 수의 자산과 페타바이트 데이터가 포함된 스토리지를 처리할 때 이 접근 방식은 단순히 확장되지 않습니다.

우리의 목표는 데이터 유형이나 형식에 대한 추가 제한 없이 강력하고 비영구적인 사용자 데이터 모두에 대해 확장되는 데이터 분류 시스템을 구축하는 것입니다. 이것은 대담한 목표이며 당연히 어려움이 따릅니다. 데이터 항목의 길이는 수천 자일 수 있습니다.

그림 1. 온라인 및 오프라인 예측 흐름

따라서 나중에 결합하고 쉽게 이동할 수 있는 공통 기능 집합을 사용하여 효과적으로 표현해야 합니다. 이러한 기능은 정확한 분류를 제공할 뿐만 아니라 향후 새로운 데이터 유형을 쉽게 추가하고 검색할 수 있는 유연성과 확장성을 제공해야 합니다. 둘째, 큰 독립형 테이블을 처리해야 합니다. 영구 데이터는 페타바이트 크기의 테이블에 저장할 수 있습니다. 이로 인해 스캔 속도가 느려질 수 있습니다. 셋째, 불안정한 데이터에 대한 엄격한 SLA 분류를 준수해야 합니다. 이것은 시스템이 매우 효율적이고 빠르며 정확하도록 강제합니다. 마지막으로 웹 사용 사례뿐만 아니라 실시간 분류를 수행하기 위해 불안정한 데이터에 대해 대기 시간이 짧은 데이터 분류를 제공해야 합니다.

이 기사에서는 위의 문제를 어떻게 처리했는지 설명하고 공통 기능 세트를 기반으로 모든 유형, 형식 및 소스의 데이터 항목을 분류하는 빠르고 확장 가능한 분류 시스템을 제시합니다. 우리는 시스템 아키텍처를 확장하고 오프라인 및 온라인 데이터의 빠른 분류를 위한 특수 기계 학습 모델을 만들었습니다. 이 문서는 다음과 같이 구성되어 있습니다. 섹션 2는 시스템의 전체 설계를 나타냅니다. 섹션 3에서는 기계 학습 시스템의 부분에 대해 설명합니다. 섹션 4와 5는 관련 작업을 설명하고 작업의 향후 방향을 설명합니다.

구조

Facebook 규모에서 지속 가능한 온라인 데이터의 문제를 처리하기 위해 분류 시스템에는 두 개의 개별 스트림이 있으며 이에 대해 자세히 논의할 것입니다.

지속 가능한 데이터

처음에 시스템은 많은 Facebook 정보 자산에 대해 학습해야 합니다. 각 저장소에 대해 해당 데이터를 포함하는 데이터 센터, 해당 데이터를 보관하는 시스템 및 해당 특정 데이터 저장소에 있는 자산과 같은 몇 가지 기본 정보가 수집됩니다. 이는 다른 엔지니어가 사용하는 클라이언트 및 리소스에 과부하를 주지 않고 시스템이 데이터를 효율적으로 검색할 수 있도록 하는 메타데이터 카탈로그를 형성합니다.

이 메타데이터 카탈로그는 스캔한 모든 자산에 대한 신뢰할 수 있는 소스를 제공하며 다양한 자산의 상태를 추적할 수 있습니다. 이 정보는 수집된 데이터와 시스템에서 내부 정보(예: 자산이 마지막으로 성공적으로 스캔된 시기, 자산이 생성된 시기, 이전에 스캔된 경우 해당 자산에 대한 과거 메모리 및 프로세서 요구 사항)를 기반으로 스케줄링의 우선 순위를 지정합니다. 그런 다음 각 데이터 리소스에 대해(리소스가 사용 가능해지면) 실제 리소스 검색 작업이 호출됩니다.

각 작업은 각 자산에 대해 사용 가능한 최신 데이터에 대해 Bernoulli 샘플링을 수행하는 컴파일된 바이너리입니다. 자산은 별도의 열로 분할되며 각 열의 분류 결과는 독립적으로 처리됩니다. 또한 시스템은 열 내의 풍부한 데이터를 스캔합니다. JSON, 배열, 인코딩된 구조, URL, 기본 64 직렬화 데이터 등이 모두 스캔됩니다. 단일 테이블이 blob에 수천 개의 중첩된 열을 포함할 수 있으므로 스캔을 완료하는 데 걸리는 시간이 크게 증가할 수 있습니다. json.

데이터 자산에서 선택된 각 행에 대해 분류 시스템은 콘텐츠에서 부동 및 텍스트 기능을 추출하고 각 기능을 가져온 열에 다시 연결합니다. 기능 추출 단계의 결과는 데이터 자산에서 발견된 각 열의 모든 기능 맵입니다.

표지판은 무엇입니까?

기능의 개념이 핵심입니다. float 및 text 속성 대신 각 데이터 리소스에서 직접 검색된 원시 샘플 문자열을 전달할 수 있습니다. 또한 머신 러닝 모델은 샘플 근사만을 시도하는 수백 가지 기능 계산 대신 각 샘플에서 직접 훈련할 수 있습니다. 이에 대한 몇 가지 이유가 있습니다.

1. 개인 정보 우선: 가장 중요한 것은 기능의 개념을 통해 검색한 패턴만 메모리에 저장할 수 있다는 것입니다. 이를 통해 단일 목적으로 샘플을 저장하고 자체적인 노력으로 샘플을 기록하지 않습니다. 이는 서비스가 예측을 제공하기 전에 일부 분류 상태를 유지해야 하기 때문에 불안정한 데이터에 특히 중요합니다.
2. 메모리: 일부 샘플은 수천 자 길이일 수 있습니다. 이러한 데이터를 저장하고 시스템의 일부로 전달하면 불필요하게 많은 추가 바이트가 소비됩니다. 수천 개의 열이 있는 많은 데이터 리소스가 있는 경우 시간이 지남에 따라 두 가지 요소가 결합될 수 있습니다.
3. 기능 집계: 기능은 기능 세트를 통해 각 스캔 결과를 명확하게 표시하므로 시스템에서 동일한 데이터 리소스의 이전 스캔 결과를 편리한 방식으로 집계할 수 있습니다. 이는 여러 실행에서 동일한 데이터 리소스의 스캔 결과를 집계하는 데 유용할 수 있습니다.

그런 다음 기능은 예측 서비스로 전송되며 여기에서 규칙 기반 분류 및 기계 학습을 사용하여 각 열의 데이터 레이블을 예측합니다. 이 서비스는 규칙 분류자와 기계 학습을 모두 사용하며 각 예측 개체에서 제공된 최상의 예측을 선택합니다.

규칙 분류자는 수동 휴리스틱이며 계산 및 계수를 사용하여 0에서 100 범위의 개체를 정규화합니다. 각 데이터 유형에 대해 이러한 초기 점수가 생성되고 이 데이터와 연결된 열 이름은 "거부"에 해당하지 않습니다. 목록" , 규칙 분류자는 모든 데이터 유형 중에서 가장 높은 정규화 점수를 선택합니다.

분류의 복잡성으로 인해 순전히 수동 휴리스틱을 사용하면 특히 구조화되지 않은 데이터의 경우 분류 정확도가 떨어집니다. 이러한 이유로 우리는 사용자 콘텐츠 및 주소와 같은 비정형 데이터의 분류 작업을 위한 기계 학습 시스템을 개발했습니다. 기계 학습을 통해 수동 휴리스틱에서 벗어나 추가 데이터 신호(예: 열 이름, 데이터 원본)를 적용하여 탐지 정확도를 크게 향상할 수 있었습니다. 나중에 기계 학습 아키텍처에 대해 자세히 알아볼 것입니다.

예측 서비스는 스캔 시간 및 상태에 관한 메타데이터와 함께 각 열의 결과를 저장합니다. 이 데이터에 의존하는 모든 소비자 및 다운스트림 프로세스는 매일 게시되는 데이터 세트에서 데이터를 읽을 수 있습니다. 이 세트는 이러한 모든 스캔 작업 또는 데이터 카탈로그 실시간 API의 결과를 집계합니다. 게시된 예측은 개인 정보 보호 및 보안 정책을 자동으로 적용하기 위한 기반입니다.

마지막으로 예측 서비스가 모든 데이터를 기록하고 모든 예측이 저장된 후 데이터 카탈로그 API는 리소스에 대한 모든 데이터 유형 예측을 실시간으로 반환할 수 있습니다. 매일 시스템은 각 자산에 대한 모든 최신 예측을 포함하는 데이터 세트를 게시합니다.

불안정한 데이터

위의 프로세스는 영구 자산용으로 설계되었지만 비지속 트래픽도 조직 데이터의 일부로 간주되며 중요할 수 있습니다. 이러한 이유로 시스템은 불규칙한 트래픽에 대한 실시간 분류 예측을 생성하기 위한 온라인 API를 제공합니다. 실시간 예측 시스템은 기계 학습 모델에서 나가는 트래픽, 들어오는 트래픽 및 광고주 데이터를 분류하는 데 널리 사용됩니다.

여기서 API는 그룹화 키와 예측할 원시 데이터라는 두 가지 주요 인수를 사용합니다. 이 서비스는 위에서 설명한 것과 동일한 기능 추출을 수행하고 동일한 키에 대해 기능을 함께 그룹화합니다. 이러한 기능은 장애 조치용 영구 캐시에서도 지원됩니다. 각 그룹화 키에 대해 서비스는 위에서 설명한 프로세스에 따라 예측 서비스를 호출하기 전에 충분한 샘플을 보았는지 확인합니다.

최적화

일부 스토리지를 스캔하기 위해 핫 스토리지 읽기 최적화 라이브러리 및 방법[2]을 사용하고 동일한 스토리지에 액세스하는 다른 사용자의 충돌이 없는지 확인합니다.

매우 큰 테이블(50페타바이트 이상)의 경우 모든 최적화 및 메모리 효율성에도 불구하고 시스템은 메모리가 부족해지기 전에 모든 것을 스캔하고 계산합니다. 결국 스캔은 완전히 메모리에서 계산되며 스캔 중에 저장되지 않습니다. 큰 테이블에 구조화되지 않은 데이터 덩어리가 있는 수천 개의 열이 포함된 경우 테이블 전체 예측을 수행할 때 메모리 리소스 부족으로 인해 작업이 실패할 수 있습니다. 이로 인해 적용 범위가 줄어듭니다. 이를 방지하기 위해 스캔 속도를 시스템이 현재 로드를 얼마나 잘 처리하고 있는지에 대한 프록시로 사용하도록 시스템을 최적화했습니다. 속도를 예측 메커니즘으로 사용하여 메모리 문제 및 예측 기능 맵 계산을 확인합니다. 그렇게 함으로써 평소보다 적은 데이터를 사용합니다.

데이터 신호

분류 시스템은 데이터의 신호만큼만 우수합니다. 여기에서는 분류 시스템에서 사용하는 모든 신호를 고려할 것입니다.

• 콘텐츠 기반: 물론 첫 번째이자 가장 중요한 신호는 콘텐츠입니다. Bernoulli 샘플링은 데이터 콘텐츠에서 기능을 스캔하고 추출하는 각 데이터 자산에서 수행됩니다. 많은 기능은 콘텐츠에서 나옵니다. 특정 유형의 패턴이 본 횟수에 대한 계산을 나타내는 부동 객체는 얼마든지 가능합니다. 예를 들어 샘플에서 본 이메일 수의 징후 또는 샘플에서 본 이모티콘 수의 징후가 있을 수 있습니다. 이러한 기능 계산은 여러 스캔에서 정규화되고 집계될 수 있습니다.
• 데이터 원본: 콘텐츠가 부모 테이블에서 변경된 경우 도움이 될 수 있는 중요한 신호입니다. 일반적인 예는 해시된 데이터입니다. 하위 테이블의 데이터가 해시되면 상위 테이블에서 가져오는 경우가 많으며 여기서는 일반 상태로 유지됩니다. 계보 데이터는 명확하게 읽히지 않거나 업스트림 테이블에서 변환되지 않는 특정 유형의 데이터를 분류하는 데 도움이 됩니다.
• 주석: 구조화되지 않은 데이터를 식별하는 데 도움이 되는 또 다른 고품질 신호입니다. 실제로 주석과 계보 데이터는 서로 다른 데이터 자산에 특성을 전파하기 위해 함께 작동할 수 있습니다. 주석은 구조화되지 않은 데이터의 소스를 식별하는 데 도움이 되며 출처 데이터는 매장 전체에서 해당 데이터의 흐름을 추적하는 데 도움이 됩니다.
• 데이터 삽입은 읽을 수 없는 특수 문자를 알려진 데이터 유형이 있는 알려진 소스에 의도적으로 삽입하는 기술입니다. 그런 다음 읽을 수 없는 동일한 문자 시퀀스가 ​​포함된 콘텐츠를 스캔할 때마다 해당 콘텐츠가 알려진 데이터 유형에서 온 것임을 유추할 수 있습니다. 이것은 주석과 유사한 또 다른 정성적 데이터 신호입니다. 콘텐츠 기반 검색이 입력된 데이터를 검색하는 데 도움이 된다는 점만 제외하면 됩니다.

미터법 측정

중요한 구성 요소는 메트릭을 측정하기 위한 엄격한 방법론입니다. 분류 개선 반복의 주요 메트릭은 F2 점수가 가장 중요한 각 레이블의 정확도와 재현율입니다.

이러한 지표를 계산하려면 시스템 자체와는 독립적이지만 직접 비교에 사용할 수 있는 독립적인 데이터 자산 레이블링 방법론이 필요합니다. 아래에서는 Facebook에서 Ground Truth를 수집하고 분류 시스템을 교육하는 데 사용하는 방법을 설명합니다.

신뢰할 수 있는 데이터 수집

아래에 나열된 각 출처의 유효한 데이터를 자체 테이블에 축적합니다. 각 테이블은 해당 특정 소스에서 가장 최근에 관찰된 값을 집계하는 역할을 합니다. 각 소스에는 각 소스에 대해 관찰된 값이 고품질이고 최신 데이터 유형 레이블이 포함되어 있는지 확인하는 데이터 품질 검사가 있습니다.

• 로깅 플랫폼 구성: 하이브 테이블의 특정 필드는 특정 유형의 데이터로 채워집니다. 이러한 데이터의 사용 및 보급은 신뢰할 수 있는 데이터의 신뢰할 수 있는 소스 역할을 합니다.
• 수동 라벨링: 시스템을 유지 관리하는 개발자와 외부 라벨러는 열에 라벨을 지정하도록 교육을 받았습니다. 이것은 일반적으로 상점의 모든 유형의 데이터에 대해 잘 작동하며 게시물 데이터 또는 사용자 생성 콘텐츠와 같은 일부 구조화되지 않은 데이터에 대한 주요 신뢰 소스가 될 수 있습니다.
• 상위 테이블의 열은 특정 데이터를 포함하는 것으로 표시하거나 주석을 달 수 있으며 아래 테이블에서 이 데이터를 추적할 수 있습니다.
• 샘플링 스레드: Facebook의 스레드는 특정 유형의 데이터를 전달합니다. 스캐너를 서비스 아키텍처로 사용하여 알려진 데이터 유형이 있는 스트림을 샘플링하고 시스템을 통해 보낼 수 있습니다. 시스템은 이 데이터를 저장하지 않을 것을 약속합니다.
• 샘플 테이블: 전체 데이터 코퍼스를 포함하는 것으로 알려진 대형 하이브 테이블도 교육 데이터로 사용할 수 있으며 서비스로 스캐너를 통과할 수 있습니다. 이것은 전체 범위의 데이터 유형이 있는 테이블에 유용하므로 임의로 열을 선택하는 것은 해당 데이터 유형의 전체 세트를 선택하는 것과 같습니다.
• 합성 데이터: 즉석에서 데이터를 생성하는 라이브러리를 사용할 수도 있습니다. 이것은 주소나 GPS와 같은 단순한 공용 데이터 유형에 적합합니다.
• 데이터 관리자: 개인 정보 보호 프로그램은 일반적으로 데이터 관리자를 사용하여 정책을 데이터에 수동으로 연결합니다. 이것은 매우 정확한 신뢰의 원천이 됩니다.

우리는 하드 데이터의 모든 주요 소스를 해당 데이터가 있는 하나의 코퍼스로 결합합니다. 유효성과 관련된 가장 큰 문제는 그것이 데이터 웨어하우스를 대표하는지 확인하는 것입니다. 그렇지 않으면 분류 엔진이 과적합될 수 있습니다. 이를 방지하기 위해 위의 모든 소스를 활용하여 모델을 교육하거나 메트릭을 계산할 때 균형을 제공합니다. 또한 휴먼 토큰은 상점의 다양한 열을 고르게 샘플링하고 유효한 값의 수집이 편향되지 않도록 데이터에 적절하게 레이블을 지정합니다.

지속적인 통합

신속한 반복 및 개선을 위해서는 항상 시스템 성능을 실시간으로 측정하는 것이 중요합니다. 오늘날의 시스템에 대해 분류의 모든 개선 사항을 측정할 수 있으므로 추가 개선을 위해 전술적으로 데이터를 타겟팅할 수 있습니다. 여기에서 시스템이 유효한 데이터에 의해 제공되는 피드백 루프를 완료하는 방법을 살펴봅니다.

예약 시스템이 신뢰할 수 있는 소스의 레이블이 있는 자산을 발견하면 두 가지 작업을 예약합니다. 첫 번째는 당사의 제조 스캐너와 제조 기능을 사용합니다. 두 번째 작업은 최신 기능을 갖춘 최신 빌드 스캐너를 사용합니다. 각 작업은 자체 테이블에 출력을 작성하고 분류 결과와 함께 버전에 태그를 지정합니다.

출시 후보와 생산 모델의 분류 결과를 실시간으로 비교하는 방식입니다.

데이터 세트가 RC 및 PROD 기능을 비교하는 동안 예측 서비스 ML 분류 엔진의 많은 변형이 기록됩니다. 가장 최근에 구축된 기계 학습 모델, 생산 중인 현재 모델 및 모든 실험 모델. 동일한 접근 방식을 사용하면 모델의 다른 버전을 "절단"하고(규칙 분류자에 구애받지 않음) 메트릭을 실시간으로 비교할 수 있습니다. ML 실험이 프로덕션에 들어갈 준비가 된 시점을 결정하는 것은 매우 쉽습니다.

매일 밤 그날 계산된 RC 기능은 ML 학습 파이프라인으로 전송되며, 여기서 모델은 최신 RC 기능에 대해 학습되고 유효한 데이터 세트에 대해 성능을 평가합니다.

매일 아침 모델은 학습을 완료하고 자동으로 실험 모델로 게시됩니다. 실험 목록에 자동으로 포함됩니다.

일부 결과

100개 이상의 서로 다른 유형의 데이터가 높은 정확도로 표시됩니다. 이메일 및 전화번호와 같이 잘 구성된 유형은 2보다 큰 f0,95 점수로 분류됩니다. 사용자 지정 콘텐츠 및 이름과 같은 무료 데이터 유형도 F2 점수가 0,85 이상으로 매우 잘 수행됩니다.

강력하고 비영구적인 데이터의 많은 개별 열이 모든 리포지토리에서 매일 분류됩니다. 500개가 넘는 데이터 저장소에서 매일 10테라바이트가 넘는 데이터를 스캔합니다. 이러한 리포지토리 대부분의 적용 범위는 98% 이상입니다.

시간이 지남에 따라 영구 오프라인 스트림의 분류 작업은 자산 스캔에서 각 열에 대한 예측 계산까지 평균 35초가 걸리므로 분류가 매우 효율적이 되었습니다.

쌀. 2. RC 개체가 생성되고 모델로 전송되는 방법을 이해하기 위한 통합의 지속적인 흐름을 설명하는 다이어그램.

그림 3. 기계 학습 구성 요소의 상위 수준 다이어그램.

기계 학습 시스템 구성요소

이전 섹션에서는 규모, 최적화, 오프라인 및 온라인 데이터 흐름을 강조하면서 전체 시스템의 아키텍처에 대해 자세히 살펴보았습니다. 이 섹션에서는 예측 서비스를 살펴보고 예측 서비스를 지원하는 기계 학습 시스템에 대해 설명합니다.

100개 이상의 데이터 유형과 메시지 데이터 및 사용자 콘텐츠와 같은 일부 비정형 콘텐츠가 있는 경우 순수 수동 휴리스틱을 사용하면 특히 비정형 데이터의 경우 하위 매개변수 분류 정확도가 향상됩니다. 이러한 이유로 우리는 구조화되지 않은 데이터의 복잡성을 처리하기 위해 기계 학습 시스템도 개발했습니다. 기계 학습을 사용하면 수동 휴리스틱에서 벗어나 기능 및 추가 데이터 신호(예: 열 이름, 데이터 출처)를 사용하여 정확도를 높일 수 있습니다.

구현된 모델은 조밀하고 희소한 객체에 대한 벡터 표현[3]을 별도로 연구합니다. 그런 다음 최종 결과를 생성하기 위해 일련의 배치 정규화[4] 및 비선형성 단계를 거치는 벡터를 형성하기 위해 결합됩니다. 최종 결과는 인스턴스가 해당 민감도 유형에 속할 확률을 나타내는 각 레이블에 대한 [0-1] 사이의 부동 소수점 숫자입니다. 모델에 PyTorch를 사용하면 더 빠르게 움직일 수 있어 팀 외부의 개발자가 신속하게 변경 사항을 적용하고 테스트할 수 있습니다.

아키텍처를 설계할 때 본질적인 차이로 인해 희박한(예: 텍스트) 개체와 조밀한(예: 숫자) 개체를 별도로 모델링하는 것이 중요했습니다. 최종 아키텍처의 경우 매개변수 스위핑을 수행하여 학습률, 배치 크기 및 기타 하이퍼 매개변수에 대한 최적의 값을 찾는 것도 중요했습니다. 옵티마이저의 선택도 중요한 하이퍼파라미터였습니다. 우리는 인기 있는 옵티마이저가 아담종종 과적합으로 이어지는 반면, SGD 더 안정적입니다. 모델에 직접 포함해야 하는 추가적인 뉘앙스가 있었습니다. 예를 들어 기능에 특정 값이 있을 때 모델이 결정론적 예측을 수행하도록 하는 정적 규칙입니다. 이러한 정적 규칙은 고객이 정의합니다. 우리는 이를 모델에 직접 통합하면 이러한 특별한 경우를 처리하기 위한 후처리 단계를 구현하는 것과는 대조적으로 보다 독립적이고 강력한 아키텍처가 생성된다는 것을 발견했습니다. 또한 이러한 규칙은 경사 하강 훈련 프로세스를 방해하지 않도록 훈련 중에 비활성화됩니다.

문제

문제 중 하나는 고품질의 신뢰할 수 있는 데이터 수집이었습니다. 모델은 개체와 레이블 간의 연결을 학습할 수 있도록 클래스별 유효성이 필요합니다. 이전 섹션에서는 시스템 측정 및 모델 학습을 위한 데이터 수집 방법에 대해 논의했습니다. 분석 결과 신용 카드 및 은행 계좌 번호와 같은 데이터 클래스는 우리 리포지토리에서 그리 일반적이지 않은 것으로 나타났습니다. 이로 인해 모델 교육을 위한 신뢰할 수 있는 데이터를 대량으로 수집하기가 어렵습니다. 이 문제를 해결하기 위해 이러한 클래스에 대한 합성 데이터를 생성하는 프로세스를 개발했습니다. 다음을 비롯한 민감한 유형에 대해 이러한 데이터를 생성합니다. SSN, 신용 카드 번호 и 이반-모델이 이전에 예측할 수 없었던 숫자. 이 접근 방식을 사용하면 실제 민감한 데이터를 숨기는 것과 관련된 개인 정보 위험 없이 민감한 데이터 유형을 처리할 수 있습니다.

데이터 신뢰성 문제 외에도 다음과 같은 열린 아키텍처 문제가 있습니다. 격리 변경 и 조기 정지. 변경 격리는 네트워크의 다른 부분에 다양한 변경이 수행될 때 영향이 특정 클래스로 격리되고 전체 예측 성능에 광범위한 영향을 미치지 않도록 중요합니다. 조기 중지 기준을 개선하는 것도 중요합니다. 그래야 일부 클래스는 재훈련되고 다른 클래스는 그렇지 않은 지점이 아니라 모든 클래스에 대해 안정적인 지점에서 훈련 프로세스를 중지할 수 있습니다.

기능 중요도

새 기능이 모델에 도입되면 모델에 대한 전반적인 영향을 알고 싶습니다. 또한 각 데이터 유형에 어떤 기능이 사용되고 있는지 정확히 이해할 수 있도록 예측이 사람이 해석할 수 있는지 확인하고 싶습니다. 이를 위해 우리는 개발 및 구현했습니다. 클래스별 PyTorch 모델에 대한 기능의 중요성. 이는 특정 클래스에 어떤 기능이 중요한지 알려주지 않기 때문에 일반적으로 지원되는 일반 기능 중요도와 다릅니다. 개체를 치환한 후 예측 오차의 증가를 계산하여 개체의 중요도를 측정합니다. 값의 순열이 모델의 오류를 증가시킬 때 특성은 "중요"합니다. 이 경우 모델은 예측에서 특성에 의존하기 때문입니다. 값을 섞어도 모델 오류가 변경되지 않은 경우 기호는 "중요하지 않음"입니다. 이 경우 모델이 무시했기 때문입니다[5].

각 클래스의 기능 중요도를 사용하면 모델을 해석 가능하게 만들어 레이블을 예측할 때 모델이 주의를 기울이는 것을 볼 수 있습니다. 예를 들어, 우리가 분석할 때 ADDR, 다음과 같이 주소와 관련된 속성이 주소라인 개수, 인간의 직관이 모델이 학습한 내용과 잘 일치하도록 각 클래스의 기능 중요도 테이블에서 높은 순위를 차지합니다.

평가

성공을 위한 단일 메트릭을 정의하는 것이 중요합니다. 우리는 선택했다 F2 - 재현율과 정확성 사이의 균형(재현 편향이 약간 더 큼). 취소는 정확성보다 개인 정보 사용 사례에 더 중요합니다. 팀이 민감한 데이터를 놓치지 않는 것이 중요하기 때문입니다(여전히 합리적인 정확성을 유지함). 우리 모델의 실제 F2 성능 점수는 이 기사의 범위를 벗어납니다. 그러나 신중하게 조정하면 가장 중요한 민감한 클래스에 대해 높은(0,9+) F2 점수를 얻을 수 있습니다.

관련된 일

패턴 매칭, 문서 유사성 검색, 다양한 기계 학습 방법(Bayesian, 의사 결정 트리, k-최근접 이웃 등)과 같은 다양한 방법을 사용하여 비정형 문서를 자동으로 분류하는 많은 알고리즘이 있습니다[6]. 이들 중 어떤 것이든 분류의 일부로 사용할 수 있습니다. 그러나 문제는 확장성입니다. 이 문서의 분류 접근 방식은 유연성과 성능에 편향되어 있습니다. 이를 통해 향후 새로운 클래스를 지원하고 대기 시간을 낮게 유지할 수 있습니다.

데이터 지문 작업도 많이 있습니다. 예를 들어, [7]의 저자는 기밀 데이터 유출을 포착하는 문제에 초점을 맞춘 솔루션을 설명했습니다. 기본 가정은 데이터 지문이 알려진 민감한 데이터 세트와 일치될 수 있다는 것입니다. [8]의 작성자는 유사한 개인 정보 유출 문제를 설명하지만 해당 솔루션은 특정 Android 아키텍처를 기반으로 하며 사용자의 작업으로 인해 개인 정보가 전송되거나 기본 애플리케이션이 사용자 데이터를 유출한 경우에만 분류됩니다. 여기서 상황은 다소 다릅니다. 사용자 데이터도 매우 비정형일 수 있기 때문입니다. 따라서 핑거프린팅보다 더 정교한 기술이 필요합니다.

마지막으로 일부 유형의 민감한 데이터에 대한 데이터 부족을 처리하기 위해 합성 데이터를 도입했습니다. 데이터 증대에 관한 많은 문헌이 있습니다. 예를 들어 [9]의 저자는 훈련 중 노이즈 주입의 역할을 조사하고 지도 학습에서 긍정적인 결과를 관찰했습니다. 시끄러운 데이터를 도입하는 것은 비생산적일 수 있고 대신 고품질 합성 데이터에 집중하기 때문에 프라이버시에 대한 우리의 접근 방식은 다릅니다.

결론

이 기사에서는 데이터 조각을 분류할 수 있는 시스템을 제시했습니다. 이를 통해 개인 정보 보호 및 보안 정책을 시행하는 시스템을 만들 수 있습니다. 우리는 확장 가능한 인프라, 지속적인 통합, 기계 학습 및 고품질 데이터 무결성 데이터가 많은 개인 정보 보호 이니셔티브의 성공에 핵심임을 보여주었습니다.

앞으로 작업할 분야가 많습니다. 여기에는 원시 데이터(파일)에 대한 지원 제공, 데이터 유형뿐만 아니라 민감도 수준 분류, 정확한 합성 예를 생성하여 훈련 중에 직접 자기 지도 학습을 사용하는 것이 포함될 수 있습니다. 그러면 모델이 손실을 최대한 줄이는 데 도움이 됩니다. 향후 작업은 탐지를 넘어 다양한 개인정보 침해에 대한 근본 원인 분석을 제공하는 조사 워크플로우에 초점을 맞출 수도 있습니다. 이는 민감도 분석(예: 데이터 유형의 개인 정보 민감도가 높은지(예: 사용자 IP) 또는 낮은지(예: Facebook 내부 IP))과 같은 경우에 도움이 됩니다.

서지

1. David Ben-David, Tamar Domany, Abigail Tarem. 시맨틱 웹 기술을 사용한 엔터프라이즈 데이터 분류. Peter F.Ï Patel-Schneider, Yue Pan, Pascal Hitzler, Peter Mika, Lei Zhang, Jeff Z. Pan, Ian Horrocks 및 Birte Glimm 편집자에서, 시맨틱 웹 - ISWC 2010, 페이지 66–81, 베를린, 하이델베르크, 2010. Springer Berlin Heidelberg.
2. Subramanian Muralidhar, Wyatt Lloyd, Sabyasachi Roy, Cory Hill, Ernest Lin, Weiwen Liu, Satadru Pan, Shiva Shankar, Viswanath Sivakumar, Linpeng Tang 및 Sanjeev Kumar. f4: Facebook의 따뜻한 BLOB 스토리지 시스템입니다. ~ 안에 제11회 USENIX 운영 체제 설계 및 구현 심포지엄(OSDI 14), 페이지 383–398, Broomfield, CO, 2014년 XNUMX월. USENIX 협회.
3. Tomas Mikolov, Ilya Sutskever, Kai Chen, Greg S Corrado, Jeff Dean. 단어 및 구문의 분산 표현 및 해당 구성. CJC Burges, L. Bottou, M. Welling, Z. Ghahramani 및 KQ Weinberger 편집자, 신경 정보 처리 시스템의 발전 26, 페이지 3111–3119. Curran 어소시에이츠, Inc., 2013.
4. Sergey Ioffe와 Christian Szegedy. 배치 정규화: 내부 공변량 이동을 줄여 딥 네트워크 교육을 가속화합니다. Francis Bach와 David Blei에서 편집자, 기계 학습에 관한 32차 국제 회의 간행물, 37권 기계 학습 연구의 절차, 페이지 448–456, 프랑스 릴, 07년 09월 2015–XNUMX일. PMLR.
5. 레오 브레이만. 임의의 숲. 마하 배우다., 45(1):5–32, 2001년 XNUMX월.
6. 타이르 누 퓨. 데이터 마이닝의 분류 기술 조사.
7. X. Shu, D. Yao 및 E. Bertino. 민감한 데이터 노출에 대한 개인 정보 보호 감지. 정보 법의학 및 보안에 관한 IEEE 거래, 10(5):1092–1103, 2015.
8. Zhemin Yang, Min Yang, Yuan Zhang, Guofei Gu, Peng Ning 및 Xiaoyang Wang. Appintent: 개인 정보 유출 탐지를 위해 Android에서 민감한 데이터 전송을 분석합니다. 페이지 1043–1054, 11 2013.
9. Qizhe Xie, Zihang Dai, Eduard H. Hovy, Minh-Thang Luong 및 Quoc V. Le. 감독되지 않은 데이터 확대.

SkillFactory 온라인 과정을 수강하여 처음부터 원하는 직업을 얻거나 기술 및 급여 수준을 높이는 방법에 대한 자세한 내용을 알아보십시오.

• 처음부터 데이터 과학 직업 교육 (12개월)
• 기계 학습 과정 (12주)
• 고급 과정 "머신 러닝 프로 + 딥 러닝" (20주)
• 과정 "데이터 과학을 위한 수학 및 기계 학습" (20주)

더 많은 과정

• 웹 개발 과정을 위한 Python (9개월)
• 직업 웹 개발자 (8개월)
• 모든 시작 수준의 분석가 직업 (9개월)
• DevOps 과정 (12개월)
• 처음부터 직업 Java 개발자 (18개월)
• 자바스크립트 과정 (12개월)
• 처음부터 직업 UX 디자이너 (9개월)
• 직업 웹 디자이너 (7개월)

출처 : habr.com