Google의 BigQuery가 데이터 분석을 민주화한 방법 2 부

안녕 하브르! 지금 OTUS에서 새로운 강좌 스트림 등록이 진행 중입니다. 데이터 엔지니어. 강좌 시작을 예상하여 유용한 자료를 계속해서 여러분과 공유하겠습니다.

XNUMX부 읽기

데이터 관리

강력한 데이터 거버넌스는 트위터 엔지니어링의 핵심 원칙입니다. BigQuery를 플랫폼에 구현하면서 데이터 검색, 액세스 제어, 보안 및 개인정보 보호에 중점을 둡니다.

데이터를 검색하고 관리하기 위해 데이터 액세스 계층을 확장했습니다. DAL) 온프레미스 및 Google Cloud 데이터 모두를 위한 도구를 제공하여 사용자에게 단일 인터페이스와 API를 제공합니다. 구글로서 데이터 카탈로그 일반 가용성을 향해 나아가고 있으므로 사용자에게 열 검색과 같은 기능을 제공하기 위해 프로젝트에 포함할 예정입니다.

BigQuery를 사용하면 데이터를 쉽게 공유하고 액세스할 수 있지만 데이터 유출을 방지하려면 이에 대한 어느 정도 제어가 필요했습니다. 다른 도구 중에서 우리는 두 가지 기능을 선택했습니다.

• 도메인 제한 공유: 사용자가 BigQuery 데이터 세트를 Twitter 외부 사용자와 공유하지 못하도록 하는 베타 기능입니다.
• VPC 서비스 제어: 데이터 유출을 방지하고 사용자가 알려진 IP 주소 범위에서 BigQuery에 액세스하도록 요구하는 제어입니다.

보안을 위해 AAA(인증, 권한 부여 및 감사) 요구 사항을 다음과 같이 구현했습니다.

• 인증: 임시 요청에는 GCP 사용자 계정을 사용하고 프로덕션 요청에는 서비스 계정을 사용했습니다.
• 승인: 각 데이터 세트에는 소유자 서비스 계정과 독자 그룹이 필요했습니다.
• 감사: 쉬운 분석을 위해 자세한 쿼리 실행 정보가 포함된 BigQuery Stackdriver 로그를 BigQuery 데이터 세트로 내보냈습니다.

Twitter 사용자의 개인 데이터가 올바르게 처리되도록 하려면 모든 BigQuery 데이터세트를 등록하고, 개인 데이터에 주석을 달고, 적절한 저장을 유지하고, 사용자가 삭제한 데이터를 삭제(스크레이핑)해야 합니다.

우리는 구글을 보았다 클라우드 데이터 손실 방지 API는 기계 학습을 사용하여 민감한 데이터를 분류하고 편집하지만 정확성 때문에 데이터 세트에 수동으로 주석을 추가하기로 결정했습니다. 우리는 Data Loss Prevention API를 사용하여 사용자 정의 주석을 강화할 계획입니다.

Twitter에서는 BigQuery의 데이터세트에 대해 네 가지 개인정보 보호 카테고리를 만들었습니다. 여기에 민감도 내림차순으로 나열되어 있습니다.

• 매우 민감한 데이터 세트는 최소 권한 원칙에 따라 필요에 따라 사용할 수 있습니다. 각 데이터 세트에는 별도의 독자 그룹이 있으며 개별 계정별로 사용량을 추적합니다.
• 중간 민감도 데이터 세트(솔티드 해싱을 사용한 단방향 가명)에는 개인 식별 정보(PII)가 포함되어 있지 않으며 더 많은 직원 그룹이 액세스할 수 있습니다. 이는 개인 정보 보호 문제와 데이터 유용성 간의 적절한 균형입니다. 이를 통해 직원들은 실제 사용자가 누구인지 알지 못한 채 기능을 사용한 사용자 수 계산과 같은 분석 작업을 수행할 수 있습니다.
• 모든 사용자 식별 정보가 포함된 민감도가 낮은 데이터세트입니다. 이는 개인 정보 보호 관점에서는 좋은 접근 방식이지만 사용자 수준 분석에는 사용할 수 없습니다.
• 공개 데이터 세트(Twitter 외부에 공개됨)는 모든 Twitter 직원이 사용할 수 있습니다.

로깅의 경우 예약된 작업을 사용하여 BigQuery 데이터세트를 열거하고 이를 데이터 액세스 레이어(DAL), Twitter 메타데이터 저장소. 사용자는 데이터 세트에 개인정보 정보를 추가하고 보존 기간도 지정합니다. 청소에 관해서는 두 가지 옵션의 성능과 비용을 평가합니다. 1. Scalding과 같은 도구를 사용하여 GCS의 데이터 세트를 정리하고 BigQuery에 로드합니다. 2. BigQuery DML 문을 사용합니다. 우리는 다양한 그룹과 데이터의 요구 사항을 충족하기 위해 두 가지 방법을 조합하여 사용할 가능성이 높습니다.

시스템 기능

BigQuery는 관리형 서비스이기 때문에 시스템 관리나 사무 업무에 Twitter의 SRE팀을 개입시킬 필요가 없었습니다. 스토리지와 컴퓨팅 모두에 더 많은 용량을 제공하는 것은 쉬웠습니다. Google 지원팀에 티켓을 생성하여 슬롯 예약을 변경할 수 있습니다. 셀프서비스 슬롯 할당, 모니터링을 위한 대시보드 개선 등 개선할 수 있는 영역을 파악하고 해당 요청을 Google에 제출했습니다.

비용

예비 분석에 따르면 BigQuery와 Presto의 쿼리 비용은 동일한 수준이었습니다. 우리는 슬롯을 구입했습니다 결정된 결제 대신 안정적인 월 이용료를 제공하는 가격 주문형 처리된 데이터의 TB당 이 결정은 또한 각 요청을 하기 전에 비용에 대해 생각하고 싶지 않은 사용자의 피드백을 기반으로 했습니다.

BigQuery에 데이터를 저장하면 GCS 비용 외에 비용도 발생했습니다. Scalding과 같은 도구에는 GCS의 데이터세트가 필요하며 BigQuery에 액세스하려면 동일한 데이터세트를 BigQuery 형식으로 로드해야 했습니다. 콘덴서. 우리는 GCS와 BigQuery 모두에 데이터세트를 저장할 필요가 없도록 BigQuery 데이터세트에 대한 Scalding 연결을 개발 중입니다.

수십 페타바이트의 드물게 쿼리가 필요한 경우에는 BigQuery에 데이터 세트를 저장하는 것이 비용 효율적이지 않다고 판단하고 Presto를 사용하여 GCS의 데이터 세트에 직접 액세스했습니다. 이를 위해 BigQuery 외부 데이터 소스를 살펴보고 있습니다.

다음 단계

우리는 알파 출시 이후 BigQuery에 많은 관심을 보였습니다. BigQuery에 더 많은 데이터세트와 명령어를 추가하고 있습니다. 우리는 BigQuery 스토리지를 읽고 쓸 수 있는 Scalding과 같은 데이터 분석 도구용 커넥터를 개발합니다. BigQuery 데이터 세트를 사용하여 기업 수준의 보고서와 메모를 생성하기 위해 Looker 및 Apache Zeppelin과 같은 도구를 살펴보고 있습니다.

Google과의 협력은 매우 생산적이며 이 파트너십을 계속 발전시켜 나갈 수 있게 되어 기쁩니다. 우리는 Google과 협력하여 자체적으로 구현했습니다. 파트너 문제 추적기Google에 직접 쿼리를 보내려면 BigQuery Parquet 로더와 같은 일부 기능은 이미 Google에서 구현되었습니다.

다음은 Google에 대한 최우선 기능 요청 중 일부입니다.

• 편리한 데이터 수신 및 LZO-Thrift 형식 지원을 위한 도구입니다.
• 시간별 세분화
• 테이블, 행, 열 수준 권한과 같은 액세스 제어가 개선되었습니다.
• BigQuery 외부 데이터 소스 Hive Metastore 통합 및 LZO-Thrift 형식 지원.
• BigQuery 사용자 인터페이스의 데이터 카탈로그 통합 개선
• 슬롯 할당 및 모니터링을 위한 셀프 서비스입니다.

결론

데이터 분석, 시각화, 머신러닝을 안전한 방식으로 민주화하는 것이 데이터 플랫폼 팀의 최우선 과제입니다. 우리는 이 목표를 달성하는 데 도움이 될 수 있는 도구로 Google BigQuery와 Data Studio를 파악하고 작년에 전사적으로 BigQuery Alpha를 출시했습니다.

BigQuery의 쿼리는 간단하고 효율적이라는 것을 알았습니다. 우리는 Google 도구를 사용하여 간단한 파이프라인의 데이터를 수집하고 변환했지만, 복잡한 파이프라인의 경우 자체 Airflow 프레임워크를 구축해야 했습니다. 데이터 관리 공간에서는 BigQuery의 인증, 승인, 감사 서비스가 우리의 요구 사항을 충족합니다. 메타데이터를 관리하고 개인 정보를 유지하려면 더 많은 유연성이 필요했고 자체 시스템을 구축해야 했습니다. 관리형 서비스인 BigQuery는 사용이 쉬웠습니다. 쿼리 비용은 기존 도구와 유사했습니다. BigQuery에 데이터를 저장하면 GCS 비용 외에 비용이 발생합니다.

전반적으로 BigQuery는 일반적인 SQL 분석에 적합합니다. 우리는 BigQuery에 많은 관심을 갖고 있으며 BigQuery를 사용하여 더 많은 데이터 세트를 마이그레이션하고, 더 많은 팀을 구성하고, 더 많은 파이프라인을 구축하기 위해 노력하고 있습니다. Twitter는 Scalding, Spark, Presto 및 Druid와 같은 도구의 조합이 필요한 다양한 데이터를 사용합니다. 우리는 데이터 분석 도구를 지속적으로 강화하고 사용자에게 우리 제품을 가장 잘 사용하는 방법에 대한 명확한 지침을 제공할 계획입니다.

감사의 말

이 프로젝트를 위해 훌륭한 협력과 노력을 해준 공동 저자이자 팀 동료인 Anju Jha와 Will Pascucci에게 감사의 말씀을 전하고 싶습니다. 또한 우리에게 도움을 준 Twitter와 Google 여러 팀의 엔지니어와 관리자, 귀중한 피드백을 제공한 Twitter의 BigQuery 사용자에게도 감사의 말씀을 전하고 싶습니다.

이러한 문제를 해결하는 데 관심이 있다면 다음을 확인하세요. 공석 데이터 플랫폼 팀에서.

DWH의 데이터 품질 - 데이터 웨어하우스 일관성

출처 : habr.com