Google의 BigQuery가 데이터 분석을 민주화한 방법 2 부

안녕 하브르! 지금 OTUS에서 새로운 강좌 스트림 등록이 진행 중입니다. 데이터 엔지니어. 강좌 시작에 대비하여, 우리는 계속해서 여러분에게 유용한 자료를 공유하고 있습니다.

XNUMX부 읽기

데이터 관리

강력한 데이터 거버넌스는 Twitter 엔지니어링의 핵심 원칙입니다. BigQuery를 플랫폼에 통합하면서 데이터 검색, 액세스 제어, 보안 및 개인 정보 보호에 중점을 두고 있습니다.

데이터를 검색하고 관리하기 위해 데이터 액세스 계층(DAL)을 확장했습니다. DAL) 온프레미스와 Google Cloud 데이터 모두에 대한 도구를 제공하고, 사용자에게 단일 인터페이스와 API를 제공합니다. 구글처럼 데이터 카탈로그 이 기능이 일반에 공개되면 우리 프로젝트에 포함시켜서 사용자에게 열 검색 등의 기능을 제공할 예정입니다.

BigQuery를 사용하면 데이터를 쉽게 공유하고 액세스할 수 있지만, 데이터 유출을 방지하기 위해 어느 정도 제어해야 했습니다. 우리는 다른 도구들 중에서 두 가지 기능을 선택했습니다.

• 도메인 제한 공유: Twitter 외부의 사용자와 BigQuery 데이터 세트를 공유하는 것을 방지하는 베타 기능입니다.
• VPC 서비스 제어: 데이터 유출을 방지하고 사용자가 알려진 IP 범위에서 BigQuery에 액세스하도록 요구하는 제어입니다.

우리는 보안을 보장하기 위해 다음과 같이 인증, 권한 부여 및 감사(AAA) 요구 사항을 구현했습니다.

• 인증: 임시 요청에는 GCP 사용자 계정을 사용하고, 프로덕션 요청에는 서비스 계정을 사용했습니다.
• 승인: 각 데이터 세트에는 소유자 서비스 계정과 독자 그룹이 필요합니다.
• 감사: 자세한 쿼리 실행 정보가 포함된 BigQuery Stackdriver 로그를 BigQuery 데이터 세트로 내보내 쉽게 분석할 수 있도록 했습니다.

Twitter 사용자의 개인 데이터를 적절히 처리하려면 모든 BigQuery 데이터 세트를 등록하고, 개인 데이터에 주석을 달고, 적절한 저장소를 유지하고, 사용자가 삭제한 데이터를 삭제(퍼지)해야 합니다.

우리는 구글을 살펴보았습니다 클라우드 데이터 손실 방지 API기계 학습을 사용하여 민감한 데이터를 분류하고 삭제하지만 정확성을 위해 데이터 세트에 수동으로 주석을 달기로 결정했습니다. 사용자 정의 주석을 보완하기 위해 데이터 손실 방지 API를 사용할 계획입니다.

Twitter에서는 BigQuery의 데이터 세트에 대해 4가지 개인정보 보호 범주를 만들었으며, 민감도가 낮은 순서대로 나열했습니다.

• 매우 민감한 데이터 세트는 최소 권한 원칙에 따라 필요에 따라 액세스됩니다. 각 데이터 세트에는 별도의 독자 그룹이 있으며, 개별 계정별로 사용량을 추적합니다.
• 중간 민감도 데이터 세트(솔트 해싱을 사용한 단방향 가명 데이터 세트)에는 개인 식별 정보(PII)가 포함되지 않으며 더 많은 직원 그룹이 접근할 수 있습니다. 이는 개인정보 보호 문제와 데이터 유용성 간의 적절한 균형을 이룹니다. 이를 통해 직원은 실제 사용자가 누구인지 알지 못해도 기능을 사용한 사용자 수를 계산하는 등의 분석 작업을 수행할 수 있습니다.
• 모든 사용자 식별 정보가 포함된 민감도가 낮은 데이터 세트입니다. 이는 개인정보 보호 관점에서 좋은 접근 방식이지만 사용자 수준 분석에는 사용할 수 없습니다.
• Twitter 외부에서 공개된 공개 데이터 세트는 모든 Twitter 직원이 이용할 수 있습니다.

로깅의 경우 예약된 작업을 사용하여 BigQuery 데이터 세트를 열거하고 이를 데이터 액세스 계층에 로깅했습니다.DAL), Twitter의 메타데이터 저장소. 사용자는 개인정보 보호 정보를 데이터 세트에 주석으로 달고 보관 기간을 지정합니다. 청소와 관련하여 우리는 두 가지 옵션의 성능과 비용을 평가합니다. 1. Scalding과 같은 도구를 사용하여 GCS의 데이터 세트를 정리하고 이를 BigQuery에 로드합니다. 2. BigQuery DML 연산자 사용. 우리는 다양한 그룹과 데이터의 요구 사항을 충족시키기 위해 두 가지 방법을 조합하여 사용할 가능성이 높습니다.

시스템 기능

BigQuery는 관리형 서비스이므로 Twitter의 SRE 팀을 시스템 관리나 대기 업무 수행에 참여시킬 필요가 없습니다. 저장과 컴퓨팅 모두에 대용량을 제공하는 것은 쉬웠습니다. Google 지원에서 티켓을 생성하여 슬롯 예약을 변경할 수 있습니다. 우리는 셀프 서비스 슬롯 할당 및 대시보드 모니터링 개선과 같은 개선이 가능한 분야를 파악하고 해당 요청을 Google에 전달했습니다.

비용

예비 분석 결과, BigQuery와 Presto의 쿼리 비용은 비슷한 것으로 나타났습니다. 우리는 슬롯을 구매했습니다 결정된 매달 일정한 비용을 지불하는 대신 안정적인 가격을 유지하세요. 주문형 처리된 데이터 1TB당 이러한 결정은 각 요청을 하기 전에 비용에 대해 생각하고 싶지 않다는 사용자의 피드백을 바탕으로 내려졌습니다.

BigQuery에 데이터를 저장하면 GCS 비용 외에도 비용이 발생합니다. Scalding과 같은 도구를 사용하려면 데이터 세트가 GCS에 있어야 하며, BigQuery에 액세스하려면 동일한 데이터 세트를 BigQuery 포맷으로 로드해야 했습니다. 콘덴서. Scalding을 BigQuery 데이터 세트에 연결하는 작업을 진행 중이며, 이를 통해 GCS와 BigQuery 모두에 데이터 세트를 저장할 필요가 없어질 것입니다.

수십 페타바이트 규모의 드문 쿼리가 필요한 경우, BigQuery에 데이터 세트를 저장하는 것은 비용 효율적이지 않다고 판단하고 Presto를 사용하여 GCS에 있는 데이터 세트에 직접 액세스했습니다. 이를 위해 BigQuery 외부 데이터 소스를 살펴보겠습니다.

다음 단계

알파 릴리스 이후로 BigQuery에 대한 관심이 많이 늘었습니다. BigQuery에 더 많은 데이터 세트와 명령을 추가하고 있습니다. Scalding과 같은 데이터 분석 도구가 BigQuery 저장소에서 읽고 쓸 수 있도록 커넥터를 개발합니다. BigQuery 데이터 세트를 사용하여 엔터프라이즈급 보고서와 메모를 작성하기 위해 Looker와 Apache Zeppelin과 같은 도구를 살펴보겠습니다.

Google과의 협력은 매우 생산적이었으며, 앞으로도 이러한 파트너십을 지속하고 발전시켜 나가게 되어 기쁩니다. 우리는 Google과 협력하여 우리만의 것을 구현했습니다. 파트너 이슈 트래커Google에 직접 질의를 보내세요. 그 중 일부(BigQuery Parquet 로더 등)는 이미 Google에서 구현되었습니다.

Google에 요청한 주요 기능 중 일부는 다음과 같습니다.

• LZO-Thrift 형식에 대한 편리한 데이터 수신 및 지원을 위한 도구입니다.
• 시간별 세분화
• 테이블, 행, 열 수준 권한 등 액세스 제어가 개선되었습니다.
• BigQuery 외부 데이터 소스 Hive Metastore 통합 및 LZO-Thrift 형식 지원이 포함됩니다.
• BigQuery UI에서 향상된 데이터 카탈로그 통합
• 슬롯 할당 및 모니터링을 위한 셀프 서비스.

결론

데이터 분석, 시각화, 머신 러닝을 안전한 방식으로 민주화하는 것은 Data Platform 팀의 최우선 과제입니다. 우리는 이 목표를 달성하는 데 도움이 될 수 있는 도구로 Google BigQuery와 Data Studio를 파악했고, 작년에 회사 전체에 BigQuery Alpha를 출시했습니다.

우리는 BigQuery의 쿼리가 간단하고 효율적이라는 것을 발견했습니다. 데이터 수집 및 변환을 위해 간단한 파이프라인에는 Google 도구를 사용했지만, 복잡한 파이프라인의 경우에는 자체 Airflow 인프라를 구축해야 했습니다. 데이터 관리 분야에서 BigQuery의 인증, 권한 부여 및 감사 서비스는 당사의 요구를 충족합니다. 메타데이터를 관리하고 개인정보를 보호하기 위해 더 많은 유연성이 필요했고, 이를 위해 자체 시스템을 구축해야 했습니다. BigQuery는 관리형 서비스이기 때문에 운영하기 쉬웠습니다. 쿼리 비용은 기존 도구와 비슷했습니다. GCS 비용 외에도 BigQuery에 데이터를 저장하면 비용이 발생합니다.

전반적으로 BigQuery는 일반적인 SQL 분석에 적합합니다. BigQuery에 대한 관심이 많은 것을 확인했으며, 더 많은 데이터 세트를 마이그레이션하고, 더 많은 팀을 참여시키고, BigQuery를 사용하여 더 많은 파이프라인을 구축하기 위해 노력하고 있습니다. Twitter는 Scalding, Spark, Presto, Druid와 같은 도구를 조합하여 다양한 데이터를 사용합니다. 저희는 데이터 분석 도구를 지속적으로 강화하고, 사용자에게 제공하는 서비스를 가장 잘 활용하는 방법에 대한 명확한 지침을 제공할 계획입니다.

감사의 말

이 프로젝트에 대한 놀라운 협업과 노고에 대해 공동 저자이자 팀원인 안주 자와 윌 파스쿠치에게 감사드리고 싶습니다. 또한, 저희에게 도움을 주신 Twitter와 Google의 여러 팀의 엔지니어와 관리자, 그리고 귀중한 피드백을 제공해 주신 Twitter의 BigQuery 사용자 여러분께도 감사드리고 싶습니다.

이러한 작업에 관심이 있으시면 다음을 확인하세요. 공석 데이터 플랫폼 팀에서.

DWH의 데이터 품질 - 데이터웨어하우스 일관성

출처 : habr.com