Google の BigQuery がどのようにしてデータ分析を民主化したか。 パート2

こんにちは、ハブ！現在、OTUS は新しいコース ストリームの登録を開始しています。 データエンジニア。コースの開始に備えて、引き続き役立つ資料を共有していきます。

最初の部分を読む

データ管理

強力なデータ ガバナンスは、Twitter エンジニアリングの中核となる原則です。 BigQuery をプラットフォームに統合する際、データの検出、アクセス制御、セキュリティ、プライバシーに重点を置いています。

データの発見と管理のために、データアクセス層（DAL）を拡張しました。 DAL）は、オンプレミスと Google Cloud の両方のデータに対応するツールを提供し、ユーザーに単一のインターフェースと API を提供します。 Googleとして データカタログ 一般公開に向けて準備が進むにつれて、列検索などの機能をユーザーに提供するためにプロジェクトに組み込む予定です。

BigQuery を使用するとデータの共有やアクセスが容易になりますが、データの流出を防ぐためにある程度の制御が必要でした。他のツールの中から、次の 2 つの機能を選択しました。

• ドメイン制限付き共有: ユーザーが BigQuery データセットを Twitter 外部のユーザーと共有できないようにするベータ機能。
• VPC サービスコントロール: データの流出を防ぎ、ユーザーに既知の IP 範囲から BigQuery にアクセスするよう要求するコントロール。

セキュリティを確保するために、次の認証、承認、監査 (AAA) 要件を実装しています。

• 認証: アドホック リクエストには GCP ユーザー アカウントを使用し、本番環境リクエストにはサービス アカウントを使用しました。
• 承認: 各データセットには、所有者のサービス アカウントとリーダー グループが必要でした。
• 監査: 詳細なクエリ実行情報を含む BigQuery Stackdriver ログを BigQuery データセットにエクスポートし、簡単に分析できるようにしました。

Twitter ユーザーの個人データを適切に処理するには、すべての BigQuery データセットを登録し、個人データに注釈を付け、適切なストレージを維持し、ユーザーによって削除されたデータを削除 (パージ) する必要があります。

Googleで調べてみた クラウドデータ損失防止APIは、機械学習を使用して機密データを分類および編集しますが、正確性を重視してデータセットに手動で注釈を付けることにしました。カスタム注釈を補完するために、Data Loss Prevention API を使用する予定です。

Twitter では、BigQuery のデータセットに対して 4 つのプライバシー カテゴリを作成しました。機密性の低い順に以下に示します。

• 機密性の高いデータ セットには、最小権限の原則に基づいて必要に応じてアクセスされます。各データセットには個別の読者グループがあり、個々のアカウントによる使用状況を追跡します。
• 中程度の機密性データセット (ソルトハッシュを使用した一方向仮名) には個人を特定できる情報 (PII) が含まれず、より大規模な従業員グループがアクセスできます。プライバシーの懸念とデータの有用性の間のバランスが取れています。これにより、従業員は実際のユーザーが誰であるかを知らなくても、機能を使用したユーザー数を計算するなどの分析タスクを実行できます。
• すべてのユーザー識別情報を含む、低感度データセット。これはプライバシーの観点からは良いアプローチですが、ユーザー レベルの分析には使用できません。
• 公開データセット（Twitter 外で公開）は、すべての Twitter 従業員が利用できます。

ログ記録に関しては、スケジュールされたタスクを使用してBigQueryデータセットを列挙し、データアクセス層（DAL）、Twitter のメタデータ リポジトリです。ユーザーはデータセットにプライバシー情報を注釈付けし、保持期間を指定します。クリーニングに関しては、次の 2 つのオプションのパフォーマンスとコストを評価します。 1. Scalding などのツールを使用して GCS のデータセットをクリーニングし、BigQuery にロードします。 2. BigQuery DML 演算子の使用。さまざまなグループやデータの要件を満たすために、両方の方法を組み合わせて使用​​することになるでしょう。

システム機能

BigQuery はマネージド サービスであるため、システムの管理やオンコール業務の実行に Twitter の SRE チームを関与させる必要はありませんでした。ストレージとコンピューティングの両方に大容量を提供することが容易になりました。 Google サポートでチケットを作成することで、スロットの予約を変更できます。セルフサービスのスロット割り当てやダッシュボード監視の改善など、改善できる領域を特定し、それらのリクエストを Google に渡しました。

のコスト

予備的な分析では、BigQuery と Presto のクエリコストは同程度であることが示されました。スロットを購入した 固定 毎月安定した費用を支払う代わりに オンデマンド 処理されたデータ 1 TB あたり。この決定は、各リクエストを行う前にコストについて考えたくないというユーザーからのフィードバックに基づいていました。

BigQuery にデータを保存すると、GCS のコストに加えてコストが発生します。 Scalding などのツールではデータセットが GCS にある必要があり、BigQuery にアクセスするには同じデータセットを BigQuery 形式でロードする必要がありました。 。私たちは Scalding を BigQuery データセットに接続する作業を進めており、これにより GCS と BigQuery の両方にデータセットを保存する必要がなくなります。

数十ペタバイトの低頻度クエリが必要なまれなケースでは、BigQuery にデータセットを保存するのは費用対効果が低いと判断し、Presto を使用して GCS のデータセットに直接アクセスしました。このため、BigQuery 外部データ ソースを検討します。

次のステップ

アルファ版のリリース以来、BigQuery には多くの関心が寄せられています。 BigQuery にさらに多くのデータセットとコマンドを追加しています。私たちは、Scalding などのデータ分析ツールが BigQuery ストレージを読み書きするためのコネクタを開発しています。 BigQuery データセットを使用してエンタープライズ品質のレポートやメモを作成するための Looker や Apache Zeppelin などのツールを検討します。

Google との協力は非常に生産的であり、このパートナーシップを継続し発展させていくことを嬉しく思っています。 Googleと協力して独自の パートナー問題トラッカークエリを Google に直接送信します。 BigQuery Parquet ローダーなど、その一部はすでに Google によって実装されています。

Google に対する優先度の高い機能リクエストをいくつか紹介します。

• 便利なデータ受信と LZO-Thrift 形式のサポートのためのツール。
• 時間別セグメンテーション
• テーブル、行、列レベルの権限などのアクセス制御の改善。
• ビッグクエリー 外部データソース Hive Metastore 統合と LZO-Thrift 形式のサポートを備えています。
• BigQuery UI でのデータカタログ統合の改善
• スロットの割り当てと監視のためのセルフサービス。

まとめ

データ分析、視覚化、機械学習を安全な方法で民主化することは、データ プラットフォーム チームの最優先事項です。私たちは、この目標を達成するのに役立つツールとして Google BigQuery と Data Studio を特定し、昨年 BigQuery Alpha を全社にリリースしました。

BigQuery のクエリはシンプルで効率的であることがわかりました。データの取り込みと変換には、単純なパイプラインには Google ツールを使用しましたが、複雑なパイプラインの場合は独自の Airflow インフラストラクチャを構築する必要がありました。データ管理分野では、BigQuery の認証、認可、監査サービスが私たちのニーズを満たしています。メタデータを管理し、プライバシーを維持するには、より柔軟性が必要であり、独自のシステムを構築する必要がありました。 BigQuery はマネージド サービスなので、操作が簡単でした。クエリコストは既存のツールと同様でした。 BigQuery にデータを保存すると、GCS のコストに加えてコストが発生します。

全体的に、BigQuery は一般的な SQL 分析に適しています。 BigQuery には多くの関心が寄せられており、私たちはより多くのデータセットの移行、より多くのチームの参加、そして BigQuery を使用したより多くのパイプラインの構築に取り組んでいます。 Twitter はさまざまなデータを使用するため、Scalding、Spark、Presto、Druid などのツールの組み合わせが必要になります。当社は今後もデータ分析ツールの構築を継続し、ユーザーの皆様に当社のサービスを最大限に活用するための明確なガイダンスを提供していく所存です。

感謝の言葉

このプロジェクトで素晴らしい協力と多大な努力をしてくれた共著者でありチームメイトの Anju Jha と Will Pascucci に感謝します。また、私たちを支援してくれた Twitter と Google の複数のチームのエンジニアとマネージャー、そして貴重なフィードバックを提供してくれた Twitter の BigQuery ユーザーにも感謝したいと思います。

これらのタスクに取り組むことに興味がある場合は、 欠員 データ プラットフォーム チームに所属。

DWH のデータ品質 - データ ウェアハウスの一貫性

出所： habr.com