🥇Whale でデータをすばやく簡単に検索する方法

この記事では、KDPV で動作する最もシンプルかつ最速のデータ検出ツールについて説明します。興味深いことに、Whale はリモート git サーバーでホストされるように設計されています。詳細はカットの下にあります。

Airbnb のデータ検出ツールが私の人生をどう変えたか

これまでのキャリアの中で、幸運にもいくつかの楽しい問題に取り組むことができました。MIT で学位取得中にフロー数学を勉強し、インクリメンタルモデルやオープンソースプロジェクトに取り組みました。パイリフト Wayfair ではモデルを対象とした新しいホームページと Airbnb での CUPED の改善を実装しました。しかし、この作業はすべて決して魅力的なものではありませんでした。実際、私はほとんどの時間をデータの検索、調査、検証に費やすことがよくありました。これは職場では常に状態でしたが、Airbnb に到着してデータ検出ツールを使用して解決するまで、これが問題であるとは思いませんでした- データポータル.

{{data}}はどこで見つけられますか? データポータル.
このコラムは何を意味するのでしょうか？ データポータル.
{{metric}}の今日の調子はどうですか？ データポータル.
生活感とは何でしょうか？の データポータル、おそらく。

さて、写真を提示しました。データを検索し、その意味、作成方法、使用方法を理解するには、数時間ではなく、わずか数分しかかかりません。メモを調べたり、反復的な SQL クエリを書いたり、Slack で同僚にメンションしてコンテキストを再現したりするよりも、単純な結論や新しいアルゴリズムを導き出すこと (…またはデータに関するランダムな質問に答えること) に時間を費やすことができます。もっていた。

そして何が問題なの？

私の友人のほとんどがそのようなツールにアクセスできないことに気づきました。 Dataportal のようなプラットフォームツールの構築と保守に多大なリソースを費やそうとする企業はほとんどありません。また、オープンソースソリューションはいくつかありますが、拡張性を考慮して設計されている傾向があり、専任の DevOps エンジニアなしではセットアップと保守が困難です。そこで、何か新しいものを作ることにしました。

Whale: バカみたいにシンプルなデータ発見ツール

そして、はい、愚かなほど単純というのは、愚かなほど単純であるという意味です。クジラには XNUMX つのコンポーネントしかありません。

メタデータを収集し、MarkDown でフォーマットする Python ライブラリ。
このデータを検索するための Rust コマンドラインインターフェイス。

保守のための社内インフラという観点から見ると、大量のテキストファイルとそれを更新するプログラムしかありません。それだけなので、Github のような git サーバーでホスティングするのは簡単です。新しいクエリ言語を学ぶ必要はなく、管理インフラストラクチャやバックアップも必要ありません。 Git は誰もが知っているので、同期やコラボレーションは無料です。機能を詳しく見てみましょうクジラ v1.0.

フル機能の git ベースの GUI

Whale は、リモート git サーバーの海で泳ぐように設計されています。彼とても簡単構成可能: いくつかの接続を定義し、Github Actions スクリプトをコピーする (または、選択した CI/CD プラットフォーム用にスクリプトを作成する) と、すぐにデータ検出 Web ツールが作成されます。 Github 上でスプレッドシートを直接検索、表示、文書化、共有できるようになります。

Github Actions を使用して生成されたスタブテーブルの例。完全に動作するデモこのセクションを参照してください.

リポジトリの超高速 CLI 検索

Whale はコマンドライン上で動作し、テーブル全体で強力なミリ秒単位の検索を提供します。数百万のテーブルがあっても、いくつかの賢いキャッシュメカニズムを使用し、Rust でバックエンドを再構築することで、私たちは whale のパフォーマンスを信じられないほど向上させることができました。検索の遅延に気づくことはありません [こんにちは Google DS]。

クジラのデモ、XNUMX万テーブルルックアップ。

メトリクスの自動計算 [ベータ版]

データサイエンティストとして私が最も嫌いなことの XNUMX つは、使用されているデータの品質をチェックするためだけに同じクエリを何度も実行することです。 Whale は、メタデータクリーンアップパイプラインとともに実行されるようにスケジュールされたプレーン SQL でメトリクスを定義する機能をサポートしています。スタブテーブル内に YAML メトリクスブロックを定義すると、Whale がスケジュールに従って自動的に実行され、メトリクスにネストされたクエリが実行されます。

```metrics
metric-name:
  sql: |
    select count(*) from table
```

Github と組み合わせるこのアプローチは、クジラがメトリクス定義のための簡単な中心的な信頼できる情報源として機能できることを意味します。 Whale はタイムスタンプとともに値を「~/. グラフ作成やより詳細な調査を行う場合は、「クジラ/メトリクス」を参照してください。

未来

プレリリース版の whale のユーザーと話をした結果、人々はより多くの機能を必要としていることがわかりました。なぜテーブル検索ツールなのか? なぜメトリクス検索ツールではないのでしょうか? なぜ監視しないのでしょうか？なぜ SQL クエリ実行ツールではないのでしょうか? whale v1 はもともと単純な CLI コンパニオンツールとして考案されましたが、 Dataportal/Amundsen、すでにフル機能のスタンドアロンプラットフォームに進化しており、データサイエンティストのツールキットの不可欠な部分になることを期待しています。

開発プロセスで見たいものがある場合は、参加してください。 Slack コミュニティへ、次の場所で問題を開きます githubのまたは直接連絡することもできます LinkedIn。私たちはすでに、Jinja テンプレート、ブックマーク、検索フィルター、Slack アラート、Jupyter 統合、さらにはメトリクス用の CLI ダッシュボードなど、数多くの優れた機能を備えていますが、皆様からのご意見をお待ちしております。

まとめ

Whale は Dataframe によって開発および保守されています。Dataframe は、私が最近他の人々と共同設立する喜びを感じたスタートアップ企業です。 whale はデータサイエンティスト向けに作られていますが、Dataframe はデータサイエンティスト向けに作られています。より緊密に連携したい方は、お気軽に住所あなたを待機リストに追加させていただきます。

そしてプロモーションコードにより ハブルの場合、バナーに表示されている割引額からさらに 10% 割引を受けることができます。

さらに多くのコース

注目の記事

出所： habr.com

Whale を使ってデータをすばやく簡単に検索する方法