ClickHouse – Tabix での視覚的に高速かつ直感的なデータ分析。 イーゴリ・ストリハール

Igor Stryhar による 2017 年のレポート「ClickHouse - Tabix で視覚的に高速かつ明確なデータ分析」のトランスクリプトを読むことをお勧めします。

Tabix プロジェクトの ClickHouse の Web インターフェイス。
主な機能：

• 追加のソフトウェアをインストールする必要がなく、ブラウザから直接 ClickHouse と連携します。
• 構文強調表示を備えたクエリ エディター。
• コマンドのオートコンプリート。
• クエリ実行のグラフィカル分析のためのツール。
• 選べるカラースキーム。
  

私はSMI2のテクニカルディレクターです。 私たちはニュース交換ニュースアグリゲーターです。 当社はパートナーから受け取った大量のデータを保存し、ClickHouse に登録します (30 秒あたり約 000 リクエスト)。

これは次のようなデータです。

• ニュースをクリックします。
• ニュースはアグリゲーターに表示されます。
• 当社のネットワーク上にバナーが表示されます。
• そして、Yandex.Metrica に似た独自のカウンターからイベントを登録します。 これが私たち独自のマイクロ分析です。

ClickHouse が登場するまで、私たちは非常に多忙な生活を送っていました。 このデータをどこかに保存して、なんとか分析しようとして、私たちは非常に苦労しました。

ClickHouse 以前の生活 – infiniDB

最初に用意したのは infiniDB でした。 彼女は私たちと一緒に4年間暮らしました。 苦労して立ち上げました。

• クラスタリングやシャーディングはサポートされていません。 デフォルトでは、そのような賢い機能は箱から出てきません。
• 彼女はデータをロードするのが困難です。 CSV ファイルのみを、非常に不明確な方法でのみロードできる特定のコンソール ユーティリティのみ。
• データベースはシングルスレッドです。 書くことも読むこともできます。 しかし、それによって大量のデータを処理できるようになりました。
• そして彼女は興味深い松葉杖も持っていました。 サーバーは毎晩再起動する必要があり、再起動しないと機能しませんでした。

彼女は 2016 年末まで私たちのために働いてくれましたが、その後、私たちは ClickHouse に完全に切り替えました。

ClickHouse 以前の生活 – Cassandra

infiniDB はシングルスレッドだったので、同時に多くのスレッドを書き込むことができる、ある種のマルチスレッド データベースが必要であると判断しました。

私たちはたくさんの興味深いことを試してみました。 次に、Cassandra を試してみることにしました。 カサンドラに関してはすべてが素晴らしかった。 入札あたり 10 秒あたり 000 リクエスト。 どこかに 2 件の読書リクエストがあります。

しかし、彼女には彼女自身の興味もありました。 月に XNUMX 回、または XNUMX か月に XNUMX 回、データベースの非同期が発生しました。 そして私は起きて、カサンドラを直すために走らなければなりませんでした。 サーバーは XNUMX つずつ再起動されました。 そしてすべてが滑らかで美しくなりました。

ClickHouse 以前の生活 – ドルイド

その後、さらに多くのデータを書き込む必要があることがわかりました。 2016 年にドルイドを見始めました。

Druid は Java で書かれたオープンソース ソフトウェアです。 非常に具体的です。 また、ある種のイベント ストリームを保存し、それに対して集計を実行したり、分析レポートを作成したりする必要がある場合のクリックストリームにも適していました。

Druid のバージョンは 0.9.X でした。

データベース自体の展開は非常に困難です。 これがインフラストラクチャの複雑さです。 それを配備するには、大量の鉄を設置する必要がありました。 そして、各ハードウェアは独自の役割を担っていました。

データをロードするには、ある種のシャーマニズムを使用する必要がありました。 オープンソース プロジェクトである Tranquility は、ストリーム内で私たちからのデータを失っていました。 データをロードすると、データが失われてしまいました。

しかし、どういうわけか私たちはそれを実装し始めました。 麻薬を服用しながらサボテンを食べ続けたハリネズミのように、私たちはそれを導入し始めました。 すべてのインフラストラクチャを準備するのに約 XNUMX か月かかりました。 つまり、サーバーを注文し、役割を構成し、展開を完全に自動化します。 つまり、クラスターに障害が発生した場合、XNUMX 番目のクラスターが自動的にデプロイされます。

しかしその後、奇跡が起こりました。 私は休暇中だったのですが、同僚が次のリンクを送ってきました。 ハーバー, これは、Yandex が ClickHouse をオープンすることを決定したと述べています。 試してみようと言うのです。

そして文字通り 2 日で、ClickHouse テスト クラスターをデプロイしました。 データの読み込みを開始しました。 infiniDB と比較すると、これは初歩的なものであり、Druid と比較すると、これは初歩的なものです。 カサンドラと比べれば、それも初歩的だ。 PHP から Cassandra にデータをロードする場合、これは初歩的なものではないからです。

何が得られたでしょうか？ スピードのパフォーマンス。 データストレージのパフォーマンス。 つまり、使用されるディスク容量が大幅に少なくなります。 ClickHouse は高速で、他の製品と比べても非常に高速です。

Yandex が ClickHouse をオープンソースで公開した当初は、コンソール クライアントしかありませんでした。 私たち SMI2 は、大量のリクエストを書き始めたため、ブラウザからページを開いてリクエストを書いて結果を取得できるように、Web 用のネイティブ クライアントを作成してみることにしました。 コンソールで書くのは難しいです。 そして私たちは最初のバージョンを作成しました。

そして昨年の冬に近づいた頃、ClickHouse と連携するためのサードパーティ ツールが登場し始めました。 これらは次のようなツールです。

• Redash.IO.
• アパッチゼッペリン.
• スーパーセットAirbnb。 （今 https://github.com/apache/incubator-superset)
• Jetbrains IDE.
• Vertamedia/クリックハウス-グラファナ.

これらのツール、つまり私が使用したツールのいくつかを見ていきます。

良いツールですが、ドルイド向けです。 Druid が実装されていたとき、私は SuperSet をテストしていました。 私は彼が好きでした。 ドルイドの場合、それは非常に高速です。

ClickHouseには適していません。 つまり、適合し、起動しますが、SELECT イベント、GROUP BY イベントなどの基本的なクエリのみを処理する準備ができています。 より複雑な ClickHouse 構文はサポートされていません。

次のツールは Apache Zeppelin です。 これは良いことであり、興味深いことです。 動作します。 ノートブック、ダッシュボードをサポートし、変数をサポートします。 ClickHouse コミュニティの誰かがそれを使用していることを知っています。

ただし、ClickHouse 構文はサポートされていないため、コンソールまたは他の場所にクエリを記述する必要があります。 次に、すべてが動作することを確認します。 ただ不便です。 ただし、ダッシュボードのサポートは優れています。

次のツールは Redash.IO です。 Redash はインターネット上でホストされます。 つまり、以前のツールとは異なり、インストールする必要はありません。 これは、さまざまなデータソースからのデータを統合する機能を備えたダッシュボードです。 つまり、ClickHouse、MySQL、PostgreSQL、およびその他のデータベースからダウンロードできます。

ちょうど 2017 か月前 (XNUMX 年 XNUMX 月)、Grafana にサポートが登場しました。 たとえば、ハードウェアの状態や一部のメトリクスに関するレポートを Grafana で作成する場合、ClickHouse からのデータから同じグラフやある種のパネルを直接作成できるようになりました。 これはとても便利で、私たちも使っています。 これにより、異常を見つけることができます。 つまり、何かが発生して一部のハードウェアが落ちたり、負担がかかったりした場合、このデータが ClickHouse に侵入できたかどうかを調べることができます。

これらのツールやコンソールに書き込むのは非常に面倒だと感じました。 そして、最初のインターフェースを改善することにしました。 このアイデアは EventSQL、SeperSet、Zeppelin から得ました。

何がしたかったのですか？ グラフィックス、改良されたエディター、そしてヒント辞書のサポートを実装したいと考えていました。 ClickHouse には辞書という素晴らしい機能があるからです。 しかし、格納された値の形式、つまり数値なのか文字列なのかなどを覚えておく必要があるため、辞書を扱うのは困難です。また、辞書をさまざまなバリエーションで使用することが多いため、クエリを作成するのは非常に困難でした。

最初のバージョンのリリースから 3 か月が経過しました。 プライベート ブランチに約 330 件のコミットを行ったところ、それが Tabix であることが判明しました。

ClickHouse-Frontend という名前だった以前のバージョンとは異なり、シンプルな名前に変更することにしました。 そしてTabixが判明しました。

何が現れた？

グラフを描画します。 ClickHouse SQL 構文をサポートします。 機能に関するアドバイスを提供し、興味深いことがたくさんできます。

一般的な Tabix スキームは次のようになります。 左側には木があります。 中央にはクエリエディタがあります。 そして以下がこのリクエストの結果です。

次に、クエリ エディターがどのように機能するかを説明します。

ここでは、オートコンプリートがテーブルに対して自動的に動作し、それに応じてフィールドのオートコンプリートを求めるプロンプトが表示されます。 そして機能に関するヒント。 Ctrl+Enter を押すと、リクエストが実行されるか、エラーで失敗します。 最も単純なリクエストが Tabix に送信され、結果が取得されます。つまり、ClickHouse をすばやく操作できます。

すでに述べたように、辞書は非常に興味深いものであり、私たちはよく活用しています。 そしてそのおかげで私たちは多くのことができるようになりました。 すべての都市を辞書に保存するとします。 都市の識別子と都市名、緯度と経度を保存します。 そしてデータベースには都市の識別子のみが保存されます。 したがって、データを非常に強力に圧縮します。

これは単純なことのように思えますが、ClickHouse では非常に興味深い方法で役に立ちます。 ClickHouse はネストされた結合のみをサポートしているため、クエリは下方に向かって十分に広くなります。 また、括弧が開いて長い式が入ってきた場合は、クエリを折りたたむなどの単純な操作で、クエリ自体の操作が容易になります。 クエリの長​​さが 200 ～ 300 行で、幅が非常に大きい場合は、クエリを折りたたんで、どこかの場所を見つけるか、何らかの方法でローカライズすることが非常に役立ちます。

オブジェクト ツリー、マルチクエリ、タブ (ビデオ 13:46) https://youtu.be/w1-XsL3nbRg?t=826)

次にツリーとタブについて説明します。 左側にはツリーがあり、上部には複数のタブを作成できます。 タブはワークスペースのようなものです。 複数のタブを作成し、それぞれに異なる名前を付けることができます。 これはレポートを作成するためのミニシステムのようなものです。

タブは自動的に保存されます。 ブラウザを再起動するか、Tabix を閉じるか開くと、これらすべてが保存されます。

ホットキー - 便利 (ビデオ 14:39) https://youtu.be/w1-XsL3nbRg?t=879)

ホットキーがあり、かなりたくさんあります。 ここでは例としてその一部を抜粋しました。 これは、タブの切り替え、リクエストの実行、または複数のリクエストの実行です。

結果を操作する方法を説明します。 リクエストを送信します。 ここではsin、cos、tgを描いています。 結果を強調表示することができます。つまり、列の典型的なマップを描画できます。 正または負の値を強調表示できます。 または、特定のテーブル要素に色を付けるだけです。 これは、テーブルが大きく、異常を目で見つける必要がある場合に便利です。 異常を探しているとき、いくつかの線といくつかの要素を緑または赤で強調表示しました。

そこには興味深いものがたくさんあります。 たとえば、Redmine Markdown にコピーする方法です。 結果をどこかにコピーする必要がある場合、これは非常に便利です。 領域を選択し、「Redmine にコピー」と言うだけで、Redmine Markdown にコピーされるか、Where クエリが作成されます。

次にクエリの最適化です。 一度「日付」フィールドを指定するのを忘れてしまいました。 そして、ClickHouse での私のリクエストは、非常にすぐには処理されませんでしたが、すぐに、つまり XNUMX 秒未満で処理されました。 彼が何行も走っているのを見たとき、私は怖くなった。 XNUMX 日にこのテーブルにそれほど多くの行を書き込むことはありません。 リクエストの分析を開始したところ、XNUMX か所で日付を見逃していることがわかりました。 つまり、テーブル全体のデータが必要ではなく、特定の期間のデータが必要であることを示すのを忘れていました。

Tabix には、送信されたリクエストの履歴全体が保存される「統計」タブがあります。つまり、このリクエストによって読み取られた行数と実行にかかった時間を確認できます。 これにより最適化が可能になります。

クエリ結果に基づいてピボット テーブルを構築できます。 ClickHouse にリクエストを送信し、データを受け取りました。 そして、このデータをマウスで移動して、ある種のピボット テーブルを構築できます。

次に興味深いのはプロットです。 次のリクエストがあるとします。sin、cos は 0 ～ 299 です。これを描画するには、[描画] タブを選択する必要があります。そうすると、sin と cos のグラフが表示されます。

これを異なる軸に分割することができます。つまり、XNUMX つのグラフを一度に並べて描画できます。 XNUMX つのコマンドと XNUMX つ目のコマンドを書き込みます。

ヒストグラムを描くことができます。

これをグラフのマトリックスに分解できます。

ヒートマップを作成できます。

サーマルカレンダーを構築できます。 ちなみに、これは、XNUMX 年にわたる異常を分析する必要がある場合、つまり、スパイクまたはドロップを検出する必要がある場合に非常に便利です。 このデータ視覚化はこれに役立ちました。

次にツリーマップです。

サンキーズは興味深いチャートです。 彼はストリームグラフかリバーのどちらかです。 でも私はそれを川と呼んでいます。 また、異常を探すこともできます。 とても快適です。 検索に使用することをお勧めします。

次に興味深いのは、ダイナミック マップの描画です。 緯度と経度をデータベースに保存し、たとえばトラック輸送や飛行機が飛んでいる場合に目的地を保存すると、目的地の経路を描くことができます。 また、オブジェクトが飛び込む速度とサイズを設定することもできます。

しかし、この地図の問題は、世界地図が描かれているだけで、詳細が描かれていないことです。

後でGoogleマップを追加しました。 緯度、経度を保存すると、その結果を Google マップ上に描画できますが、飛行機はサポートされません。

Tabix で結果とクエリを操作する主な機能について説明しました。

次は、ClickHouse サーバーの分析です。 個別の「メトリクス」タブがあり、各列に保存されているデータのサイズを確認できます。 スクリーンショットは、この「リファラー」フィールドが約 730 GB を占めることを示しています。 このフィールドを放棄すると、それぞれ 700 GB のシャードが 2 つ、つまり不要な約 XNUMX TB が保存されます。

また、文字列に保存する「request_id」フィールドもあります。 しかし、数値形式で保存し始めると、この分野は大幅に縮小します。

また、サーバー構成とクラスター内のノードのリストも表示されます。

次のタブはメトリクスです。 ClickHouse を使用してリアルタイムにアクセスすることで、サーバーの状態を分析し、サーバーに何が起こっているかを理解できるようになります。 これは完全な Grafana に代わるものではありません。 これは迅速な分析に必要です。

次のタブはプロセスです。 これらから、サーバーで何が起こっているかを理解できます。 そこで何が起こっているのか理解してください。 毎回 200 GB の読み取りを消費するリクエストがありました。 このインターフェイスのおかげでこれを確認できました。 私は彼を捕まえて訂正しました。 そして、それは約30 GB、つまり時々のパフォーマンスであることが判明しました。

ありがとう！ そしてそれはオープンソースです

私は終えた。 ちなみに、これはオープンソースであり、無料でダウンロードする必要さえありません。 ブラウザで開くとすべてが機能します。

質問

イゴール、次は何ですか？ このツールはどこで開発しますか?

次に、ダッシュボードが表示されます。つまり、おそらくダッシュボードが表示されます。 他のデータベースとの統合。 これは実行しましたが、まだオープンソースで公開していません。 これは MySQL であり、場合によっては PostgreSQL です。 つまり、Tabix から ClickHouse だけでなく、他のツールにもリクエストを送信できるようになります。

膨大な量の作業が行われたことは明らかです。 それはかなり完全なアイデアであることがわかりました。 これは明らかに、あらゆる種類の軸での煩雑な作業を排除し、全体を素早くまとめるため、ブラウザ内で行われたようです。 出演していると聞きました PHP したがって、ブラウザに入力するのが最も簡単な方法であり、どこでも機能します。 これに関しては質問はありません。 質問はこれです。 そこでは本当に多くのことが行われてきました。 何人でこれに取り組みましたか? そして、全部でどれくらい時間がかかりましたか？ カスタム ツールには通常、それほど多くの機能がないためです。

私たちのチームの330人は夏から秋まで働きました。 これが最初のバージョンでした。 その後、一人で 3 件のコミットを行いました。 ご覧のとおり、同僚と私は半分でやりました。 最初のバージョンから最後のバージョンまで、XNUMX か月でほとんど一人で作りました。 しかし、私は Javascript をよく知りません。 これは私が取り組んだ唯一の、そしておそらく最後の JavaScript プロジェクトでした。 分かった、見てみた - ああ、恐ろしい。 しかし、私は本当に製品を完成させたかったので、これが起こりました。

ご報告ありがとうございます！ これは素晴らしいツールです。 と タブロー 比較しましたか？

ありがとう。 頭文字が同じなのでTabixと名付けました。

競争するから？

多額の投資が行われるだろうし、我々は競争するだろう。

このツールが完全に置き換えられることを社内アナリストに売り込むにはどうすればよいでしょうか *タブロー*? 議論は何になるでしょうか？

ClickHouse とネイティブに連携します。 Tableau を試してみましたが、そこには辞書などのサポートを書くことができません。 私は人々がどのように Tabix を使っているかを知っています。 クエリを作成し、CSV にアップロードして、BI にアップロードします。 そして彼らはすでにそこで何かを始めています。 しかし、これはグラフィカルなツールなので、これをどのように行うのか想像するのが難しいです。 5 行、最大 000 行をアンロードできますが、それ以上はアンロードできません。そうでない場合、ブラウザーは対応できません。

つまり、データ量に重大な制限があるということですね。

はい。 ブラウザ画面上のテーブルに 10 行をアップロードしたいとは想像できません。 何のために？

データを素早く見るためのインターフェースということですか？ ちょっとひねって、ひねって？

はい、仕組みをすぐに確認して、概要グラフを作成するだけです。 そしてそれをどこかに渡します。 当社には独自の報告システムがあり、そこからこのリクエストを受け付けます。 Tabix で描画し、レポートに送信します。

そしてもう一つの質問。 コホート分析?

リクエストがあれば追加していきます。

いつから使い始めたんですか？ ClickHouse、実装にはどのくらい時間がかかりましたか? クリックハウス そして持ってくる 生産状態？

先ほども述べたように、私たちは非常に短期間でテスト クラスターを実装しました。 3 日で導入しました。 そしてさらに数週間テストしました。 そして 3 か月で本番環境に到達しましたが、私たちは独自の ETL、つまりデータを記録するツールを持っていました。 そして彼はできる限りすべてを書きました。 彼は MongoDB、Cassandra、MySQL を書くことができます。 彼に ClickHouse での書き方を教えるのは簡単でした。 当社には、迅速な実装のための既製のインフラストラクチャがありました。 6 か月以内に、最初のコンポーネントを廃棄し始めました。 XNUMXか月で私たちは他のすべてを完全に放棄しました。 ClickHouse は XNUMX つだけ残っています。

イゴールさん、ご報告ありがとうございます。 地図を使用してパスを構築する機能がとても気に入りました。 Yandex.Maps、特にカスタム Yandex.Maps との統合の計画はありますか?

Googleマップの代わりに統合しようとしましたが、Yandex.Mapsにダークテーマが見つかりませんでした。 一部分も言ってなかった。 巻き戻して追加します。

スライド - Google マップ。 そこに地図を描くコマンド「DRAW_GMAPS」があります。 コマンド「DRAW_YMAPS」があります。つまり、Yandex.Mapを描画できます。 しかし実際には、このコマンドの下には Javascript があります。つまり、ClickHouse から受け取ったデータは、ここで記述する Javascript に転送できます。 そして、それを描画する出力領域があります。 任意のグラフ、つまり任意のグラフ、マップを描画でき、独自のコンポーネントを描画できます。 これまでは、グラフ自体を描画するための別のライブラリがありました。

つまり、表示機能をカスタマイズするツールはありますか?

どれでも。 これらのドットを取得して色を変更し、赤ではなく青や緑にすることができます。

ご報告ありがとうございます！ 代替のクエリ ツールを示したスライドがありました クリックハウス ダッシュボードと分析レポートの構築に使用します。 あなたが仕事を始めた瞬間にそれはわかりました ClickHouse、これらのツール用のアダプターは作成されていません。 そして、なぜ既製のツール用のアダプターを作成するのではなく、独自のツールを作成することにしたのか疑問に思います。 テストエディターを調整するのが早いと思います。 なぜそんなにたくさんの仕事をしようと思ったのですか？

ここで興味深い点があります。実際のところ、私はデータサイエンティストではなくテクニカルディレクターです。 Druid の実装を開始するまでに、私のロードマップにはタスクの約 50% が含まれていました。これを計算しましょう、これを計算しましょう、これを分析しましょう。 そして、ClickHouseを実装したことが判明しました。 そして彼はすぐにすべてを構築し始め、すぐにロードマップを閉じました。 そしてその時までに、データサイエンスとデータビジュアライゼーションの知識が不足していることに気づきました。 Tabix は、データ視覚化を学ぶための宿題のようなものです。 私はツェッペリンを補完する方法を検討していました。 私は彼のプログラミングが少し嫌いです。 Redashの追加方法を見てみましたが、私には普通のエディタで十分でした。 また、SuperSet は私があまり好きではない言語で書かれています。 それでサイクリングすることにした、そしてこれが起こった。

Igor、プルリクエストを受け入れますか?

はい。

ご報告ありがとうございます！ そして質問がXNUMXつ。 まず、あなたはあまりお世辞を言わない ジャバスクリプト。 裸の Javascript で書きましたか? それとも何らかのフレームワークですか?*

裸の Javascript の方が優れています。

では、どのような枠組みでしょうか？

角張った。

それは明らかだ。 そしてXNUMXつ目の質問。 検討しましたか R и *光沢のある**?*

検討してみました。 遊びました。

単にアダプターを作成することもできます。

彼は。 コミュニティが作成したようですが、前の質問に答えたように、自分で試してみたいと思いました。

※いえ、視覚化に関しては、それもあります。

そういうものがあると言ってグラフを描いてくれます。 データ視覚化に関する本を開きました。 そして私はこう思いました。「このデータを視覚化してみましょう。 データを再構築できるように彼に手紙を書きます。」 そして、データ供給テクノロジーについてもより深く理解できるようになりました。 そして、もし既製のコンポーネントを使っていたら、私個人としては、その使用法、つまり視覚化の学習方法がさらに悪くなっていたでしょう。 でも、はい、Rは好きでしたが、「R for Dummies」という本はまだ読んでいません。

ありがとうございます！

素朴な疑問。 標識やスケジュールをすばやくアップロードする方法はありますか?

CSVまたはExcelにアップロードできます。

データではなく、既製のプレート、既製のグラフですか? たとえば、上司に見せるためです。

「アップロード」ボタンと「グラフをpng、jpgでアップロード」ボタンがあります。

ありがとうございます！

Tabix をインストールするための PS Mini 手順

• ダウンロード 最新のリリース
• 解凍してディレクトリをコピー build nginxのroot_path内
• nginxの設定

出所： habr.com