PHP スクリプトのリアルタイムの統計と監視。 ClickHouse と Grafana が Pinba を支援します

この記事では、pinba_engine と pinboard の代わりに clickhouse と grafana で pinba を使用する方法を説明します。

PHP プロジェクトでは、おそらく pinba がパフォーマンスに何が起こっているかを理解する唯一の信頼できる方法です。 確かに、pinba は通常、問題がすでに観察されており、「どこを掘るべきか」が明確でない場合にのみ実装されます。

多くの場合、このスクリプトやそのスクリプトが XNUMX 秒/分あたり何回呼び出されるのか誰も分からず、より論理的と思われる場所から「触って」最適化を始めます。

nginx ログを分析するものもあれば、遅いデータベース クエリを分析するものもあります。

もちろん、pinba は不必要というわけではありませんが、すべてのプロジェクトに pinba があるわけではない理由がいくつかあります。

そして最初の理由はインストールです。

Pinba の実装から多かれ少なかれある種の「疲れ」を得るには、最後の数分間だけでなく、長期間 (数日から数か月) にわたってメトリクスを確認することが非常に望ましいです。

これのために必要なのは：

• php の拡​​張機能をインストールします (nginx のモジュールも必要になる場合があります)
• mysql のコンパイル拡張機能
• ピンボードをインストールして cron を設定する

Pinba に関する情報が少ないため、多くの人は PHP5 でのみ動作し、長い間過去のものであるという印象を持っていますが、後で説明するように、そうではありません。

最初のステップは最も簡単で、次のコマンドを実行するだけです。

apt install php-pinba

この拡張機能は php 7.3 までのリポジトリで利用でき、何もコンパイルする必要はありません。

インストール コマンドを実行すると、各スクリプトのメトリクス (実行時間、メモリなど) を次の形式で収集して送信する機能する拡張機能をすぐに受け取ります。 プロトブフ udp 経由で 127.0.0.1:30002 に送信します。

これまでのところ、これらの UDP パケットを捕捉または処理した人はいませんが、これは PHP スクリプトの速度や安定性に悪影響を与えることはありません。

最近まで、これらの UDP パケットをキャッチして処理できる唯一のアプリケーションは、 pinba_engine。 説明 "シンプルで簡潔な「インストールすると、もう一度読んで掘り下げたいという欲求が失われます。 数キロメートルにわたる依存関係のリストには、パッケージ名とプログラム名の両方が含まれており、そのインストールに関する個々のページへのリンクが含まれており、それらには他の依存関係への独自のリンクもあります。 誰もこのくだらないことに対処する時間も意欲もありません。

インストールプロセス ピンバ2 しなかった 特に簡単な.

おそらくいつか、その方法を理解するためにたくさんの資料を読まなくても、10 つまたは XNUMX つのコマンドで pinbaXNUMX をインストールできるようになるでしょうが、今のところはそうではありません。

pinba_engine をインストールした場合、これで戦いは半分に過ぎません。 結局、なしで ピンボード 過去数分間のデータに限定するか、データを自分で集計、保存、視覚化する必要があります。 ピンボードは非常に使いやすいのが良いです インストール.

PHP からのすべてのメトリックがすでに protobuf 形式で udp ポートに送信されており、必要なのはそれらをキャッチして何らかのストレージに保存するアプリケーションを作成することだけである場合、なぜこのような苦しみが生じるのでしょうか? どうやら、このアイデアを思いついた開発者はすぐに自分のアイデアを書き始め、その一部は最終的に GitHub に投稿されたようです。

以下は、メトリクスをストレージに保存する XNUMX つのオープンソース プロジェクトの概要です。ストレージから、たとえば grafana を使用して、このデータを簡単に取得して視覚化できます。

olegfedoseev/ピンバサーバー （2017年XNUMX月）

OpenTSDB にメトリクスを保存する、稼働中の udp サーバー。 おそらく、プロジェクトですでに OpenTSDB を使用している場合は、このソリューションが適しています。そうでない場合は、このソリューションを無視することをお勧めします。

olegfedoseev/pinba-influxdb (2018年XNUMX月)

udp サーバーを実行中、同じから ハブラウザ、今回はメトリクスを InfluxDB に保存します。 多くのプロジェクトはすでに監視に InfluxDB を使用しているため、このソリューションはそれらのプロジェクトに最適である可能性があります。

長所：

• 流入DB 許可する 受信したメトリクスを集計し、指定された時間が経過した後に元のメトリクスを削除します。

短所：

• このソリューションでは、タイマーに関する情報は保存されません。
• InfluxDB はサイトのページ アドレスをタグとして保存します。一意のページ アドレスが多数ある場合、これは次のような問題につながります。 消費の増加 ランダム・アクセス・メモリ。 ある瞬間から彼は「狂ったように記憶を食いつぶし始めるだろう«。 （（ソース)

ClickHouse-忍者/プロトン （2019年XNUMX月）

udp サーバーを実行し、メトリクスを ClickHouse に保存します。 これが私の友人の解決策です。 これに慣れてから、Pinbu と Clickhouse に挑戦する時期が来たと判断しました。

長所：

• Clickhouse はこのようなタスクに最適です。Clickhouse を使用すると、データを大幅に圧縮できるため、集計なしでもすべての生データを保存できます。
• 必要に応じて、結果のメトリクスを簡単に集計できます。
• grafana用の既製のテンプレート
• タイマーに関する情報を保存します

短所：

• 致命的な欠陥
• データベースとテーブルの名前、サーバーのアドレスとポートを構成できる構成はありません。
• 生データを保存する場合、ページとドメインのアドレスを保存するために補助辞書テーブルが使用されるため、後続のクエリが複雑になります。
• 最初のマイナスから続くその他の小さなこと

ピンバサーバー/ピンバサーバー (2019年XNUMX月)

php の udp サーバー。ClickHouse にメトリクスを保存します。 これは私の解決策であり、pinba、ClickHouse、protobuf を知った結果です。 この束全体を整理している間に、「概念実証」を書きましたが、これは私にとって予想外に、大きなリソース (30 MB の RAM と 1 つのプロセッサ コアのうち XNUMX つの XNUMX% 未満) を消費しませんでした。それを一般の人々と共有することにしました。

利点は前のソリューションと同じですが、元の pinba_engine の通常の名前も使用しました。 また、メトリクスを別のテーブルに保存するために、複数の pinbase サーバー インスタンスを一度に起動できるようにする構成も追加しました。これは、php だけでなく nginx からもデータを収集したい場合に便利です。
短所 - 「致命的な欠陥」や、個人的には合わない小さな点ですが、私の解決策は「スリッパのようにシンプル」で、わずか約 100 行のコードで構成されているため、PHP 開発者なら誰でも気に入らない部分を変更できます。数分以内に。

どのように動作します

UDP ポート 30002 がリッスンされ、すべての受信パケットが protobuf スキームに従ってデコードされ、集約されます。 XNUMX 分に XNUMX 回、パケットがクリックハウスの pinba.requests テーブルに挿入されます。 (すべてのパラメータは 構成)

クリックハウスについて少し

Clickhouse はさまざまなデータ ストレージ エンジンをサポートしています。 最も一般的に使用されるのは MergeTree です。

ある時点で、集計データは常に保存し、生データは最後にのみ保存することに決めた場合は、グループ化を使用してマテリアライズド ビューを作成し、メインの pinba.requests テーブルを定期的にクリーンアップすることができます。その間、すべてのデータはマテリアライズドビュー。 さらに、pinba.requests テーブルを作成するときに、「engine = Null」を指定すると、生データはディスクにまったく保存されず、同時にマテリアライズド ビューに保存され、集計されて保存されます。 。 nginx では php よりも 50 倍多くのリクエストがあるため、私は nginx メトリクスにこのスキームを使用します。

ここまで長い道のりを歩んできましたので、途中で離れることはしたくありません。以下に、私のソリューションのインストールと構成、必要なものすべて、および複数の船を引き起こす落とし穴について詳しく説明します。クラッシュする。 インストール プロセス全体は Ubuntu 18.04 LTS および Centos 7 について説明されていますが、他のディストリビューションやバージョンではプロセスが若干異なる場合があります。

インストール

必要なコマンドをすべて入れました ドッカーファイル 指示の再現を容易にするため。 以下では、落とし穴のみを説明します。

php-ピンバ

インストール後、/etc/php/7.2/fpm/conf.d/20-pinba.ini ファイルですべてのオプションのコメントが解除されていることを確認してください。 一部のディストリビューション (centos など) では、コメントアウトされている場合があります。

extension=pinba.so
pinba.enabled=1
pinba.server=127.0.0.1:30002

クリックハウス

インストール中に、clickhouse はデフォルト ユーザーのパスワードを設定するように求めます。 デフォルトでは、このユーザーはすべての IP からアクセスできるため、サーバーにファイアウォールがない場合は、必ずパスワードを設定してください。 これは、/etc/clickhouse-server/users.xml ファイルにインストールした後に行うこともできます。

また、clickhouse は 9000 などの複数のポートを使用することにも注意してください。このポートは、一部のディストリビューション (centos など) の php-fpm にも使用されます。 このポートをすでに使用している場合は、/etc/clickhouse-server/config.xml ファイルで別のポートに変更できます。

クリックハウスプラグインを使用したグラファナ

Grafana をインストールした後、ログイン admin とパスワード admin を使用します。 初めてログインするとき、Grafana は新しいパスワードを設定するように求めます。

次に、「+」 -> インポートメニューに移動し、インポートするダッシュボード番号を指定します。 10011。 このダッシュボードは私が準備してアップロードしたので、自分で再度作成する必要はありません。

Grafana はサードパーティのプラグインを介したクリックハウスの操作をサポートしていますが、Grafana にはサードパーティのプラグインに対するアラートがありません (これについては数年前からチケットがありました)。

ピンバサーバー

protobuf と libevent のインストールはオプションですが、pinba-server のパフォーマンスが向上します。 pinba-server を /opt 以外のフォルダーにインストールする場合は、次の修正も必要になります。 systemd スクリプト ファイル。

nginx用のpinbaモジュール

モジュールをコンパイルするには、サーバーに既にインストールされている同じバージョンの nginx のソース コードと、同じコンパイル オプションが必要です。そうでない場合、ビルドは成功しますが、モジュールの接続時にエラーがスローされます。 「モジュールにはバイナリ互換性がありません。」 コンパイル オプションは、nginx -V コマンドを使用して表示できます。

ライフハック

私のサイトはすべて https でのみ動作します。 スキーマフィールドは無意味になるので、Web/コンソールを分離するために使用します。

Web からアクセスできるスクリプトでは、次のものを使用します。

if (ini_get('pinba.enabled')) {
    pinba_schema_set('web');
}

コンソール スクリプト (cron スクリプトなど) では次のようになります。

if (ini_get('pinba.enabled')) {
    pinba_schema_set('console');
}

Grafana のダッシュボードには、統計を個別に表示するための Web/コンソール スイッチがあります。

たとえば、タグを Pinba に送信することもできます。

pinba_tag_set('country', $countryCode);

それで全部です。

記事の下にあるアンケートに答えてください。

いつものように、私は Habr やソーシャル ネットワーク上の個人的なメッセージを通じてアドバイスや支援を行っていないことを警告します。

Github でチケットを作成します。

また、「いいね！」で応援してください 英語版 この記事 レディット上で.

登録ユーザーのみがアンケートに参加できます。 ログインお願いします。

サーバーで使用している OS は何ですか?

• Ubuntu

• CentOSの

• Debianの

• Gentooの

• レッドハット

• フェドーラ

• openSUSEの

• スーセ

• Unixの

• Windows

• その他

114 人のユーザーが投票しました。 11名のユーザーが棄権した。

サーバーで使用しているphpのバージョンは何ですか?

• 7.3

• 7.2

• 7.1

• 7.0

• 5

• その他

105 人のユーザーが投票しました。 17名のユーザーが棄権した。

ピンバを使ったことがありますか？

• はい

• いいえ、でもそうしたいです

• いいえ、私はそうしたくありません

• いいえ、彼女のことは聞いていません

100 人のユーザーが投票しました。 14名のユーザーが棄権した。

Pinba サーバーのどのバージョンを試してみたいですか?

• pinba_engine (mysql エンジン)

• pinba2 (mysql エンジン)

• ピンボード (php + mysql)

• olegfedoseev/pinba-server (go + OpenTSDB)

• olegfedoseev/pinba-influxdb (go + influxdb)

• pinba-server/pinba-server (go + clickhouse)

• pinba-server/pinba-server (php + クリックハウス)

• 自分で書きます

• その他

39 人のユーザーが投票しました。 47名のユーザーが棄権した。

出所： habr.com