David O'Brien (Xirus): メトリクス! メトリクス！ メトリクス！ パート1

David O'Brien は最近、Microsoft Azure Stack クラウド製品に焦点を当てた自身の会社 Xirus (https://xirus.com.au) を立ち上げました。 これらは、データ センター、エッジ ロケーション、リモート オフィス、クラウドでハイブリッド アプリケーションを一貫して構築して実行できるように設計されています。

David は、Microsoft Azure と Azure DevOps (旧 VSTS) に関するあらゆることについて個人や企業をトレーニングし、現在でも実践的なコンサルティングとインフラコーディングを行っています。 彼は Microsoft MVP (Microsoft Most Valuable Professional) Award を 5 年間受賞しており、最近 Azure MVP Award を受賞しました。 メルボルン Microsoft クラウドおよびデータセンター ミートアップの共同主催者として、オブライエンは定期的に国際会議で講演し、世界中を旅することへの関心と IT ストーリーをコミュニティと共有する情熱を組み合わせています。 David のブログは次の場所にあります。 デビッドオブライエン.net, 彼は Pluralsight でオンライン トレーニングも公開しています。

この講演では、環境で何が起こっているのか、アプリケーションがどのように実行されているのかを理解する上でのメトリクスの重要性について話します。 Microsoft Azure には、あらゆる種類のワークロードのメトリクスを表示する強力かつ簡単な方法があり、講義ではそれらすべての使用方法について説明します。

日曜日の午前 3 時、寝ているときに突然、「超臨界アプリが再び応答しません」というテキスト メッセージで目が覚めます。 どうしたの？ 「ブレーキ」がかかる原因はどこにあるのでしょうか？ このトークでは、クラウド ワークロードからログ、特にメトリクスを収集するために Microsoft Azure が顧客に提供するサービスについて学びます。 David は、クラウド プラットフォームで作業するときにどのような指標に関心を持つ必要があるか、またその指標に到達する方法について説明します。 オープンソース ツールとダッシュボードの構築について学び、最終的には独自のダッシュボードを作成するのに十分な知識を習得します。

また、重要なアプリケーションがクラッシュしたというメッセージによって午前 3 時に再び目が覚めた場合でも、その原因をすぐに突き止めることができます。

こんにちは。今日はメトリクスについて話します。 私の名前はデイビッド オブライエンです。オーストラリアの小さなコンサルティング会社、ザイラスの共同創設者兼オーナーです。 ここに来て私と一緒に時間を過ごしてくれてありがとう。 それで、なぜ私たちはここにいるのでしょうか？ メトリクスについて話すというか、メトリクスについてお話しますが、その前に理論から始めましょう。

メトリクスとは何なのか、メトリクスを使って何ができるのか、何に注意する必要があるのか​​、Azure でメトリクスを収集して有効にする方法、メトリクスの視覚化とは何かについて説明します。 Microsoft クラウドではこれらがどのようなものなのか、またこのクラウドをどのように操作するのかを説明します。

始める前に、Microsoft Azure を使用している人に挙手を求めます。 AWS を使用しているのは誰ですか? ほとんど見かけません。 Googleについてはどうですか？ アリクラウド？ 一人の男！ 素晴らしい。 では、メトリクスとは何でしょうか? 米国国立標準技術研究所の正式な定義は、「メトリックとは、特性を測定するための条件と規則を記述し、測定結果を理解するのに役立つ測定標準である」です。 それはどういう意味ですか？

仮想マシンの空きディスク容量を変更するためのメトリックの例を見てみましょう。 たとえば、90 という数字が与えられていますが、この数字はパーセンテージ、つまりディスクの空き容量が 90% であることを意味します。 指標の定義の説明は PDF 形式で 40 ページもあり、読むのはあまり面白くないことに注意してください。

ただし、このメトリクスには、測定結果がどのように取得されたかは記載されておらず、この結果のみが示されています。 メトリクスを使って何をするのでしょうか?

まず、何かの価値を測定し、その測定結果を利用します。

たとえば、ディスクの空き容量がわかり、それを使用したり、このメモリを使用したりできるようになりました。 メトリック結果を受け取ったら、それを解釈する必要があります。 たとえば、メトリクスは 90 という結果を返しました。この数値が何を意味するのかを知る必要があります。つまり、空き領域の量、使用されているディスク領域の量 (パーセントまたはギガバイト単位)、ネットワーク遅延は 90 ミリ秒などです。 、メトリック値の意味を解釈する必要があります。 メトリクスが意味を持つためには、単一のメトリクス値を解釈した後、複数の値が収集されていることを確認する必要があります。 多くの人はメトリクスを収集する必要性を認識していないため、これは非常に重要です。 Microsoft はメトリクスの収集を非常に簡単にしましたが、メトリクスが確実に収集されるかどうかはユーザー次第です。 これらのメトリックは 41 日間のみ保存され、42 日目に消去されます。 したがって、外部または内部機器の特性に応じて、ログ、ログなどの形式でメトリクスを 41 日以上保存する方法に注意する必要があります。 したがって、収集後、必要に応じてメトリクス結果の変更に関するすべての統計を取得できる場所にそれらを配置する必要があります。 それらをそこに配置すると、効果的に作業を開始できるようになります。

メトリクスを取得し、解釈して収集した後でのみ、SLA (サービス レベル アグリーメント) を作成できます。 この SLA は顧客にとってはそれほど重要ではないかもしれませんが、同僚、マネージャー、システムを保守し、その機能に懸念を抱いている人にとってはより重要です。 このメトリクスはチケットの数を測定できます。たとえば、5 日に 20 枚のチケットを受け取ります。この場合、ユーザーのリクエストに対する応答の速度とトラブルシューティングの速度が示されます。 メトリクスは、単にサイトの読み込み時間が 20 ミリ秒であることや、応答速度が XNUMX ミリ秒であることを示すものであってはなりません。メトリクスは単なる XNUMX つの技術指標ではありません。

したがって、私たちの会話の目的は、メトリクスの本質の詳細な全体像を提示することです。 メトリクスは、それを見ることでプロセスの全体像を把握できるようにするために役立ちます。

メトリクスを取得すると、システムが動作していることを示すログ ファイルを見るだけではないため、システムが動作していることを 99% 保証できます。 99% の稼働時間保証とは、たとえば、API が通常の 99 ミリ秒の速度で応答する時間の 30% を意味します。 これはまさにユーザー、同僚、マネージャーの関心のあることです。 当社のクライアントの多くは Web サーバーのログを監視していますが、ログにエラーは見られず、すべてが正常であると考えています。 たとえば、ネットワーク速度が 200 Mb/s であることを見て、「OK、すべてが素晴らしい!」と考えます。 しかし、この 200 を達成するには、ユーザーは 30 ミリ秒の応答速度を必要とし、これはまさに測定されず、ログ ファイルにも収集されない指標です。 同時に、ユーザーはサイトの読み込みが非常に遅いことに驚きます。これは、必要な指標がないため、この動作の理由がわからないためです。

しかし、当社には稼働率 100% の SLA があるため、実際にはサイトが非常に使いにくいため、顧客から不満の声が上がり始めています。 したがって、客観的な SLA を作成するには、収集したメトリクスによって作成されるプロセスの全体像を把握する必要があります。 これは、SLA を作成するときに「稼働時間」という用語が何を意味するのかまったく理解しておらず、ほとんどの場合、API がどのように機能するかをクライアントに説明していない一部のプロバイダーとの間で発生している継続的な問題です。

たとえば、第三者向けの API などのサービスを作成した場合は、結果のメトリクス 39,5 が何を意味するか (応答、成功した応答、20 ミリ秒の速度または 5 ミリ秒の速度での応答) を理解する必要があります。 顧客の SLA を自分の SLA や自分の指標に適応させるのはあなた次第です。

これらすべてを理解したら、素晴らしいダッシュボードの作成を開始できます。 教えてください、Grafana インタラクティブ視覚化アプリケーションをすでに使用した人はいますか? 素晴らしい！ これは無料で使いやすいので、私はこのオープンソースの大ファンです。

Grafana をまだ使用したことがない場合は、その使用方法を説明します。 80年代から90年代生まれの人ならCareBearsを覚えているのではないでしょうか？ これらのクマがロシアでどれほど人気が​​あったかは知りませんが、指標に関して言えば、私たちも同じ「ケアベア」であるはずです。 先ほども述べたように、システム全体がどのように機能するかの全体像を把握する必要があります。API、Web サイト、または仮想マシンで実行されているサービスだけを把握すべきではありません。

システム全体の動作を最も完全に反映するメトリクスのコレクションを整理する必要があります。 皆さんのほとんどはソフトウェア開発者であるため、新しい製品要件に適応して生活は常に変化しており、コーディング プロセスに関心があるのと同じように、メトリクスにも関心を持つ必要があります。 作成するコードの各行にメトリクスがどのように関連しているかを知る必要があります。 たとえば、来週新しいマーケティング キャンペーンを開始し、多数のユーザーがサイトにアクセスすることが予想されるとします。 このイベントを分析するにはメトリクスが必要になります。また、これらの人々のアクティビティを追跡するにはダッシュボード全体が必要になる場合もあります。 マーケティング キャンペーンの成功度や実際のパフォーマンスを理解するには、指標が必要です。 たとえば、効果的な CRM (顧客関係管理システム) の開発に役立ちます。

それでは、Azure クラウド サービスを始めましょう。 Azure Monitor を備えているため、メトリクスの収集を見つけて整理するのは非常に簡単です。 このモニターは、システム構成管理を一元化します。 システムに適用する Azure 要素のそれぞれには、デフォルトで多くのメトリックが有効になっています。 これは無料のアプリケーションで、箱から出してすぐに機能し、事前設定を必要とせず、システムに何かを書き込んだり「ねじ込んだり」する必要はありません。 次のデモを見てこれを確認します。

さらに、これらのメトリクスを、Splunk ログ ストレージおよび分析システム、クラウドベースのログ管理アプリケーション SumoLogic、ELK ログ処理ツール、IBM Radar などのサードパーティ アプリケーションに送信することもできます。 確かに、仮想マシン、ネットワーク サービス、Azure SQL データベースなど、使用するリソースに応じて若干の違いがあります。つまり、メトリックの使用は作業環境の機能に応じて異なります。 これらの違いが深刻であるとは言いませんが、残念ながら、それらは依然として存在しており、このことを考慮する必要があります。 メトリックの有効化と送信は、ポータル、CLI/Power Shell、または ARM テンプレートの使用など、いくつかの方法で可能です。

最初のデモを開始する前に、ご質問があればお答えします。 質問がなければ、始めましょう。 この画面には、Azure Monitor ページがどのように表示されるかが示されています。 このモニターが動作していないと言える人はいますか?

これですべてが正常になり、モニター サービスがどのようなものかを確認できます。 これは日常の作業に非常にシンプルで優れたツールであると言えます。 アプリケーション、ネットワーク、インフラストラクチャの監視に使用できます。 最近、監視インターフェースが改善され、以前はサービスが別の場所にあった場合でも、サービスに関するすべての情報が監視のホームページに統合されるようになりました。

メトリクス テーブルは HomeMonitorMetrics パスに沿ったタブで、利用可能なすべてのメトリクスを表示し、必要なメトリクスを選択できます。 ただし、メトリック収集を有効にする必要がある場合は、HomeMonitorDiagnostic 設定ディレクトリ パスを使用し、[有効/無効メトリック] チェックボックスをオンにする必要があります。 デフォルトでは、ほぼすべてのメトリクスが有効になっていますが、さらに何かを有効にする必要がある場合は、診断ステータスを無効から有効に変更する必要があります。

これを行うには、選択したメトリックの行をクリックし、開いたタブで診断モードを有効にします。 選択したメトリックを分析する場合は、[診断をオンにする] リンクをクリックした後、表示されるウィンドウで [Log Analytics に送信] チェックボックスをオンにする必要があります。

Log Analytics は Splunk に似ていますが、コストは低くなります。 このサービスを使用すると、すべてのメトリック、ログ、その他必要なものすべてを収集し、Log Analytics ワークスペースに配置できます。 このサービスは特別な KQL クエリ処理言語である Kusto Quarry Language を使用します。次のデモでその動作を見ていきます。 現時点では、その助けを借りて、メトリクス、ログ、用語、傾向、パターンなどに関するクエリを作成できることに注意してください。 そしてダッシュボードを作成します。

そのため、[Log Analytics に送信] チェックボックスと、LOG パネルのチェックボックス (DataPlaneRequests、MongoRequests、QueryRuntimeStatistics) をオンにし、その下にある [METRIC] パネルの [リクエスト] チェックボックスをオンにします。 次に、名前を割り当てて設定を保存します。 コマンド ラインでは、これは XNUMX 行のコードを表します。 ちなみに、この意味では Azure Cloud Shell は Google に似ており、Web ブラウザーでコマンド ラインを使用することもできます。 AWS にはそのようなものがないので、その意味では Azure の方がはるかに便利です。

たとえば、ラップトップでコードを使用せずに、Web インターフェイスを介してデモを実行できます。 これを行うには、Azure アカウントで認証する必要があります。 次に、たとえば terrafone を使用できます。既に使用している場合は、サービスへの接続を待って、Microsoft がデフォルトで使用する Linux 作業環境を取得します。

次に、Azure Cloud Shell に組み込まれている Bash を使用します。 非常に便利なのは、ブラウザに組み込まれた IDE (VS Code の軽量バージョン) です。 次に、エラー メトリック テンプレートに移動して編集し、ニーズに合わせてカスタマイズします。

このテンプレートでメトリクス収集を設定したら、それを使用してインフラストラクチャ全体のメトリクスを作成できます。 メトリクスを適用し、収集し、保存したら、それらを視覚化する必要があります。

Azure Monitor はメトリックのみを処理し、システムの正常性の全体像を提供しません。 Azure 環境の外部で他の多数のアプリケーションが実行されている場合があります。 したがって、すべてのプロセスを監視し、収集されたすべてのメトリックを XNUMX か所で視覚化する必要がある場合、Azure Monitor はこれには適していません。

この問題を解決するために、Microsoft は、さまざまなデータの視覚化を含むビジネス分析のための包括的なソフトウェアである Power BI ツールを提供しています。 これはかなり高価な製品であり、そのコストは必要な機能のセットによって異なります。 デフォルトでは、処理する 48 種類のデータが提供され、Azure SQL Data Warehouse、Azure Data Lake Storage、Azure Machine Learning Services、および Azure Databricks にリンクされています。 スケーラビリティを利用して、30 分ごとに新しいデータを受信できます。 リアルタイム監視の視覚化が必要な場合、これはニーズに十分でない場合があります。 この場合は、先ほど紹介した Grafana などのアプリケーションを使用することをお勧めします。 さらに、Microsoft のドキュメントでは、SIEM ツールを使用して可視化システム Splunk、SumoLogic、ELK、IBM レーダーにメトリクス、ログ、イベント テーブルを送信する機能について説明しています。

23:40分

続きはまたすぐに…

いくつかの広告 🙂

いつもご宿泊いただきありがとうございます。 私たちの記事が気に入っていますか? もっと興味深いコンテンツを見たいですか? 注文したり、友人に勧めたりして私たちをサポートしてください。 開発者向けのクラウド VPS は 4.99 ドルから, 当社があなたのために発明した、エントリーレベルのサーバーのユニークな類似物です。 VPS (KVM) E5-2697 v3 (6 コア) 10GB DDR4 480GB SSD 1Gbps 19 ドルからの真実、またはサーバーを共有する方法? (RAID1 および RAID10、最大 24 コア、最大 40GB DDR4 で利用可能)。

アムステルダムのエクイニクス Tier IV データセンターでは Dell R730xd が 2 倍安い? ここだけ 2 x Intel TetraDeca-Core Xeon 2x E5-2697v3 2.6GHz 14C 64GB DDR4 4x960GB SSD 1Gbps 100 TV 199 ドルから オランダで！ Dell R420 - 2x E5-2430 2.2Ghz 6C 128GB DDR3 2x960GB SSD 1Gbps 100TB - 99 ドルから! について読む インフラストラクチャー企業を構築する方法730 ペニーで 5 ユーロの価値がある Dell R2650xd E4-9000 vXNUMX サーバーを使用したクラスですか?

出所： habr.com