ブルームバーグのストレージ サポート チームはオープンソースと SDS に依存しています

TL; DR: ブルームバーグ ストレージ エンジニアリング チームは、インフラストラクチャに干渉せず、パンデミック中の取引変動による大きな負荷に耐えることができる社内使用向けのクラウド ストレージを作成しました。

マシュー・レナードは、ブルームバーグ・ストレージ・エンジニアリング・チームの技術マネージャーとしての仕事について語るとき、「挑戦的」と「楽しい」という言葉をよく使います。 課題は、最新の NVMe ベースの SAN アレイから DevOps のオープンソース ソフトウェア デファインド ストレージに至るまで、幅広いストレージから発生します。 ここからが「楽しい」の始まりです (Habré の私のアバターを参照してください。 約。 翻訳者).

レナードと彼の同僚 25 人のチームは、マイケル ブルームバーグを億万長者にしたテクノロジーであるブルームバーグ ターミナル用のアプリケーションを開発する 100 人のエンジニアのための 6000 ペタバイトを超える容量と内部クラウドを監督しています。 このチームは、Bloomberg Engineering のストレージ システムを設計、構築、保守しています。

他の IT 専門家と同様に、2020 年はストレージ エンジニアリング チームのメンバーにとって、新型コロナウイルス感染症の影響でリモート勤務を余儀なくされた異例の年でした。 レナード氏は、パンデミックは対面でのやり取りが排除され、「緊密なチーム」に社会的な影響を与えたが、スタッフはノートパソコンやビデオ会議を使った在宅勤務にすぐに適応したと語った。

驚くべきことに、これによって事態は悪化しなかったと言いたいです。 適応期間は短く、誰もが自宅で仕事をする準備ができていたわけではありませんでした。 XNUMX、XNUMX週間後には誰もがこれを理解しました。 私たちは、このような時期でも忙しくし、機器を購入およびアップグレードし、会社をサポートするためのコストを増やす方法を見つけることができました。 クリエイティブにならなければならなかったが、怪我はしなかった

最大の課題は新型コロナウイルス感染症のピーク以前にあった可能性がある。 パンデミックが世界経済に与える影響への懸念から市場取引が不安定になったためだ。 世界の資本市場からブルームバーグ端末に流入するデータ量はほぼ２倍となり、３月下旬には２４００億件に達した日もあった。 これはストレージ システムの本格的なテストです。

XNUMX 日でストレージ要件が瞬時に XNUMX 倍になると、興味深い問題が発生します。 私たちはこの問題を克服し、アプリケーション開発チームに必要なスペースとパフォーマンスを確実に提供することができました。 そのほとんどは、ストレージ システムについての考え方に関係しています。 今日、私たちは何も創造していません。 「ABCを使っているから、ABCのインフラを構築します」とは言いません。 私たちはチームとともに「データ予算編成」と呼ばれるものを実行して、使用量を予測し、使用量とパフォーマンスの傾向を分析し、セキュリティにも目を向けています。 この種の計画、考え方、系統的なデューデリジェンスにより、汗をかかずにサージに対して抜本的な措置を講じることができます。 もちろん緊張しましたが、その場にいると安心しました。

Leonard は最近、データ駆動型ビジネスのストレージ管理について SearchStorage と詳しく話しました。 同氏は、ブルームバーグ データセンターにデータを保管しながら、ユーザーに AWS の機能を提供できるプライベート クラウド ストレージ ソリューションを提供するには何が必要かについて説明しました。

パンデミックがなくなった場合、ブルームバーグのエンジニアはストレージの管理でどのような困難を抱えているでしょうか?

私たちには多くのニーズがあり、単にさまざまな方向に引き裂かれています。 そのため、アプリケーション開発者がストレージ自体について心配することなく、自分たちのタスクに集中できるように、さまざまな SLA レベルでさまざまなタイプの製品を提供する必要があります。

そして、そのためにどのような戦略に従いますか?

私たちがやろうとしていることの XNUMX つは、ストレージのパフォーマンスを向上させることです。 開発エンジニアが現場に入り、ボタンを押し、「クリック」するだけで魔法のように適切なストレージ タイプを取得して問題を解決する AWS モデルを考えてみましょう。

ストレージ インフラストラクチャはどのようなものですか?

当社には非常に多様なエコシステムがあり、さまざまな開発者が存在するため、単一の製品を提供することはできません。 オブジェクト、ファイル、ブロックストレージがあります。 これらは異なる製品であり、それらを提供するために私たちはさまざまな種類のテクノロジーを提供しています。 ブロックにはSANを使用します。 また、異なるパフォーマンス要件を備えた別のブロック ストレージ オプションを提供する SDS もあります。 ファイルには NFS を使用します。 SDS はオブジェクト ストレージにも使用されます。 ブロック部分とオブジェクト部分は、コンピューティングとストレージのための内部プライベート クラウドを形成します。

パブリック クラウド ストレージは使用しないのですか?

それは正しい。 一部の開発チームはパブリック クラウドを使用する許可を持っています。 しかし、私たちのビジネスの性質上、私たちは壁から出てくるものをもっとコントロールしたいと考えています。 はい、私たちは私たちの制御下にある独自のクラウドを持っています。 当社データセンター内に設置されている当社管理下の機器です。

当社のデータセンターでは、マルチベンダー戦略を好みます。 彼らは大規模なサプライヤーですが、正確に誰がとは言いません（どのサプライヤーも支持しないのがブルームバーグの方針です。 約。 翻訳者).

プライベート クラウドを構築するためにハイパーコンバージド インフラストラクチャを使用していますか?

いいえ。 私たちブルームバーグは、ハイパーコンバージェンスに向かわない方向を選択しています。 私たちはコンピューティングをストレージから切り離して、独立してスケールできるようにしようとしています。 特にクラウドに関して私たちが進んでいる方向は、これら XNUMX つのエンティティを分離できるようにすることです。 それはすべて、我が国では集中的な計算が必要なものもあれば、ストレージが必要なものもあるからです。 これらを均等に拡張すると、お金やデータセンターのスペースに関係なく、あるいは必要のない容量を購入することによって、リソースを失うことになります。 そのため、私たちは XNUMX つのエンティティ間に共通のインターフェイスを使用し、それらを完全に異なるシステムにし、異なるチームによって管理したいと考えています。

プライベート クラウドを構築するにはどのような障害を克服する必要がありますか?

スケールの問題。 ほとんどの物事と同様、悪魔は細部に宿ります。 これらがどのように機能するか、回復力を高める方法、運用負荷を処理する方法、物理資産チームとコミュニケーションする方法について考えると、物事は少し興味深いものになります。 課題は、パブリック クラウドが行っていることの最先端を維持しながら機能セットを充実させ、アプリケーション開発者が使用したいと思うような、すべてをスケーラブルでサポート可能な製品にする方法を見つけることです。 そして、それが機能し続けるようにすべてをまとめることも必要です。 これが私たちの主な問題です。私たちはビジネスのあらゆる分野にまたがって取り組んでおり、すべてのニーズを満たすよう努めていますが、他のニーズを無視することはありません。

AWS やその他のパブリック クラウドで利用できる最新の機能が必要だと思いますか?

S3 の最も興味深い事実は、生活水準が常に変化しており、新しい機能が常に追加されていることです。 まるで新しいおもちゃのようです。 新しいリリースで新機能を見つけた人は、それを欲しがります。 すべての AWS 機能が私たちの環境に適用できるわけではないため、開発者にとって何が役立つのか、またそれを社内に導入する方法を知ることは重要かつ興味深いことです。

どのような保管機器を使用していますか?

最新の設備を使用しております。 当社の社内クラウドは完全に NVMe フラッシュに基づいており、これらのシステムを非常に強力にしています。 これにより、私たちの作業が少し楽になります。また、ストレージのパフォーマンスを心配する必要がないため、開発者にとっても優れた機能です。

オブジェクトストレージを何に使用しますか?

当社には 6000 人の開発者がインフラストラクチャに取り組んでいますが、彼らは XNUMX つのユースケースによって団結しているわけではありません。 考えられるあらゆるオプションは、おそらくオブジェクト ストレージにあるでしょう。 コールド アーカイブ ストレージに使用するチーム、データ転送に使用するチーム、トランザクション アプリケーションに使用するチームもあります。 これらのユースケースはすべて、異なるレベルの SLA を必要とするため、ご覧のとおり、インフラストラクチャのさまざまなユーザーに対してさまざまな種類のトラフィック、あらゆる種類のニーズがあります。 これは、当社のストレージ上で実行される同種のユースケースではないため、明らかに状況がより複雑になります。

Kubernetes とコンテナーはあなたにとってどれほど大きな役割を果たしていますか?また、それはストレージにどのような影響を与えますか?

私たちは、クラウドの感覚、つまりサービスとしての何かの感覚を生み出すためにストレージの生産性を推進しており、開発者が開発を加速し、途中でインフラストラクチャを削除できるボタンがあります。

編集者注記：15年2020月XNUMX日準備完了予定 Ceph ビデオコース。 耐障害性を向上させるためにプロジェクトで使用する Ceph ネットワーク ストレージ テクノロジを学びます。

私たちには XNUMX つのチームがあり、XNUMX つ目はストレージ API チームです。 彼らは、ブルームバーグのアプリ開発クライアント向けにプログラムによるアクセス、エンドポイント、事前定義されたワークフローを作成しています。 これはフルスタック Web 開発者のチームで、node.js、Python、Apache Airflow などのオープン ソース テクノロジを使用し、コンテナ化と仮想化を研究しています。

また、実際にビットやバイトを動かす技術チームが XNUMX つあります。 それらはより直接的に機器に関連しています。 私たちはたくさんの機器を持っていますが、これらのチームは仮想化やコンテナを使用していません。

私たちは、Kubernetes CSI ドライバーを研究し、業界で何が起こっているかを常に把握しようと努めています。また、ブルームバーグの Kubernetes 実装チームと緊密に連携して、Kubernetes ストレージを当社のテクノロジーと一貫して動作させることができるかどうかを評価しています。それは動作します。 SDS を使用して、永続ストレージに接続された Kubernetes をサポートします。 私たちはこのテクノロジーの開発に成功し、ブルームバーグの他の全員がこれを利用できるようにする方法について XNUMX つのチーム間で議論が続けられています。 私たちはこれが十分に可能であることを示しました。

他に特にストレージに使用しているオープンソース ソフトウェアは何ですか?

アプリケーションのトラフィックを制限するために、Apache Airflow、HAProxy を使用します。 SDS のプラットフォームである Ceph も使用しています。 これを使用すると、コマンド用に XNUMX つのシステムを使用しながら、クライアントに複数のインターフェイスを提供できます。 仮想化プラットフォームの XNUMX つは OpenStack 上で実行されており、私たちはこのチームと緊密に連携しています。 当社には、ストレージにオープンソースの SDS プラットフォームを使用するオープンソースの仮想化プラットフォームがあります。 それはおかしいです。

今後 XNUMX ～ XNUMX 年でどのようなストレージ テクノロジーを検討していますか?

私たちは、ストレージ業界で起こっている他の素晴らしい新しい出来事を常に調べています。 これは私たちの仕事の一部であり、「ここに SAN があるからここで管理し、ここに NFS があるからそこで管理する」というものではありません。 私たちはクライアントとのコミュニケーションに努めます。 弊社のアプリケーション開発者によるものです。 私たちは、彼らがどのような問題を解決しようとしているのか、そしてそれがブルームバーグ社の外部クライアントである銀行や当社のソフトウェアを使用しているその他の企業にどのような影響を与えるのかを理解するために協力しています。 そして私たちはデータ ストレージの世界に戻り、彼らの目標達成を支援する機会を見つけます。 SLA または彼らがやろうとしていることに適合する適切なストレージ テクノロジーを見つけるのをどのように支援できるでしょうか? クールなことをやっているエンジニアがたくさんいるので、飽きることがありません。

現在、汎用サーバー上で実行できる可能性のある SDS のパフォーマンスを向上させる方法を検討しています。 そこで私たちは NVMe over TCP に取り組んでいます。これは非常に興味深く素晴らしい取り組みであり、数多くある取り組みのうちの XNUMX つです。 また、業界の主要人物や既存のサプライヤーの一部と協力して、彼らが提供するものと実際のパフォーマンスがどうなるか、社内の生産で使用を開始できるかどうかを調べています。 これにより、これまでアクセスできなかった新たな視野が開かれます。

PSのちょっとしたお手伝い

PS できれば、28 月 30 日から XNUMX 日まで開催されることをお知らせしたいと思います。 集中的な Kubernetes ベース, Kubernetes については知らないが、Kubernetes に慣れて作業を始めたいと考えている人向けです。

出所： habr.com