Tarantool Data Grid のアーキテクチャと機能

2017年、私たちはAlfa-Bankの投資ビジネスのトランザクションコアを開発するコンペで優勝し、取り組みを開始しました（HighLoad++ 2018で投資ビジネスのコアに関するレポートを発表しました） 行った ウラジミール・ドリンキン氏、アルファ銀行の投資事業の取引中核責任者）。 このシステムは、さまざまなソースからのトランザクション データをさまざまな形式で集約し、データを統一形式にして保存し、アクセスを提供することを想定していました。

開発プロセス中、システムは進化して機能を獲得し、ある時点で、厳密に定義された範囲のタスクを解決するために作成された単なるアプリケーション ソフトウェア以上のものを結晶化していることに気づきました。 永続ストレージを使用して分散アプリケーションを構築するためのシステム。 私たちが得た経験が新製品の基礎となりました - タランツール データ グリッド (TDG)。

TDG アーキテクチャと開発プロセス中にたどり着いたソリューションについてお話し、主な機能を紹介し、当社の製品が完全なソリューションを構築するための基盤となる方法を示したいと思います。

アーキテクチャ的には、システムを個別に分割しました。 役割、それぞれが一定範囲の問題を解決する責任を負います。 実行中の単一のアプリケーション インスタンスは XNUMX つ以上のロール タイプを実装します。 クラスター内には同じタイプのロールが複数存在する場合があります。

ボンジョイント

コネクタは外部との通信を担当します。 そのタスクは、リクエストを受け入れて解析し、これが成功した場合は、処理するデータを入力プロセッサに送信することです。 HTTP、SOAP、Kafka、FIX 形式をサポートします。 このアーキテクチャーでは、新しい形式のサポートを追加するだけで済み、IBM MQ のサポートも近日中に開始されます。 リクエストの解析が失敗した場合、コネクタはエラーを返します。 それ以外の場合は、その後の処理中にエラーが発生した場合でも、リクエストが正常に処理されたと応答します。 これは、リクエストを繰り返す方法がわからないシステム、または逆にリクエストをあまりにもしつこく繰り返すシステムで動作するために特別に行われました。 データを失わないようにするために、修復キューが使用されます。オブジェクトは最初に修復キューに入り、正常な処理が修復キューから削除された後にのみ修復キューに入ります。 管理者は、修復キューに残っているオブジェクトに関するアラートを受信し、ソフトウェア エラーまたはハードウェア障害を取り除いた後、再試行できます。

入力プロセッサ

入力プロセッサは、受信したデータを特徴に従って分類し、適切なプロセッサを呼び出します。 ハンドラーはサンドボックス内で実行される Lua コードであるため、システムの機能に影響を与えることはできません。 この段階では、データを必要な形式に縮小し、必要に応じて、必要なロジックを実装できる任意の数のタスクを起動できます。 たとえば、Tarantool Data Grid 上に構築された MDM (マスター データ管理) 製品では、新しいユーザーを追加するときに、リクエストの処理が遅くならないように、別のタスクとしてゴールデン レコードの作成を開始します。 サンドボックスは、データの読み取り、変更、追加のリクエストをサポートし、ストレージ タイプのすべてのロールと結果の集計 (マップ/リデュース) に対して何らかの機能を実行できるようにします。

ハンドラーは次のファイルに記述できます。

sum.lua

local x, y = unpack(...)
return x + y

そして、設定で次のように宣言します。

functions:
  sum: { __file: sum.lua }

なぜルアなのか？ Lua は非常にシンプルな言語です。 私たちの経験によると、人々はそれを理解してから数時間後に、問題を解決するコードを書き始めます。 そして、これらはプロの開発者だけでなく、たとえばアナリストも含まれます。 さらに、jit コンパイラーのおかげで、Lua は非常に高速に実行されます。

Storage

ストレージには永続的なデータが保存されます。 保存する前に、データはデータ スキーマに対して検証されます。 回路を記述するために拡張フォーマットを使用します アパッチ・アブロ。 例：

{
    "name": "User",
    "type": "record",
    "logicalType": "Aggregate",
    "fields": [ 
        { "name": "id", "type": "string"}, 
        {"name": "first_name", "type": "string"}, 
        {"name": "last_name", "type": "string"} 
    ], 
    "indexes": ["id"] 
}

この記述に基づいて、Tarantula DBMS 用の DDL (データ定義言語) が自動生成され、 GraphQL データアクセス用のスキーマ。

非同期データ レプリケーションがサポートされています (同期も追加する予定です)。

出力プロセッサ

場合によっては、外部コンシューマに新しいデータの到着を通知する必要がある場合があります。この目的のために、出力プロセッサの役割があります。 データを保存した後、データを適切なハンドラー (たとえば、コンシューマーが必要とするフォームに移動するため) に渡し、送信のためにコネクタに渡すことができます。 ここでは修復キューも使用されます。誰もオブジェクトを受け入れなかった場合、管理者は後で再試行できます。

スケーリング

コネクタ、入力プロセッサ、および出力プロセッサの役割はステートレスであるため、目的の役割タイプを有効にして新しいアプリケーション インスタンスを追加するだけで、システムを水平方向に拡張できます。 ストレージは水平方向のスケーリングに使用されます アプローチ 仮想バケットを使用してクラスターを編成します。 新しいサーバーを追加すると、古いサーバーのバケットの一部がバックグラウンドで新しいサーバーに移動されます。 これはユーザーに対して透過的に行われ、システム全体の動作には影響しません。

データのプロパティ

オブジェクトは非常に大きくなり、他のオブジェクトが含まれる場合があります。 すべての依存関係を持つオブジェクトを XNUMX つの仮想バケットに保存することで、データの追加と更新のアトミック性を確保します。 これにより、オブジェクトが複数の物理サーバーに「分散」するのを防ぎます。

バージョン管理がサポートされています。オブジェクトが更新されるたびに新しいバージョンが作成され、いつでもタイムスライスを取得して、当時の世界がどのように見えていたかを確認できます。 長い履歴を必要としないデータの場合は、バージョンの数を制限したり、最新バージョンを 1 つだけ保存したりすることもできます。つまり、特定のタイプのバージョン管理を基本的に無効にすることができます。 時間によって履歴を制限することもできます。たとえば、XNUMX 年より古い特定のタイプのオブジェクトをすべて削除します。 アーカイブもサポートされています。指定された時間より古いオブジェクトをアンロードして、クラスター内のスペースを解放できます。

タスク

興味深い機能の中でも、スケジュールに従って、ユーザーのリクエストに応じて、またはサンドボックスからプログラム的にタスクを起動できる機能は注目に値します。

ここでは、別の役割であるランナーが表示されます。 このロールはステートレスであり、必要に応じて、このロールを持つ追加のアプリケーション インスタンスをクラスターに追加できます。 ランナーの責任はタスクを完了することです。 前述したように、サンドボックスから新しいタスクを生成することができます。 これらはストレージ上のキューに保存され、ランナー上で実行されます。 このタイプのタスクはジョブと呼ばれます。 Task と呼ばれるタスク タイプもあります。これらは、スケジュール (cron 構文を使用) またはオンデマンドで実行されるユーザー定義のタスクです。 このようなタスクを起動して追跡するために、便利なタスク マネージャーが用意されています。 この機能を使用するには、スケジューラーの役割を有効にする必要があります。 このロールには状態があるため、スケールしませんが、これは必須ではありません。 同時に、他のすべてのロールと同様に、マスターが突然拒否した場合に動作を開始するレプリカを持つことができます。

ロガー

もう XNUMX つの役割はロガーと呼ばれます。 クラスターのすべてのメンバーからログを収集し、Web インターフェイスを介してログをアップロードおよび表示するためのインターフェイスを提供します。

サービス

特筆すべきは、このシステムによりサービスを簡単に作成できることです。 構成ファイルでは、サンドボックス内で実行されるユーザー作成のハンドラーにどのリクエストを送信するかを指定できます。 このハンドラーでは、たとえば、ある種の分析クエリを実行して結果を返すことができます。

サービスは構成ファイルに記述されています。

services:
   sum:
      doc: "adds two numbers"
      function: sum
      return_type: int
      args:
         x: int
         y: int

GraphQL API が自動的に生成され、サービスを呼び出すことができるようになります。

query {
   sum(x: 1, y: 2) 
}

これによりハンドラーが呼び出されます sumこれは結果を返します:

3

クエリプロファイリングとメトリクス

システムの動作とリクエストのプロファイリングを理解するために、OpenTracing プロトコルのサポートを実装しました。 システムは、Zipkin などのこのプロトコルをサポートするツールにオンデマンドで情報を送信できます。これにより、リクエストがどのように実行されたかを理解できるようになります。

当然のことながら、このシステムは、Prometheus を使用して収集し、Grafana を使用して視覚化できる内部メトリックを提供します。

展開する

Tarantool Data Grid は、ディストリビューションまたは Ansible のユーティリティを使用して、RPM パッケージまたはアーカイブからデプロイできます。Kubernetes のサポートもあります (Tarantool Kubernetes オペレーター).

ビジネス ロジック (構成、ハンドラー) を実装するアプリケーションは、UI を介してアーカイブの形式で、または当社が提供する API を介してスクリプトを使用して、デプロイされた Tarantool Data Grid クラスターにロードされます。

哲学の入門書

Tarantool Data Grid を使用してどのようなアプリケーションを作成できますか? 実際、ほとんどのビジネス タスクは、データ フローの処理、保存、アクセスに何らかの形で関連しています。 したがって、安全に保存してアクセスする必要がある大量のデータ ストリームがある場合、当社の製品を使用すると開発時間を大幅に節約し、ビジネス ロジックに集中できます。

たとえば、不動産市場に関する情報を収集して、将来的には最良のオファーに関する情報を得ることができるようにしたいと考えています。 この場合、次のタスクに焦点を当てます。

1. オープンソースから情報を収集するロボットがデータソースになります。 この問題は、既製のソリューションを使用するか、任意の言語でコードを作成することで解決できます。
2. 次に、Tarantool Data Grid がデータを受け入れて保存します。 異なるソースからのデータ形式が異なる場合は、単一形式への変換を実行するコードを Lua で作成できます。 前処理段階では、たとえば、重複したオファーをフィルタリングしたり、データベース内の市場で働いているエージェントに関する情報を追加更新したりすることもできます。
3. これで、クラスター内にデータを入力してデータを選択できるスケーラブルなソリューションがすでに完成しました。 その後、新しい機能を実装できます。たとえば、データをリクエストして XNUMX 日あたり最も有利なオファーを提供するサービスを作成します。これには、構成ファイルに数行と少しの Lua コードが必要です。

次は何ですか？

私たちの優先事項は、 タランツール データ グリッド。 たとえば、これは、サンドボックスで実行されるハンドラーのプロファイリングとデバッグをサポートする IDE です。

安全性にも細心の注意を払っております。 現在、個人データ情報システムや政府情報システムで使用されるソフトウェア製品の認証要件を満たすため、高いセキュリティレベルを確認するため、ロシアのFSTECによる認証を受けています。

出所： habr.com