🥇私たちは tarantool | 用に独自の上限付き有効期限付きモジュールを作成しています。プロホスター

少し前に、スペース内のタプルをクリーンアップするという問題に直面しました。タランツール。クリーニングは、tarantool のメモリがすでに不足しているときではなく、事前に一定の頻度で開始する必要がありました。このタスクのために、tarantool には Lua で書かれたモジュールがあります。有効期限。このモジュールを短期間使用した後、このモジュールが私たちには適していないことがわかりました。大量のデータを定期的にクリーンアップするため、Lua が GC でハングしました。そこで私たちは、ネイティブプログラミング言語で書かれたコードが可能な限り最善の方法で問題を解決してくれることを期待して、独自の期限付きモジュールを開発することを考えました。

私たちにとっての良い例は、次の tarantool モジュールです。 memcached。ここで使用されるアプローチは、タプルの有効期間、つまり ttl を示す別のフィールドが空間内に作成されるという事実に基づいています。バックグラウンドのモジュールはスペースをスキャンし、TTL を現在の時刻と比較して、タプルを削除するかどうかを決定します。 memcached モジュールのコードはシンプルで洗練されていますが、汎用的すぎます。まず、クロールおよび削除されるインデックスの種類は考慮されません。次に、各パスですべてのタプルがスキャンされますが、その数は非常に多くなる可能性があります。そして、期限切れのモジュールで最初の問題が解決された場合 (ツリーインデックスが別のクラスに分離された)、XNUMX 番目の問題は依然として注目されませんでした。これら XNUMX つの点により、独自のコードを記述することを選択することが決まりました。

説明

tarantool のドキュメントには非常に優れた記述があります。チュートリアル C でストアドプロシージャを記述する方法について説明します。まず、以下に表示されるコマンドとコードによる挿入を理解するために、C に慣れておくことをお勧めします。こちらも注目です参照独自のキャップ付きモジュールを作成するときに使用できるオブジェクト、つまりボックス, 繊維, index и txn.

遠くから始めて、上限が設定された有効期限切れのモジュールが外側からどのように見えるかを見てみましょう。

fiber = require('fiber')
net_box = require('net.box')
box.cfg{listen = 3300}
box.schema.func.create('libcapped-expirationd.start', {language = 'C'})
box.schema.user.grant('guest', 'execute', 'function', 'libcapped-expirationd.start')
box.schema.func.create('libcapped-expirationd.kill', {language = 'C'})
box.schema.user.grant('guest', 'execute', 'function', 'libcapped-expirationd.kill')
box.schema.space.create('tester')
box.space.tester:create_index('primary', {unique = true, parts = {1, 'unsigned'}})
capped_connection = net_box:new(3300)

簡単にするために、libcapped-expirationd.so ライブラリが配置されているディレクトリで tarantool を起動します。 start と kill という XNUMX つの関数がライブラリからエクスポートされます。最初のステップは、box.schema.func.create と box.schema.user.grant を使用して、Lua からこれらの関数を利用できるようにすることです。次に、タプルに XNUMX つのフィールドのみを含むスペースを作成します。XNUMX つ目は一意の識別子、XNUMX つ目は電子メール、XNUMX つ目はタプルの有効期間です。最初のフィールドの上にツリーインデックスを構築し、それをプライマリと呼びます。次に、ネイティブライブラリへの接続オブジェクトを取得します。

準備作業が完了したら、start 関数を実行します。

capped_connection:call('libcapped-expirationd.start', {'non-indexed', box.space.tester.id, box.space.tester.index.primary, box.space.tester.index.primary, 3, 1024, 3600})

この例は、Lua で書かれた有効期限切れのモジュールとまったく同じようにスキャン中に動作します。 start 関数の最初の引数は、タスクの一意の名前です。 1 番目はスペース識別子です。 0 番目は、タプルを削除するための一意のインデックスです。 1024 番目は、タプルの走査に使用されるインデックスです。 3600 番目は、有効期間を持つタプルフィールドの番号です (番号付けは XNUMX ではなく XNUMX から始まります)。 XNUMX 番目と XNUMX 番目はスキャン設定です。 XNUMX は、XNUMX つのトランザクションで表示できるタプルの最大数です。 XNUMX — フルスキャン時間 (秒)。

この例では、クロールと削除に同じインデックスを使用していることに注意してください。これがツリーインデックスの場合、走査は小さいキーから大きいキーへ実行されます。他にハッシュインデックスなどがある場合、走査は原則としてランダムな順序で実行されます。すべての空間タプルは XNUMX 回のスキャンでスキャンされます。

有効期間が 60 秒のスペースにいくつかのタプルを挿入してみましょう。

box.space.tester:insert{0, '[email protected]', math.floor(fiber.time()) + 60}
box.space.tester:insert{1, '[email protected]', math.floor(fiber.time()) + 60}
box.space.tester:insert{2, '[email protected]', math.floor(fiber.time()) + 60}

挿入が成功したことを確認してみましょう。

tarantool> box.space.tester.index.primary:select()
---
- - [0, '[email protected]', 1576418976]
  - [1, '[email protected]', 1576418976]
  - [2, '[email protected]', 1576418976]
...

60 秒以上経過した後 (最初のタプルの挿入の開始から数えて) 選択を繰り返し、制限付きの有効期限が切れたモジュールがすでに処理されていることを確認してみましょう。

tarantool> box.space.tester.index.primary:select()
---
  - []
...

タスクを停止しましょう。

capped_connection:call('libcapped-expirationd.kill', {'non-indexed'})

クロールに別のインデックスが使用される XNUMX 番目の例を見てみましょう。

fiber = require('fiber')
net_box = require('net.box')
box.cfg{listen = 3300}
box.schema.func.create('libcapped-expirationd.start', {language = 'C'})
box.schema.user.grant('guest', 'execute', 'function', 'libcapped-expirationd.start')
box.schema.func.create('libcapped-expirationd.kill', {language = 'C'})
box.schema.user.grant('guest', 'execute', 'function', 'libcapped-expirationd.kill')
box.schema.space.create('tester')
box.space.tester:create_index('primary', {unique = true, parts = {1, 'unsigned'}})
box.space.tester:create_index('exp', {unique = false, parts = {3, 'unsigned'}})
capped_connection = net_box:new(3300)

ここでは、いくつかの例外を除いて、すべて最初の例と同じです。 XNUMX 番目のフィールドの上にツリーインデックスを構築し、それを exp と呼びます。このインデックスは、プライマリと呼ばれるインデックスとは異なり、一意である必要はありません。走査はexpインデックスによって実行され、削除はプライマリによって実行されます。以前はどちらもプライマリインデックスを使用してのみ行われていたことを思い出します。

準備作業が完了したら、新しい引数を指定して start 関数を実行します。

capped_connection:call('libcapped-expirationd.start', {'indexed', box.space.tester.id, box.space.tester.index.primary, box.space.tester.index.exp, 3, 1024, 3600})

有効期間が 60 秒のいくつかのタプルを再びスペースに挿入してみましょう。

box.space.tester:insert{0, '[email protected]', math.floor(fiber.time()) + 60}
box.space.tester:insert{1, '[email protected]', math.floor(fiber.time()) + 60}
box.space.tester:insert{2, '[email protected]', math.floor(fiber.time()) + 60}

30 秒後、類推して、さらにいくつかのタプルを追加します。

box.space.tester:insert{3, '[email protected]', math.floor(fiber.time()) + 60}
box.space.tester:insert{4, '[email protected]', math.floor(fiber.time()) + 60}
box.space.tester:insert{5, '[email protected]', math.floor(fiber.time()) + 60}

挿入が成功したことを確認してみましょう。

tarantool> box.space.tester.index.primary:select()
---
- - [0, '[email protected]', 1576421257]
  - [1, '[email protected]', 1576421257]
  - [2, '[email protected]', 1576421257]
  - [3, '[email protected]', 1576421287]
  - [4, '[email protected]', 1576421287]
  - [5, '[email protected]', 1576421287]
...

tarantool> box.space.tester.index.primary:select()
---
- - [3, '[email protected]', 1576421287]
  - [4, '[email protected]', 1576421287]
  - [5, '[email protected]', 1576421287]
...

空間にはまだ残り約 30 秒のタプルがいくつか残っています。さらに、ID 2、ライフタイム 1576421257 のタプルから ID 3、ライフタイム 1576421287 のタプルに移動するときにスキャンが停止しました。ライフタイム 1576421287 以上のタプルは、次の順序によりスキャンされませんでした。 exp インデックスキー。これは私たちが当初達成したいと考えていた節約です。

タスクを停止しましょう。

capped_connection:call('libcapped-expirationd.kill', {'indexed'})

具現化

プロジェクトのすべての機能について知る最良の方法は、その元のソースです。コード！この出版物の一部として、最も重要な点、つまりスペースバイパスアルゴリズムのみに焦点を当てます。

start メソッドに渡す引数は、expirationd_task という構造体に保存されます。

struct expirationd_task
{
  char name[256];
  uint32_t space_id;
  uint32_t rm_index_id;
  uint32_t it_index_id;
  uint32_t it_index_type; 
  uint32_t field_no;
  uint32_t scan_size;
  uint32_t scan_time;
};

name 属性はタスクの名前です。 space_id 属性はスペース識別子です。 rm_index_id 属性は、タプルが削除される一意のインデックスの識別子です。 it_index_id 属性は、タプルの走査に使用されるインデックスの識別子です。 it_index_type 属性は、タプルが走査されるインデックスのタイプです。 filed_no 属性は、有効期間を持つタプルフィールドの番号です。 scan_size 属性は、XNUMX つのトランザクションでスキャンされるタプルの最大数です。 scan_time 属性は、完全なスキャン時間 (秒単位) です。

引数の解析については考慮しません。これは骨の折れる作業ですが、単純な作業です。図書館がお手伝いします。メッセージパック。問題は、mp_bool、mp_double、mp_int、mp_uint、mp_array などの単純な型を使用せず、mp_map 型の複雑なデータ構造として Lua から渡されるインデックスでのみ発生する可能性があります。ただし、インデックス全体を解析する必要はありません。必要なのは、その一意性を確認し、タイプを計算し、識別子を抽出することだけです。

解析に使用されるすべての関数のプロトタイプをリストします。

bool expirationd_parse_name(struct expirationd_task *task, const char **pos);
bool expirationd_parse_space_id(struct expirationd_task *task, const char **pos);
bool expirationd_parse_rm_index_id(struct expirationd_task *task, const char **pos);
bool expirationd_parse_rm_index_unique(struct expirationd_task *task, const char **pos);
bool expirationd_parse_rm_index(struct expirationd_task *task, const char **pos);
bool expirationd_parse_it_index_id(struct expirationd_task *task, const char **pos);
bool expirationd_parse_it_index_type(struct expirationd_task *task, const char **pos);
bool expirationd_parse_it_index(struct expirationd_task *task, const char **pos);
bool expirationd_parse_field_no(struct expirationd_task *task, const char **pos);
bool expirationd_parse_scan_size(struct expirationd_task *task, const char **pos);
bool expirationd_parse_scan_time(struct expirationd_task *task, const char **pos);

次に、最も重要なこと、スペースをバイパスしてタプルを削除するロジックに移りましょう。 scan_size 以下のタプルの各ブロックは、単一のトランザクションでスキャンおよび変更されます。成功した場合、このトランザクションはコミットされ、エラーが発生した場合、ロールバックされます。 Expirationd_iterate 関数の最後の引数は、スキャンが開始または継続される反復子へのポインタです。この反復子は、エラーが発生するか、スペースがなくなるか、事前にプロセスを停止できなくなるまで、内部的にインクリメントされます。関数expired_expiredはタプルの有効期間をチェックし、expirationd_deleteはタプルを削除し、expirationd_breakableは次に進む必要があるかどうかをチェックします。

Expirationd_iterate 関数コード:

static bool
expirationd_iterate(struct expirationd_task *task, box_iterator_t **iterp)
{
  box_iterator_t *iter = *iterp;
  box_txn_begin();
  for (uint32_t i = 0; i < task->scan_size; ++i) {
    box_tuple_t *tuple = NULL;
    if (box_iterator_next(iter, &tuple) < 0) {
      box_iterator_free(iter);
      *iterp = NULL;
      box_txn_rollback();
      return false;
    }
    if (!tuple) {
      box_iterator_free(iter);
      *iterp = NULL;
      box_txn_commit();
      return true;
    }
    if (expirationd_expired(task, tuple))
      expirationd_delete(task, tuple);
    else if (expirationd_breakable(task))
      break;
  }
  box_txn_commit();
  return true;
}

関数コードexpired_expired:

static bool
expirationd_expired(struct expirationd_task *task, box_tuple_t *tuple)
{
  const char *buf = box_tuple_field(tuple, task->field_no - 1);
  if (!buf || mp_typeof(*buf) != MP_UINT)
    return false;
  uint64_t val = mp_decode_uint(&buf);
  if (val > fiber_time64() / 1000000)
    return false;
  return true;
}

Expirationd_delete 関数コード:

static void
expirationd_delete(struct expirationd_task *task, box_tuple_t *tuple)
{
  uint32_t len;
  const char *str = box_tuple_extract_key(tuple, task->space_id, task->rm_index_id, &len);
  box_delete(task->space_id, task->rm_index_id, str, str + len, NULL);
}

ファンクションコードexpiration_breakable:

static bool
expirationd_breakable(struct expirationd_task *task)
{
  return task->it_index_id != task->rm_index_id && task->it_index_type == ITER_GT;
}

アプリケーション

ソースコードは次の場所で表示できます。ここで!

出所： habr.com

tarantool 用に独自の上限付き有効期限付きモジュールを作成する

説明

具現化

アプリケーション

コメントを追加します返信をキャンセル

tarantool 用に独自の上限付き有効期限付きモジュールを作成する

説明

具現化

アプリケーション

コメントを追加します 返信をキャンセル

コメントを追加します返信をキャンセル