ট্যারান্টুলের জন্য আমাদের নিজস্ব ক্যাপড মেয়াদোত্তীর্ণ মডিউল লেখা

কিছু সময় আগে আমরা ফাঁকা জায়গায় টিপল পরিষ্কার করার সমস্যার সম্মুখীন হয়েছিলাম ট্যারান্টুল. পরিষ্কার করা শুরু করা উচিত ছিল যখন ট্যারান্টুল ইতিমধ্যেই মেমরি ফুরিয়ে যাচ্ছে, তবে আগে থেকে এবং একটি নির্দিষ্ট ফ্রিকোয়েন্সিতে। এই কাজের জন্য, ট্যারান্টুলের একটি মডিউল রয়েছে যা লুয়াতে লেখা আছে মেয়াদ. অল্প সময়ের জন্য এই মডিউলটি ব্যবহার করার পরে, আমরা বুঝতে পেরেছিলাম যে এটি আমাদের জন্য উপযুক্ত নয়: প্রচুর পরিমাণে ডেটা ক্রমাগত পরিষ্কার করার কারণে, লুয়া জিসিতে ঝুলেছিল। অতএব, আমরা আমাদের নিজস্ব ক্যাপড মেয়াদোত্তীর্ণ মডিউল তৈরি করার কথা ভেবেছিলাম, এই আশায় যে একটি নেটিভ প্রোগ্রামিং ভাষায় লেখা কোডটি আমাদের সমস্যার সর্বোত্তম উপায়ে সমাধান করবে।

আমাদের জন্য একটি ভাল উদাহরণ ছিল ট্যারান্টুল মডিউল নামক memcached. এটিতে ব্যবহৃত পদ্ধতিটি এই সত্যের উপর ভিত্তি করে যে স্থানটিতে একটি পৃথক ক্ষেত্র তৈরি করা হয়েছে, যা টিপলের জীবনকাল নির্দেশ করে, অন্য কথায়, ttl। ব্যাকগ্রাউন্ডের মডিউলটি স্পেস স্ক্যান করে, বর্তমান সময়ের সাথে TTL তুলনা করে এবং টিপল মুছে ফেলবে কি না তা সিদ্ধান্ত নেয়। memcached মডিউল কোড সহজ এবং মার্জিত, কিন্তু খুব সাধারণ. প্রথমত, এটি ক্রল করা এবং মুছে ফেলা সূচকের ধরণকে বিবেচনা করে না। দ্বিতীয়ত, প্রতিটি পাসে সমস্ত টিপল স্ক্যান করা হয়, যার সংখ্যা বেশ বড় হতে পারে। এবং যদি মেয়াদোত্তীর্ণ মডিউলে প্রথম সমস্যাটি সমাধান করা হয় (গাছের সূচকটি একটি পৃথক শ্রেণিতে বিভক্ত ছিল), তবে দ্বিতীয়টি এখনও কোনও মনোযোগ পায়নি। এই তিনটি পয়েন্ট আমার নিজের কোড লেখার পক্ষে পছন্দটি পূর্বনির্ধারিত করেছে।

বিবরণ

ট্যারান্টুলের ডকুমেন্টেশন খুব ভালো টিউটোরিয়াল সি-তে আপনার সংরক্ষিত পদ্ধতিগুলি কীভাবে লিখবেন সে সম্পর্কে। প্রথমত, আমি পরামর্শ দিচ্ছি যে আপনি নীচে প্রদর্শিত কমান্ড এবং কোড সহ সেই সন্নিবেশগুলি বোঝার জন্য এটির সাথে নিজেকে পরিচিত করুন। এটি মনোযোগ দিতে মূল্যও রেফারেন্স আপনার নিজস্ব ক্যাপড মডিউল লেখার সময় উপলব্ধ বস্তুগুলিতে, যথা বক্স, তন্তু, সূচক и txn.

আসুন দূর থেকে শুরু করি এবং একটি ক্যাপড মেয়াদোত্তীর্ণ মডিউলটি বাইরে থেকে কেমন দেখায় তা দেখুন:

fiber = require('fiber')
net_box = require('net.box')
box.cfg{listen = 3300}
box.schema.func.create('libcapped-expirationd.start', {language = 'C'})
box.schema.user.grant('guest', 'execute', 'function', 'libcapped-expirationd.start')
box.schema.func.create('libcapped-expirationd.kill', {language = 'C'})
box.schema.user.grant('guest', 'execute', 'function', 'libcapped-expirationd.kill')
box.schema.space.create('tester')
box.space.tester:create_index('primary', {unique = true, parts = {1, 'unsigned'}})
capped_connection = net_box:new(3300)

সরলতার জন্য, আমাদের libcapped-expirationd.so লাইব্রেরি যে ডিরেক্টরিতে অবস্থিত সেখানে আমরা tarantool চালু করি। লাইব্রেরি থেকে দুটি ফাংশন রপ্তানি করা হয়: স্টার্ট এবং মেল। প্রথম ধাপ হল লুয়া থেকে box.schema.func.create এবং box.schema.user.grant ব্যবহার করে এই ফাংশনগুলি উপলব্ধ করা৷ তারপরে এমন একটি স্থান তৈরি করুন যার টিপলে শুধুমাত্র তিনটি ক্ষেত্র থাকবে: প্রথমটি একটি অনন্য শনাক্তকারী, দ্বিতীয়টি হল ইমেল এবং তৃতীয়টি টিপলের জীবনকাল। আমরা প্রথম ক্ষেত্রের উপরে একটি গাছের সূচক তৈরি করি এবং এটিকে প্রাথমিক বলি। এরপরে আমরা আমাদের নেটিভ লাইব্রেরিতে সংযোগ বস্তুটি পাই।

প্রস্তুতিমূলক কাজের পরে, স্টার্ট ফাংশনটি চালান:

capped_connection:call('libcapped-expirationd.start', {'non-indexed', box.space.tester.id, box.space.tester.index.primary, box.space.tester.index.primary, 3, 1024, 3600})

এই উদাহরণটি স্ক্যান করার সময় লুয়াতে লেখা মেয়াদোত্তীর্ণ মডিউলের মতোই কাজ করবে। স্টার্ট ফাংশনের প্রথম আর্গুমেন্ট হল টাস্কের অনন্য নাম। দ্বিতীয়টি হল স্থান শনাক্তকারী। তৃতীয়টি একটি অনন্য সূচক যার দ্বারা টিপলগুলি মুছে ফেলা হবে। চতুর্থটি হল সূচক যার দ্বারা টিপলগুলিকে অতিক্রম করা হবে৷ পঞ্চম হল লাইফটাইম সহ টিপল ফিল্ডের সংখ্যা (সংখ্যা 1 থেকে শুরু হয়, 0 নয়!)। ষষ্ঠ এবং সপ্তম হল স্ক্যানিং সেটিংস। 1024 হল সর্বাধিক সংখ্যক টিপল যা একটি একক লেনদেনে দেখা যায়। 3600 - সেকেন্ডে সম্পূর্ণ স্ক্যান সময়।

মনে রাখবেন যে উদাহরণ ক্রলিং এবং মুছে ফেলার জন্য একই সূচক ব্যবহার করে। যদি এটি একটি গাছের সূচক হয়, তাহলে ট্র্যাভার্সালটি ছোট কী থেকে বড় পর্যন্ত করা হয়। যদি অন্য কিছু থাকে, উদাহরণস্বরূপ, হ্যাশ সূচক, তবে ট্রাভার্সালটি একটি নিয়ম হিসাবে, এলোমেলো ক্রমে সঞ্চালিত হয়। সমস্ত স্পেস টিপল এক স্ক্যানে স্ক্যান করা হয়।

60 সেকেন্ডের জীবনকালের সাথে মহাকাশে বেশ কয়েকটি টিপল সন্নিবেশ করা যাক:

box.space.tester:insert{0, '[email protected]', math.floor(fiber.time()) + 60}
box.space.tester:insert{1, '[email protected]', math.floor(fiber.time()) + 60}
box.space.tester:insert{2, '[email protected]', math.floor(fiber.time()) + 60}

আসুন পরীক্ষা করে দেখি যে সন্নিবেশ সফল হয়েছে:

tarantool> box.space.tester.index.primary:select()
---
- - [0, '[email protected]', 1576418976]
  - [1, '[email protected]', 1576418976]
  - [2, '[email protected]', 1576418976]
...

আসুন 60+ সেকেন্ডের পরে নির্বাচনটি পুনরাবৃত্তি করি (প্রথম টিপল সন্নিবেশের শুরু থেকে গণনা করা হচ্ছে) এবং দেখুন যে ক্যাপড মেয়াদ শেষ হওয়া মডিউলটি ইতিমধ্যে প্রক্রিয়া করা হয়েছে:

tarantool> box.space.tester.index.primary:select()
---
  - []
...

কাজ বন্ধ করা যাক:

capped_connection:call('libcapped-expirationd.kill', {'non-indexed'})

আসুন একটি দ্বিতীয় উদাহরণ দেখি যেখানে ক্রল করার জন্য একটি পৃথক সূচক ব্যবহার করা হয়:

fiber = require('fiber')
net_box = require('net.box')
box.cfg{listen = 3300}
box.schema.func.create('libcapped-expirationd.start', {language = 'C'})
box.schema.user.grant('guest', 'execute', 'function', 'libcapped-expirationd.start')
box.schema.func.create('libcapped-expirationd.kill', {language = 'C'})
box.schema.user.grant('guest', 'execute', 'function', 'libcapped-expirationd.kill')
box.schema.space.create('tester')
box.space.tester:create_index('primary', {unique = true, parts = {1, 'unsigned'}})
box.space.tester:create_index('exp', {unique = false, parts = {3, 'unsigned'}})
capped_connection = net_box:new(3300)

কিছু ব্যতিক্রম ছাড়া এখানে সবকিছু প্রথম উদাহরণের মতোই। আমরা তৃতীয় ক্ষেত্রের উপরে একটি গাছের সূচক তৈরি করি এবং এটিকে এক্সপ বলি। এই সূচকটি অনন্য হতে হবে না, প্রাথমিক নামক সূচকের বিপরীতে। ট্রাভার্সাল এক্সপ্রেস ইনডেক্স দ্বারা বাহিত হবে, এবং প্রাথমিক দ্বারা মুছে ফেলা হবে। আমরা মনে করি যে আগে উভয়ই শুধুমাত্র প্রাথমিক সূচক ব্যবহার করে করা হয়েছিল।

প্রস্তুতিমূলক কাজের পরে, আমরা নতুন আর্গুমেন্ট সহ স্টার্ট ফাংশন চালাই:

capped_connection:call('libcapped-expirationd.start', {'indexed', box.space.tester.id, box.space.tester.index.primary, box.space.tester.index.exp, 3, 1024, 3600})

60 সেকেন্ডের জীবনকালের সাথে আবার মহাকাশে বেশ কয়েকটি টিপল সন্নিবেশ করা যাক:

box.space.tester:insert{0, '[email protected]', math.floor(fiber.time()) + 60}
box.space.tester:insert{1, '[email protected]', math.floor(fiber.time()) + 60}
box.space.tester:insert{2, '[email protected]', math.floor(fiber.time()) + 60}

30 সেকেন্ড পরে, উপমা অনুসারে, আমরা আরও কয়েকটি টিপল যোগ করব:

box.space.tester:insert{3, '[email protected]', math.floor(fiber.time()) + 60}
box.space.tester:insert{4, '[email protected]', math.floor(fiber.time()) + 60}
box.space.tester:insert{5, '[email protected]', math.floor(fiber.time()) + 60}

আসুন পরীক্ষা করে দেখি যে সন্নিবেশ সফল হয়েছে:

tarantool> box.space.tester.index.primary:select()
---
- - [0, '[email protected]', 1576421257]
  - [1, '[email protected]', 1576421257]
  - [2, '[email protected]', 1576421257]
  - [3, '[email protected]', 1576421287]
  - [4, '[email protected]', 1576421287]
  - [5, '[email protected]', 1576421287]
...

আসুন 60+ সেকেন্ডের পরে নির্বাচনটি পুনরাবৃত্তি করি (প্রথম টিপল সন্নিবেশের শুরু থেকে গণনা করা হচ্ছে) এবং দেখুন যে ক্যাপড মেয়াদ শেষ হওয়া মডিউলটি ইতিমধ্যে প্রক্রিয়া করা হয়েছে:

tarantool> box.space.tester.index.primary:select()
---
- - [3, '[email protected]', 1576421287]
  - [4, '[email protected]', 1576421287]
  - [5, '[email protected]', 1576421287]
...

মহাকাশে এখনও কিছু টিপল বাকি আছে যেগুলোর বাঁচতে আরও ৩০ সেকেন্ড সময় লাগবে। অধিকন্তু, 30 এর আইডি এবং 2 এর জীবনকালের একটি টিউপল থেকে 1576421257 এর আইডি এবং 3 এর জীবনকালের টিপলে যাওয়ার সময় স্ক্যান বন্ধ হয়ে যায়। 1576421287 বা তার বেশি জীবনকালের টিপল অর্ডারের কারণে স্ক্যান করা হয়নি। এক্সপ্রেস ইনডেক্স কী। এটি সেই সঞ্চয় যা আমরা শুরুতেই অর্জন করতে চেয়েছিলাম।

কাজ বন্ধ করা যাক:

capped_connection:call('libcapped-expirationd.kill', {'indexed'})

বাস্তবায়ন

একটি প্রকল্পের সমস্ত বৈশিষ্ট্য সম্পর্কে বলার সর্বোত্তম উপায় হল এর মূল উৎস। কোড! প্রকাশনার অংশ হিসাবে, আমরা শুধুমাত্র সবচেয়ে গুরুত্বপূর্ণ পয়েন্টগুলিতে ফোকাস করব, যথা, স্পেস বাইপাস অ্যালগরিদম।

আমরা যে আর্গুমেন্টগুলিকে স্টার্ট মেথডে পাস করি তা expirationd_task নামে একটি কাঠামোতে সংরক্ষণ করা হয়:

struct expirationd_task
{
  char name[256];
  uint32_t space_id;
  uint32_t rm_index_id;
  uint32_t it_index_id;
  uint32_t it_index_type; 
  uint32_t field_no;
  uint32_t scan_size;
  uint32_t scan_time;
};

নাম বৈশিষ্ট্য টাস্কের নাম। স্পেস_আইডি অ্যাট্রিবিউট হল স্পেস আইডেন্টিফায়ার। rm_index_id বৈশিষ্ট্যটি অনন্য সূচকের সনাক্তকারী যার দ্বারা টিপলগুলি মুছে ফেলা হবে। it_index_id অ্যাট্রিবিউট হল সূচকের শনাক্তকারী যার দ্বারা টিপলগুলিকে অতিক্রম করা হবে। it_index_type অ্যাট্রিবিউট হল সূচকের ধরন যার দ্বারা টিপলগুলিকে অতিক্রম করা হবে। file_no বৈশিষ্ট্য হল লাইফটাইম সহ tuple ক্ষেত্রের সংখ্যা। স্ক্যান_সাইজ অ্যাট্রিবিউট হল সর্বোচ্চ সংখ্যক টিপল যা একটি লেনদেনে স্ক্যান করা হয়। স্ক্যান_টাইম বৈশিষ্ট্যটি সেকেন্ডে সম্পূর্ণ স্ক্যান সময়।

আমরা পার্সিং আর্গুমেন্ট বিবেচনা করব না। এটি একটি শ্রমসাধ্য কিন্তু সহজ কাজ, যার সাথে লাইব্রেরি আপনাকে সাহায্য করবে msgpuck. অসুবিধাগুলি কেবলমাত্র সেই সূচীগুলির সাথে দেখা দিতে পারে যেগুলি mp_map টাইপের সাথে একটি জটিল ডেটা স্ট্রাকচার হিসাবে Lua থেকে পাস করা হয় এবং mp_bool, mp_double, mp_int, mp_uint এবং mp_array ব্যবহার না করে। কিন্তু সম্পূর্ণ সূচক পার্স করার প্রয়োজন নেই। আপনাকে কেবল এর স্বতন্ত্রতা পরীক্ষা করতে হবে, ধরণটি গণনা করতে হবে এবং সনাক্তকারীটি বের করতে হবে।

আমরা পার্সিংয়ের জন্য ব্যবহৃত সমস্ত ফাংশনের প্রোটোটাইপ তালিকাভুক্ত করি:

bool expirationd_parse_name(struct expirationd_task *task, const char **pos);
bool expirationd_parse_space_id(struct expirationd_task *task, const char **pos);
bool expirationd_parse_rm_index_id(struct expirationd_task *task, const char **pos);
bool expirationd_parse_rm_index_unique(struct expirationd_task *task, const char **pos);
bool expirationd_parse_rm_index(struct expirationd_task *task, const char **pos);
bool expirationd_parse_it_index_id(struct expirationd_task *task, const char **pos);
bool expirationd_parse_it_index_type(struct expirationd_task *task, const char **pos);
bool expirationd_parse_it_index(struct expirationd_task *task, const char **pos);
bool expirationd_parse_field_no(struct expirationd_task *task, const char **pos);
bool expirationd_parse_scan_size(struct expirationd_task *task, const char **pos);
bool expirationd_parse_scan_time(struct expirationd_task *task, const char **pos);

এখন সবচেয়ে গুরুত্বপূর্ণ বিষয়ের দিকে যাওয়া যাক - স্থান বাইপাস করা এবং টিপলস মুছে ফেলার যুক্তি। স্ক্যান_সাইজের চেয়ে বড় নয় টিপলের প্রতিটি ব্লক একটি একক লেনদেনের অধীনে স্ক্যান এবং পরিবর্তন করা হয়। যদি সফল হয়, এই লেনদেনটি প্রতিশ্রুতিবদ্ধ হয়; যদি ত্রুটি ঘটে তবে এটি ফিরিয়ে আনা হয়। expirationd_iterate ফাংশনের শেষ আর্গুমেন্ট হল ইটারেটরের একটি পয়েন্টার যেখান থেকে স্ক্যানিং শুরু হয় বা চলতে থাকে। এই পুনরাবৃত্তিকারী অভ্যন্তরীণভাবে বৃদ্ধি করা হয় যতক্ষণ না একটি ত্রুটি ঘটে, স্থান ফুরিয়ে না যায়, বা প্রক্রিয়াটি আগে থেকে বন্ধ করা সম্ভব না হয়। expirationd_expired ফাংশন টিপলের জীবনকাল পরীক্ষা করে, expirationd_delete একটি টিপল মুছে দেয়, expirationd_breakable চেক করে যে আমাদের এগিয়ে যেতে হবে কিনা।

expirationd_iterate ফাংশন কোড:

static bool
expirationd_iterate(struct expirationd_task *task, box_iterator_t **iterp)
{
  box_iterator_t *iter = *iterp;
  box_txn_begin();
  for (uint32_t i = 0; i < task->scan_size; ++i) {
    box_tuple_t *tuple = NULL;
    if (box_iterator_next(iter, &tuple) < 0) {
      box_iterator_free(iter);
      *iterp = NULL;
      box_txn_rollback();
      return false;
    }
    if (!tuple) {
      box_iterator_free(iter);
      *iterp = NULL;
      box_txn_commit();
      return true;
    }
    if (expirationd_expired(task, tuple))
      expirationd_delete(task, tuple);
    else if (expirationd_breakable(task))
      break;
  }
  box_txn_commit();
  return true;
}

ফাংশন কোড expirationd_expired:

static bool
expirationd_expired(struct expirationd_task *task, box_tuple_t *tuple)
{
  const char *buf = box_tuple_field(tuple, task->field_no - 1);
  if (!buf || mp_typeof(*buf) != MP_UINT)
    return false;
  uint64_t val = mp_decode_uint(&buf);
  if (val > fiber_time64() / 1000000)
    return false;
  return true;
}

ফাংশন কোড expirationd_delete:

static void
expirationd_delete(struct expirationd_task *task, box_tuple_t *tuple)
{
  uint32_t len;
  const char *str = box_tuple_extract_key(tuple, task->space_id, task->rm_index_id, &len);
  box_delete(task->space_id, task->rm_index_id, str, str + len, NULL);
}

ফাংশন কোড expiration_breakable:

static bool
expirationd_breakable(struct expirationd_task *task)
{
  return task->it_index_id != task->rm_index_id && task->it_index_type == ITER_GT;
}

আবেদন

আপনি উৎস কোড দেখতে পারেন এখানে!

উত্স: www.habr.com