টারান্টুল ডেটা গ্রিডের আর্কিটেকচার এবং ক্ষমতা

2017 সালে, আমরা আলফা-ব্যাঙ্কের বিনিয়োগ ব্যবসার লেনদেনের মূল বিকাশের জন্য একটি প্রতিযোগিতা জিতেছি এবং কাজ শুরু করেছি (হাইলোড++ 2018-এ বিনিয়োগ ব্যবসার মূল বিষয়ে একটি প্রতিবেদন সহ সঞ্চালিত ভ্লাদিমির ড্রিনকিন, আলফা ব্যাংকের বিনিয়োগ ব্যবসার লেনদেনের মূল প্রধান)। এই সিস্টেমটি বিভিন্ন ফর্ম্যাটে বিভিন্ন উত্স থেকে লেনদেনের ডেটা একত্রিত করে, ডেটাকে একীভূত আকারে নিয়ে আসে, এটি সংরক্ষণ করে এবং এটিতে অ্যাক্সেস সরবরাহ করার কথা ছিল।

উন্নয়ন প্রক্রিয়া চলাকালীন, সিস্টেমটি বিকশিত হয়েছে এবং কার্যকারিতা অর্জন করেছে, এবং কিছু সময়ে আমরা বুঝতে পেরেছি যে আমরা কঠোরভাবে সংজ্ঞায়িত পরিসরের কাজগুলি সমাধান করার জন্য তৈরি করা অ্যাপ্লিকেশন সফ্টওয়্যারের চেয়ে অনেক বেশি কিছু স্ফটিক করছি: আমরা সফল হয়েছি ক্রমাগত স্টোরেজ সহ বিতরণ করা অ্যাপ্লিকেশন তৈরির জন্য সিস্টেম. আমরা যে অভিজ্ঞতা অর্জন করেছি তা একটি নতুন পণ্যের ভিত্তি তৈরি করেছে - ট্যারান্টুল ডেটা গ্রিড (TDG)।

আমি TDG আর্কিটেকচার এবং উন্নয়ন প্রক্রিয়া চলাকালীন আমরা যে সমাধানগুলি নিয়ে এসেছি সে সম্পর্কে কথা বলতে চাই, আপনাকে মূল কার্যকারিতার সাথে পরিচয় করিয়ে দিতে চাই এবং দেখাতে চাই কীভাবে আমাদের পণ্য সম্পূর্ণ সমাধান তৈরির ভিত্তি হয়ে উঠতে পারে।

স্থাপত্যগতভাবে, আমরা সিস্টেমটিকে আলাদাভাবে ভাগ করেছি ভূমিকা, যার প্রত্যেকটি একটি নির্দিষ্ট পরিসরের সমস্যা সমাধানের জন্য দায়ী। একটি একক চলমান অ্যাপ্লিকেশন উদাহরণ এক বা একাধিক ভূমিকার ধরন প্রয়োগ করে। একটি ক্লাস্টারে একই ধরণের একাধিক ভূমিকা থাকতে পারে:

সংযোগকারী

সংযোগকারী বাইরের বিশ্বের সাথে যোগাযোগের জন্য দায়ী; এর কাজ হল অনুরোধটি গ্রহণ করা, এটি পার্স করা এবং যদি এটি সফল হয়, তাহলে ইনপুট প্রসেসরে প্রক্রিয়াকরণের জন্য ডেটা পাঠান। আমরা HTTP, SOAP, Kafka, FIX ফর্ম্যাট সমর্থন করি। আর্কিটেকচার আপনাকে সহজভাবে নতুন ফরম্যাটের জন্য সমর্থন যোগ করতে দেয়, শীঘ্রই আসছে IBM MQ-এর জন্য সমর্থন। অনুরোধ পার্সিং ব্যর্থ হলে, সংযোগকারী একটি ত্রুটি ফিরিয়ে দেবে; অন্যথায়, এটি প্রতিক্রিয়া জানাবে যে অনুরোধটি সফলভাবে প্রক্রিয়া করা হয়েছে, এমনকি যদি তার পরবর্তী প্রক্রিয়াকরণের সময় একটি ত্রুটি ঘটে থাকে। এটি বিশেষভাবে এমন সিস্টেমগুলির সাথে কাজ করার জন্য করা হয়েছিল যেগুলি কীভাবে অনুরোধগুলি পুনরাবৃত্তি করতে হয় তা জানে না - বা বিপরীতভাবে, এটি খুব অবিরামভাবে করে৷ ডেটা হারাতে না দেওয়ার জন্য, একটি মেরামতের সারি ব্যবহার করা হয়: বস্তুটি প্রথমে এতে প্রবেশ করে এবং সফল প্রক্রিয়াকরণের পরেই এটি থেকে সরানো হয়। প্রশাসক মেরামতের সারিতে থাকা অবজেক্ট সম্পর্কে সতর্কতা পেতে পারেন এবং একটি সফ্টওয়্যার ত্রুটি বা হার্ডওয়্যার ব্যর্থতা দূর করার পরে, আবার চেষ্টা করুন।

ইনপুট প্রসেসর

ইনপুট প্রসেসর প্রাপ্ত ডেটাকে বৈশিষ্ট্যগত বৈশিষ্ট্য অনুসারে শ্রেণীবদ্ধ করে এবং উপযুক্ত প্রসেসরকে কল করে। হ্যান্ডলার হল লুয়া কোড যা একটি স্যান্ডবক্সে চলে, তাই তারা সিস্টেমের কার্যকারিতা প্রভাবিত করতে পারে না। এই পর্যায়ে, ডেটা প্রয়োজনীয় আকারে হ্রাস করা যেতে পারে, এবং প্রয়োজনে, একটি নির্বিচারে সংখ্যক কাজ চালু করা যেতে পারে যা প্রয়োজনীয় যুক্তি বাস্তবায়ন করতে পারে। উদাহরণস্বরূপ, ট্যারান্টুল ডেটা গ্রিডে নির্মিত এমডিএম (মাস্টার ডেটা ম্যানেজমেন্ট) পণ্যে, একটি নতুন ব্যবহারকারী যোগ করার সময়, অনুরোধের প্রক্রিয়াকরণকে ধীর না করার জন্য, আমরা একটি পৃথক কাজ হিসাবে একটি সোনার রেকর্ড তৈরি করা শুরু করি। স্যান্ডবক্স ডেটা পড়ার, পরিবর্তন এবং যোগ করার জন্য অনুরোধগুলিকে সমর্থন করে, আপনাকে স্টোরেজের ধরন এবং ফলাফলের একত্রীকরণের (মানচিত্র/হ্রাস) সমস্ত ভূমিকাতে কিছু ফাংশন সম্পাদন করতে দেয়।

হ্যান্ডলারগুলি ফাইলগুলিতে বর্ণনা করা যেতে পারে:

sum.lua

local x, y = unpack(...)
return x + y

এবং তারপরে, কনফিগারেশনে ঘোষণা করা হয়েছে:

functions:
  sum: { __file: sum.lua }

কেন লুয়া? লুয়া খুব সহজ ভাষা। আমাদের অভিজ্ঞতার ভিত্তিতে, এটি জানার কয়েক ঘন্টা পরে, লোকেরা কোড লিখতে শুরু করে যা তাদের সমস্যার সমাধান করে। এবং এগুলি কেবল পেশাদার বিকাশকারী নয়, উদাহরণস্বরূপ, বিশ্লেষক। উপরন্তু, জিট কম্পাইলারকে ধন্যবাদ, লুয়া খুব দ্রুত রান করে।

সংগ্রহস্থল

স্টোরেজ ক্রমাগত ডেটা সঞ্চয় করে। সংরক্ষণ করার আগে, ডেটা স্কিমার বিরুদ্ধে যাচাই করা হয়। সার্কিট বর্ণনা করতে আমরা একটি বর্ধিত বিন্যাস ব্যবহার করি অ্যাপাচি অভ্র। উদাহরণ:

{
    "name": "User",
    "type": "record",
    "logicalType": "Aggregate",
    "fields": [ 
        { "name": "id", "type": "string"}, 
        {"name": "first_name", "type": "string"}, 
        {"name": "last_name", "type": "string"} 
    ], 
    "indexes": ["id"] 
}

এই বর্ণনার উপর ভিত্তি করে, ডিডিএল (ডেটা ডেফিনিশন ল্যাঙ্গুয়েজ) স্বয়ংক্রিয়ভাবে ট্যারান্টুলা ডিবিএমএসের জন্য তৈরি হয় এবং গ্রাফকিউএল ডেটা অ্যাক্সেসের জন্য স্কিমা।

অ্যাসিঙ্ক্রোনাস ডেটা প্রতিলিপি সমর্থিত (সিঙ্ক্রোনাস যুক্ত করার পরিকল্পনা রয়েছে)।

আউটপুট প্রসেসর

কখনও কখনও নতুন ডেটার আগমন সম্পর্কে বহিরাগত গ্রাহকদের অবহিত করা প্রয়োজন; এই উদ্দেশ্যে, আউটপুট প্রসেসরের ভূমিকা রয়েছে। ডেটা সংরক্ষণ করার পরে, এটি উপযুক্ত হ্যান্ডলারের কাছে প্রেরণ করা যেতে পারে (উদাহরণস্বরূপ, এটিকে ভোক্তার প্রয়োজনীয় ফর্মে আনতে) - এবং তারপরে পাঠানোর জন্য সংযোগকারীর কাছে প্রেরণ করা হয়। একটি মেরামতের সারি এখানেও ব্যবহার করা হয়েছে: যদি কেউ বস্তুটি গ্রহণ না করে, তাহলে প্রশাসক পরে আবার চেষ্টা করতে পারেন।

স্কেলিং

সংযোগকারী, ইনপুট প্রসেসর, এবং আউটপুট প্রসেসরের ভূমিকা রাষ্ট্রহীন, যা আমাদেরকে কাঙ্ক্ষিত ভূমিকার ধরন সক্ষম করে নতুন অ্যাপ্লিকেশন দৃষ্টান্ত যোগ করার মাধ্যমে অনুভূমিকভাবে সিস্টেমকে স্কেল করার অনুমতি দেয়। স্টোরেজ অনুভূমিক স্কেলিং জন্য ব্যবহার করা হয় একটি পন্থা ভার্চুয়াল বালতি ব্যবহার করে একটি ক্লাস্টার সংগঠিত করতে। একটি নতুন সার্ভার যোগ করার পরে, পুরানো সার্ভার থেকে কিছু বালতি পটভূমিতে নতুন সার্ভারে সরানো হয়; এটি ব্যবহারকারীদের কাছে স্বচ্ছভাবে ঘটে এবং পুরো সিস্টেমের অপারেশনকে প্রভাবিত করে না।

তথ্য বৈশিষ্ট্য

বস্তুগুলি খুব বড় হতে পারে এবং অন্যান্য বস্তু ধারণ করতে পারে। আমরা একটি ভার্চুয়াল বালতিতে সমস্ত নির্ভরতা সহ একটি বস্তু সংরক্ষণ করে ডেটা যোগ এবং আপডেট করার পারমাণবিকতা নিশ্চিত করি। এটি বেশ কয়েকটি শারীরিক সার্ভার জুড়ে বস্তুটিকে "প্রসারিত" হতে বাধা দেয়।

সংস্করণ সমর্থিত: একটি বস্তুর প্রতিটি আপডেট একটি নতুন সংস্করণ তৈরি করে, এবং আমরা সর্বদা একটি টাইম স্লাইস নিতে পারি এবং দেখতে পারি পৃথিবী তখন কেমন ছিল। দীর্ঘ ইতিহাসের প্রয়োজন নেই এমন ডেটার জন্য, আমরা সংস্করণের সংখ্যা সীমিত করতে পারি বা এমনকি শুধুমাত্র একটি সঞ্চয় করতে পারি - সর্বশেষ একটি - অর্থাৎ, একটি নির্দিষ্ট ধরণের জন্য মূলত সংস্করণ অক্ষম করতে পারি৷ আপনি সময়ের দ্বারা ইতিহাস সীমাবদ্ধ করতে পারেন: উদাহরণস্বরূপ, 1 বছরের বেশি পুরানো একটি নির্দিষ্ট ধরণের সমস্ত বস্তু মুছুন। আর্কাইভিংও সমর্থিত: ক্লাস্টারে জায়গা খালি করে আমরা নির্দিষ্ট সময়ের চেয়ে পুরানো বস্তু আনলোড করতে পারি।

কর্ম

আকর্ষণীয় বৈশিষ্ট্যগুলির মধ্যে, এটি একটি সময়সূচীতে, ব্যবহারকারীর অনুরোধে বা স্যান্ডবক্স থেকে প্রোগ্রাম্যাটিকভাবে কাজগুলি চালু করার ক্ষমতা লক্ষ্য করার মতো:

এখানে আমরা আরেকটি ভূমিকা দেখতে পাচ্ছি - রানার। এই ভূমিকাটি রাষ্ট্রবিহীন, এবং প্রয়োজন অনুসারে এই ভূমিকার সাথে অতিরিক্ত অ্যাপ্লিকেশন উদাহরণগুলি ক্লাস্টারে যোগ করা যেতে পারে। রানার দায়িত্ব কাজগুলি সম্পূর্ণ করা। যেমন উল্লেখ করা হয়েছে, স্যান্ডবক্স থেকে নতুন কাজ তৈরি করা সম্ভব; তারা স্টোরেজ একটি সারিতে সংরক্ষণ করা হয় এবং তারপর রানার উপর মৃত্যুদন্ড কার্যকর করা হয়. এই ধরনের কাজকে চাকরি বলা হয়। আমাদের কাছে টাস্ক নামে একটি টাস্ক টাইপও রয়েছে - এগুলি ব্যবহারকারী-সংজ্ঞায়িত কাজ যা একটি সময়সূচীতে (ক্রোন সিনট্যাক্স ব্যবহার করে) বা চাহিদা অনুযায়ী চলে। এই ধরনের কাজগুলি চালু এবং ট্র্যাক করার জন্য, আমাদের একটি সুবিধাজনক টাস্ক ম্যানেজার আছে। এই কার্যকারিতা উপলব্ধ হওয়ার জন্য, আপনাকে শিডিউলারের ভূমিকা সক্রিয় করতে হবে; এই ভূমিকার একটি রাষ্ট্র আছে, তাই এটি স্কেল করে না, যা অবশ্য প্রয়োজন হয় না; একই সময়ে, অন্যান্য সমস্ত ভূমিকার মতো, এটিতে একটি প্রতিরূপ থাকতে পারে যা মাস্টার হঠাৎ প্রত্যাখ্যান করলে কাজ শুরু করে।

লগার

আরেকটি ভূমিকা বলা হয় লগার. এটি ক্লাস্টারের সমস্ত সদস্যদের থেকে লগ সংগ্রহ করে এবং ওয়েব ইন্টারফেসের মাধ্যমে আপলোড এবং দেখার জন্য একটি ইন্টারফেস প্রদান করে।

সার্ভিস

এটি উল্লেখ করার মতো যে সিস্টেমটি পরিষেবাগুলি তৈরি করা সহজ করে তোলে। কনফিগারেশন ফাইলে, স্যান্ডবক্সে চলা ব্যবহারকারী-লিখিত হ্যান্ডলারে কোন অনুরোধ পাঠানো হবে তা আপনি নির্দিষ্ট করতে পারেন। এই হ্যান্ডলারে, আপনি, উদাহরণস্বরূপ, কিছু ধরণের বিশ্লেষণাত্মক ক্যোয়ারী চালাতে পারেন এবং ফলাফলটি ফেরত দিতে পারেন।

পরিষেবাটি কনফিগারেশন ফাইলে বর্ণনা করা হয়েছে:

services:
   sum:
      doc: "adds two numbers"
      function: sum
      return_type: int
      args:
         x: int
         y: int

GraphQL API স্বয়ংক্রিয়ভাবে তৈরি হয় এবং পরিষেবাটি কল করার জন্য উপলব্ধ হয়:

query {
   sum(x: 1, y: 2) 
}

এটি হ্যান্ডলারকে কল করবে sumযা ফলাফল ফিরিয়ে দেবে:

3

প্রশ্ন প্রোফাইলিং এবং মেট্রিক্স

সিস্টেমের অপারেশন এবং প্রোফাইলিং অনুরোধ বোঝার জন্য, আমরা OpenTracing প্রোটোকলের জন্য সমর্থন প্রয়োগ করেছি। সিস্টেমটি এই প্রোটোকলকে সমর্থন করে এমন সরঞ্জামগুলিতে চাহিদা অনুযায়ী তথ্য পাঠাতে পারে, যেমন জিপকিন, যা আপনাকে অনুরোধটি কীভাবে সম্পাদিত হয়েছিল তা বোঝার অনুমতি দেবে:

স্বাভাবিকভাবেই, সিস্টেমটি অভ্যন্তরীণ মেট্রিক্স প্রদান করে যা প্রমিথিউস ব্যবহার করে সংগ্রহ করা যায় এবং গ্রাফানা ব্যবহার করে কল্পনা করা যায়।

স্থাপন করুন

Tarantool ডেটা গ্রিড RPM প্যাকেজ বা একটি সংরক্ষণাগার থেকে স্থাপন করা যেতে পারে, বিতরণ বা Ansible থেকে একটি ইউটিলিটি ব্যবহার করে, কুবারনেটসের জন্যও সমর্থন রয়েছে (ট্যারান্টুল কুবারনেটস অপারেটর).

যে অ্যাপ্লিকেশনটি ব্যবসায়িক যুক্তি (কনফিগারেশন, হ্যান্ডলার) প্রয়োগ করে তা UI এর মাধ্যমে একটি আর্কাইভ আকারে বা আমাদের দ্বারা প্রদত্ত API এর মাধ্যমে একটি স্ক্রিপ্ট ব্যবহার করে স্থাপন করা Tarantool ডেটা গ্রিড ক্লাস্টারে লোড করা হয়।

নমুনা অ্যাপ্লিকেশন

ট্যারান্টুল ডেটা গ্রিড ব্যবহার করে কোন অ্যাপ্লিকেশন তৈরি করা যেতে পারে? প্রকৃতপক্ষে, বেশিরভাগ ব্যবসায়িক কাজগুলি ডেটা প্রবাহ প্রক্রিয়াকরণ, সংরক্ষণ এবং অ্যাক্সেসের সাথে সম্পর্কিত। অতএব, যদি আপনার কাছে ডেটার বড় স্ট্রীম থাকে যা নিরাপদে সঞ্চয় এবং অ্যাক্সেস করা প্রয়োজন, তাহলে আমাদের পণ্য আপনার বিকাশের অনেক সময় বাঁচাতে পারে এবং আপনার ব্যবসার যুক্তিতে ফোকাস করতে পারে।

উদাহরণস্বরূপ, আমরা রিয়েল এস্টেট বাজার সম্পর্কে তথ্য সংগ্রহ করতে চাই, যাতে ভবিষ্যতে, উদাহরণস্বরূপ, আমাদের কাছে সেরা অফারগুলি সম্পর্কে তথ্য থাকবে৷ এই ক্ষেত্রে, আমরা নিম্নলিখিত কাজগুলি হাইলাইট করব:

1. মুক্ত উৎস থেকে তথ্য সংগ্রহকারী রোবটই হবে আমাদের ডেটার উৎস। আপনি রেডিমেড সমাধান ব্যবহার করে বা যেকোনো ভাষায় কোড লেখার মাধ্যমে এই সমস্যার সমাধান করতে পারেন।
2. এর পরে, Tarantool ডেটা গ্রিড ডেটা গ্রহণ করবে এবং সংরক্ষণ করবে। যদি বিভিন্ন উত্স থেকে ডেটা বিন্যাস ভিন্ন হয়, তাহলে আপনি লুয়াতে কোড লিখতে পারেন যা একটি একক বিন্যাসে রূপান্তর সম্পাদন করবে। প্রি-প্রসেসিং পর্যায়ে, আপনিও সক্ষম হবেন, উদাহরণস্বরূপ, ডুপ্লিকেট অফারগুলি ফিল্টার করতে বা অতিরিক্তভাবে ডেটাবেসে বাজারে কাজ করা এজেন্টদের তথ্য আপডেট করতে।
3. এখন আপনার কাছে ইতিমধ্যেই একটি ক্লাস্টারে একটি মাপযোগ্য সমাধান রয়েছে যা ডেটা দিয়ে পূর্ণ হতে পারে এবং ডেটা নির্বাচন করতে পারে। তারপরে আপনি নতুন কার্যকারিতা প্রয়োগ করতে পারেন, উদাহরণস্বরূপ, এমন একটি পরিষেবা লিখুন যা ডেটার জন্য একটি অনুরোধ করবে এবং প্রতিদিন সবচেয়ে সুবিধাজনক অফার দেবে - এর জন্য কনফিগারেশন ফাইলে কয়েকটি লাইন এবং একটু লুয়া কোডের প্রয়োজন হবে।

এরপরে কী?

আমাদের অগ্রাধিকার ব্যবহার করে উন্নয়ন সহজতর করা হয় ট্যারান্টুল ডেটা গ্রিড. উদাহরণস্বরূপ, এটি একটি IDE যা একটি স্যান্ডবক্সে চলমান প্রোফাইলিং এবং ডিবাগিং হ্যান্ডলারগুলির জন্য সমর্থন সহ।

আমরা নিরাপত্তার বিষয়েও খুব মনোযোগ দিই। এই মুহূর্তে আমরা উচ্চ স্তরের নিরাপত্তা নিশ্চিত করতে এবং ব্যক্তিগত ডেটা তথ্য সিস্টেম এবং সরকারী তথ্য সিস্টেমে ব্যবহৃত সফ্টওয়্যার পণ্যগুলির সার্টিফিকেশনের প্রয়োজনীয়তা পূরণ করতে রাশিয়ার FSTEC দ্বারা শংসাপত্রের মধ্য দিয়ে যাচ্ছি৷

উত্স: www.habr.com