ট্যারান্টুল ডিবিএমএসে উচ্চ-স্তরের প্রতিলিপি

হ্যালো, আমি ডিবিএমএসের জন্য অ্যাপ্লিকেশন তৈরি করছি ট্যারান্টুল Mail.ru গ্রুপ দ্বারা তৈরি একটি প্ল্যাটফর্ম যা একটি উচ্চ-কার্যক্ষমতা সম্পন্ন DBMS এবং Lua ভাষায় একটি অ্যাপ্লিকেশন সার্ভারকে একত্রিত করে। Tarantool-এর উপর ভিত্তি করে সমাধানগুলির উচ্চ গতি অর্জন করা হয়, বিশেষত, DBMS-এর ইন-মেমরি মোডের সমর্থন এবং ডেটা সহ একটি একক ঠিকানার জায়গায় অ্যাপ্লিকেশন ব্যবসায়িক যুক্তি কার্যকর করার ক্ষমতার কারণে। একই সময়ে, ACID লেনদেন ব্যবহার করে ডেটা স্থিরতা নিশ্চিত করা হয় (ডিস্কে একটি WAL লগ রক্ষণাবেক্ষণ করা হয়)। ট্যারান্টুলের প্রতিলিপি এবং শার্ডিংয়ের জন্য অন্তর্নির্মিত সমর্থন রয়েছে। সংস্করণ 2.1 থেকে শুরু করে, SQL ভাষায় প্রশ্নগুলি সমর্থিত। Tarantool হল ওপেন সোর্স এবং সরলীকৃত BSD লাইসেন্সের অধীনে লাইসেন্সপ্রাপ্ত। একটি বাণিজ্যিক এন্টারপ্রাইজ সংস্করণও রয়েছে।

শক্তি অনুুভব কর! (...ওরফে অভিনয় উপভোগ করুন)

উপরের সবগুলোই ডাটাবেসের সাথে কাজ করে এমন হাই-লোড অ্যাপ্লিকেশন তৈরি করার জন্য ট্যারান্টুলকে একটি আকর্ষণীয় প্ল্যাটফর্ম করে তোলে। এই জাতীয় অ্যাপ্লিকেশনগুলিতে, প্রায়শই ডেটা প্রতিলিপির প্রয়োজন হয়।

উপরে উল্লিখিত হিসাবে, Tarantool এর অন্তর্নির্মিত ডেটা প্রতিলিপি রয়েছে। এর ক্রিয়াকলাপের নীতিটি হল মাস্টার লগ (WAL) এর মধ্যে থাকা সমস্ত লেনদেনের প্রতিলিপিতে ক্রমানুসারে চালানো। সাধারণত এই ধরনের প্রতিলিপি (আমরা এটিকে আরও কল করব নিম্ন স্তরের) অ্যাপ্লিকেশন ফল্ট সহনশীলতা নিশ্চিত করতে এবং/অথবা ক্লাস্টার নোডের মধ্যে পড়ার লোড বিতরণ করতে ব্যবহৃত হয়।

ভাত। 1. একটি ক্লাস্টার মধ্যে প্রতিলিপি

একটি বিকল্প পরিস্থিতির একটি উদাহরণ প্রক্রিয়াকরণ/নিরীক্ষণের জন্য একটি ডাটাবেসে তৈরি ডেটা অন্য ডাটাবেসে স্থানান্তর করা হবে। পরবর্তী ক্ষেত্রে, একটি আরও সুবিধাজনক সমাধান ব্যবহার করা যেতে পারে উচ্চস্তর প্রতিলিপি - অ্যাপ্লিকেশন ব্যবসায়িক যুক্তি স্তরে ডেটা প্রতিলিপি। সেগুলো. আমরা DBMS-এর মধ্যে তৈরি কোনো রেডিমেড সমাধান ব্যবহার করি না, কিন্তু আমরা যে অ্যাপ্লিকেশানটি ডেভেলপ করছি তার মধ্যে নিজেরাই প্রতিলিপি প্রয়োগ করি। এই পদ্ধতির সুবিধা এবং অসুবিধা উভয়ই রয়েছে। সুবিধার তালিকা করা যাক।

1. ট্রাফিক সঞ্চয়:

• আপনি সমস্ত ডেটা স্থানান্তর করতে পারবেন না, তবে এটির শুধুমাত্র একটি অংশ (উদাহরণস্বরূপ, আপনি শুধুমাত্র কিছু টেবিল, তাদের কিছু কলাম বা রেকর্ড স্থানান্তর করতে পারেন যা একটি নির্দিষ্ট মানদণ্ড পূরণ করে);
• নিম্ন-স্তরের প্রতিলিপির বিপরীতে, যা অবিচ্ছিন্নভাবে অ্যাসিঙ্ক্রোনাস (Tarantool-এর বর্তমান সংস্করণে প্রয়োগ করা হয়েছে - 1.10) বা সিঙ্ক্রোনাস (Tarantool-এর পরবর্তী সংস্করণগুলিতে প্রয়োগ করা হবে) মোডে, উচ্চ-স্তরের প্রতিলিপি সেশনগুলিতে সঞ্চালিত হতে পারে (যেমন, অ্যাপ্লিকেশনটি প্রথমে ডেটা সিঙ্ক্রোনাইজ করে - একটি এক্সচেঞ্জ সেশন ডেটা, তারপরে প্রতিলিপিতে একটি বিরতি থাকে, যার পরে পরবর্তী এক্সচেঞ্জ সেশন ঘটে ইত্যাদি;
• যদি একটি রেকর্ড বেশ কয়েকবার পরিবর্তিত হয়, আপনি শুধুমাত্র এর সর্বশেষ সংস্করণ স্থানান্তর করতে পারেন (নিম্ন-স্তরের প্রতিলিপির বিপরীতে, যেখানে মাস্টারে করা সমস্ত পরিবর্তন প্রতিলিপিগুলিতে ক্রমানুসারে চালানো হবে)।

2. HTTP এক্সচেঞ্জ বাস্তবায়নে কোন অসুবিধা নেই, যা আপনাকে দূরবর্তী ডেটাবেসগুলিকে সিঙ্ক্রোনাইজ করতে দেয়।

ভাত। 2. HTTP এর উপর প্রতিলিপি

3. ডাটাবেস স্ট্রাকচার যেগুলির মধ্যে ডেটা স্থানান্তর করা হয় তা একই হতে হবে না (এছাড়াও, সাধারণ ক্ষেত্রে, বিভিন্ন ডিবিএমএস, প্রোগ্রামিং ভাষা, প্ল্যাটফর্ম ইত্যাদি ব্যবহার করাও সম্ভব)।

ভাত। 3. ভিন্নধর্মী সিস্টেমে প্রতিলিপি

নেতিবাচক দিকটি হল, গড়ে, প্রোগ্রামিং কনফিগারেশনের চেয়ে বেশি কঠিন/ব্যয়বহুল, এবং অন্তর্নির্মিত কার্যকারিতা কাস্টমাইজ করার পরিবর্তে, আপনাকে নিজের বাস্তবায়ন করতে হবে।

যদি আপনার পরিস্থিতিতে উপরের সুবিধাগুলি গুরুত্বপূর্ণ হয় (বা একটি প্রয়োজনীয় শর্ত), তাহলে উচ্চ-স্তরের প্রতিলিপি ব্যবহার করা বোধগম্য। ট্যারান্টুল ডিবিএমএসে উচ্চ-স্তরের ডেটা প্রতিলিপি প্রয়োগ করার বিভিন্ন উপায় দেখুন।

ট্রাফিক মিনিমাইজেশন

সুতরাং, উচ্চ-স্তরের প্রতিলিপির একটি সুবিধা হল ট্রাফিক সঞ্চয়। এই সুবিধাটি সম্পূর্ণরূপে উপলব্ধি করার জন্য, প্রতিটি বিনিময় সেশনের সময় স্থানান্তরিত ডেটার পরিমাণ কমিয়ে আনা প্রয়োজন। অবশ্যই, আমাদের ভুলে যাওয়া উচিত নয় যে সেশনের শেষে, ডেটা রিসিভারকে অবশ্যই উত্সের সাথে সিঙ্ক্রোনাইজ করতে হবে (অন্তত ডেটার সেই অংশের জন্য যা প্রতিলিপিতে জড়িত)।

উচ্চ-স্তরের প্রতিলিপির সময় স্থানান্তরিত ডেটার পরিমাণ কীভাবে কমানো যায়? তারিখ এবং সময় অনুসারে ডেটা নির্বাচন করা একটি সহজ সমাধান হতে পারে। এটি করার জন্য, আপনি টেবিলে বিদ্যমান তারিখ-সময় ক্ষেত্রটি ব্যবহার করতে পারেন (যদি এটি বিদ্যমান থাকে)। উদাহরণস্বরূপ, একটি "অর্ডার" নথিতে একটি ক্ষেত্র থাকতে পারে "প্রয়োজনীয় অর্ডার কার্যকর করার সময়" - delivery_time. এই সমাধানের সমস্যা হল যে এই ক্ষেত্রের মানগুলি অর্ডার তৈরির সাথে সঙ্গতিপূর্ণ ক্রমানুসারে থাকতে হবে না। তাই আমরা সর্বোচ্চ ক্ষেত্রের মান মনে করতে পারি না delivery_time, আগের এক্সচেঞ্জ সেশনের সময় প্রেরিত, এবং পরবর্তী এক্সচেঞ্জ সেশনের সময় উচ্চ ক্ষেত্র মান সহ সমস্ত রেকর্ড নির্বাচন করুন delivery_time. বিনিময় সেশনের মধ্যে একটি নিম্ন ক্ষেত্রের মান সহ রেকর্ড যোগ করা হতে পারে delivery_time. এছাড়াও, অর্ডারটি পরিবর্তনের মধ্য দিয়ে যেতে পারে, যা তবুও ক্ষেত্রের উপর প্রভাব ফেলেনি delivery_time. উভয় ক্ষেত্রেই, পরিবর্তনগুলি উৎস থেকে গন্তব্যে স্থানান্তরিত হবে না। এই সমস্যাগুলি সমাধান করার জন্য, আমাদের "ওভারল্যাপিং" ডেটা স্থানান্তর করতে হবে। সেগুলো. প্রতিটি বিনিময় সেশনে আমরা ফিল্ড ভ্যালু সহ সমস্ত ডেটা স্থানান্তর করব delivery_time, অতীতের কিছু বিন্দু অতিক্রম করে (উদাহরণস্বরূপ, বর্তমান মুহূর্ত থেকে N ঘন্টা)। যাইহোক, এটা স্পষ্ট যে বৃহৎ সিস্টেমগুলির জন্য এই পদ্ধতিটি অত্যন্ত অপ্রয়োজনীয় এবং ট্রাফিক সঞ্চয়কে কমিয়ে দিতে পারে যা আমরা ব্যর্থতার জন্য চেষ্টা করছি। উপরন্তু, সারণী স্থানান্তর করা হচ্ছে একটি তারিখ-সময়ের সাথে সম্পর্কিত একটি ক্ষেত্র নাও থাকতে পারে।

আরেকটি সমাধান, বাস্তবায়নের ক্ষেত্রে আরও জটিল, তথ্যের প্রাপ্তি স্বীকার করা। এই ক্ষেত্রে, প্রতিটি বিনিময় সেশনের সময়, সমস্ত ডেটা প্রেরণ করা হয়, যার প্রাপ্তি প্রাপকের দ্বারা নিশ্চিত করা হয়নি। এটি বাস্তবায়ন করতে, আপনাকে উত্স টেবিলে একটি বুলিয়ান কলাম যুক্ত করতে হবে (উদাহরণস্বরূপ, is_transferred) রিসিভার রেকর্ডের প্রাপ্তি স্বীকার করলে, সংশ্লিষ্ট ক্ষেত্রটি মান নেয় true, যার পরে এন্ট্রি আর বিনিময়ে জড়িত থাকে না। এই বাস্তবায়ন বিকল্পের নিম্নলিখিত অসুবিধা আছে। প্রথমত, স্থানান্তরিত প্রতিটি রেকর্ডের জন্য, একটি স্বীকৃতি অবশ্যই তৈরি এবং পাঠাতে হবে। মোটামুটিভাবে বলতে গেলে, এটি স্থানান্তরিত ডেটার পরিমাণ দ্বিগুণ করার এবং রাউন্ডট্রিপের সংখ্যা দ্বিগুণ করার সাথে তুলনীয় হতে পারে। দ্বিতীয়ত, একই রেকর্ড একাধিক রিসিভারের কাছে পাঠানোর কোন সম্ভাবনা নেই (প্রথম প্রাপক যিনি প্রাপ্ত করবেন তিনি নিজের এবং অন্য সকলের জন্য প্রাপ্তি নিশ্চিত করবেন)।

উপরে প্রদত্ত অসুবিধাগুলি নেই এমন একটি পদ্ধতি হ'ল তার সারিগুলির পরিবর্তনগুলি ট্র্যাক করতে স্থানান্তরিত টেবিলে একটি কলাম যুক্ত করা। এই ধরনের একটি কলাম তারিখ-সময়ের প্রকারের হতে পারে এবং প্রতিবার রেকর্ড যোগ/পরিবর্তিত হলে (পরমাণুভাবে সংযোজন/পরিবর্তন সহ) বর্তমান সময়ে অবশ্যই সেট/আপডেট করতে হবে। একটি উদাহরণ হিসাবে, এর কলাম কল করা যাক update_time. স্থানান্তরিত রেকর্ডগুলির জন্য এই কলামের সর্বাধিক ক্ষেত্র মান সংরক্ষণ করে, আমরা এই মান দিয়ে পরবর্তী বিনিময় সেশন শুরু করতে পারি (ক্ষেত্রের মান সহ রেকর্ডগুলি নির্বাচন করুন update_time, পূর্বে সংরক্ষিত মান অতিক্রম করে)। পরবর্তী পদ্ধতির সমস্যা হল যে ডেটা পরিবর্তনগুলি ব্যাচগুলিতে ঘটতে পারে। কলামের ক্ষেত্রের মানগুলির ফলস্বরূপ update_time অনন্য নাও হতে পারে। সুতরাং, এই কলামটি অংশযুক্ত (পৃষ্ঠা-দ্বারা-পৃষ্ঠা) ডেটা আউটপুটের জন্য ব্যবহার করা যাবে না। পৃষ্ঠা অনুসারে ডেটা পৃষ্ঠা প্রদর্শন করার জন্য, আপনাকে অতিরিক্ত মেকানিজম উদ্ভাবন করতে হবে যার কার্যকারিতা খুব কম হবে (উদাহরণস্বরূপ, ডেটাবেস থেকে মান সহ সমস্ত রেকর্ড পুনরুদ্ধার করা update_time একটি প্রদত্ত একটি থেকে বেশি এবং নমুনার শুরু থেকে একটি নির্দিষ্ট অফসেট থেকে শুরু করে একটি নির্দিষ্ট সংখ্যক রেকর্ড তৈরি করা)।

আপনি পূর্ববর্তী পদ্ধতির সামান্য উন্নতি করে ডেটা স্থানান্তরের দক্ষতা উন্নত করতে পারেন। এটি করার জন্য, আমরা পরিবর্তনগুলি ট্র্যাক করার জন্য কলাম ক্ষেত্রের মান হিসাবে পূর্ণসংখ্যার ধরন (দীর্ঘ পূর্ণসংখ্যা) ব্যবহার করব। কলামের নাম দেওয়া যাক row_ver. এই কলামের ক্ষেত্রের মান অবশ্যই প্রতিবার একটি রেকর্ড তৈরি/পরিবর্তন করার সময় অবশ্যই সেট/আপডেট করতে হবে। কিন্তু এই ক্ষেত্রে, ক্ষেত্রটি বর্তমান তারিখ-সময় বরাদ্দ করা হবে না, তবে কিছু কাউন্টারের মান, এক দ্বারা বৃদ্ধি করা হবে। ফলে কলাম row_ver অনন্য মান ধারণ করবে এবং শুধুমাত্র "ডেল্টা" ডেটা (আগের এক্সচেঞ্জ সেশনের শেষ থেকে ডেটা যোগ/পরিবর্তিত হয়েছে) প্রদর্শন করতে ব্যবহার করা যাবে না, তবে সহজভাবে এবং কার্যকরভাবে এটিকে পৃষ্ঠাগুলিতে বিভক্ত করতেও ব্যবহার করা যেতে পারে।

উচ্চ-স্তরের প্রতিলিপির কাঠামোর মধ্যে স্থানান্তরিত ডেটার পরিমাণ হ্রাস করার শেষ প্রস্তাবিত পদ্ধতিটি আমার কাছে সবচেয়ে অনুকূল এবং সর্বজনীন বলে মনে হয়। এর আরো বিস্তারিতভাবে তাকান.

একটি সারি সংস্করণ কাউন্টার ব্যবহার করে ডেটা পাস করা

সার্ভার/মাস্টার অংশের বাস্তবায়ন

এমএস এসকিউএল সার্ভারে, এই পদ্ধতিটি বাস্তবায়নের জন্য একটি বিশেষ কলামের ধরন রয়েছে - rowversion. প্রতিটি ডাটাবেসের একটি কাউন্টার থাকে যা প্রতিবার একটি রেকর্ড যুক্ত/পরিবর্তন করার সময় একটি টেবিলে বৃদ্ধি পায় যার মতো একটি কলাম থাকে rowversion. এই কাউন্টারের মান স্বয়ংক্রিয়ভাবে যোগ করা/পরিবর্তিত রেকর্ডে এই কলামের ক্ষেত্রে নির্ধারিত হয়। Tarantool DBMS-এর অনুরূপ বিল্ট-ইন মেকানিজম নেই। তবে, ট্যারান্টুলে এটি ম্যানুয়ালি প্রয়োগ করা কঠিন নয়। চলুন দেখা যাক কিভাবে এই কাজ করা হয়.

প্রথমত, একটু পরিভাষা: ট্যারান্টুলের টেবিলগুলিকে স্পেস বলা হয় এবং রেকর্ডগুলিকে বলা হয় টুপল৷ Tarantool এ আপনি সিকোয়েন্স তৈরি করতে পারেন। সিকোয়েন্সগুলি অর্ডারকৃত পূর্ণসংখ্যা মানের নামযুক্ত জেনারেটর ছাড়া আর কিছুই নয়। সেগুলো. এই আমরা আমাদের উদ্দেশ্য জন্য প্রয়োজন ঠিক কি. নীচে আমরা এমন একটি ক্রম তৈরি করব।

Tarantool এ কোন ডাটাবেস অপারেশন করার আগে, আপনাকে নিম্নলিখিত কমান্ডটি চালাতে হবে:

box.cfg{}

ফলস্বরূপ, Tarantool বর্তমান ডিরেক্টরিতে ডাটাবেস স্ন্যাপশট এবং লেনদেন লগ লেখা শুরু করবে।

এর একটি ক্রম তৈরি করা যাক row_version:

box.schema.sequence.create('row_version',
    { if_not_exists = true })

বিকল্প if_not_exists ক্রিয়েশন স্ক্রিপ্টটি একাধিকবার চালানোর অনুমতি দেয়: যদি বস্তুটি বিদ্যমান থাকে, Tarantool এটি আবার তৈরি করার চেষ্টা করবে না। এই বিকল্পটি পরবর্তী সমস্ত DDL কমান্ডে ব্যবহার করা হবে।

উদাহরণ হিসাবে একটি স্থান তৈরি করা যাক।

box.schema.space.create('goods', {
    format = {
        {
            name = 'id',
            type = 'unsigned'

        },
        {
            name = 'name',
            type = 'string'

        },
        {
            name = 'code',
            type = 'unsigned'

        },
        {
            name = 'row_ver',
            type = 'unsigned'

        }
    },
    if_not_exists = true
})

এখানে আমরা স্থানের নাম সেট করি (goods), ক্ষেত্রের নাম এবং তাদের প্রকার।

ট্যারান্টুলে স্বয়ংক্রিয়ভাবে বৃদ্ধির ক্ষেত্রগুলিও ক্রম ব্যবহার করে তৈরি করা হয়। ক্ষেত্র অনুসারে একটি স্বয়ংক্রিয়-বৃদ্ধিকারী প্রাথমিক কী তৈরি করা যাক id:

box.schema.sequence.create('goods_id',
    { if_not_exists = true })
box.space.goods:create_index('primary', {
    parts = { 'id' },
    sequence = 'goods_id',
    unique = true,
    type = 'HASH',
    if_not_exists = true
})

Tarantool বিভিন্ন ধরনের সূচী সমর্থন করে। সর্বাধিক ব্যবহৃত সূচকগুলি হল TREE এবং HASH প্রকার, যা নামের সাথে সম্পর্কিত কাঠামোর উপর ভিত্তি করে। TREE হল সবচেয়ে বহুমুখী সূচকের ধরন। এটি আপনাকে একটি সংগঠিত পদ্ধতিতে ডেটা পুনরুদ্ধার করতে দেয়। কিন্তু সমতা নির্বাচনের জন্য, হ্যাশ আরও উপযুক্ত। তদনুসারে, প্রাথমিক কী (যা আমরা করেছি) এর জন্য HASH ব্যবহার করার পরামর্শ দেওয়া হচ্ছে।

কলাম ব্যবহার করতে row_ver পরিবর্তিত ডেটা স্থানান্তর করতে, আপনাকে এই কলামের ক্ষেত্রগুলিতে ক্রম মানগুলি আবদ্ধ করতে হবে row_ver. কিন্তু প্রাথমিক কী থেকে ভিন্ন, কলাম ক্ষেত্রের মান row_ver শুধুমাত্র নতুন রেকর্ড যোগ করার সময়ই নয়, বিদ্যমান রেকর্ডগুলি পরিবর্তন করার সময়ও এক দ্বারা বৃদ্ধি করা উচিত। আপনি এর জন্য ট্রিগার ব্যবহার করতে পারেন। ট্যারান্টুলের দুটি ধরণের স্পেস ট্রিগার রয়েছে: before_replace и on_replace. যখনই স্থানের ডেটা পরিবর্তিত হয় তখনই ট্রিগারগুলি গুলি করা হয় (পরিবর্তন দ্বারা প্রভাবিত প্রতিটি টিপলের জন্য, একটি ট্রিগার ফাংশন চালু করা হয়)। অপছন্দ on_replace, before_replace-ট্রিগারগুলি আপনাকে টিপলের ডেটা পরিবর্তন করতে দেয় যার জন্য ট্রিগারটি কার্যকর করা হয়। তদনুসারে, শেষ ধরণের ট্রিগারগুলি আমাদের জন্য উপযুক্ত।

box.space.goods:before_replace(function(old, new)
    return box.tuple.new({new[1], new[2], new[3],
        box.sequence.row_version:next()})
end)

নিম্নলিখিত ট্রিগার ক্ষেত্রের মান প্রতিস্থাপন করে row_ver অনুক্রমের পরবর্তী মানের টুপল সংরক্ষণ করা হয় row_version.

যাতে মহাকাশ থেকে ডেটা বের করা যায় goods কলাম দ্বারা row_ver, আসুন একটি সূচক তৈরি করি:

box.space.goods:create_index('row_ver', {
    parts = { 'row_ver' },
    unique = true,
    type = 'TREE',
    if_not_exists = true
})

সূচকের ধরন - গাছ (TREE), কারণ আমাদের কলামের মানগুলির ক্রমবর্ধমান ক্রমে ডেটা বের করতে হবে row_ver.

স্পেসে কিছু ডেটা যোগ করা যাক:

box.space.goods:insert{nil, 'pen', 123}
box.space.goods:insert{nil, 'pencil', 321}
box.space.goods:insert{nil, 'brush', 100}
box.space.goods:insert{nil, 'watercolour', 456}
box.space.goods:insert{nil, 'album', 101}
box.space.goods:insert{nil, 'notebook', 800}
box.space.goods:insert{nil, 'rubber', 531}
box.space.goods:insert{nil, 'ruler', 135}

কারণ প্রথম ক্ষেত্রটি একটি স্বয়ংক্রিয়-বর্ধিত কাউন্টার; আমরা পরিবর্তে শূন্য পাস করি। Tarantool স্বয়ংক্রিয়ভাবে পরবর্তী মান প্রতিস্থাপন করবে। একইভাবে, কলাম ক্ষেত্রের মান হিসাবে row_ver আপনি শূন্য পাস করতে পারেন - বা মোটেও মান নির্দিষ্ট করবেন না, কারণ এই কলামটি স্থানের শেষ অবস্থান দখল করে।

আসুন সন্নিবেশ ফলাফল পরীক্ষা করা যাক:

tarantool> box.space.goods:select()
---
- - [1, 'pen', 123, 1]
  - [2, 'pencil', 321, 2]
  - [3, 'brush', 100, 3]
  - [4, 'watercolour', 456, 4]
  - [5, 'album', 101, 5]
  - [6, 'notebook', 800, 6]
  - [7, 'rubber', 531, 7]
  - [8, 'ruler', 135, 8]
...

আপনি দেখতে পাচ্ছেন, প্রথম এবং শেষ ক্ষেত্রগুলি স্বয়ংক্রিয়ভাবে পূর্ণ হয়। এখন স্থান পরিবর্তনের পৃষ্ঠায় পৃষ্ঠা আপলোড করার জন্য একটি ফাংশন লেখা সহজ হবে goods:

local page_size = 5
local function get_goods(row_ver)
    local index = box.space.goods.index.row_ver
    local goods = {}
    local counter = 0
    for _, tuple in index:pairs(row_ver, {
        iterator = 'GT' }) do
        local obj = tuple:tomap({ names_only = true })
        table.insert(goods, obj)
        counter = counter + 1
        if counter >= page_size then
            break
        end
    end
    return goods
end

ফাংশনটি মানটিকে প্যারামিটার হিসাবে নেয় row_ver, যেখান থেকে পরিবর্তন আনলোড করা প্রয়োজন, এবং পরিবর্তিত ডেটার একটি অংশ ফেরত দেয়।

ট্যারান্টুলে ডেটা স্যাম্পলিং ইনডেক্সের মাধ্যমে করা হয়। ফাংশন get_goods সূচক দ্বারা একটি পুনরাবৃত্তিকারী ব্যবহার করে row_ver পরিবর্তিত ডেটা গ্রহণ করতে। ইটারেটরের ধরন হল GT (এর চেয়ে বড়, এর চেয়ে বড়)। এর মানে হল যে পুনরাবৃত্তিকারী ক্রমানুসারে পাস করা কী (ক্ষেত্রের মান) থেকে শুরু করে সূচকের মানগুলি অতিক্রম করবে row_ver).

পুনরাবৃত্তিকারী টিপল প্রদান করে। পরবর্তীকালে HTTP এর মাধ্যমে ডেটা স্থানান্তর করতে সক্ষম হওয়ার জন্য, টিপলগুলিকে পরবর্তী ক্রমিককরণের জন্য সুবিধাজনক কাঠামোতে রূপান্তর করা প্রয়োজন। উদাহরণটি এর জন্য স্ট্যান্ডার্ড ফাংশন ব্যবহার করে tomap. ব্যবহার করার পরিবর্তে tomap আপনি আপনার নিজের ফাংশন লিখতে পারেন। উদাহরণস্বরূপ, আমরা একটি ক্ষেত্রের নাম পরিবর্তন করতে চাই name, মাঠ পাস না code এবং একটি ক্ষেত্র যোগ করুন comment:

local function unflatten_goods(tuple)
    local obj = {}
    obj.id = tuple.id
    obj.goods_name = tuple.name
    obj.comment = 'some comment'
    obj.row_ver = tuple.row_ver
    return obj
end

আউটপুট ডেটার পৃষ্ঠার আকার (একটি অংশে রেকর্ডের সংখ্যা) পরিবর্তনশীল দ্বারা নির্ধারিত হয় page_size. উদাহরণে মান page_size হল 5. একটি বাস্তব প্রোগ্রামে, পৃষ্ঠার আকার সাধারণত বেশি গুরুত্বপূর্ণ। এটি স্পেস টিপলের গড় আকারের উপর নির্ভর করে। ডেটা স্থানান্তর সময় পরিমাপ করে সর্বোত্তম পৃষ্ঠার আকার পরীক্ষামূলকভাবে নির্ধারণ করা যেতে পারে। পৃষ্ঠার আকার যত বড় হবে, পাঠানো এবং গ্রহণকারী পক্ষের মধ্যে রাউন্ডট্রিপের সংখ্যা তত কম হবে। এইভাবে আপনি পরিবর্তনগুলি ডাউনলোড করার জন্য সামগ্রিক সময় কমাতে পারেন। যাইহোক, যদি পৃষ্ঠার আকার খুব বড় হয়, আমরা নমুনাটি সিরিয়ালাইজ করতে সার্ভারে খুব বেশি সময় ব্যয় করব। ফলস্বরূপ, সার্ভারে আসা অন্যান্য অনুরোধগুলি প্রক্রিয়াকরণে বিলম্ব হতে পারে। প্যারামিটার page_size কনফিগারেশন ফাইল থেকে লোড করা যেতে পারে। প্রতিটি প্রেরিত স্থানের জন্য, আপনি তার নিজস্ব মান সেট করতে পারেন। যাইহোক, বেশিরভাগ স্থানের জন্য ডিফল্ট মান (উদাহরণস্বরূপ, 100) উপযুক্ত হতে পারে।

এর ফাংশন নির্বাহ করা যাক get_goods:

tarantool> get_goods(0)

---
- - row_ver: 1
    code: 123
    name: pen
    id: 1
  - row_ver: 2
    code: 321
    name: pencil
    id: 2
  - row_ver: 3
    code: 100
    name: brush
    id: 3
  - row_ver: 4
    code: 456
    name: watercolour
    id: 4
  - row_ver: 5
    code: 101
    name: album
    id: 5
...

ফিল্ড ভ্যালু ধরা যাক row_ver শেষ লাইন থেকে এবং আবার ফাংশন কল করুন:

tarantool> get_goods(5)

---
- - row_ver: 6
    code: 800
    name: notebook
    id: 6
  - row_ver: 7
    code: 531
    name: rubber
    id: 7
  - row_ver: 8
    code: 135
    name: ruler
    id: 8
...

আরেকবার:

tarantool> get_goods(8)
---
- []
...

আপনি দেখতে পাচ্ছেন, যখন এইভাবে ব্যবহার করা হয়, ফাংশনটি পৃষ্ঠা অনুসারে সমস্ত স্থান রেকর্ড পৃষ্ঠা প্রদান করে goods. শেষ পৃষ্ঠাটি একটি খালি নির্বাচন দ্বারা অনুসরণ করা হয়।

আসুন স্থান পরিবর্তন করি:

box.space.goods:update(4, {{'=', 6, 'copybook'}})
box.space.goods:insert{nil, 'clip', 234}
box.space.goods:insert{nil, 'folder', 432}

আমরা ক্ষেত্রের মান পরিবর্তন করেছি name একটি এন্ট্রির জন্য এবং দুটি নতুন এন্ট্রি যোগ করা হয়েছে।

শেষ ফাংশন কল পুনরাবৃত্তি করা যাক:

tarantool> get_goods(8)
---



- - row_ver: 9
    code: 800
    name: copybook
    id: 6
  - row_ver: 10
    code: 234
    name: clip
    id: 9
  - row_ver: 11
    code: 432
    name: folder
    id: 10
...

ফাংশনটি পরিবর্তিত এবং যুক্ত রেকর্ড ফিরিয়ে দিয়েছে। তাই ফাংশন get_goods আপনাকে ডেটা পাওয়ার অনুমতি দেয় যা তার শেষ কল থেকে পরিবর্তিত হয়েছে, যা বিবেচনাধীন প্রতিলিপি পদ্ধতির ভিত্তি।

আমরা এই নিবন্ধের সুযোগের বাইরে JSON আকারে HTTP-এর মাধ্যমে ফলাফল জারি করব। আপনি এখানে এই সম্পর্কে পড়তে পারেন: https://habr.com/ru/company/mailru/blog/272141/

ক্লায়েন্ট/স্লেভ অংশের বাস্তবায়ন

এর প্রাপ্তি পক্ষের বাস্তবায়ন কেমন দেখায় তা দেখুন। ডাউনলোড করা ডেটা সংরক্ষণ করার জন্য প্রাপ্তির পাশে একটি স্থান তৈরি করা যাক:

box.schema.space.create('goods', {
    format = {
        {
            name = 'id',
            type = 'unsigned'

        },
        {
            name = 'name',
            type = 'string'

        },
        {
            name = 'code',
            type = 'unsigned'

        }
    },
    if_not_exists = true
})

box.space.goods:create_index('primary', {
    parts = { 'id' },
    sequence = 'goods_id',
    unique = true,
    type = 'HASH',
    if_not_exists = true
})

স্থানের গঠন উৎসে স্থানের গঠনের অনুরূপ। কিন্তু যেহেতু আমরা প্রাপ্ত ডেটা অন্য কোথাও পাস করতে যাচ্ছি না, কলাম row_ver প্রাপকের জায়গায় নেই। মাঠে id উৎস শনাক্তকারী রেকর্ড করা হবে. অতএব, রিসিভারের দিকে এটি স্বয়ংক্রিয়ভাবে বৃদ্ধি করার প্রয়োজন নেই।

উপরন্তু, আমরা মান সংরক্ষণ করার জন্য একটি স্থান প্রয়োজন row_ver:

box.schema.space.create('row_ver', {
    format = {
        {
            name = 'space_name',
            type = 'string'

        },
        {
            name = 'value',
            type = 'string'

        }
    },
    if_not_exists = true
})

box.space.row_ver:create_index('primary', {
    parts = { 'space_name' },
    unique = true,
    type = 'HASH',
    if_not_exists = true
})

প্রতিটি লোড করা স্থানের জন্য (ক্ষেত্র space_name) আমরা এখানে শেষ লোড করা মান সংরক্ষণ করব row_ver (ক্ষেত্র value) কলাম প্রাথমিক কী হিসাবে কাজ করে space_name.

স্পেস ডেটা লোড করার জন্য একটি ফাংশন তৈরি করা যাক goods HTTP এর মাধ্যমে। এটি করার জন্য, আমাদের একটি লাইব্রেরি প্রয়োজন যা একটি HTTP ক্লায়েন্ট প্রয়োগ করে। নিম্নলিখিত লাইনটি লাইব্রেরি লোড করে এবং HTTP ক্লায়েন্টকে তাৎক্ষণিক করে:

local http_client = require('http.client').new()

json deserialization এর জন্য আমাদের একটি লাইব্রেরিও দরকার:

local json = require('json')

এটি একটি ডেটা লোডিং ফাংশন তৈরি করার জন্য যথেষ্ট:

local function load_data(url, row_ver)
    local url = ('%s?rowVer=%s'):format(url,
        tostring(row_ver))
    local body = nil
    local data = http_client:request('GET', url, body, {
        keepalive_idle =  1,
        keepalive_interval = 1
    })
    return json.decode(data.body)
end

ফাংশনটি url ঠিকানায় একটি HTTP অনুরোধ নির্বাহ করে এবং পাঠায় row_ver একটি প্যারামিটার হিসাবে এবং অনুরোধের deserialized ফলাফল প্রদান করে.

প্রাপ্ত তথ্য সংরক্ষণের জন্য ফাংশন এই মত দেখায়:

local function save_goods(goods)
    local n = #goods
    box.atomic(function()
        for i = 1, n do
            local obj = goods[i]
            box.space.goods:put(
                obj.id, obj.name, obj.code)
        end
    end)
end

মহাকাশে ডেটা সংরক্ষণের চক্র goods একটি লেনদেনে স্থাপন করা হয়েছে (ফাংশনটি এর জন্য ব্যবহৃত হয় box.atomic) ডিস্ক অপারেশন সংখ্যা কমাতে.

অবশেষে, স্থানীয় স্থান সিঙ্ক্রোনাইজেশন ফাংশন goods একটি উত্স দিয়ে আপনি এটি এই মত বাস্তবায়ন করতে পারেন:

local function sync_goods()
    local tuple = box.space.row_ver:get('goods')
    local row_ver = tuple and tuple.value or 0

    —— set your url here:
    local url = 'http://127.0.0.1:81/test/goods/list'

    while true do
        local goods = load_goods(url, row_ver)

        local count = #goods
        if count == 0 then
            return
        end

        save_goods(goods)

        row_ver = goods[count].rowVer
        box.space.row_ver:put({'goods', row_ver})
    end
end

প্রথমে আমরা পূর্বে সংরক্ষিত মান পড়ি row_ver স্থানের জন্য goods. যদি এটি অনুপস্থিত থাকে (প্রথম বিনিময় অধিবেশন), তাহলে আমরা এটি হিসাবে গ্রহণ করি row_ver শূন্য পরবর্তী চক্রে আমরা নির্দিষ্ট url-এ উৎস থেকে পরিবর্তিত ডেটার একটি পৃষ্ঠা-বাই-পৃষ্ঠা ডাউনলোড করি। প্রতিটি পুনরাবৃত্তিতে, আমরা প্রাপ্ত ডেটা যথাযথ স্থানীয় স্থানে সংরক্ষণ করি এবং মান আপডেট করি row_ver (স্থান row_ver এবং পরিবর্তনশীল মধ্যে row_ver) - মান নিন row_ver লোড করা ডেটার শেষ লাইন থেকে।

দুর্ঘটনাজনিত লুপিং থেকে রক্ষা করার জন্য (প্রোগ্রামে ত্রুটির ক্ষেত্রে), লুপ while দ্বারা প্রতিস্থাপিত করা যেতে পারে for:

for _ = 1, max_req do ...

ফাংশন নির্বাহের ফলে sync_goods স্থান goods রিসিভারে সমস্ত স্থান রেকর্ডের সর্বশেষ সংস্করণ থাকবে goods উৎসে

স্পষ্টতই, ডেটা মুছে ফেলা এইভাবে সম্প্রচার করা যাবে না। যদি এই ধরনের প্রয়োজন থাকে, আপনি একটি মুছে ফেলার চিহ্ন ব্যবহার করতে পারেন। স্থান যোগ করুন goods বুলিয়ান ক্ষেত্র is_deleted এবং শারীরিকভাবে একটি রেকর্ড মুছে ফেলার পরিবর্তে, আমরা যৌক্তিক মুছে ফেলা ব্যবহার করি - আমরা ক্ষেত্রের মান সেট করি is_deleted অর্থে true. কখনও কখনও একটি বুলিয়ান ক্ষেত্রের পরিবর্তে is_deleted ক্ষেত্রটি ব্যবহার করা আরও সুবিধাজনক deleted, যা রেকর্ডের যৌক্তিক মুছে ফেলার তারিখ-সময় সংরক্ষণ করে। একটি যৌক্তিক মুছে ফেলার পরে, মুছে ফেলার জন্য চিহ্নিত রেকর্ডটি উৎস থেকে গন্তব্যে স্থানান্তরিত হবে (উপরে আলোচনা করা যুক্তি অনুসারে)।

ক্রম row_ver অন্যান্য স্থান থেকে ডেটা প্রেরণ করতে ব্যবহার করা যেতে পারে: প্রতিটি স্থানান্তরিত স্থানের জন্য একটি পৃথক ক্রম তৈরি করার প্রয়োজন নেই।

আমরা Tarantool DBMS ব্যবহার করে অ্যাপ্লিকেশনগুলিতে উচ্চ-স্তরের ডেটা প্রতিলিপির একটি কার্যকর উপায় দেখেছি।

তথ্যও

1. টারান্টুল ডিবিএমএস একটি আকর্ষণীয়, উচ্চ-লোড অ্যাপ্লিকেশন তৈরির জন্য প্রতিশ্রুতিশীল পণ্য।
2. নিম্ন-স্তরের প্রতিলিপির তুলনায় উচ্চ-স্তরের ডেটা প্রতিলিপির অনেকগুলি সুবিধা রয়েছে।
3. নিবন্ধে আলোচিত উচ্চ-স্তরের প্রতিলিপি পদ্ধতিটি আপনাকে কেবলমাত্র সেই রেকর্ডগুলি স্থানান্তর করে স্থানান্তরিত ডেটার পরিমাণ হ্রাস করতে দেয় যা গত এক্সচেঞ্জ সেশন থেকে পরিবর্তিত হয়েছে।

উত্স: www.habr.com