হুইলসেটের জন্য বিতরণকৃত রেজিস্ট্রি: হাইপারলেজার ফ্যাব্রিকের সাথে একটি অভিজ্ঞতা

হ্যালো, আমি ডিআরডি কেপি প্রকল্পের দলে কাজ করি (হুইল সেটের জীবনচক্র নিরীক্ষণের জন্য বিতরণকৃত ডেটা রেজিস্ট্রি)। এখানে আমি প্রযুক্তির সীমাবদ্ধতার অধীনে এই প্রকল্পের জন্য একটি এন্টারপ্রাইজ ব্লকচেইন তৈরিতে আমাদের দলের অভিজ্ঞতা শেয়ার করতে চাই। আমি বেশিরভাগ হাইপারলেজার ফ্যাব্রিক সম্পর্কে কথা বলব, তবে এখানে বর্ণিত পদ্ধতিটি যে কোনও অনুমোদিত ব্লকচেইনে এক্সট্রাপোলেট করা যেতে পারে। আমাদের গবেষণার চূড়ান্ত লক্ষ্য হল এন্টারপ্রাইজ ব্লকচেইন সমাধান প্রস্তুত করা যাতে চূড়ান্ত পণ্যটি ব্যবহারে আনন্দদায়ক হয় এবং বজায় রাখা খুব কঠিন না হয়।

এখানে কোন আবিষ্কার, অপ্রত্যাশিত সমাধান থাকবে না এবং কোন অনন্য উন্নয়ন এখানে হাইলাইট করা হবে না (কারণ আমার কাছে নেই)। আমি শুধু আমার শালীন অভিজ্ঞতা শেয়ার করতে চাই, দেখাতে চাই যে "এটি সম্ভব ছিল" এবং, সম্ভবত, মন্তব্যে ভাল এবং এত ভাল না সিদ্ধান্ত নেওয়ার অন্য লোকের অভিজ্ঞতা সম্পর্কে পড়ুন।

সমস্যা: ব্লকচেইন এখনও স্কেল করে না

আজ, অনেক ডেভেলপারের প্রচেষ্টার লক্ষ্য হল ব্লকচেইনকে সত্যিকারের সুবিধাজনক প্রযুক্তিতে পরিণত করা, এবং একটি সুন্দর মোড়কে টাইম বোমা নয়। রাষ্ট্রীয় চ্যানেল, আশাবাদী রোলআপ, প্লাজমা এবং শার্ডিং সম্ভবত সাধারণ হয়ে উঠবে। কোন দিন। অথবা সম্ভবত TON আবার ছয় মাসের জন্য লঞ্চ স্থগিত করবে, এবং পরবর্তী প্লাজমা গ্রুপের অস্তিত্ব বন্ধ হয়ে যাবে। আমরা পরবর্তী রোডম্যাপে বিশ্বাস করতে পারি এবং রাতে উজ্জ্বল সাদা কাগজ পড়তে পারি, কিন্তু এখানে এবং এখন আমাদের যা আছে তা নিয়ে আমাদের কিছু করতে হবে। বিষ্ঠা সম্পন্ন করা.

বর্তমান প্রকল্পে আমাদের দলের জন্য টাস্ক সেটটি সাধারণভাবে এইরকম দেখায়: অনেক বিষয় রয়েছে, কয়েক হাজারে পৌঁছেছে, যারা বিশ্বাসের ভিত্তিতে সম্পর্ক তৈরি করতে চায় না; ডিএলটি-তে এমন একটি সমাধান তৈরি করা প্রয়োজন যা সাধারণ পিসিতে বিশেষ পারফরম্যান্সের প্রয়োজনীয়তা ছাড়াই কাজ করবে এবং ব্যবহারকারীর অভিজ্ঞতা প্রদান করবে যে কোনও কেন্দ্রীভূত অ্যাকাউন্টিং সিস্টেমের চেয়ে খারাপ নয়। সমাধানের পিছনে থাকা প্রযুক্তিকে অবশ্যই ডেটার ক্ষতিকারক ম্যানিপুলেশনের সম্ভাবনা কমিয়ে দিতে হবে - এই কারণেই ব্লকচেইন এখানে।

শ্বেতপত্রের স্লোগান এবং মিডিয়া আমাদের প্রতিশ্রুতি দেয় যে পরবর্তী উন্নয়ন আমাদের প্রতি সেকেন্ডে লক্ষ লক্ষ লেনদেন করতে দেবে। এটা আসলে কি?

Mainnet Ethereum বর্তমানে ~30 tps এ চলছে। শুধুমাত্র এই কারণে, কর্পোরেট প্রয়োজনের জন্য উপযুক্ত কোনো উপায়ে ব্লকচেইন হিসাবে এটি উপলব্ধি করা কঠিন। অনুমোদিত সমাধানগুলির মধ্যে 2000 টিপিএস দেখানো বেঞ্চমার্ক রয়েছে (কোরাম) বা 3000 টিপিএস (হাইপারলেগার ফ্যাব্রিক, প্রকাশনায় কিছুটা কম আছে, তবে আপনাকে বিবেচনা করতে হবে যে বেঞ্চমার্কটি পুরানো ঐক্যমত্য ইঞ্জিনে পরিচালিত হয়েছিল)। ছিল র্যাডিকাল ফ্যাব্রিক প্রক্রিয়াকরণের একটি প্রচেষ্টা, যা সবচেয়ে খারাপ ফলাফল দেয়নি, 20000 টিপিএস, তবে এখনও পর্যন্ত এটি কেবল একাডেমিক গবেষণা, এটির স্থিতিশীল বাস্তবায়নের জন্য অপেক্ষা করছে। ব্লকচেইন ডেভেলপারদের একটি বিভাগ বজায় রাখার সামর্থ্য রাখে এমন একটি কর্পোরেশন এই ধরনের সূচকগুলির সাথে যুক্ত হওয়ার সম্ভাবনা কম। তবে সমস্যাটি কেবল থ্রুপুট নয়, লেটেন্সিও রয়েছে।

অদৃশ্যতা

একটি লেনদেন শুরু হওয়ার মুহূর্ত থেকে সিস্টেমের চূড়ান্ত অনুমোদনের জন্য দেরি নির্ভর করে শুধুমাত্র যে গতিতে বার্তাটি বৈধতা এবং অর্ডারের সমস্ত ধাপ অতিক্রম করে তার উপর নয়, ব্লক গঠনের পরামিতিগুলির উপরও নির্ভর করে। এমনকি যদি আমাদের ব্লকচেইন আমাদের 1000000 tps গতিতে কমিট করার অনুমতি দেয়, কিন্তু 10 এমবি ব্লক তৈরি করতে 488 মিনিটের প্রয়োজন হয়, তাহলে কি এটা আমাদের জন্য সহজ হবে?

চলুন হাইপারলেজার ফ্যাব্রিকের লেনদেনের জীবনচক্রটি ঘনিষ্ঠভাবে দেখে নেওয়া যাক যেখানে সময় ব্যয় করা হয় এবং এটি কীভাবে ব্লক জেনারেশন প্যারামিটারের সাথে সম্পর্কিত।

এখান থেকে নেওয়া: hyperledger-fabric.readthedocs.io/en/release-1.4/arch-deep-dive.html#swimlane

(1) ক্লায়েন্ট একটি লেনদেন তৈরি করে, এটি সমর্থনকারী সমবয়সীদের কাছে পাঠায়, পরবর্তীটি লেনদেনটি অনুকরণ করে (বর্তমান অবস্থায় চেইনকোড দ্বারা করা পরিবর্তনগুলি প্রয়োগ করুন, কিন্তু লেজারে প্রতিশ্রুতিবদ্ধ হবেন না) এবং RWSet পাবেন - মূল নাম, সংস্করণ এবং মানগুলি CouchDB-এর সংগ্রহ থেকে নেওয়া, (2) সমর্থনকারীরা ক্লায়েন্টের কাছে একটি স্বাক্ষরিত RWSet ফেরত পাঠায়, (3) ক্লায়েন্ট হয় সমস্ত প্রয়োজনীয় সহকর্মীদের (সমর্থকদের) স্বাক্ষরের উপস্থিতি পরীক্ষা করে এবং তারপর অর্ডারিং পরিষেবাতে লেনদেন পাঠায় , অথবা যাচাই ছাড়াই এটি পাঠায় (চেকটি এখনও পরে হবে), অর্ডারিং পরিষেবা একটি ব্লক গঠন করে এবং ( 4) শুধুমাত্র সমর্থনকারীদের নয়, সমস্ত সহকর্মীদের কাছে ফেরত পাঠায়; সহকর্মীরা পরীক্ষা করে দেখুন যে পঠিত সেটের মূল সংস্করণগুলি ডাটাবেসের সংস্করণগুলির সাথে মেলে, সমস্ত সমর্থনকারীদের স্বাক্ষর রয়েছে এবং অবশেষে ব্লকটি কমিট৷

কিন্তু যে সব হয় না। "অর্ডারার একটি ব্লক তৈরি করে" শব্দগুলি শুধুমাত্র লেনদেনের ক্রমকে লুকিয়ে রাখে না, তবে নেতার কাছ থেকে অনুসরণকারীদের কাছে 3টি অনুক্রমিক নেটওয়ার্ক অনুরোধও লুকিয়ে রাখে: নেতা লগটিতে একটি বার্তা যোগ করেন, এটি অনুসরণকারীদের কাছে পাঠান, পরবর্তীটি এটি যোগ করে তাদের লগে, নেতার কাছে সফল প্রতিলিপির নিশ্চিতকরণ পাঠায়, নেতা বার্তাটি কমিট করে, অনুগামীদের কাছে নিশ্চিতকরণ পাঠায়, অনুসরণকারীরা প্রতিশ্রুতি দেয়। ব্লক গঠনের আকার এবং সময় যত ছোট হবে, তত বেশি সময় অর্ডারিং পরিষেবাকে ঐকমত্য প্রতিষ্ঠা করতে হবে. হাইপারলেজার ফ্যাব্রিকের ব্লক গঠনের জন্য দুটি প্যারামিটার রয়েছে: ব্যাচটাইমআউট - ব্লক গঠনের সময় এবং ব্যাচসাইজ - ব্লকের আকার (লেনদেনের সংখ্যা এবং বাইটে ব্লকের আকার)। পরামিতিগুলির একটি সীমাতে পৌঁছানোর সাথে সাথে একটি নতুন ব্লক প্রকাশিত হয়। যত বেশি অর্ডার নোড, তত বেশি সময় লাগবে। অতএব, আপনাকে ব্যাচটাইমআউট এবং ব্যাচসাইজ বাড়াতে হবে। কিন্তু যেহেতু RWSets ভার্সন করা হয়েছে, আমরা যত বড় ব্লক তৈরি করি, MVCC দ্বন্দ্বের সম্ভাবনা তত বেশি। উপরন্তু, ব্যাচটাইমআউট বাড়ার সাথে সাথে UX বিপর্যয়করভাবে হ্রাস পায়। এই সমস্যাগুলি সমাধানের জন্য নিম্নলিখিত স্কিমটি আমার কাছে যুক্তিসঙ্গত এবং সুস্পষ্ট বলে মনে হচ্ছে।

কীভাবে ব্লক চূড়ান্তকরণের জন্য অপেক্ষা করা এড়ানো যায় এবং লেনদেনের স্থিতি ট্র্যাক করার ক্ষমতা হারাবেন না

গঠনের সময় এবং ব্লকের আকার যত বেশি হবে, ব্লকচেইনের থ্রুপুট তত বেশি হবে। একটি সরাসরি অন্যটির থেকে অনুসরণ করে না, তবে এটি মনে রাখা উচিত যে RAFT-এ ঐক্যমত প্রতিষ্ঠার জন্য নেতার থেকে অনুগামীদের এবং পিছনে তিনটি নেটওয়ার্ক অনুরোধ প্রয়োজন। যত বেশি অর্ডার নোড, তত বেশি সময় লাগবে। ব্লক গঠনের আকার এবং সময় যত ছোট হবে, এই ধরনের মিথস্ক্রিয়া তত বেশি হবে। শেষ ব্যবহারকারীর জন্য সিস্টেম প্রতিক্রিয়া সময় না বাড়িয়ে প্রজন্মের সময় এবং ব্লকের আকার কীভাবে বাড়ানো যায়?

প্রথমত, আমাদের একটি বড় ব্লকের আকারের কারণে সৃষ্ট MVCC দ্বন্দ্বগুলিকে কোনোভাবে সমাধান করতে হবে, যার মধ্যে একই সংস্করণের সাথে বিভিন্ন RWSets অন্তর্ভুক্ত থাকতে পারে। স্পষ্টতই, ক্লায়েন্টের দিকে (ব্লকচেন নেটওয়ার্কের সাথে সম্পর্কিত, এটি ব্যাকএন্ড হতে পারে এবং আমি বলতে চাচ্ছি) আপনার প্রয়োজন MVCC দ্বন্দ্ব পরিচালনাকারী, যা হয় একটি পৃথক পরিষেবা বা কলের উপরে একটি নিয়মিত ডেকোরেটর হতে পারে যা পুনরায় চেষ্টা করার যুক্তি দিয়ে লেনদেন শুরু করে৷

পুনঃপ্রচেষ্টা একটি সূচকীয় কৌশলের সাথে প্রয়োগ করা যেতে পারে, কিন্তু তারপরে বিলম্বিততা সূচকীয়ভাবে হ্রাস পাবে। তাই আপনার হয় নির্দিষ্ট ছোট সীমার মধ্যে একটি এলোমেলো পুনঃপ্রচেষ্টা ব্যবহার করা উচিত, অথবা একটি ধ্রুবক। প্রথম বিকল্পে সম্ভাব্য সংঘর্ষের দিকে নজর দিয়ে।

পরবর্তী ধাপ হল সিস্টেমের সাথে ক্লায়েন্টের মিথস্ক্রিয়াকে অ্যাসিঙ্ক্রোনাস করা যাতে এটি 15, 30 বা 10000000 সেকেন্ডের জন্য অপেক্ষা না করে, যা আমরা ব্যাচটাইমআউট হিসাবে সেট করব। কিন্তু একই সময়ে, লেনদেনের মাধ্যমে শুরু হওয়া পরিবর্তনগুলি ব্লকচেইনে নথিভুক্ত করা হয়নি তা যাচাই করার ক্ষমতা বজায় রাখা প্রয়োজন।
একটি ডাটাবেস লেনদেনের স্থিতি সংরক্ষণ করতে ব্যবহার করা যেতে পারে। সবচেয়ে সহজ বিকল্প হল CouchDB এর ব্যবহারের সহজতার কারণে: ডাটাবেসের বাক্সের বাইরে একটি UI, একটি REST API রয়েছে এবং আপনি সহজেই এটির জন্য প্রতিলিপি এবং শার্ডিং সেট আপ করতে পারেন৷ আপনি একই CouchDB দৃষ্টান্তে একটি পৃথক সংগ্রহ তৈরি করতে পারেন যা ফ্যাব্রিককে তার বিশ্ব অবস্থা সংরক্ষণ করতে ব্যবহার করে। আমাদের এই ধরনের নথি সংরক্ষণ করতে হবে।

{
 Status string // Статус транзакции: "pending", "done", "failed"
 TxID: string // ID транзакции
 Error: string // optional, сообщение об ошибке
}

লেনদেনটি সহকর্মীদের কাছে পাঠানোর আগে এই নথিটি ডাটাবেসে লেখা হয়, সত্তা আইডিটি ব্যবহারকারীকে ফেরত দেওয়া হয় (একই আইডি একটি কী হিসাবে ব্যবহৃত হয়) যদি এটি একটি ক্রিয়েশন অপারেশন হয় এবং তারপরে স্থিতি, TxID এবং ত্রুটি ক্ষেত্রগুলি হল সহকর্মীদের কাছ থেকে প্রাসঙ্গিক তথ্য প্রাপ্ত হিসাবে আপডেট করা হয়েছে।

এই স্কিমে, ব্যবহারকারী অবশেষে ব্লক তৈরি হওয়ার জন্য অপেক্ষা করেন না, 10 সেকেন্ডের জন্য স্ক্রিনে স্পিনিং হুইলটি দেখে, তিনি সিস্টেম থেকে একটি তাত্ক্ষণিক প্রতিক্রিয়া পান এবং কাজ চালিয়ে যান।

আমরা লেনদেনের স্থিতি সংরক্ষণ করার জন্য BoltDB বেছে নিয়েছি কারণ আমাদের মেমরি সংরক্ষণ করতে হবে এবং একটি পৃথক ডাটাবেস সার্ভারের সাথে নেটওয়ার্ক ইন্টারঅ্যাকশনে সময় নষ্ট করতে চাই না, বিশেষ করে যখন এই মিথস্ক্রিয়াটি একটি প্লেইন টেক্সট প্রোটোকল ব্যবহার করে ঘটে। যাইহোক, আপনি উপরে বর্ণিত স্কিমটি বাস্তবায়নের জন্য CouchDB ব্যবহার করুন বা কেবল বিশ্ব অবস্থা সঞ্চয় করতে, যে কোনও ক্ষেত্রেই CouchDB-তে ডেটা সংরক্ষণের উপায় অপ্টিমাইজ করা অর্থপূর্ণ। ডিফল্টরূপে, CouchDB-তে, বি-ট্রি নোডের আকার হল 1279 বাইট, যা ডিস্কের সেক্টরের আকারের চেয়ে অনেক ছোট, যার অর্থ হল গাছটি পড়া এবং পুনরায় ভারসাম্য বজায় রাখার জন্য ডিস্কে আরও শারীরিক অ্যাক্সেসের প্রয়োজন হবে। সর্বোত্তম আকার মান অনুরূপ অ্যাডভান্সড ফরম্যাট এবং 4 কিলোবাইট। অপ্টিমাইজ করার জন্য আমাদের প্যারামিটার সেট করতে হবে btree_chunk_size 4096 এর সমান CouchDB কনফিগারেশন ফাইলে। BoltDB যেমন ম্যানুয়াল হস্তক্ষেপ জন্য প্রয়োজন নেই.

ব্যাকপ্রেশার: বাফার কৌশল

কিন্তু অনেক বার্তা থাকতে পারে। সিস্টেম পরিচালনা করতে পারে তার চেয়ে বেশি, ডায়াগ্রামে দেখানো ব্যতীত এক ডজন অন্যান্য পরিষেবার সাথে সংস্থানগুলি ভাগ করে নেওয়া - এবং এই সমস্তগুলি নির্বিঘ্নে কাজ করা উচিত এমনকি এমন মেশিনগুলিতেও কাজ করা উচিত যেখানে ইন্টেলিজ আইডিয়া চালানো অত্যন্ত ক্লান্তিকর হবে৷

যোগাযোগ ব্যবস্থার বিভিন্ন ক্ষমতার সমস্যা, প্রযোজক এবং ভোক্তা, বিভিন্ন উপায়ে সমাধান করা হয়। দেখা যাক আমরা কি করতে পারি।

বাতিল: আমরা দাবি করতে পারি যে আমরা T সেকেন্ডে সর্বাধিক X লেনদেন প্রক্রিয়া করতে সক্ষম। এই সীমা অতিক্রম করা সমস্ত অনুরোধ বাতিল করা হয়। এটি বেশ সহজ, কিন্তু তারপর আপনি UX সম্পর্কে ভুলে যেতে পারেন।

নিয়ামক: ভোক্তার অবশ্যই এমন কিছু ইন্টারফেস থাকতে হবে যার মাধ্যমে, লোডের উপর নির্ভর করে, তিনি প্রযোজকের টিপিএস নিয়ন্ত্রণ করতে পারেন। খারাপ নয়, তবে এটি এই ইন্টারফেসটি বাস্তবায়নের জন্য লোড তৈরিকারী ক্লায়েন্টের বিকাশকারীদের উপর বাধ্যবাধকতা আরোপ করে। এটি আমাদের জন্য অগ্রহণযোগ্য, কারণ ব্লকচেইন ভবিষ্যতে বহু সংখ্যক দীর্ঘ-বিদ্যমান সিস্টেমের সাথে একীভূত হবে।

বাফারিং: ইনপুট ডেটা স্ট্রীম প্রতিরোধ করার চেষ্টা করার পরিবর্তে, আমরা এই স্ট্রীমটিকে বাফার করতে পারি এবং প্রয়োজনীয় গতিতে এটি প্রক্রিয়া করতে পারি। স্পষ্টতই এটি সর্বোত্তম সমাধান যদি আমরা একটি ভাল ব্যবহারকারীর অভিজ্ঞতা প্রদান করতে চাই। আমরা RabbitMQ এ একটি সারি ব্যবহার করে বাফারটি প্রয়োগ করেছি।

স্কিমটিতে দুটি নতুন ক্রিয়া যুক্ত করা হয়েছে: (1) API-তে একটি অনুরোধ আসার পরে, একটি লেনদেন কল করার জন্য প্রয়োজনীয় পরামিতি সহ একটি বার্তা সারিতে রাখা হয় এবং ক্লায়েন্ট একটি বার্তা পায় যে লেনদেনটি গৃহীত হয়েছে সিস্টেম, (2) ব্যাকএন্ড সারি থেকে কনফিগারে নির্দিষ্ট গতিতে ডেটা পাঠ করে; একটি লেনদেন শুরু করে এবং স্ট্যাটাস স্টোরে ডেটা আপডেট করে।
এখন আপনি গঠনের সময় বাড়াতে পারেন এবং ব্যবহারকারীর কাছ থেকে বিলম্ব লুকিয়ে যতটা চান ততটা ব্লক করতে পারেন।

অন্যান্য সরঞ্জাম

এখানে চেইনকোড সম্পর্কে কিছুই বলা হয়নি, কারণ, একটি নিয়ম হিসাবে, এতে অপ্টিমাইজ করার কিছু নেই। চেইনকোড যতটা সম্ভব সহজ এবং নিরাপদ হওয়া উচিত - এটির জন্য এটিই প্রয়োজন। ফ্রেমওয়ার্ক আমাদের সহজভাবে এবং নিরাপদে চেইনকোড লিখতে সাহায্য করে CCKit S7 Techlab এবং স্ট্যাটিক বিশ্লেষক থেকে ^CC পুনরুজ্জীবিত করুন.

এছাড়াও, আমাদের দল ফ্যাব্রিকের সাথে কাজকে সহজ এবং আনন্দদায়ক করতে ইউটিলিটিগুলির একটি সেট তৈরি করছে: ব্লকচেইন এক্সপ্লোরার, জন্য একটি ইউটিলিটি স্বয়ংক্রিয় নেটওয়ার্ক কনফিগারেশন পরিবর্তন (সংগঠন যোগ/সরানো, RAFT নোড), এর জন্য ইউটিলিটি শংসাপত্র প্রত্যাহার এবং পরিচয় অপসারণ. আপনি অবদান রাখতে চান, আপনি স্বাগত জানাই.

উপসংহার

এই পদ্ধতির সাহায্যে আপনি সহজেই হাইপারলেজার ফ্যাব্রিককে কোরাম, অন্যান্য প্রাইভেট ইথেরিয়াম নেটওয়ার্ক (PoA বা এমনকি PoW) দিয়ে প্রতিস্থাপন করতে পারবেন, প্রকৃত থ্রুপুটকে উল্লেখযোগ্যভাবে কমিয়ে আনতে পারবেন, কিন্তু একই সাথে স্বাভাবিক UX বজায় রাখতে পারবেন (উভয় ব্রাউজারে ব্যবহারকারীদের জন্য এবং ইন্টিগ্রেটেড সিস্টেমের জন্য)। স্কিমে Ethereum দিয়ে ফ্যাব্রিক প্রতিস্থাপন করার সময়, আপনাকে শুধুমাত্র MVCC দ্বন্দ্ব প্রক্রিয়াকরণ থেকে পরমাণু ননস ইনক্রিমেন্ট এবং পুনরায় পাঠানোর জন্য পুনরায় চেষ্টা পরিষেবা/ডেকোরেটরের যুক্তি পরিবর্তন করতে হবে। বাফারিং এবং স্ট্যাটাস স্টোরেজ ব্লক গঠনের সময় থেকে প্রতিক্রিয়া সময়কে দ্বিগুণ করা সম্ভব করেছে। এখন আপনি হাজার হাজার অর্ডার নোড যোগ করতে পারেন এবং ভয় পাবেন না যে ব্লকগুলি প্রায়শই গঠিত হয় এবং অর্ডারিং পরিষেবা লোড করে।

মূলত, যে সব আমি শেয়ার করতে চেয়েছিলেন. এটি তাদের কাজে কাউকে সাহায্য করলে আমি খুশি হব।

উত্স: www.habr.com