বিতরণকৃত অ্যাপ্লিকেশনের বিল্ডিং ব্লক। শূন্য আনুমানিক

পৃথিবী স্থির থাকে না। অগ্রগতি নতুন প্রযুক্তিগত চ্যালেঞ্জ তৈরি করে। পরিবর্তিত প্রয়োজনীয়তা অনুসারে, তথ্য সিস্টেমের আর্কিটেকচার অবশ্যই বিকশিত হতে হবে। আজ আমরা ইভেন্ট-চালিত আর্কিটেকচার, কনকারেন্সি, কনকারেন্সি, অ্যাসিঙ্ক্রোনি এবং কীভাবে আপনি এরলাং-এ এই সমস্ত কিছুর সাথে শান্তিপূর্ণভাবে বসবাস করতে পারেন সে সম্পর্কে কথা বলব।

ভূমিকা

পরিকল্পিত সিস্টেমের আকার এবং এর জন্য প্রয়োজনীয়তার উপর নির্ভর করে, আমরা, বিকাশকারীরা, সিস্টেমে তথ্য বিনিময়ের পদ্ধতিটি বেছে নিই। বেশিরভাগ ক্ষেত্রে, পরিষেবাগুলির মিথস্ক্রিয়া সংগঠিত করার জন্য, একটি কাজের বিকল্প একটি ব্রোকারের সাথে একটি স্কিম হতে পারে, উদাহরণস্বরূপ, RabbitMQ বা কাফকার উপর ভিত্তি করে। কিন্তু কখনও কখনও ইভেন্টের প্রবাহ, SLA এবং সিস্টেমের উপর নিয়ন্ত্রণের স্তর এমন হয় যে রেডিমেড মেসেজিং আমাদের জন্য উপযুক্ত নয়। অবশ্যই, আপনি ট্রান্সপোর্ট লেয়ার এবং ক্লাস্টার গঠনের দায়িত্ব নিয়ে সিস্টেমটিকে কিছুটা জটিল করতে পারেন, উদাহরণস্বরূপ ZeroMQ বা nanomsg ব্যবহার করে। কিন্তু যদি সিস্টেমে পর্যাপ্ত থ্রুপুট এবং একটি স্ট্যান্ডার্ড এরলাং ক্লাস্টারের ক্ষমতা থাকে, তাহলে একটি অতিরিক্ত সত্তা প্রবর্তনের বিষয়টির জন্য বিশদ অধ্যয়ন এবং অর্থনৈতিক ন্যায্যতা প্রয়োজন।

প্রতিক্রিয়াশীল বিতরণ করা অ্যাপ্লিকেশনের বিষয়টি বেশ বিস্তৃত। নিবন্ধের বিন্যাসের মধ্যে রাখার জন্য, আজকের আলোচনার বিষয়বস্তু হবে শুধুমাত্র এরলাং/এলিক্সির-এ নির্মিত সমজাতীয় পরিবেশ। Erlang/OTP ইকোসিস্টেম আপনাকে সর্বনিম্ন প্রচেষ্টার সাথে একটি প্রতিক্রিয়াশীল আর্কিটেকচার বাস্তবায়ন করতে দেয়। কিন্তু যাই হোক না কেন, আমাদের একটি মেসেজিং লেয়ার লাগবে।

তাত্ত্বিক ভিত্তি

ডিজাইন লক্ষ্য এবং সীমাবদ্ধতা সংজ্ঞায়িত করে শুরু হয়। মূল লক্ষ্য উন্নয়নের স্বার্থে এলাকায় উন্নয়ন নয়। আমাদের একটি সুরক্ষিত এবং পরিমাপযোগ্য টুল পেতে হবে যার ভিত্তিতে আমরা তৈরি করতে পারি এবং, সবচেয়ে গুরুত্বপূর্ণভাবে, বিভিন্ন স্তরের আধুনিক অ্যাপ্লিকেশনগুলি বিকাশ করতে পারি: একক-সার্ভার অ্যাপ্লিকেশন থেকে শুরু করে অল্প শ্রোতাদের পরিবেশন করে, যা পরবর্তীতে 50 পর্যন্ত ক্লাস্টারে বিকশিত হতে পারে। -60 নোড, ক্লাস্টার ফেডারেশনের সাথে শেষ। এইভাবে, মূল লক্ষ্য হল চূড়ান্ত ব্যবস্থার উন্নয়ন এবং মালিকানার খরচ কমিয়ে লাভ সর্বাধিক করা।

আসুন চূড়ান্ত সিস্টেমের জন্য 4টি প্রধান প্রয়োজনীয়তা হাইলাইট করি:

• Сঘটনা ভিত্তিক
  সিস্টেম সবসময় ইভেন্ট প্রবাহ মাধ্যমে পাস এবং প্রয়োজনীয় কর্ম সঞ্চালনের জন্য প্রস্তুত;
• Мমাপযোগ্যতা
  স্বতন্ত্র ব্লকগুলি উল্লম্ব এবং অনুভূমিকভাবে স্কেল করা যেতে পারে। সমগ্র সিস্টেম অসীম অনুভূমিক বৃদ্ধি সক্ষম হতে হবে;
• Оদোষ সহনশীলতা।
  সমস্ত স্তর এবং সমস্ত পরিষেবাগুলি স্বয়ংক্রিয়ভাবে ব্যর্থতা থেকে পুনরুদ্ধার করতে সক্ষম হওয়া উচিত;
• Гনিশ্চিত প্রতিক্রিয়া সময়।
  সময় মূল্যবান এবং ব্যবহারকারীদের খুব বেশি অপেক্ষা করা উচিত নয়।

"ছোট ইঞ্জিন যে পারে" সম্পর্কে পুরানো রূপকথার কথা মনে আছে? ডিজাইন করা সিস্টেমের জন্য সফলভাবে প্রোটোটাইপ পর্যায় থেকে প্রস্থান করতে এবং প্রগতিশীল হতে, এর ভিত্তিটি ন্যূনতম প্রয়োজনীয়তা পূরণ করতে হবে SMOG.

একটি অবকাঠামো সরঞ্জাম এবং সমস্ত পরিষেবার ভিত্তি হিসাবে মেসেজিংয়ে আরও একটি পয়েন্ট যোগ করা হয়েছে: প্রোগ্রামারদের জন্য ব্যবহার সহজ।

ঘটনাভিত্তিক

একটি অ্যাপ্লিকেশান একটি একক সার্ভার থেকে একটি ক্লাস্টারে বাড়ার জন্য, এর আর্কিটেকচারটি অবশ্যই আলগা কাপলিংকে সমর্থন করবে৷ অ্যাসিঙ্ক্রোনাস মডেল এই প্রয়োজনীয়তা পূরণ করে। এতে, প্রেরক এবং প্রাপক বার্তার তথ্য লোড সম্পর্কে যত্ন নেন এবং সিস্টেমের মধ্যে সংক্রমণ এবং রাউটিং সম্পর্কে চিন্তা করবেন না।

মাপযোগ্যতা

স্কেলেবিলিটি এবং সিস্টেমের দক্ষতা একে অপরের পাশে। অ্যাপ্লিকেশন উপাদান সমস্ত উপলব্ধ সম্পদ ব্যবহার করতে সক্ষম হতে হবে. আমরা যত বেশি দক্ষতার সাথে ক্ষমতা ব্যবহার করতে পারি এবং আমাদের প্রক্রিয়াকরণের পদ্ধতিগুলি তত বেশি অনুকূলভাবে ব্যবহার করতে পারি, আমরা সরঞ্জামগুলিতে কম অর্থ ব্যয় করি।

একটি একক মেশিনের মধ্যে, Erlang একটি অত্যন্ত প্রতিযোগিতামূলক পরিবেশ তৈরি করে। এরল্যাং ভিএম-এর জন্য উপলব্ধ অপারেটিং সিস্টেম থ্রেডের সংখ্যা এবং এই থ্রেডগুলি ব্যবহার করে এমন শিডিউলারের সংখ্যা বেছে নেওয়ার মাধ্যমে সামঞ্জস্য এবং সমান্তরালতার মধ্যে ভারসাম্য নির্ধারণ করা যেতে পারে।
Erlang প্রসেস স্টেট শেয়ার করে না এবং নন-ব্লকিং মোডে কাজ করে। এটি প্রথাগত ব্লকিং-ভিত্তিক অ্যাপ্লিকেশনের তুলনায় অপেক্ষাকৃত কম বিলম্ব এবং উচ্চতর থ্রুপুট প্রদান করে। Erlang এর সময়সূচী CPU এবং IO এর ন্যায্য বরাদ্দ নিশ্চিত করে, এবং ব্লকিংয়ের অনুপস্থিতি এমনকি সর্বোচ্চ লোড বা ব্যর্থতার সময়ও অ্যাপ্লিকেশনটিকে প্রতিক্রিয়া জানাতে দেয়।

ক্লাস্টার পর্যায়ে, নিষ্পত্তির সমস্যাও রয়েছে। এটা গুরুত্বপূর্ণ যে ক্লাস্টারের সমস্ত মেশিন সমানভাবে লোড করা হয় এবং নেটওয়ার্কটি ওভারলোড না হয়। আসুন একটি পরিস্থিতি কল্পনা করি: ব্যবহারকারীর ট্র্যাফিক ইনকামিং ব্যালেন্সারগুলিতে (হাপ্রক্সি, এনজিনএক্স, ইত্যাদি) ল্যান্ড করে, তারা উপলব্ধ ব্যাকএন্ডের সেটগুলির মধ্যে যতটা সম্ভব সমানভাবে প্রক্রিয়াকরণের অনুরোধগুলি বিতরণ করে। অ্যাপ্লিকেশন পরিকাঠামোর মধ্যে, প্রয়োজনীয় ইন্টারফেস বাস্তবায়নকারী পরিষেবাটি শুধুমাত্র শেষ মাইল এবং প্রাথমিক অনুরোধে সাড়া দেওয়ার জন্য আরও অনেক পরিষেবার অনুরোধ করতে হবে। অভ্যন্তরীণ অনুরোধের জন্যও রাউটিং এবং ভারসাম্য প্রয়োজন।
ডেটা প্রবাহকে কার্যকরভাবে পরিচালনা করতে, মেসেজিংকে অবশ্যই বিকাশকারীদের রাউটিং এবং লোড ব্যালেন্সিং পরিচালনা করার জন্য একটি ইন্টারফেস প্রদান করতে হবে। এর জন্য ধন্যবাদ, ডেভেলপাররা মাইক্রোসার্ভিস প্যাটার্ন (এগ্রিগেটর, প্রক্সি, চেইন, ব্রাঞ্চ, ইত্যাদি) ব্যবহার করে স্ট্যান্ডার্ড সমস্যা এবং যেগুলি খুব কমই দেখা দেয় উভয়ের সমাধান করতে সক্ষম হবে।

ব্যবসায়িক দৃষ্টিকোণ থেকে, স্কেলেবিলিটি ঝুঁকি ব্যবস্থাপনার অন্যতম হাতিয়ার। প্রধান জিনিস হল সর্বোত্তমভাবে সরঞ্জাম ব্যবহার করে গ্রাহকের অনুরোধগুলি সন্তুষ্ট করা:

• যখন উন্নতির ফলে যন্ত্রপাতির শক্তি বৃদ্ধি পায়। অসম্পূর্ণ সফ্টওয়্যারের কারণে এটি নিষ্ক্রিয় হবে না। Erlang স্কেল উল্লম্বভাবে ভাল এবং সর্বদা সমস্ত CPU কোর এবং উপলব্ধ মেমরি ব্যবহার করতে সক্ষম হবে;
• ক্লাউড পরিবেশে, আমরা বর্তমান বা পূর্বাভাসিত লোড এবং গ্যারান্টি SLA এর উপর নির্ভর করে সরঞ্জামের পরিমাণ পরিচালনা করতে পারি।

দোষ সহনশীলতা

আসুন দুটি স্বতঃসিদ্ধ বিবেচনা করা যাক: "ব্যর্থতা অগ্রহণযোগ্য" এবং "সব সময় ব্যর্থতা থাকবে।" একটি ব্যবসার জন্য, সফ্টওয়্যার ব্যর্থতা মানে অর্থের ক্ষতি, এবং সবচেয়ে খারাপ, খ্যাতি হারানো। সম্ভাব্য ক্ষতি এবং ত্রুটি-সহনশীল সফ্টওয়্যার বিকাশের খরচের মধ্যে ভারসাম্য বজায় রেখে, একটি আপস প্রায়ই পাওয়া যায়।

স্বল্পমেয়াদে, একটি আর্কিটেকচার যা ত্রুটি সহনশীলতাকে অন্তর্ভুক্ত করে তা অফ-দ্য-শেল্ফ ক্লাস্টারিং সলিউশন কেনার জন্য অর্থ সাশ্রয় করে। তারা ব্যয়বহুল এবং তারা বাগ আছে.
দীর্ঘমেয়াদে, একটি ত্রুটি-সহনশীল স্থাপত্য বিকাশের সমস্ত পর্যায়ে নিজের জন্য অনেক গুণ বেশি অর্থ প্রদান করে।
কোড বেসের মধ্যে মেসেজিং আপনাকে বিকাশের পর্যায়ে সিস্টেমের মধ্যে উপাদানগুলির মিথস্ক্রিয়া সম্পর্কে বিস্তারিতভাবে কাজ করতে দেয়। এটি ব্যর্থতাগুলির প্রতিক্রিয়া এবং পরিচালনার কাজকে সহজ করে তোলে, যেহেতু সমস্ত গুরুত্বপূর্ণ উপাদানগুলি ব্যর্থতাগুলি পরিচালনা করে, এবং ফলাফল সিস্টেমটি জানে কিভাবে ডিজাইনের ব্যর্থতার পরে স্বয়ংক্রিয়ভাবে স্বাভাবিক অবস্থায় ফিরে আসতে হয়।

প্রতিক্রিয়াশীলতা

ব্যর্থতা নির্বিশেষে, অ্যাপ্লিকেশনটিকে অবশ্যই অনুরোধের জবাব দিতে হবে এবং SLA পূরণ করতে হবে। বাস্তবতা হল যে লোকেরা অপেক্ষা করতে চায় না, তাই ব্যবসাগুলিকে সেই অনুযায়ী মানিয়ে নিতে হবে। আরো এবং আরো অ্যাপ্লিকেশন উচ্চ প্রতিক্রিয়াশীল হতে প্রত্যাশিত.
প্রতিক্রিয়াশীল অ্যাপ্লিকেশন কাছাকাছি বাস্তব সময়ে কাজ. Erlang VM নরম রিয়েল-টাইম মোডে কাজ করে। কিছু ক্ষেত্রে যেমন স্টক ট্রেডিং, ওষুধ এবং শিল্প সরঞ্জাম নিয়ন্ত্রণ, হার্ড রিয়েল-টাইম মোড গুরুত্বপূর্ণ।
প্রতিক্রিয়াশীল সিস্টেমগুলি UX উন্নত করে এবং ব্যবসার উপকার করে।

প্রাথমিক সারসংক্ষেপ

এই নিবন্ধটি পরিকল্পনা করার সময়, আমি একটি মেসেজিং ব্রোকার তৈরি করার এবং এর উপর ভিত্তি করে জটিল সিস্টেম তৈরি করার আমার অভিজ্ঞতা শেয়ার করতে চেয়েছিলাম। কিন্তু তাত্ত্বিক এবং প্রেরণামূলক অংশ বেশ বিস্তৃত হতে পরিণত.
নিবন্ধের দ্বিতীয় অংশে, আমি এক্সচেঞ্জ পয়েন্ট, মেসেজিং প্যাটার্ন এবং তাদের প্রয়োগ বাস্তবায়নের সূক্ষ্মতা সম্পর্কে কথা বলব।
তৃতীয় অংশে আমরা পরিষেবার আয়োজন, রাউটিং এবং ভারসাম্যের সাধারণ বিষয়গুলি বিবেচনা করব। আসুন সিস্টেমের স্কেলেবিলিটি এবং ত্রুটি সহনশীলতার ব্যবহারিক দিক সম্পর্কে কথা বলি।

প্রথম অংশের শেষ।

ফটোগ্রাফি @লুকাব্রাভো.

উত্স: www.habr.com