Apache Storm 2.0 বিতরণকৃত কম্পিউটিং সিস্টেম উপলব্ধ

আলো দেখেছি একটি বিতরণ ইভেন্ট প্রক্রিয়াকরণ সিস্টেম উল্লেখযোগ্য রিলিজ Apache Storm 2.0, পূর্বে ব্যবহৃত Clojure ভাষার পরিবর্তে জাভাতে বাস্তবায়িত একটি নতুন আর্কিটেকচারে রূপান্তরের জন্য উল্লেখযোগ্য।

প্রকল্পটি আপনাকে রিয়েল টাইমে বিভিন্ন ইভেন্টের গ্যারান্টিযুক্ত প্রক্রিয়াকরণ সংগঠিত করতে দেয়। উদাহরণস্বরূপ, স্টর্মকে রিয়েল টাইমে ডেটা স্ট্রীম বিশ্লেষণ, মেশিন লার্নিং কাজ চালানো, ক্রমাগত কম্পিউটিং সংগঠিত করতে, RPC, ETL ইত্যাদি বাস্তবায়ন করতে ব্যবহার করা যেতে পারে। সিস্টেমটি ক্লাস্টারিং, ত্রুটি-সহনশীল কনফিগারেশন তৈরি, গ্যারান্টিযুক্ত ডেটা প্রসেসিং মোড সমর্থন করে এবং উচ্চ কার্যকারিতা রয়েছে, একটি ক্লাস্টার নোডে প্রতি সেকেন্ডে এক মিলিয়নের বেশি অনুরোধ প্রক্রিয়া করার জন্য যথেষ্ট।

বিভিন্ন সারি প্রক্রিয়াকরণ সিস্টেম এবং ডাটাবেস প্রযুক্তির সাথে একীকরণ সমর্থিত। স্টর্ম আর্কিটেকচারে গণনার বিভিন্ন পর্যায়ে বিভাজন করার ক্ষমতা সহ নির্বিচারে জটিল প্রসেসর ব্যবহার করে অসংগঠিত, ক্রমাগত আপডেট হওয়া ডেটা স্ট্রিমগুলি গ্রহণ এবং প্রক্রিয়াকরণ জড়িত। টুইটার ব্যাকটাইপ অধিগ্রহণ করার পরে প্রকল্পটি অ্যাপাচি সম্প্রদায়ের কাছে হস্তান্তর করা হয়েছিল, যে সংস্থাটি মূলত কাঠামোটি তৈরি করেছিল। অনুশীলনে, মাইক্রোব্লগগুলিতে ইভেন্টের প্রতিফলন বিশ্লেষণ করতে ব্যাকটাইপে স্টর্ম ব্যবহার করা হয়েছিল, উড়ে আসা নতুন টুইটগুলি এবং সেগুলিতে ব্যবহৃত লিঙ্কগুলির তুলনা করে (উদাহরণস্বরূপ, এটি মূল্যায়ন করা হয়েছিল যে কীভাবে টুইটারে প্রকাশিত বহিরাগত লিঙ্ক বা ঘোষণাগুলি অন্যান্য অংশগ্রহণকারীদের দ্বারা পুনঃপ্রচার করা হয়েছিল। )

স্টর্মের কার্যকারিতা Hadoop প্ল্যাটফর্মের সাথে তুলনা করা হয়, মূল পার্থক্য হল যে ডেটা গুদামে সংরক্ষণ করা হয় না, তবে বাহ্যিকভাবে প্রবেশ করা হয় এবং বাস্তব সময়ে প্রক্রিয়া করা হয়। স্টর্মের একটি অন্তর্নির্মিত স্টোরেজ স্তর নেই এবং এটি বাতিল না হওয়া পর্যন্ত বিশ্লেষণাত্মক প্রশ্নটি ইনকামিং ডেটাতে প্রয়োগ করা শুরু হয় (যখন Hadoop সীমিত-সময়ের MapReduce কাজগুলি ব্যবহার করে, স্টর্ম ক্রমাগত "টপোলজি" চালানোর ধারণা ব্যবহার করে)। হ্যান্ডলারের সম্পাদন বিভিন্ন সার্ভার জুড়ে বিতরণ করা যেতে পারে - ঝড় স্বয়ংক্রিয়ভাবে বিভিন্ন ক্লাস্টার নোডের থ্রেডের সাথে কাজকে সমান্তরাল করে।

সিস্টেমটি মূলত Clojure এ লেখা ছিল এবং JVM ভার্চুয়াল মেশিনের ভিতরে চলে। অ্যাপাচি ফাউন্ডেশন স্টর্মকে জাভাতে লেখা একটি নতুন কার্নেলে স্থানান্তর করার একটি উদ্যোগ চালু করেছে, যার ফলাফলগুলি অ্যাপাচি স্টর্ম 2.0 প্রকাশে প্রস্তাবিত হয়েছে। প্ল্যাটফর্মের সমস্ত মৌলিক উপাদান জাভাতে পুনরায় লেখা হয়। Clojure-এ হ্যান্ডলার লেখার জন্য সমর্থন বজায় রাখা হয়েছে, কিন্তু এখন বাইন্ডিং আকারে দেওয়া হয়। স্টর্ম 2.0.0 এর জন্য জাভা 8 প্রয়োজন। মাল্টি-থ্রেডেড প্রসেসিং মডেলটি সম্পূর্ণরূপে পুনরায় ডিজাইন করা হয়েছে, অনুমতি দেয় অর্জন কর্মক্ষমতা একটি লক্ষণীয় বৃদ্ধি (কিছু টপোলজির জন্য, বিলম্ব 50-80% দ্বারা হ্রাস করা হয়েছিল)।

নতুন সংস্করণটি একটি নতুন টাইপ করা স্ট্রিম API অফার করে যা আপনাকে কার্যকরী প্রোগ্রামিং-স্টাইল অপারেশন ব্যবহার করে হ্যান্ডলারদের সংজ্ঞায়িত করতে দেয়। নতুন API স্ট্যান্ডার্ড বেস API-এর উপরে প্রয়োগ করা হয়েছে এবং তাদের প্রক্রিয়াকরণকে অপ্টিমাইজ করার জন্য অপারেশনগুলির স্বয়ংক্রিয় একত্রীকরণ সমর্থন করে। উইন্ডো অপারেশনের জন্য Windowing API ব্যাকএন্ডে স্থিতি সংরক্ষণ এবং পুনরুদ্ধারের জন্য সমর্থন যোগ করেছে।

সীমাবদ্ধ নয় সিদ্ধান্ত নেওয়ার সময় অতিরিক্ত সংস্থানগুলি বিবেচনায় নেওয়ার জন্য সমর্থন
CPU এবং মেমরি, যেমন নেটওয়ার্ক এবং GPU সেটিংস। প্ল্যাটফর্মের সাথে একীকরণ নিশ্চিত করতে প্রচুর পরিমাণে উন্নতি করা হয়েছে কাফকা. অ্যাডমিনিস্ট্রেটর গোষ্ঠী এবং প্রতিনিধি টোকেন তৈরি করার ক্ষমতা অন্তর্ভুক্ত করার জন্য অ্যাক্সেস কন্ট্রোল সিস্টেমটি প্রসারিত করা হয়েছে। SQL এবং মেট্রিক্স সমর্থন সম্পর্কিত উন্নতি যোগ করা হয়েছে। ক্লাস্টার স্টেট ডিবাগ করার জন্য অ্যাডমিনিস্ট্রেটর ইন্টারফেসে নতুন কমান্ড উপস্থিত হয়েছে।

ঝড়ের জন্য আবেদনের ক্ষেত্র:

• রিয়েল টাইমে নতুন ডেটা বা ডাটাবেস আপডেটের স্ট্রিম প্রক্রিয়াকরণ;
• ক্রমাগত কম্পিউটিং: স্টর্ম ক্রমাগত প্রশ্ন চালাতে পারে এবং ক্রমাগত স্ট্রীম প্রক্রিয়া করতে পারে, রিয়েল টাইমে ক্লায়েন্টকে প্রক্রিয়াকরণের ফলাফল সরবরাহ করে।
• ডিস্ট্রিবিউটেড রিমোট প্রসিডিউর কল (RPC): রিসোর্স-ইনটেনসিভ কোয়েরির সমান্তরাল এক্সিকিউশন প্রদান করতে স্টর্ম ব্যবহার করা যেতে পারে। স্টর্মে একটি কাজ ("টপোলজি") নোড জুড়ে বিতরণ করা একটি ফাংশন যা প্রক্রিয়া করা প্রয়োজন এমন বার্তা আসার জন্য অপেক্ষা করে। একটি বার্তা পাওয়ার পরে, ফাংশন স্থানীয় প্রেক্ষাপটে এটি প্রক্রিয়া করে এবং ফলাফল প্রদান করে। বিতরণ করা RPC ব্যবহার করার একটি উদাহরণ হল সমান্তরালভাবে অনুসন্ধান প্রশ্নগুলি প্রক্রিয়া করা বা সেটের একটি বড় সেটে অপারেশন করা।

ঝড়ের বৈশিষ্ট্য:

• একটি সাধারণ প্রোগ্রামিং মডেল যা রিয়েল-টাইম ডেটা প্রসেসিংকে ব্যাপকভাবে সহজ করে তোলে;
• যেকোনো প্রোগ্রামিং ভাষার জন্য সমর্থন। জাভা, রুবি এবং পাইথনের জন্য মডিউলগুলি উপলব্ধ, অন্যান্য ভাষার জন্য অভিযোজন সহজ একটি খুব সাধারণ যোগাযোগ প্রোটোকলের জন্য ধন্যবাদ যা সমর্থন করার জন্য কোডের প্রায় 100 লাইন প্রয়োজন;
• ত্রুটি সহনশীলতা: একটি ডেটা প্রসেসিং কাজ চালানোর জন্য, আপনাকে কোড সহ একটি জার ফাইল তৈরি করতে হবে। স্টর্ম স্বাধীনভাবে এই জার ফাইলটি ক্লাস্টার নোড জুড়ে বিতরণ করবে, এর সাথে যুক্ত হ্যান্ডলারদের সাথে সংযুক্ত করবে এবং পর্যবেক্ষণের ব্যবস্থা করবে। কাজ শেষ হলে, কোডটি স্বয়ংক্রিয়ভাবে সমস্ত নোডে অক্ষম হয়ে যাবে;
• অনুভূমিক মাপযোগ্যতা। সমস্ত গণনা সমান্তরাল মোডে সঞ্চালিত হয়; লোড বৃদ্ধির সাথে সাথে ক্লাস্টারে নতুন নোডগুলিকে সংযুক্ত করার জন্য এটি যথেষ্ট;
• নির্ভরযোগ্যতা। ঝড় নিশ্চিত করে যে প্রতিটি আগত বার্তা অন্তত একবার সম্পূর্ণরূপে প্রক্রিয়া করা হয়। সমস্ত হ্যান্ডলারের মধ্য দিয়ে যাওয়ার সময় যদি কোনও ত্রুটি না থাকে তবেই বার্তাটি একবার প্রক্রিয়া করা হবে; যদি সমস্যা দেখা দেয়, তবে ব্যর্থ প্রক্রিয়াকরণ প্রচেষ্টা পুনরাবৃত্তি করা হবে।
• গতি. স্টর্মের কোড উচ্চ কার্যক্ষমতার কথা মাথায় রেখে লেখা হয় এবং দ্রুত অ্যাসিঙ্ক্রোনাস মেসেজিংয়ের জন্য সিস্টেম ব্যবহার করে জিরোএমকিউ.

উত্স: opennet.ru