ক্লাউডার সম্পর্কে বিশেষ কী এবং কীভাবে এটি রান্না করা যায়

ডিস্ট্রিবিউটেড কম্পিউটিং এবং বিগ ডাটার জন্য বাজার, অনুযায়ী পরিসংখ্যান, প্রতি বছর 18-19% বৃদ্ধি পাচ্ছে। এর মানে হল যে এই উদ্দেশ্যে সফ্টওয়্যার নির্বাচন করার বিষয়টি প্রাসঙ্গিক রয়ে গেছে। এই পোস্টে, আমরা কেন ডিস্ট্রিবিউটেড কম্পিউটিং প্রয়োজন তা নিয়ে শুরু করব, সফ্টওয়্যার বেছে নেওয়ার বিষয়ে আরও বিশদে যাব, ক্লাউডেরা ব্যবহার করে হাডুপ ব্যবহার করার বিষয়ে কথা বলব এবং সবশেষে হার্ডওয়্যার বেছে নেওয়ার বিষয়ে কথা বলব এবং কীভাবে এটি বিভিন্ন উপায়ে কর্মক্ষমতাকে প্রভাবিত করে।

কেন নিয়মিত ব্যবসায় বিতরণ কম্পিউটিং প্রয়োজন? এখানে সবকিছু একই সময়ে সহজ এবং জটিল। সহজ - কারণ বেশিরভাগ ক্ষেত্রে আমরা তথ্যের একক প্রতি তুলনামূলকভাবে সহজ গণনা করি। এটা কঠিন কারণ এই ধরনের অনেক তথ্য আছে। অনেক. ফলস্বরূপ, এটি প্রয়োজনীয় 1000 থ্রেডে টেরাবাইট ডেটা প্রক্রিয়া করুন. এইভাবে, ব্যবহারের ক্ষেত্রেগুলি বেশ সার্বজনীন: ডেটার আরও বৃহত্তর অ্যারেতে প্রচুর সংখ্যক মেট্রিক্সকে বিবেচনায় নেওয়া প্রয়োজন যেখানেই গণনা ব্যবহার করা যেতে পারে।

সাম্প্রতিক উদাহরণগুলির মধ্যে একটি: পিজারিয়া চেইন ডোডো পিজা সংজ্ঞায়িত কাস্টমার অর্ডার ডাটাবেসের একটি বিশ্লেষণের উপর ভিত্তি করে, যে একটি র্যান্ডম টপিং সহ একটি পিজা বাছাই করার সময়, ব্যবহারকারীরা সাধারণত শুধুমাত্র ছয়টি মৌলিক সেট এবং কয়েকটি এলোমেলো জিনিসগুলির সাথে কাজ করে। এই অনুযায়ী, পিজারিয়া তার ক্রয় সমন্বয়. উপরন্তু, তিনি অর্ডারিং পর্যায়ে ব্যবহারকারীদের জন্য প্রস্তাবিত অতিরিক্ত পণ্যগুলিকে আরও ভালভাবে সুপারিশ করতে সক্ষম হয়েছিলেন, যা লাভ বাড়িয়েছিল।

আরও একটি উদাহরণ: বিশ্লেষণ পণ্যের আইটেমগুলি H&M স্টোরকে বিক্রয়ের মাত্রা বজায় রেখে পৃথক দোকানে 40% ভাণ্ডার কমাতে দেয়। খারাপভাবে বিক্রি হওয়া আইটেমগুলি বাদ দিয়ে এটি অর্জন করা হয়েছিল এবং গণনায় ঋতুতা বিবেচনা করা হয়েছিল।

টুল নির্বাচন

এই ধরনের কম্পিউটিংয়ের জন্য শিল্পের মান হল Hadoop। কেন? কারণ Hadoop একটি চমৎকার, ভাল-নথিভুক্ত কাঠামো (একই Habr এই বিষয়ে অনেক বিস্তারিত নিবন্ধ প্রদান করে), যার সাথে একটি সম্পূর্ণ ইউটিলিটি এবং লাইব্রেরি রয়েছে। আপনি কাঠামোগত এবং অসংগঠিত উভয় ডেটার বিশাল সেট ইনপুট করতে পারেন এবং সিস্টেম নিজেই এটিকে কম্পিউটিং শক্তির মধ্যে বিতরণ করবে। তদুপরি, এই একই ক্ষমতাগুলি যে কোনও সময়ে বাড়ানো বা অক্ষম করা যেতে পারে - একই অনুভূমিক স্কেলেবিলিটি কর্মে।

2017 সালে, প্রভাবশালী পরামর্শকারী সংস্থা গার্টনার উপসংহারযে Hadoop শীঘ্রই অপ্রচলিত হয়ে যাবে. কারণটি বেশ সাধারণ: বিশ্লেষকরা বিশ্বাস করেন যে কোম্পানিগুলি ব্যাপকভাবে ক্লাউডে স্থানান্তরিত হবে, যেহেতু তারা কম্পিউটিং শক্তি ব্যবহার করে অর্থ প্রদান করতে সক্ষম হবে। দ্বিতীয় গুরুত্বপূর্ণ ফ্যাক্টর যা হাদুপকে "কবর" দিতে পারে তা হল এর গতি। কারণ Apache Spark বা Google Cloud DataFlow এর মত বিকল্পগুলি MapReduce এর চেয়ে দ্রুত, যা Hadoop-এর অন্তর্গত।

Hadoop কয়েকটি স্তম্ভের উপর স্থির থাকে, যার মধ্যে সবচেয়ে উল্লেখযোগ্য হল MapReduce প্রযুক্তি (সার্ভারের মধ্যে গণনার জন্য ডেটা বিতরণের একটি সিস্টেম) এবং HDFS ফাইল সিস্টেম। পরবর্তীটি বিশেষভাবে ক্লাস্টার নোডগুলির মধ্যে বিতরণ করা তথ্য সংরক্ষণের জন্য ডিজাইন করা হয়েছে: একটি নির্দিষ্ট আকারের প্রতিটি ব্লক বিভিন্ন নোডে স্থাপন করা যেতে পারে এবং প্রতিলিপির জন্য ধন্যবাদ, সিস্টেমটি পৃথক নোডগুলির ব্যর্থতার জন্য স্থিতিস্থাপক। একটি ফাইল টেবিলের পরিবর্তে, NameNode নামে একটি বিশেষ সার্ভার ব্যবহার করা হয়।

নীচের চিত্রটি দেখায় কিভাবে MapReduce কাজ করে। প্রথম পর্যায়ে, ডেটা একটি নির্দিষ্ট মানদণ্ড অনুসারে বিভক্ত করা হয়, দ্বিতীয় পর্যায়ে এটি কম্পিউটিং শক্তি অনুসারে বিতরণ করা হয় এবং তৃতীয় পর্যায়ে গণনা হয়।

MapReduce মূলত গুগল তার অনুসন্ধানের প্রয়োজনে তৈরি করেছে। তারপর MapReduce বিনামূল্যে কোড চলে গেল, এবং Apache প্রকল্পটি গ্রহণ করল। ওয়েল, গুগল ধীরে ধীরে অন্যান্য সমাধান স্থানান্তরিত. একটি আকর্ষণীয় টিডবিট: Google-এর কাছে বর্তমানে Google ক্লাউড ডেটাফ্লো নামে একটি প্রকল্প রয়েছে, এটির দ্রুত প্রতিস্থাপন হিসাবে Hadoop-এর পরবর্তী পদক্ষেপ হিসাবে অবস্থান করা হয়েছে।

একটি ঘনিষ্ঠ দৃষ্টিতে দেখা যায় যে Google ক্লাউড ডেটাফ্লো Apache Beam-এর বিভিন্নতার উপর ভিত্তি করে তৈরি করা হয়েছে, যখন Apache Beam-এ রয়েছে সু-নথিভুক্ত Apache Spark ফ্রেমওয়ার্ক, যা আমাদের সমাধানের প্রায় একই নির্বাহের গতি সম্পর্কে কথা বলতে দেয়। ঠিক আছে, Apache Spark HDFS ফাইল সিস্টেমে পুরোপুরি কাজ করে, যা এটি Hadoop সার্ভারে স্থাপন করার অনুমতি দেয়।

এখানে ডকুমেন্টেশনের ভলিউম এবং হ্যাডুপ এবং স্পার্ক বনাম Google ক্লাউড ডেটাফ্লো-এর জন্য প্রস্তুত সমাধান যোগ করুন এবং টুলের পছন্দটি সুস্পষ্ট হয়ে ওঠে। তদুপরি, ইঞ্জিনিয়াররা নিজেরাই সিদ্ধান্ত নিতে পারেন কোন কোড - হ্যাডুপ বা স্পার্কের জন্য - তাদের চালানো উচিত, কাজ, অভিজ্ঞতা এবং যোগ্যতার উপর ফোকাস করে।

ক্লাউড বা স্থানীয় সার্ভার

ক্লাউডে একটি সাধারণ পরিবর্তনের প্রবণতা এমনকি Hadoop-as-a-service-এর মতো একটি আকর্ষণীয় শব্দের জন্ম দিয়েছে। এমন পরিস্থিতিতে, সংযুক্ত সার্ভারগুলির প্রশাসন অত্যন্ত গুরুত্বপূর্ণ হয়ে উঠেছে। কারণ, হায়, এর জনপ্রিয়তা সত্ত্বেও, খাঁটি হাডুপ কনফিগার করার জন্য একটি বরং কঠিন টুল, যেহেতু অনেক কিছু হাত দিয়ে করতে হবে। উদাহরণস্বরূপ, সার্ভারগুলি পৃথকভাবে কনফিগার করুন, তাদের কর্মক্ষমতা নিরীক্ষণ করুন এবং অনেকগুলি পরামিতি সাবধানে কনফিগার করুন। সাধারণভাবে, কাজটি একজন অপেশাদারের জন্য এবং কোথাও গন্ডগোল বা কিছু মিস করার একটি বড় সম্ভাবনা রয়েছে।

অতএব, বিভিন্ন বিতরণ কিট, যা প্রাথমিকভাবে সুবিধাজনক স্থাপনা এবং প্রশাসনিক সরঞ্জামগুলির সাথে সজ্জিত, খুব জনপ্রিয় হয়ে উঠেছে। সবচেয়ে জনপ্রিয় ডিস্ট্রিবিউশনগুলির মধ্যে একটি যা স্পার্ককে সমর্থন করে এবং সবকিছু সহজ করে তোলে তা হল ক্লাউডেরা। এটির অর্থপ্রদান এবং বিনামূল্যে উভয় সংস্করণ রয়েছে - এবং পরবর্তীতে নোডের সংখ্যা সীমাবদ্ধ না করে সমস্ত মৌলিক কার্যকারিতা উপলব্ধ।

সেটআপের সময়, ক্লাউডেরা ম্যানেজার SSH এর মাধ্যমে আপনার সার্ভারে সংযোগ করবে। একটি আকর্ষণীয় পয়েন্ট: ইনস্টল করার সময়, এটি তথাকথিত দ্বারা বাহিত হয় তা উল্লেখ করা ভাল পার্সেল: বিশেষ প্যাকেজ, যার প্রতিটিতে একে অপরের সাথে কাজ করার জন্য কনফিগার করা সমস্ত প্রয়োজনীয় উপাদান রয়েছে। মূলত এটি প্যাকেজ ম্যানেজারের একটি উন্নত সংস্করণ।

ইনস্টলেশনের পরে, আমরা একটি ক্লাস্টার ম্যানেজমেন্ট কনসোল পাই, যেখানে আপনি ক্লাস্টার টেলিমেট্রি, ইনস্টল করা পরিষেবাগুলি দেখতে পারেন, এছাড়াও আপনি সংস্থানগুলি যোগ/মুছে ফেলতে এবং ক্লাস্টার কনফিগারেশন সম্পাদনা করতে পারেন৷

ফলস্বরূপ, রকেটের কেবিন যা আপনাকে বিগডাটার উজ্জ্বল ভবিষ্যতে নিয়ে যাবে তা আপনার সামনে হাজির। তবে আমরা "চল যাই" বলার আগে, আসুন হুডের নীচে চলে যাই।

হার্ডওয়্যার প্রয়োজনীয়তা

এর ওয়েবসাইটে, ক্লাউডেরা বিভিন্ন সম্ভাব্য কনফিগারেশন উল্লেখ করেছে। সাধারণ নীতিগুলি যার দ্বারা তারা তৈরি করা হয়েছে তা দৃষ্টান্তে দেখানো হয়েছে:

MapReduce এই আশাবাদী ছবি ঝাপসা করতে পারে। আপনি যদি পূর্ববর্তী বিভাগ থেকে চিত্রটি আবার দেখেন তবে এটি স্পষ্ট হয়ে যায় যে প্রায় সব ক্ষেত্রেই, ডিস্ক বা নেটওয়ার্ক থেকে ডেটা পড়ার সময় একটি MapReduce কাজ একটি বাধার সম্মুখীন হতে পারে। এটি ক্লাউডার ব্লগেও উল্লেখ করা হয়েছে। ফলস্বরূপ, স্পার্ক সহ যে কোনো দ্রুত গণনার জন্য, যা প্রায়শই রিয়েল-টাইম গণনার জন্য ব্যবহৃত হয়, I/O গতি খুবই গুরুত্বপূর্ণ। অতএব, Hadoop ব্যবহার করার সময়, এটি অত্যন্ত গুরুত্বপূর্ণ যে ক্লাস্টারে সুষম এবং দ্রুত মেশিনগুলি অন্তর্ভুক্ত রয়েছে, যা এটিকে হালকাভাবে বলতে গেলে, ক্লাউড অবকাঠামোতে সর্বদা নিশ্চিত করা হয় না।

শক্তিশালী মাল্টি-কোর সিপিইউ সহ সার্ভারে ওপেনস্ট্যাক ভার্চুয়ালাইজেশন ব্যবহারের মাধ্যমে লোড বিতরণে ভারসাম্য অর্জন করা হয়। ডেটা নোডগুলি তাদের নিজস্ব প্রসেসর সংস্থান এবং নির্দিষ্ট ডিস্কগুলি বরাদ্দ করা হয়। আমাদের সিদ্ধান্তে Atos কোডেক্স ডেটা লেক ইঞ্জিন ব্যাপক ভার্চুয়ালাইজেশন অর্জিত হয়, যার কারণে আমরা কার্যক্ষমতার ক্ষেত্রে (নেটওয়ার্ক অবকাঠামোর প্রভাব ন্যূনতম) এবং TCO (অতিরিক্ত শারীরিক সার্ভারগুলি বাদ দেওয়া হয়) উভয় ক্ষেত্রেই উপকৃত হই।

BullSequana S200 সার্ভার ব্যবহার করার সময়, আমরা একটি খুব অভিন্ন লোড পাই, কিছু বাধাবিহীন। ন্যূনতম কনফিগারেশনে 3টি BullSequana S200 সার্ভার রয়েছে, প্রতিটিতে দুটি JBOD সহ, এবং অতিরিক্ত S200 গুলি যাতে চারটি ডেটা নোড ঐচ্ছিকভাবে সংযুক্ত থাকে। এখানে টেরাজেন পরীক্ষায় লোডের একটি উদাহরণ রয়েছে:

বিভিন্ন ডেটা ভলিউম এবং প্রতিলিপি মান সহ পরীক্ষাগুলি ক্লাস্টার নোডগুলির মধ্যে লোড বিতরণের ক্ষেত্রে একই ফলাফল দেখায়। নীচে কর্মক্ষমতা পরীক্ষার দ্বারা ডিস্ক অ্যাক্সেস বিতরণের একটি গ্রাফ রয়েছে৷

3 BullSequana S200 সার্ভারের ন্যূনতম কনফিগারেশনের ভিত্তিতে গণনা করা হয়েছিল। এতে 9টি ডেটা নোড এবং 3টি মাস্টার নোড রয়েছে, সেইসাথে OpenStack ভার্চুয়ালাইজেশনের উপর ভিত্তি করে সুরক্ষা স্থাপনের ক্ষেত্রে সংরক্ষিত ভার্চুয়াল মেশিন রয়েছে। TeraSort পরীক্ষার ফলাফল: এনক্রিপশন সহ তিনটির সমান ব্লক সাইজ 512 MB রেপ্লিকেশন ফ্যাক্টর হল 23,1 মিনিট।

কিভাবে সিস্টেম প্রসারিত করা যেতে পারে? ডেটা লেক ইঞ্জিনের জন্য বিভিন্ন ধরণের এক্সটেনশন উপলব্ধ রয়েছে:

• ডেটা নোড: প্রতি 40 টিবি ব্যবহারযোগ্য স্থানের জন্য
• একটি GPU ইনস্টল করার ক্ষমতা সহ বিশ্লেষণাত্মক নোড
• ব্যবসার প্রয়োজনের উপর নির্ভর করে অন্যান্য বিকল্পগুলি (উদাহরণস্বরূপ, যদি আপনার কাফকা এবং এর মতো প্রয়োজন হয়)

অ্যাটোস কোডেক্স ডেটা লেক ইঞ্জিনে একটি লাইসেন্সপ্রাপ্ত ক্লাউডেরা কিট সহ সার্ভার এবং পূর্বে ইনস্টল করা সফ্টওয়্যার উভয়ই অন্তর্ভুক্ত রয়েছে; Hadoop নিজেই, RedHat Enterprise Linux কার্নেলের উপর ভিত্তি করে ভার্চুয়াল মেশিনের সাথে OpenStack, ডাটা রেপ্লিকেশন এবং ব্যাকআপ সিস্টেম (একটি ব্যাকআপ নোড এবং ক্লাউডেরা বিডিআর - ব্যাকআপ এবং ডিজাস্টার রিকভারি ব্যবহার সহ)। Atos কোডেক্স ডেটা লেক ইঞ্জিন প্রত্যয়িত প্রথম ভার্চুয়ালাইজেশন সমাধান হয়ে উঠেছে Cloudera.

আপনি যদি বিশদে আগ্রহী হন তবে আমরা মন্তব্যে আমাদের প্রশ্নের উত্তর দিতে পেরে খুশি হব।

উত্স: www.habr.com