ডিস্ট্রিবিউটেড ডেটা প্রসেসিংয়ের জন্য প্ল্যাটফর্মের রিলিজ Apache Hadoop 3.3

উন্নয়নের দেড় বছর পর অ্যাপাচি সফটওয়্যার ফাউন্ডেশন প্রকাশিত মুক্তি Apache Hadoop 3.3.0, দৃষ্টান্ত ব্যবহার করে বৃহৎ ভলিউম ডেটা বিতরণ প্রক্রিয়াকরণ সংগঠিত করার জন্য একটি বিনামূল্যের প্ল্যাটফর্ম মানচিত্র কমাতে, যার মধ্যে টাস্কটি অনেকগুলি ছোট পৃথক খণ্ডে বিভক্ত, যার প্রতিটি একটি পৃথক ক্লাস্টার নোডে চালু করা যেতে পারে। Hadoop-ভিত্তিক স্টোরেজ হাজার হাজার নোডকে বিস্তৃত করতে পারে এবং এতে এক্সাবাইট ডেটা থাকতে পারে।

Hadoop-এ Hadoop ডিস্ট্রিবিউটেড ফাইল সিস্টেম (HDFS) এর একটি বাস্তবায়ন অন্তর্ভুক্ত রয়েছে, যা স্বয়ংক্রিয়ভাবে ডেটা ব্যাকআপ প্রদান করে এবং MapReduce অ্যাপ্লিকেশনের জন্য অপ্টিমাইজ করা হয়। Hadoop স্টোরেজে ডেটা অ্যাক্সেস সহজ করার জন্য, HBase ডাটাবেস এবং SQL-এর মতো ল্যাঙ্গুয়েজ পিগ তৈরি করা হয়েছে, যা MapReduce-এর জন্য এক ধরনের SQL, যার প্রশ্নগুলি বেশ কয়েকটি Hadoop প্ল্যাটফর্ম দ্বারা সমান্তরাল এবং প্রক্রিয়া করা যেতে পারে। প্রকল্পটি সম্পূর্ণরূপে স্থিতিশীল এবং শিল্প পরিচালনার জন্য প্রস্তুত হিসাবে মূল্যায়ন করা হয়। Hadoop সক্রিয়ভাবে বড় শিল্প প্রকল্পে ব্যবহার করা হয়, Google Bigtable/GFS/MapReduce প্ল্যাটফর্মের মতো ক্ষমতা প্রদান করে, যখন Google আনুষ্ঠানিকভাবে অর্পিত Hadoop এবং অন্যান্য Apache প্রকল্পগুলির MapReduce পদ্ধতির সাথে সম্পর্কিত পেটেন্ট দ্বারা আচ্ছাদিত প্রযুক্তিগুলি ব্যবহার করার অধিকার রয়েছে৷

Hadoop Apache রিপোজিটরির মধ্যে পরিবর্তনের সংখ্যার দিক থেকে প্রথম এবং কোডবেস আকারের (প্রায় 4 মিলিয়ন কোড লাইন) এর দিক থেকে পঞ্চম স্থানে রয়েছে। প্রধান Hadoop বাস্তবায়নের মধ্যে রয়েছে Netflix (প্রতিদিন 500 বিলিয়নের বেশি ইভেন্ট সঞ্চয় করে), টুইটার (10 হাজার নোডের একটি ক্লাস্টার রিয়েল টাইমে এক জেটাবাইটের বেশি ডেটা সঞ্চয় করে এবং প্রতিদিন 5 বিলিয়নের বেশি সেশন প্রক্রিয়া করে), Facebook (একটি ক্লাস্টার 4 হাজার নোড 300 পেটাবাইটের বেশি সঞ্চয় করে এবং প্রতিদিন 4 পিবি দ্বারা প্রতিদিন বৃদ্ধি পাচ্ছে)।

প্রধান পরিবর্তনগুলি Apache Hadoop 3.3 এ:

• ARM আর্কিটেকচারের উপর ভিত্তি করে প্ল্যাটফর্মের জন্য সমর্থন যোগ করা হয়েছে।
• বিন্যাসের বাস্তবায়ন প্রোটোবাফ (প্রোটোকল বাফার), স্ট্রাকচার্ড ডেটা সিরিয়ালাইজ করার জন্য ব্যবহৃত, প্রোটোবাফ-3.7.1 শাখার জীবনচক্র শেষ হওয়ার কারণে 2.5.0 প্রকাশের জন্য আপডেট করা হয়েছে।
• S3A সংযোগকারীর ক্ষমতা প্রসারিত করা হয়েছে: টোকেন ব্যবহার করে প্রমাণীকরণের জন্য সমর্থন যোগ করা হয়েছে (প্রতিনিধি টোকেন), কোড 404 সহ ক্যাশিং প্রতিক্রিয়াগুলির জন্য উন্নত সমর্থন, S3guard কর্মক্ষমতা বৃদ্ধি এবং অপারেশনাল নির্ভরযোগ্যতা বৃদ্ধি পেয়েছে।
• ABFS ফাইল সিস্টেমে স্বয়ংক্রিয় টিউনিংয়ের সমস্যাগুলি সমাধান করা হয়েছে।
• COS অবজেক্ট স্টোরেজ অ্যাক্সেস করার জন্য Tencent Cloud COS ফাইল সিস্টেমের জন্য স্থানীয় সমর্থন যোগ করা হয়েছে।
• জাভা 11 এর জন্য সম্পূর্ণ সমর্থন যোগ করা হয়েছে।
• HDFS RBF (রাউটার-ভিত্তিক ফেডারেশন) বাস্তবায়ন স্থিতিশীল করা হয়েছে। HDFS রাউটারে নিরাপত্তা নিয়ন্ত্রণ যোগ করা হয়েছে।
• হোস্ট নাম দ্বারা DNS এর মাধ্যমে সার্ভার নির্ধারণ করতে ক্লায়েন্টের জন্য DNS রেজোলিউশন পরিষেবা যোগ করা হয়েছে, যা আপনাকে সেটিংসে সমস্ত হোস্ট তালিকাভুক্ত না করেই করতে দেয়৷
• লঞ্চ সময়সূচী সমর্থন যোগ করা হয়েছে সুবিধাবাদী পাত্রে একটি কেন্দ্রীভূত রিসোর্স ম্যানেজার (রিসোর্স ম্যানেজার) এর মাধ্যমে, প্রতিটি নোডের লোড বিবেচনা করে পাত্রে বিতরণ করার ক্ষমতা সহ।
• অনুসন্ধানযোগ্য ইয়ারন (এখনও আরেকটি রিসোর্স নেগোসিয়েটর) অ্যাপ্লিকেশন ডিরেক্টরি যোগ করা হয়েছে।

উত্স: opennet.ru