वितरित डाटा प्रोसेसिंग Apache Hadoop 3.3 को लागि प्लेटफर्मको रिलीज

डेढ वर्षको विकास पछि, Apache Software Foundation प्रकाशित रिलीज Apache Hadoop 3.3.0, प्रतिमान प्रयोग गरेर डाटा को ठूलो मात्रा को वितरण प्रशोधन संगठित गर्न को लागी एक नि: शुल्क प्लेटफर्म नक्सा / घटाउनुहोस्, जसमा कार्य धेरै साना अलग टुक्राहरूमा विभाजित गरिएको छ, जसमध्ये प्रत्येकलाई छुट्टै क्लस्टर नोडमा सुरू गर्न सकिन्छ। Hadoop-आधारित भण्डारणले हजारौं नोडहरू फैलाउन सक्छ र डेटाको एक्साबाइटहरू समावेश गर्न सक्छ।

Hadoop ले Hadoop वितरित फाइल प्रणाली (HDFS) को कार्यान्वयन समावेश गर्दछ, जसले स्वचालित रूपमा डाटा ब्याकअप प्रदान गर्दछ र MapReduce अनुप्रयोगहरूको लागि अनुकूलित हुन्छ। Hadoop भण्डारणमा डाटा पहुँच सरल बनाउन, HBase डाटाबेस र SQL-जस्तो भाषा पिग विकसित गरिएको छ, जुन MapReduce को लागि SQL को एक प्रकार हो, जसका प्रश्नहरू धेरै Hadoop प्लेटफर्महरू द्वारा समानान्तर र प्रशोधन गर्न सकिन्छ। परियोजना पूर्ण रूपमा स्थिर र औद्योगिक सञ्चालनको लागि तयार छ भनेर मूल्याङ्कन गरिएको छ। Hadoop सक्रिय रूपमा ठूला औद्योगिक परियोजनाहरूमा प्रयोग गरिन्छ, Google Bigtable/GFS/MapReduce प्लेटफर्म जस्तै क्षमताहरू प्रदान गर्दछ, जबकि Google ले आधिकारिक रूपमा प्रत्यायोजित Hadoop र अन्य Apache परियोजनाहरूसँग MapReduce विधिसँग सम्बन्धित पेटेन्टहरूद्वारा कभर गरिएका प्रविधिहरू प्रयोग गर्ने अधिकार छ।

Hadoop Apache रिपोजिटरीहरू बीचमा गरिएका परिवर्तनहरूको संख्याको आधारमा पहिलो र कोडबेस साइज (लगभग 4 मिलियन कोड लाइनहरू) को हिसाबले पाँचौं स्थानमा छ। प्रमुख Hadoop कार्यान्वयनहरूमा Netflix (प्रति दिन 500 बिलियन भन्दा बढी घटनाहरू भण्डारण गरिन्छ), ट्विटर (10 हजार नोडहरूको क्लस्टरले वास्तविक समयमा एक जेटाबाइट भन्दा बढी डाटा भण्डारण गर्दछ र प्रति दिन 5 बिलियन भन्दा बढी सत्रहरू प्रशोधन गर्दछ), फेसबुक (एक क्लस्टर) समावेश गर्दछ। 4 हजार नोडहरू 300 भन्दा बढी पेटाबाइटहरू भण्डार गर्दछ र दैनिक 4 PB प्रति दिन बढ्दैछ)।

मुख्य परिवर्तन गर्नुहोस् Apache Hadoop 3.3 मा:

• एआरएम वास्तुकलामा आधारित प्लेटफर्महरूको लागि समर्थन थपियो।
• ढाँचाको कार्यान्वयन प्रोटोबफ (प्रोटोकल बफरहरू), संरचित डेटा क्रमबद्ध गर्न प्रयोग गरिन्छ, प्रोटोबफ-3.7.1 शाखाको जीवन चक्रको अन्त्यको कारणले 2.5.0 रिलीज गर्न अद्यावधिक गरिएको छ।
• S3A कनेक्टरको क्षमताहरू विस्तार गरिएको छ: टोकनहरू प्रयोग गरेर प्रमाणीकरणको लागि समर्थन थपिएको छ (प्रतिनिधिमण्डल टोकन), कोड 404 सँग क्यासिङ प्रतिक्रियाहरूको लागि सुधारिएको समर्थन, S3guard कार्यसम्पादन बढ्यो, र परिचालन विश्वसनीयता बढ्यो।
• ABFS फाइल प्रणालीमा स्वचालित ट्युनिङको समस्या समाधान गरिएको छ।
• COS वस्तु भण्डारण पहुँच गर्न Tencent Cloud COS फाइल प्रणालीको लागि नेटिभ समर्थन थपियो।
• Java 11 को लागि पूर्ण समर्थन थपियो।
• HDFS RBF (राउटरमा आधारित महासंघ) को कार्यान्वयन स्थिर भएको छ। HDFS राउटरमा सुरक्षा नियन्त्रणहरू थपिएका छन्।
• होस्ट नामहरूद्वारा DNS मार्फत सर्भरहरू निर्धारण गर्न ग्राहकको लागि DNS रिजोल्युसन सेवा थपियो, तपाईंलाई सेटिङहरूमा सबै होस्टहरू सूचीबद्ध नगरी गर्न अनुमति दिँदै।
• प्रक्षेपण समयतालिका समर्थन थपियो अवसरवादी कन्टेनरहरू प्रत्येक नोडको भारलाई ध्यानमा राखेर कन्टेनरहरू वितरण गर्ने क्षमता सहित केन्द्रीकृत स्रोत प्रबन्धक (ResourceManager) मार्फत।
• थपिएको खोजी योग्य यार्न (अझै अर्को स्रोत वार्ताकार) अनुप्रयोग निर्देशिका।

स्रोत: opennet.ru