वितरित डेटा प्रोसेसिंग Apache Hadoop 3.3 साठी प्लॅटफॉर्मचे प्रकाशन

दीड वर्षाच्या विकासानंतर, Apache Software Foundation प्रकाशित रीलिझ Apache Hadoop 3.3.0, प्रतिमान वापरून मोठ्या प्रमाणात डेटाची वितरित प्रक्रिया आयोजित करण्यासाठी एक विनामूल्य व्यासपीठ नकाशा/कमी, ज्यामध्ये कार्य अनेक लहान स्वतंत्र तुकड्यांमध्ये विभागले गेले आहे, ज्यापैकी प्रत्येक वेगळ्या क्लस्टर नोडवर लॉन्च केला जाऊ शकतो. हडूप-आधारित स्टोरेज हजारो नोड्स पसरवू शकते आणि त्यात एक्साबाइट डेटा असू शकतो.

Hadoop मध्ये Hadoop Distributed Filesystem (HDFS) ची अंमलबजावणी समाविष्ट आहे, जी स्वयंचलितपणे डेटा बॅकअप प्रदान करते आणि MapReduce ऍप्लिकेशन्ससाठी ऑप्टिमाइझ केली जाते. Hadoop स्टोरेजमधील डेटाचा प्रवेश सुलभ करण्यासाठी, HBase डेटाबेस आणि SQL सारखी भाषा Pig विकसित केली गेली आहे, जी MapReduce साठी एक प्रकारची SQL आहे, ज्याच्या क्वेरी अनेक Hadoop प्लॅटफॉर्मद्वारे समांतर आणि प्रक्रिया केल्या जाऊ शकतात. प्रकल्पाचे मूल्यांकन पूर्णपणे स्थिर आणि औद्योगिक कार्यासाठी तयार आहे. Google Bigtable/GFS/MapReduce प्लॅटफॉर्म प्रमाणेच क्षमता प्रदान करून मोठ्या औद्योगिक प्रकल्पांमध्ये Hadoop चा सक्रियपणे वापर केला जातो, तर Google अधिकृतपणे नियुक्त केले Hadoop आणि इतर Apache प्रकल्पांना MapReduce पद्धतीशी संबंधित पेटंटद्वारे संरक्षित तंत्रज्ञान वापरण्याचा अधिकार आहे.

अपाचे रिपॉझिटरीजमध्ये Hadoop बदलांच्या संख्येनुसार पहिल्या क्रमांकावर आहे आणि कोडबेस आकाराच्या (कोडच्या सुमारे 4 दशलक्ष ओळी) पाचव्या क्रमांकावर आहे. प्रमुख हडूप अंमलबजावणीमध्ये नेटफ्लिक्स (दररोज 500 अब्जाहून अधिक इव्हेंट संग्रहित केले जातात), ट्विटर (10 हजार नोड्सचा क्लस्टर रिअल टाइममध्ये एक झेटाबाइटपेक्षा जास्त डेटा संग्रहित करतो आणि दररोज 5 अब्ज पेक्षा जास्त सत्रांवर प्रक्रिया करतो), फेसबुक (एक क्लस्टर) यांचा समावेश होतो. 4 हजार नोड्स 300 पेक्षा जास्त पेटाबाइट्स साठवतात आणि दररोज 4 PB ने वाढत आहेत).

मुख्य बदल करा Apache Hadoop 3.3 मध्ये:

• ARM आर्किटेक्चरवर आधारित प्लॅटफॉर्मसाठी समर्थन जोडले.
• स्वरूपाची अंमलबजावणी प्रोटोबफ (प्रोटोकॉल बफर), स्ट्रक्चर्ड डेटाच्या क्रमवारीसाठी वापरला जातो, प्रोटोबफ-3.7.1 शाखेच्या जीवन चक्राच्या समाप्तीमुळे 2.5.0 रिलीज करण्यासाठी अद्यतनित केले गेले आहे.
• S3A कनेक्टरच्या क्षमतांचा विस्तार केला गेला आहे: टोकन वापरून प्रमाणीकरणासाठी समर्थन जोडले गेले आहे (डेलिगेशन टोकन), कोड 404 सह प्रतिसाद कॅशिंगसाठी सुधारित समर्थन, वाढलेली S3guard कार्यप्रदर्शन आणि वाढलेली ऑपरेशनल विश्वसनीयता.
• ABFS फाइल सिस्टममध्ये स्वयंचलित ट्यूनिंगसह समस्या सोडवल्या गेल्या आहेत.
• COS ऑब्जेक्ट स्टोरेजमध्ये प्रवेश करण्यासाठी Tencent Cloud COS फाइल सिस्टमसाठी मूळ समर्थन जोडले.
• Java 11 साठी पूर्ण समर्थन जोडले.
• HDFS RBF (राउटर-आधारित फेडरेशन) ची अंमलबजावणी स्थिर झाली आहे. HDFS राउटरमध्ये सुरक्षा नियंत्रणे जोडली गेली आहेत.
• होस्ट नावांद्वारे DNS द्वारे सर्व्हर निर्धारित करण्यासाठी क्लायंटसाठी DNS रिझोल्यूशन सेवा जोडली, तुम्हाला सेटिंग्जमध्ये सर्व होस्ट सूचीबद्ध केल्याशिवाय करण्याची अनुमती देते.
• लाँच शेड्युलिंग समर्थन जोडले संधीसाधू कंटेनर प्रत्येक नोडचा भार लक्षात घेऊन कंटेनर वितरित करण्याच्या क्षमतेसह केंद्रीकृत संसाधन व्यवस्थापक (रिसोर्स मॅनेजर) द्वारे.
• शोधण्यायोग्य YARN (अद्याप आणखी एक संसाधन निगोशिएटर) अनुप्रयोग निर्देशिका जोडली.

स्त्रोत: opennet.ru