விநியோகிக்கப்பட்ட தரவு செயலாக்கத்திற்கான தளத்தின் வெளியீடு Apache Hadoop 3.3

ஒன்றரை வருட வளர்ச்சிக்குப் பிறகு, அப்பாச்சி மென்பொருள் அறக்கட்டளை வெளியிடப்பட்ட வெளியீடு அப்பாச்சி ஹடூப் 3.3.0, முன்னுதாரணத்தைப் பயன்படுத்தி பெரிய அளவிலான தரவுகளின் விநியோகிக்கப்பட்ட செயலாக்கத்தை ஒழுங்கமைப்பதற்கான இலவச தளம் வரைபடம்/குறைக்க, இதில் பணி பல சிறிய தனித்தனி துண்டுகளாக பிரிக்கப்பட்டுள்ளது, அவை ஒவ்வொன்றும் தனித்தனி கிளஸ்டர் முனையில் தொடங்கப்படலாம். ஹடூப்-அடிப்படையிலான சேமிப்பகம் ஆயிரக்கணக்கான முனைகளில் பரவி, எக்ஸாபைட் தரவுகளைக் கொண்டிருக்கும்.

ஹடூப் ஹடூப் விநியோகிக்கப்பட்ட கோப்பு முறைமையின் (HDFS) செயலாக்கத்தை உள்ளடக்கியது, இது தானாகவே தரவு காப்புப்பிரதியை வழங்குகிறது மற்றும் MapReduce பயன்பாடுகளுக்கு உகந்ததாக உள்ளது. ஹடூப் சேமிப்பகத்தில் தரவுகளுக்கான அணுகலை எளிமையாக்க, HBase தரவுத்தளமும் SQL போன்ற மொழிப் பன்றியும் உருவாக்கப்பட்டுள்ளன, இது MapReduce க்கான SQL வகையாகும், இதன் வினவல்களை பல ஹடூப் இயங்குதளங்களால் இணைத்து செயலாக்க முடியும். இந்த திட்டம் முற்றிலும் நிலையானது மற்றும் தொழில்துறை செயல்பாட்டிற்கு தயாராக உள்ளது என மதிப்பிடப்பட்டுள்ளது. கூகுள் பிக்டேபிள்/ஜிஎஃப்எஸ்/மேப்ரெட்யூஸ் இயங்குதளத்தைப் போன்ற திறன்களை வழங்கும், பெரிய தொழில்துறை திட்டங்களில் ஹடூப் தீவிரமாகப் பயன்படுத்தப்படுகிறது, அதே நேரத்தில் கூகுள் அதிகாரப்பூர்வமாக ஒப்படைக்கப்பட்டது ஹடூப் மற்றும் பிற அப்பாச்சி திட்டங்களுக்கு MapReduce முறை தொடர்பான காப்புரிமைகள் மூலம் தொழில்நுட்பங்களைப் பயன்படுத்த உரிமை உண்டு.

செய்யப்பட்ட மாற்றங்களின் எண்ணிக்கையில் அப்பாச்சி களஞ்சியங்களில் ஹடூப் முதலிடத்திலும், கோட்பேஸ் அளவின் அடிப்படையில் ஐந்தாவது இடத்திலும் உள்ளது (சுமார் 4 மில்லியன் கோடுகள் குறியீடு). முக்கிய ஹடூப் செயலாக்கங்களில் Netflix (ஒரு நாளைக்கு 500 பில்லியனுக்கும் அதிகமான நிகழ்வுகள் சேமிக்கப்படுகின்றன), ட்விட்டர் (10 ஆயிரம் நோட்கள் கொண்ட ஒரு குழுவானது ஒரு ஜெட்டாபைட் தரவுகளை உண்மையான நேரத்தில் சேமித்து, ஒரு நாளைக்கு 5 பில்லியனுக்கும் அதிகமான அமர்வுகளை செயலாக்குகிறது), Facebook (ஒரு கிளஸ்டர்) ஆகியவை அடங்கும். 4 ஆயிரம் முனைகளில் 300 பெட்டாபைட்டுகளுக்கு மேல் சேமித்து, தினமும் 4 PB அதிகரித்து வருகிறது).

முக்கிய மாற்றங்கள் அப்பாச்சி ஹடூப் 3.3 இல்:

• ARM கட்டமைப்பின் அடிப்படையில் இயங்குதளங்களுக்கான ஆதரவு சேர்க்கப்பட்டது.
• வடிவத்தை செயல்படுத்துதல் Protobuf (நெறிமுறை இடையகங்கள்), கட்டமைக்கப்பட்ட தரவை வரிசைப்படுத்தப் பயன்படுகிறது, புரோட்டோபஃப்-3.7.1 கிளையின் வாழ்க்கைச் சுழற்சியின் முடிவின் காரணமாக 2.5.0 வெளியிட புதுப்பிக்கப்பட்டது.
• S3A இணைப்பியின் திறன்கள் விரிவாக்கப்பட்டுள்ளன: டோக்கன்களைப் பயன்படுத்தி அங்கீகாரத்திற்கான ஆதரவு சேர்க்கப்பட்டுள்ளது (பிரதிநிதித்துவ டோக்கன்), குறியீடு 404 உடன் கேச்சிங் பதில்களுக்கான மேம்பட்ட ஆதரவு, அதிகரித்த S3guard செயல்திறன் மற்றும் அதிகரித்த செயல்பாட்டு நம்பகத்தன்மை.
• ABFS கோப்பு முறைமையில் தானியங்கி டியூனிங்கில் உள்ள சிக்கல்கள் தீர்க்கப்பட்டுள்ளன.
• COS ஆப்ஜெக்ட் சேமிப்பகத்தை அணுகுவதற்கு Tencent Cloud COS கோப்பு முறைமைக்கான சொந்த ஆதரவு சேர்க்கப்பட்டது.
• ஜாவா 11க்கு முழு ஆதரவு சேர்க்கப்பட்டது.
• HDFS RBF (Router-based Federation) செயல்படுத்தல் நிலைப்படுத்தப்பட்டுள்ளது. HDFS ரூட்டரில் பாதுகாப்புக் கட்டுப்பாடுகள் சேர்க்கப்பட்டுள்ளன.
• ஹோஸ்ட் பெயர்கள் மூலம் DNS வழியாக சேவையகங்களைத் தீர்மானிக்க கிளையண்டிற்கு DNS ரெசல்யூஷன் சேவை சேர்க்கப்பட்டது, இது அமைப்புகளில் அனைத்து ஹோஸ்ட்களையும் பட்டியலிடாமல் செய்ய உங்களை அனுமதிக்கிறது.
• துவக்க திட்டமிடல் ஆதரவு சேர்க்கப்பட்டது சந்தர்ப்பவாத கொள்கலன்கள் ஒரு மையப்படுத்தப்பட்ட வள மேலாளர் (ResourceManager) மூலம், ஒவ்வொரு முனையின் சுமையையும் கணக்கில் கொண்டு கொள்கலன்களை விநியோகிக்கும் திறன் உட்பட.
• தேடக்கூடிய YARN (இன்னொரு ஆதாரப் பேச்சுவார்த்தையாளர்) பயன்பாட்டுக் கோப்பகம் சேர்க்கப்பட்டது.

ஆதாரம்: opennet.ru