ڈیڑھ سال کی ترقی کے بعد، اپاچی سافٹ ویئر فاؤنڈیشن رہائی , پیراڈائم کا استعمال کرتے ہوئے ڈیٹا کی بڑی مقدار کی تقسیم شدہ پروسیسنگ کو منظم کرنے کے لیے ایک مفت پلیٹ فارم ، جس میں کام کو بہت سے چھوٹے الگ الگ حصوں میں تقسیم کیا گیا ہے، جن میں سے ہر ایک کو الگ کلسٹر نوڈ پر لانچ کیا جا سکتا ہے۔ ہڈوپ پر مبنی سٹوریج ہزاروں نوڈس پر محیط ہو سکتا ہے اور اس میں ڈیٹا کی ایکسابائٹس شامل ہیں۔
Hadoop میں Hadoop ڈسٹری بیوٹڈ فائل سسٹم (HDFS) کا نفاذ شامل ہے، جو خود بخود ڈیٹا بیک اپ فراہم کرتا ہے اور MapReduce ایپلیکیشنز کے لیے موزوں ہے۔ ہڈوپ سٹوریج میں ڈیٹا تک رسائی کو آسان بنانے کے لیے، HBase ڈیٹا بیس اور SQL جیسی لینگویج پگ کو تیار کیا گیا ہے، جو MapReduce کے لیے SQL کی ایک قسم ہے، جس کے سوالات کو متعدد Hadoop پلیٹ فارمز کے ذریعے متوازی اور پروسیس کیا جا سکتا ہے۔ اس منصوبے کا اندازہ مکمل طور پر مستحکم اور صنعتی آپریشن کے لیے تیار ہے۔ ہڈوپ کو بڑے صنعتی منصوبوں میں فعال طور پر استعمال کیا جاتا ہے، جو Google Bigtable/GFS/MapReduce پلیٹ فارم کی طرح کی صلاحیتیں فراہم کرتا ہے، جبکہ گوگل نے سرکاری طور پر Hadoop اور دیگر Apache پروجیکٹس کو MapReduce طریقہ سے متعلق پیٹنٹس میں شامل ٹیکنالوجیز استعمال کرنے کا حق ہے۔
ہڈوپ اپاچی ریپوزٹریز میں کی گئی تبدیلیوں کی تعداد کے لحاظ سے پہلے نمبر پر ہے اور کوڈ بیس سائز (تقریباً 4 ملین لائنز کوڈ) کے لحاظ سے پانچویں نمبر پر ہے۔ بڑے ہڈوپ کے نفاذ میں نیٹ فلکس (روزانہ 500 بلین سے زیادہ ایونٹس اسٹور کرتا ہے)، ٹویٹر (10 ہزار نوڈس کا کلسٹر ریئل ٹائم میں ایک زیٹا بائٹ سے زیادہ ڈیٹا اسٹور کرتا ہے اور روزانہ 5 بلین سیشنز پر کارروائی کرتا ہے)، فیس بک (ایک کلسٹر) 4 ہزار نوڈس 300 پیٹا بائٹس سے زیادہ ذخیرہ کرتے ہیں اور روزانہ 4 پی بی سے بڑھ رہے ہیں)۔
اہم اپاچی ہڈوپ 3.3 میں:
- ARM فن تعمیر پر مبنی پلیٹ فارمز کے لیے معاونت شامل کی گئی۔
- فارمیٹ کا نفاذ (پروٹوکول بفرز)، جو سٹرکچرڈ ڈیٹا کو سیریلائز کرنے کے لیے استعمال کیا جاتا ہے، کو پروٹوبف-3.7.1 برانچ کے لائف سائیکل کے اختتام کی وجہ سے 2.5.0 جاری کرنے کے لیے اپ ڈیٹ کر دیا گیا ہے۔
- S3A کنیکٹر کی صلاحیتوں کو بڑھا دیا گیا ہے: ٹوکن کا استعمال کرتے ہوئے تصدیق کے لیے سپورٹ شامل کر دی گئی ہے ()، کوڈ 404 کے ساتھ جوابات کیشنگ کے لیے بہتر سپورٹ، S3guard کی کارکردگی میں اضافہ، اور آپریشنل وشوسنییتا میں اضافہ ہوا۔
- ABFS فائل سسٹم میں خودکار ٹیوننگ کے مسائل حل ہو چکے ہیں۔
- COS آبجیکٹ سٹوریج تک رسائی کے لیے Tencent Cloud COS فائل سسٹم کے لیے مقامی مدد شامل کی گئی۔
- جاوا 11 کے لیے مکمل تعاون شامل کیا گیا۔
- ایچ ڈی ایف ایس آر بی ایف (راؤٹر پر مبنی فیڈریشن) کے نفاذ کو مستحکم کیا گیا ہے۔ HDFS راؤٹر میں سیکیورٹی کنٹرولز شامل کیے گئے ہیں۔
- میزبان کے ناموں سے DNS کے ذریعے سرورز کا تعین کرنے کے لیے کلائنٹ کے لیے DNS ریزولوشن سروس شامل کی گئی، جس سے آپ سیٹنگز میں تمام میزبانوں کی فہرست کے بغیر ایسا کر سکتے ہیں۔
- لانچ شیڈولنگ سپورٹ شامل کر دی گئی۔ سینٹرلائزڈ ریسورس مینیجر (ResourceManager) کے ذریعے، بشمول ہر نوڈ کے بوجھ کو مدنظر رکھتے ہوئے کنٹینرز کو تقسیم کرنے کی صلاحیت۔
- قابل تلاش یارن (ابھی ایک اور وسیلہ مذاکرات کار) ایپلیکیشن ڈائرکٹری شامل کی گئی۔
ماخذ: opennet.ru
