ہیلو، حبر قارئین۔ اس آرٹیکل کے ساتھ ہم ایک سیریز کھولتے ہیں جو کہ ہائپر کنورجڈ سسٹم AERODISK vAIR کے بارے میں بات کرے گا جسے ہم نے تیار کیا ہے۔ شروع میں، ہم پہلے مضمون میں ہر چیز کے بارے میں سب کچھ بتانا چاہتے تھے، لیکن نظام کافی پیچیدہ ہے، اس لیے ہم ہاتھی کو حصوں میں کھائیں گے۔
آئیے اس سسٹم کی تخلیق کی تاریخ سے کہانی کا آغاز کرتے ہیں، ARDFS فائل سسٹم پر غور کریں، جو vAIR کی بنیاد ہے، اور روسی مارکیٹ میں اس حل کی پوزیشننگ کے بارے میں بھی تھوڑی بات کرتے ہیں۔
مستقبل کے مضامین میں ہم مختلف آرکیٹیکچرل اجزاء (کلسٹر، ہائپر وائزر، لوڈ بیلنسر، مانیٹرنگ سسٹم وغیرہ) کے بارے میں مزید تفصیل سے بات کریں گے، کنفیگریشن کے عمل، لائسنس کے مسائل کو اٹھائیں گے، الگ سے کریش ٹیسٹ دکھائیں گے اور یقیناً لوڈ ٹیسٹنگ کے بارے میں لکھیں گے۔ سائز کرنا ہم VAIR کے کمیونٹی ورژن کے لیے ایک الگ مضمون بھی وقف کریں گے۔
کیا Aerodisk اسٹوریج سسٹم کے بارے میں ایک کہانی ہے؟ یا ہم نے پہلی جگہ ہائپر کنورجنسی کیوں شروع کی؟
ابتدائی طور پر، ہمارا اپنا ہائپر کنورجنس بنانے کا خیال ہمیں 2010 کے آس پاس آیا۔ اس وقت، مارکیٹ میں نہ تو Aerodisk تھا اور نہ ہی اس سے ملتے جلتے حل (کمرشل باکسڈ ہائپر کنورجڈ سسٹم)۔ ہمارا کام درج ذیل تھا: مقامی ڈسکوں کے ساتھ سرورز کے ایک سیٹ سے، ایتھرنیٹ پروٹوکول کے ذریعے ایک دوسرے سے جڑے ہوئے، ایک توسیعی اسٹوریج بنانا اور وہاں ورچوئل مشینیں اور ایک سافٹ ویئر نیٹ ورک لانچ کرنا ضروری تھا۔ یہ سب اسٹوریج سسٹم کے بغیر لاگو کیا جانا تھا (کیونکہ سٹوریج سسٹم اور اس کے ہارڈ ویئر کے لیے صرف پیسے نہیں تھے، اور ہم نے ابھی تک اپنے اسٹوریج سسٹم ایجاد نہیں کیے تھے)۔
ہم نے بہت سے اوپن سورس حل آزمائے اور آخر کار اس مسئلے کو حل کر لیا، لیکن حل بہت پیچیدہ اور دہرانا مشکل تھا۔ اس کے علاوہ، یہ حل "کیا یہ کام کرتا ہے؟" کے زمرے میں تھا؟ مت چھو! لہذا، اس مسئلے کو حل کرنے کے بعد، ہم نے اپنے کام کے نتیجے کو ایک مکمل پروڈکٹ میں تبدیل کرنے کا خیال مزید تیار نہیں کیا۔
اس واقعے کے بعد، ہم اس خیال سے دور ہو گئے، لیکن ہمیں پھر بھی یہ احساس تھا کہ یہ مسئلہ مکمل طور پر قابل حل ہے، اور اس طرح کے حل کے فوائد واضح سے زیادہ ہیں۔ اس کے بعد، غیر ملکی کمپنیوں کی جاری کردہ HCI مصنوعات نے صرف اس احساس کی تصدیق کی۔
لہذا، 2016 کے وسط میں، ہم ایک مکمل پروڈکٹ بنانے کے حصے کے طور پر اس کام پر واپس آئے۔ اس وقت ہمارے سرمایہ کاروں کے ساتھ کوئی تعلقات نہیں تھے، اس لیے ہمیں اپنے لیے ایک ترقیاتی اسٹینڈ خریدنا پڑا جو بہت بڑی رقم نہیں تھی۔ Avito پر استعمال شدہ سرورز اور سوئچز کو جمع کرنے کے بعد، ہم کاروبار پر اتر آئے۔
بنیادی ابتدائی کام ہمارا اپنا بنانا تھا، اگرچہ آسان تھا، لیکن ہمارا اپنا فائل سسٹم، جو کلسٹر نوڈس کے نویں نمبر پر ورچوئل بلاکس کی شکل میں ڈیٹا کو خود بخود اور یکساں طور پر تقسیم کر سکتا ہے، جو ایتھرنیٹ کے ذریعے ایک دوسرے سے جڑے ہوئے ہیں۔ ایک ہی وقت میں، FS کو اچھی طرح اور آسانی سے پیمانہ ہونا چاہیے اور ملحقہ نظاموں سے آزاد ہونا چاہیے، یعنی "صرف ایک ذخیرہ کرنے کی سہولت" کی صورت میں VAIR سے الگ ہو جائیں۔
پہلا وی اے آئی آر کا تصور
ہم نے جان بوجھ کر اپنی ترقی کے حق میں سٹریچڈ اسٹوریج (سیف، گلوسٹر، لسٹر اور اس طرح) کو منظم کرنے کے لیے ریڈی میڈ اوپن سورس سلوشنز کا استعمال ترک کر دیا، کیونکہ ہمارے پاس پہلے ہی ان کے ساتھ پروجیکٹ کا کافی تجربہ تھا۔ بلاشبہ، یہ حل خود بہترین ہیں، اور Aerodisk پر کام کرنے سے پہلے، ہم نے ان کے ساتھ ایک سے زیادہ انٹیگریشن پروجیکٹ کو لاگو کیا۔ لیکن یہ ایک چیز ہے کہ ایک گاہک کے لیے مخصوص کام کو عمل میں لانا، عملے کو تربیت دینا اور، شاید، ایک بڑے وینڈر کا تعاون خریدنا، اور ایک اور چیز آسانی سے نقل کی جانے والی پروڈکٹ بنانے کے لیے جو مختلف کاموں کے لیے استعمال کی جائے گی، جسے ہم بطور فروش، یہاں تک کہ اپنے بارے میں جان سکتے ہیں ہم نہیں کریں گے۔ دوسرے مقصد کے لیے، موجودہ اوپن سورس پروڈکٹس ہمارے لیے موزوں نہیں تھے، اس لیے ہم نے خود ایک تقسیم شدہ فائل سسٹم بنانے کا فیصلہ کیا۔
دو سال بعد، کئی ڈویلپرز (جنہوں نے کلاسک انجن سٹوریج سسٹم پر کام کے ساتھ VAIR پر کام کو ملایا) نے ایک خاص نتیجہ حاصل کیا۔
2018 تک، ہم نے ایک سادہ فائل سسٹم لکھا تھا اور اسے ضروری ہارڈ ویئر کے ساتھ مکمل کیا تھا۔ سسٹم نے مختلف سرورز سے فزیکل (مقامی) ڈسکوں کو اندرونی انٹرکنیکٹ کے ذریعے ایک فلیٹ پول میں ملایا اور انہیں ورچوئل بلاکس میں "کاٹ" دیا، پھر ورچوئل بلاکس سے فالٹ ٹولرنس کی مختلف ڈگریوں والے بلاک ڈیوائسز بنائے گئے، جن پر ورچوئل بلاکس بنائے گئے۔ اور KVM ہائپر وائزر کاروں کا استعمال کرتے ہوئے پھانسی دی گئی۔
ہم نے فائل سسٹم کے نام سے زیادہ پریشان نہیں کیا اور مختصراً اسے ARDFS کہا (اندازہ لگائیں کہ اس کا کیا مطلب ہے))
یہ پروٹو ٹائپ اچھا لگ رہا تھا (ضعیف نہیں، یقیناً، ابھی تک کوئی بصری ڈیزائن نہیں تھا) اور کارکردگی اور اسکیلنگ کے لحاظ سے اچھے نتائج دکھائے۔ پہلے حقیقی نتیجہ کے بعد، ہم نے اس پروجیکٹ کو حرکت میں لایا، ایک مکمل ترقیاتی ماحول اور ایک علیحدہ ٹیم کو ترتیب دیا جو صرف وی اے آئی آر کے ساتھ کام کرتی ہے۔
بس اس وقت تک، حل کا عمومی فن تعمیر پختہ ہو چکا تھا، جس میں ابھی تک کوئی بڑی تبدیلی نہیں آئی تھی۔
اے آر ڈی ایف ایس فائل سسٹم میں غوطہ لگانا
اے آر ڈی ایف ایس وی اے آئی آر کی بنیاد ہے، جو پورے کلسٹر میں تقسیم شدہ، غلطی برداشت کرنے والا ڈیٹا ذخیرہ فراہم کرتا ہے۔ ARDFS کی مخصوص خصوصیات میں سے ایک (لیکن واحد نہیں) یہ ہے کہ یہ میٹا ڈیٹا اور انتظام کے لیے کوئی اضافی سرشار سرور استعمال نہیں کرتا ہے۔ یہ اصل میں حل کی ترتیب کو آسان بنانے اور اس کی وشوسنییتا کے لیے تصور کیا گیا تھا۔
اسٹوریج کا ڈھانچہ
کلسٹر کے تمام نوڈس کے اندر، ARDFS تمام دستیاب ڈسک اسپیس سے ایک منطقی پول کو منظم کرتا ہے۔ یہ سمجھنا ضروری ہے کہ پول ابھی ڈیٹا یا فارمیٹ شدہ جگہ نہیں ہے، بلکہ صرف مارک اپ، یعنی وی اے آئی آر کے ساتھ کوئی بھی نوڈس انسٹال ہونے پر، جب کلسٹر میں شامل کیا جاتا ہے، خود بخود مشترکہ اے آر ڈی ایف ایس پول میں شامل ہوجاتا ہے اور ڈسک کے وسائل خود بخود پورے کلسٹر میں شیئر ہوجاتے ہیں (اور مستقبل میں ڈیٹا اسٹوریج کے لیے دستیاب ہیں)۔ یہ نقطہ نظر آپ کو پہلے سے چل رہے نظام پر کسی سنگین اثر کے بغیر فلائی پر نوڈس کو شامل اور ہٹانے کی اجازت دیتا ہے۔ وہ. اگر ضروری ہو تو کلسٹر میں نوڈس کو شامل یا ہٹانے کے لیے سسٹم کو "اینٹوں میں" پیمانہ کرنا بہت آسان ہے۔
ورچوئل ڈسکیں (ورچوئل مشینوں کے لیے اسٹوریج آبجیکٹ) اے آر ڈی ایف ایس پول کے اوپر شامل کی جاتی ہیں، جو 4 میگا بائٹس سائز کے ورچوئل بلاکس سے بنی ہیں۔ ورچوئل ڈسک براہ راست ڈیٹا اسٹور کرتی ہیں۔ فالٹ ٹولرنس اسکیم بھی ورچوئل ڈسک لیول پر سیٹ کی گئی ہے۔
جیسا کہ آپ نے پہلے ہی اندازہ لگایا ہوگا، ڈسک کے سب سسٹم کی غلطی کو برداشت کرنے کے لیے، ہم RAID (آزاد ڈسک کی بے کار سرنی) کا تصور استعمال نہیں کرتے ہیں، لیکن RAIN (آزاد نوڈس کی بے کار سرنی) کا استعمال کرتے ہیں۔ وہ. غلطی کی رواداری کی پیمائش، خودکار، اور نوڈس کی بنیاد پر کی جاتی ہے، ڈسکوں کی نہیں۔ ڈسکیں، یقیناً، ایک سٹوریج آبجیکٹ بھی ہیں، ان کی بھی، ہر چیز کی طرح، نگرانی کی جاتی ہے، آپ ان کے ساتھ تمام معیاری کام انجام دے سکتے ہیں، بشمول مقامی ہارڈویئر RAID کو جمع کرنا، لیکن کلسٹر خاص طور پر نوڈس پر کام کرتا ہے۔
ایسی صورت حال میں جہاں آپ واقعی RAID چاہتے ہیں (مثال کے طور پر، ایک ایسا منظر نامہ جو چھوٹے کلسٹرز پر متعدد ناکامیوں کی حمایت کرتا ہے)، کوئی بھی چیز آپ کو مقامی RAID کنٹرولرز استعمال کرنے، اور اسٹریچڈ سٹوریج بنانے اور سب سے اوپر ایک RAIN فن تعمیر سے نہیں روکتی ہے۔ یہ منظر نامہ بالکل رواں ہے اور ہماری طرف سے تعاون کیا جاتا ہے، اس لیے ہم اس کے بارے میں ایک مضمون میں بات کریں گے جو وی اے آئی آر کے استعمال کے لیے عام حالات کے بارے میں ہے۔
سٹوریج فالٹ ٹولرنس سکیمیں
وی اے آئی آر میں ورچوئل ڈسک کے لیے دو فالٹ ٹولرنس اسکیمیں ہوسکتی ہیں:
1) نقل کا عنصر یا محض نقل - غلطی کو برداشت کرنے کا یہ طریقہ چھڑی اور رسی کی طرح آسان ہے۔ ہم وقت ساز نقل نوڈس کے درمیان 2 (2 کاپیاں فی کلسٹر) یا 3 (بالترتیب 3 کاپیاں) کے عنصر کے ساتھ کی جاتی ہے۔ RF-2 ایک ورچوئل ڈسک کو کلسٹر میں ایک نوڈ کی ناکامی کو برداشت کرنے کی اجازت دیتا ہے، لیکن مفید حجم کا نصف "کھاتا" ہے، اور RF-3 کلسٹر میں 2 نوڈس کی ناکامی کو برداشت کرے گا، لیکن اس کا 2/3 محفوظ رکھتا ہے۔ اس کی ضروریات کے لئے مفید حجم. یہ اسکیم RAID-1 سے بہت ملتی جلتی ہے، یعنی RF-2 میں کنفیگر کی گئی ایک ورچوئل ڈسک کلسٹر میں کسی ایک نوڈ کی ناکامی کے خلاف مزاحم ہے۔ اس صورت میں، ڈیٹا کے ساتھ سب کچھ ٹھیک ہو جائے گا اور یہاں تک کہ I/O بھی نہیں رکے گا۔ جب گرا ہوا نوڈ سروس پر واپس آجائے گا، تو خودکار ڈیٹا ریکوری/ سنکرونائزیشن شروع ہو جائے گی۔
ذیل میں RF-2 اور RF-3 ڈیٹا کی عام حالت میں اور ناکامی کی صورت حال میں تقسیم کی مثالیں ہیں۔
ہمارے پاس ایک ورچوئل مشین ہے جس کی گنجائش 8MB منفرد (مفید) ڈیٹا ہے، جو 4 وی اے آئی آر نوڈس پر چلتی ہے۔ یہ واضح ہے کہ حقیقت میں اس بات کا امکان نہیں ہے کہ اتنا چھوٹا حجم ہو، لیکن ایک اسکیم کے لیے جو ARDFS آپریشن کی منطق کو ظاہر کرتی ہے، یہ مثال سب سے زیادہ قابل فہم ہے۔ AB 4MB ورچوئل بلاکس ہیں جو منفرد ورچوئل مشین ڈیٹا پر مشتمل ہیں۔ RF-2 بالترتیب ان بلاکس A1+A2 اور B1+B2 کی دو کاپیاں بناتا ہے۔ یہ بلاکس تمام نوڈس پر "بچھائے گئے" ہیں، ایک ہی نوڈ پر ایک ہی ڈیٹا کے چوراہے سے گریز کرتے ہوئے، یعنی کاپی A1 کاپی A2 کے اسی نوڈ پر واقع نہیں ہوگا۔ B1 اور B2 کے ساتھ بھی۔
اگر نوڈس میں سے کوئی ایک ناکام ہوجاتا ہے (مثال کے طور پر، نوڈ نمبر 3، جس میں B1 کی کاپی ہوتی ہے)، یہ کاپی خود بخود نوڈ پر فعال ہوجاتی ہے جہاں اس کی کاپی کی کوئی کاپی نہیں ہوتی ہے (یعنی B2 کی کاپی)۔
اس طرح، ورچوئل ڈسک (اور VM، اس کے مطابق) آسانی سے RF-2 اسکیم میں ایک نوڈ کی ناکامی سے بچ سکتی ہے۔
نقل کی اسکیم، سادہ اور قابل بھروسہ ہونے کے باوجود، RAID1 جیسی ہی پریشانی کا شکار ہے - کافی قابل استعمال جگہ نہیں۔
2) ایریزور کوڈنگ یا ایریزور کوڈنگ (جسے "ریڈنڈنٹ کوڈنگ"، "ایریزور کوڈنگ" یا "ریڈنڈنسی کوڈ" بھی کہا جاتا ہے) مذکورہ مسئلے کو حل کرنے کے لیے موجود ہے۔ EC ایک فالتو اسکیم ہے جو نقل کے مقابلے میں کم ڈسک اسپیس اوور ہیڈ کے ساتھ اعلیٰ ڈیٹا کی دستیابی فراہم کرتی ہے۔ اس میکانزم کا آپریٹنگ اصول RAID 5, 6, 6P جیسا ہے۔
انکوڈنگ کرتے وقت، EC عمل ایک ورچوئل بلاک (4MB بذریعہ ڈیفالٹ) کو EC اسکیم کے لحاظ سے کئی چھوٹے "ڈیٹا ٹکڑوں" میں تقسیم کرتا ہے (مثال کے طور پر، 2+1 اسکیم ہر 4MB بلاک کو 2 2MB حصوں میں تقسیم کرتی ہے)۔ اگلا، یہ عمل "ڈیٹا چنکس" کے لیے "پیریٹی چنکس" تیار کرتا ہے جو پہلے تقسیم کیے گئے حصوں میں سے کسی ایک سے بڑا نہیں ہوتا ہے۔ ڈی کوڈنگ کرتے وقت، EC پورے کلسٹر میں "بچ جانے والے" ڈیٹا کو پڑھ کر گمشدہ ٹکڑوں کو تیار کرتا ہے۔
مثال کے طور پر، 2 کلسٹر نوڈس پر لاگو 1 + 4 EC اسکیم والی ورچوئل ڈسک، RF-2 کی طرح کلسٹر میں ایک نوڈ کی ناکامی کو آسانی سے برداشت کرے گی۔ اس صورت میں، اوور ہیڈ اخراجات کم ہوں گے، خاص طور پر، RF-2 کے لیے کارآمد صلاحیت کا گتانک 2 ہے، اور EC 2+1 کے لیے یہ 1,5 ہوگا۔
اسے مزید سادہ بیان کرنے کے لیے، جوہر یہ ہے کہ ورچوئل بلاک کو 2-8 میں تقسیم کیا گیا ہے (کیوں 2 سے 8 تک، ذیل میں دیکھیں) "ٹکڑوں"، اور ان ٹکڑوں کے لیے ایک ہی حجم کی برابری کے "ٹکڑوں" کا حساب لگایا جاتا ہے۔
نتیجے کے طور پر، ڈیٹا اور برابری کو کلسٹر کے تمام نوڈس میں یکساں طور پر تقسیم کیا جاتا ہے۔ ایک ہی وقت میں، جیسا کہ نقل کے ساتھ، اے آر ڈی ایف ایس خود بخود ڈیٹا کو نوڈس میں اس طرح تقسیم کرتا ہے کہ ایک جیسے ڈیٹا (ڈیٹا کی کاپیاں اور ان کی برابری) کو ایک ہی نوڈ پر ذخیرہ ہونے سے روکا جائے، تاکہ ڈیٹا کے ضائع ہونے کے امکانات کو ختم کیا جا سکے۔ حقیقت یہ ہے کہ ڈیٹا اور ان کی برابری اچانک ایک اسٹوریج نوڈ پر ختم ہوجائے گی جو ناکام ہوجاتا ہے۔
ذیل میں ایک مثال ہے، اسی 8 MB ورچوئل مشین اور 4 نوڈس کے ساتھ، لیکن EC 2+1 اسکیم کے ساتھ۔
بلاکس A اور B کو 2 MB ہر ایک کے دو ٹکڑوں میں تقسیم کیا گیا ہے (دو کیونکہ 2+1)، یعنی A1+A2 اور B1+B2۔ نقل کے برعکس، A1 A2 کی کاپی نہیں ہے، یہ ایک ورچوئل بلاک A ہے، جسے دو حصوں میں تقسیم کیا گیا ہے، بلاک B کے ساتھ ایک جیسا۔ مجموعی طور پر، ہمیں 4MB کے دو سیٹ ملتے ہیں، جن میں سے ہر ایک میں دو دو-MB ٹکڑے ہوتے ہیں۔ اس کے بعد، ان سیٹوں میں سے ہر ایک کے لیے، برابری کا حساب ایک ٹکڑا (یعنی 2 MB) سے زیادہ کے حجم کے ساتھ کیا جاتا ہے، ہم برابری کے ایک اضافی + 2 ٹکڑے (A-P اور B-P) حاصل کرتے ہیں۔ مجموعی طور پر ہمارے پاس 4×2 ڈیٹا + 2×2 برابری ہے۔
اس کے بعد، ٹکڑوں کو نوڈس کے درمیان "بچھایا" جاتا ہے تاکہ ڈیٹا ان کی برابری کے ساتھ ایک دوسرے کو نہ کاٹے۔ وہ. A1 اور A2 A-P کی طرح ایک ہی نوڈ پر نہیں پڑے گا۔
ایک نوڈ کے ناکام ہونے کی صورت میں (مثال کے طور پر، تیسرا بھی)، گرا ہوا بلاک B1 خود بخود B-P برابری سے بحال ہو جائے گا، جو نوڈ نمبر 2 پر محفوظ ہے، اور نوڈ پر فعال ہو جائے گا جہاں موجود ہے۔ کوئی بی برابری نہیں، یعنی ٹکڑا B-P اس مثال میں، یہ نوڈ نمبر 1 ہے۔
مجھے یقین ہے کہ قاری کا ایک سوال ہے:
"آپ کی بیان کردہ ہر چیز کو حریفوں اور اوپن سورس سلوشنز دونوں کے ذریعے طویل عرصے سے لاگو کیا گیا ہے، ARDFS میں آپ کے EC کے نفاذ میں کیا فرق ہے؟"
اور پھر ARDFS کی دلچسپ خصوصیات ہوں گی۔
لچک پر توجہ کے ساتھ مٹانے والی کوڈنگ
ابتدائی طور پر، ہم نے کافی لچکدار EC X+Y سکیم فراہم کی، جہاں X 2 سے 8 تک کے نمبر کے برابر ہے، اور Y 1 سے 8 تک کے نمبر کے برابر ہے، لیکن ہمیشہ X سے کم یا اس کے برابر ہے۔ یہ سکیم فراہم کی جاتی ہے۔ لچک کے لئے. ڈیٹا کے ٹکڑوں کی تعداد میں اضافہ (X) جس میں ورچوئل بلاک کو تقسیم کیا گیا ہے اوور ہیڈ لاگت کو کم کرنے کی اجازت دیتا ہے، یعنی قابل استعمال جگہ میں اضافہ۔
برابری کے حصوں (Y) کی تعداد میں اضافہ ورچوئل ڈسک کی وشوسنییتا کو بڑھاتا ہے۔ Y قدر جتنی بڑی ہوگی، کلسٹر میں اتنے ہی زیادہ نوڈس ناکام ہو سکتے ہیں۔ بلاشبہ، برابری کے حجم میں اضافہ قابل استعمال صلاحیت کی مقدار کو کم کرتا ہے، لیکن یہ قابل اعتماد قیمت ادا کرنے کی قیمت ہے۔
EC سرکٹس پر کارکردگی کا انحصار تقریباً سیدھا ہے: جتنے زیادہ "ٹکڑے" ہوں گے، کارکردگی اتنی ہی کم ہوگی؛ یہاں، بلاشبہ، ایک متوازن نقطہ نظر کی ضرورت ہے۔
یہ نقطہ نظر منتظمین کو زیادہ سے زیادہ لچک کے ساتھ پھیلا ہوا ذخیرہ ترتیب دینے کی اجازت دیتا ہے۔ ARDFS پول کے اندر، آپ کسی بھی غلطی کو برداشت کرنے کی اسکیموں اور ان کے امتزاج کو استعمال کرسکتے ہیں، جو کہ ہماری رائے میں بھی بہت مفید ہے۔
ذیل میں ایک جدول ہے جس میں متعدد (تمام ممکن نہیں) RF اور EC اسکیموں کا موازنہ کیا گیا ہے۔
ٹیبل سے پتہ چلتا ہے کہ یہاں تک کہ سب سے زیادہ "ٹیری" مجموعہ EC 8+7، جو کہ ایک کلسٹر میں بیک وقت 7 نوڈس کے نقصان کی اجازت دیتا ہے، معیاری نقل کے مقابلے میں کم قابل استعمال جگہ (1,875 بمقابلہ 2) کو "کھاتا ہے"، اور 7 گنا بہتر حفاظت کرتا ہے۔ ، جو اس تحفظ کے طریقہ کار کو، اگرچہ زیادہ پیچیدہ، ان حالات میں بہت زیادہ پرکشش بناتا ہے جہاں محدود ڈسک کی جگہ کے حالات میں زیادہ سے زیادہ وشوسنییتا کو یقینی بنانا ضروری ہوتا ہے۔ ایک ہی وقت میں، آپ کو یہ سمجھنے کی ضرورت ہے کہ ہر "پلس" سے لے کر X یا Y تک اضافی کارکردگی اوور ہیڈ ہوگی، اس لیے قابل اعتماد، بچت اور کارکردگی کے درمیان مثلث میں آپ کو بہت احتیاط سے انتخاب کرنا ہوگا۔ اس وجہ سے، ہم کوڈنگ کے سائز کو مٹانے کے لیے ایک علیحدہ مضمون مختص کریں گے۔
فائل سسٹم کی وشوسنییتا اور خودمختاری
اے آر ڈی ایف ایس مقامی طور پر کلسٹر کے تمام نوڈس پر چلتا ہے اور وقف ایتھرنیٹ انٹرفیس کے ذریعے اپنے ذرائع کا استعمال کرتے ہوئے ان کو ہم آہنگ کرتا ہے۔ اہم نکتہ یہ ہے کہ ARDFS آزادانہ طور پر نہ صرف ڈیٹا بلکہ اسٹوریج سے متعلق میٹا ڈیٹا کو بھی ہم آہنگ کرتا ہے۔ ARDFS پر کام کرتے ہوئے، ہم نے بیک وقت متعدد موجودہ حلوں کا مطالعہ کیا اور ہم نے دریافت کیا کہ بہت سے فائل سسٹم میٹا کو ایک بیرونی تقسیم شدہ DBMS کا استعمال کرتے ہوئے ہم آہنگ کرتے ہیں، جسے ہم ہم آہنگی کے لیے بھی استعمال کرتے ہیں، لیکن صرف کنفیگریشنز، FS میٹا ڈیٹا نہیں (اس کے بارے میں اور دیگر متعلقہ سب سسٹمز کے بارے میں۔ اگلے مضمون میں)۔
بیرونی ڈی بی ایم ایس کا استعمال کرتے ہوئے ایف ایس میٹا ڈیٹا کو سنکرونائز کرنا یقیناً ایک کام کرنے والا حل ہے، لیکن پھر اے آر ڈی ایف ایس پر ذخیرہ شدہ ڈیٹا کی مستقل مزاجی کا انحصار بیرونی ڈی بی ایم ایس اور اس کے رویے پر ہوگا (اور واضح طور پر، یہ ایک دلکش خاتون ہے)، جس میں ہماری رائے بری ہے. کیوں؟ اگر FS میٹا ڈیٹا خراب ہو جاتا ہے، تو FS ڈیٹا کو خود بھی "الوداع" کہا جا سکتا ہے، اس لیے ہم نے زیادہ پیچیدہ لیکن قابل اعتماد راستہ اختیار کرنے کا فیصلہ کیا۔
ہم نے خود ARDFS کے لیے میٹا ڈیٹا سنکرونائزیشن سب سسٹم بنایا، اور یہ ملحقہ سب سسٹمز سے مکمل طور پر آزاد رہتا ہے۔ وہ. کوئی دوسرا سب سسٹم ARDFS ڈیٹا کو خراب نہیں کر سکتا۔ ہماری رائے میں یہ سب سے قابل اعتماد اور درست طریقہ ہے، لیکن وقت ہی بتائے گا کہ واقعی ایسا ہے یا نہیں۔ اس کے علاوہ، اس نقطہ نظر کے ساتھ ایک اضافی فائدہ ہے. ARDFS کو VAIR سے آزادانہ طور پر استعمال کیا جا سکتا ہے، بالکل اسی طرح جیسے سٹریچڈ اسٹوریج، جسے ہم یقینی طور پر مستقبل کی مصنوعات میں استعمال کریں گے۔
نتیجے کے طور پر، ARDFS کو تیار کر کے، ہمیں ایک لچکدار اور قابل اعتماد فائل سسٹم ملا ہے جو ایک ایسا انتخاب دیتا ہے جہاں آپ صلاحیت پر بچت کر سکتے ہیں یا کارکردگی پر سب کچھ ترک کر سکتے ہیں، یا مناسب قیمت پر انتہائی قابل اعتماد اسٹوریج بنا سکتے ہیں، لیکن کارکردگی کی ضروریات کو کم کر سکتے ہیں۔
ایک سادہ لائسنسنگ پالیسی اور ایک لچکدار ڈیلیوری ماڈل کے ساتھ (آگے دیکھتے ہوئے، وی اے آئی آر کو نوڈ کے ذریعے لائسنس دیا جاتا ہے، اور اسے سافٹ ویئر کے طور پر یا ایک سافٹ ویئر پیکج کے طور پر فراہم کیا جاتا ہے)، یہ آپ کو صارفین کی ضروریات کی وسیع اقسام کے حل کو درست طریقے سے تیار کرنے کی اجازت دیتا ہے اور پھر آسانی سے اس توازن کو برقرار رکھیں۔
کس کو اس معجزے کی ضرورت ہے؟
ایک طرف، ہم کہہ سکتے ہیں کہ مارکیٹ میں پہلے سے ہی ایسے کھلاڑی موجود ہیں جن کے پاس ہائپر کنورجنسی کے میدان میں سنجیدہ حل ہیں، اور یہ وہ جگہ ہے جہاں ہم اصل میں جا رہے ہیں۔ ایسا لگتا ہے کہ یہ بیان درست ہے، لیکن...
دوسری طرف، جب ہم کھیتوں میں جاتے ہیں اور گاہکوں کے ساتھ بات چیت کرتے ہیں، تو ہم اور ہمارے شراکت دار دیکھتے ہیں کہ ایسا بالکل نہیں ہے۔ ہائپر کنورجنسی کے لیے بہت سے کام ہیں، کچھ جگہوں پر لوگوں کو یہ معلوم نہیں تھا کہ اس طرح کے حل موجود ہیں، کچھ میں یہ مہنگے لگ رہے تھے، کچھ میں متبادل حل کے ناکام ٹیسٹ تھے، اور کچھ جگہوں پر پابندیوں کی وجہ سے خریدنا بالکل ممنوع ہے۔ عام طور پر، کھیت کھلا ہوا نکلا، لہذا ہم کنواری مٹی کو بڑھانے کے لئے گئے تھے)))۔
اسٹوریج سسٹم جی سی ایس سے کب بہتر ہے؟
جیسا کہ ہم مارکیٹ کے ساتھ کام کرتے ہیں، ہم سے اکثر پوچھا جاتا ہے کہ اسٹوریج سسٹم کے ساتھ کلاسک اسکیم کا استعمال کب بہتر ہے، اور ہائپر کنورجنٹ کب استعمال کریں؟ GCS بنانے والی بہت سی کمپنیاں (خاص طور پر وہ جن کے پورٹ فولیو میں سٹوریج سسٹم نہیں ہیں) کہتے ہیں: "اسٹوریج سسٹم متروک ہو رہے ہیں، صرف ہائپر کنورجڈ!" یہ ایک جرات مندانہ بیان ہے، لیکن یہ مکمل طور پر حقیقت کی عکاسی نہیں کرتا ہے۔
حقیقت میں، سٹوریج مارکیٹ واقعی ہائپر کنورجنسی اور اسی طرح کے حل کی طرف بڑھ رہی ہے، لیکن ہمیشہ ایک "لیکن" ہوتا ہے۔
سب سے پہلے، ڈیٹا سینٹرز اور IT انفراسٹرکچر جو کلاسیکی اسکیم کے مطابق سٹوریج سسٹم کے ساتھ بنائے گئے ہیں آسانی سے دوبارہ نہیں بنائے جا سکتے، اس لیے اس طرح کے انفراسٹرکچر کی جدید کاری اور تکمیل اب بھی 5-7 سال کی میراث ہے۔
دوم، بنیادی ڈھانچہ جو اس وقت زیادہ تر حصہ کے لیے بنایا جا رہا ہے (جس کا مطلب روسی فیڈریشن ہے) کلاسیکی اسکیم کے مطابق اسٹوریج سسٹمز کا استعمال کرتے ہوئے بنایا گیا ہے، اور اس لیے نہیں کہ لوگ ہائپر کنورجنس کے بارے میں نہیں جانتے، بلکہ اس لیے کہ ہائپر کنورجینس مارکیٹ نئی ہے، حل اور حل۔ معیارات ابھی تک قائم نہیں ہوئے ہیں، IT لوگ ابھی تک تربیت یافتہ نہیں ہیں، ان کے پاس بہت کم تجربہ ہے، لیکن انہیں یہاں اور اب ڈیٹا سینٹرز بنانے کی ضرورت ہے۔ اور یہ رجحان مزید 3-5 سال تک جاری رہے گا (اور پھر ایک اور میراث، پوائنٹ 1 دیکھیں)۔
تیسرا، 2 ملی سیکنڈ فی تحریر (یقینا مقامی کیشے کو چھوڑ کر) کی اضافی چھوٹی تاخیر میں خالصتاً تکنیکی حد ہے، جو کہ تقسیم شدہ اسٹوریج کی قیمت ہیں۔
ٹھیک ہے، آئیے بڑے فزیکل سرورز کے استعمال کو نہ بھولیں جو ڈسک سب سسٹم کی عمودی اسکیلنگ کو پسند کرتے ہیں۔
بہت سے ضروری اور مقبول کام ہیں جہاں اسٹوریج سسٹم GCS سے بہتر برتاؤ کرتے ہیں۔ یہاں، یقیناً، وہ مینوفیکچررز جن کے پروڈکٹ پورٹ فولیو میں اسٹوریج سسٹم نہیں ہے، وہ ہم سے اتفاق نہیں کریں گے، لیکن ہم معقول بحث کرنے کے لیے تیار ہیں۔ بلاشبہ، ہم، دونوں مصنوعات کے ڈویلپرز کے طور پر، یقینی طور پر اپنی مستقبل کی اشاعتوں میں سے ایک میں اسٹوریج سسٹم اور GCS کا موازنہ کریں گے، جہاں ہم واضح طور پر یہ ظاہر کریں گے کہ کن حالات میں کون سا بہتر ہے۔
اور ہائپر کنورجڈ حل اسٹوریج سسٹم سے بہتر کہاں کام کریں گے؟
مندرجہ بالا نکات کی بنیاد پر، تین واضح نتائج اخذ کیے جا سکتے ہیں:
- جہاں ریکارڈنگ کے لیے اضافی 2 ملی سیکنڈ لیٹینسی، جو کسی بھی پروڈکٹ میں مستقل طور پر ہوتی ہے (اب ہم سنتھیٹکس کے بارے میں بات نہیں کر رہے ہیں، نینو سیکنڈز کو سینتھیٹکس پر دکھایا جا سکتا ہے)، غیر تنقیدی ہیں، ہائپر کنورجنٹ موزوں ہے۔
- جہاں بڑے فزیکل سرورز سے بوجھ کو بہت سے چھوٹے ورچوئل سرورز میں تبدیل کیا جا سکتا ہے اور نوڈس میں تقسیم کیا جا سکتا ہے، وہاں ہائپر کنورجنسی بھی اچھی طرح کام کرے گی۔
- جہاں افقی اسکیلنگ عمودی اسکیلنگ کے مقابلے میں ایک اعلی ترجیح ہے، وہاں بھی GCS ٹھیک کام کرے گا۔
یہ حل کیا ہیں؟
- تمام معیاری بنیادی ڈھانچے کی خدمات (ڈائریکٹری سروس، میل، EDMS، فائل سرورز، چھوٹے یا درمیانے ERP اور BI سسٹم وغیرہ)۔ ہم اسے "جنرل کمپیوٹنگ" کہتے ہیں۔
- کلاؤڈ فراہم کرنے والوں کا بنیادی ڈھانچہ، جہاں کلائنٹس کے لیے بڑی تعداد میں ورچوئل مشینوں کو تیزی سے اور معیاری افقی طور پر پھیلانا اور آسانی سے "کاٹنا" ضروری ہے۔
- ورچوئل ڈیسک ٹاپ انفراسٹرکچر (VDI)، جہاں بہت سی چھوٹی صارف ورچوئل مشینیں چلتی ہیں اور خاموشی سے ایک یکساں کلسٹر کے اندر "تیرتی" رہتی ہیں۔
- برانچ نیٹ ورکس، جہاں ہر برانچ کو 15-20 ورچوئل مشینوں کے معیاری، غلطی کو برداشت کرنے والے، لیکن سستے انفراسٹرکچر کی ضرورت ہوتی ہے۔
- کوئی بھی تقسیم شدہ کمپیوٹنگ (مثال کے طور پر بڑی ڈیٹا سروسز)۔ جہاں بوجھ "گہرائی میں" نہیں، بلکہ "چوڑائی" میں جاتا ہے۔
- ٹیسٹ کے ماحول جہاں اضافی چھوٹی تاخیر قابل قبول ہے، لیکن بجٹ کی پابندیاں ہیں، کیونکہ یہ ٹیسٹ ہیں۔
اس وقت، انہی کاموں کے لیے ہم نے AERODISK vAIR بنایا ہے اور انہی پر ہم توجہ مرکوز کر رہے ہیں (اب تک کامیابی سے)۔ شاید یہ جلد ہی بدل جائے گا، کیونکہ... دنیا ساکت نہیں ہے.
تو…
یہ مضامین کی ایک بڑی سیریز کا پہلا حصہ مکمل کرتا ہے؛ اگلے مضمون میں ہم حل کے فن تعمیر اور استعمال شدہ اجزاء کے بارے میں بات کریں گے۔
ہم سوالات، تجاویز اور تعمیری تنازعات کا خیرمقدم کرتے ہیں۔
ماخذ: www.habr.com