TL؛ ڈاکٹر: بلومبرگ سٹوریج انجینئرنگ ٹیم نے اندرونی استعمال کے لیے کلاؤڈ اسٹوریج بنایا جو انفراسٹرکچر میں مداخلت نہیں کرتا اور وبائی امراض کے دوران تجارتی اتار چڑھاؤ کے بھاری بوجھ کو برداشت کر سکتا ہے۔
میٹیو لیونارڈ، جب بلومبرگ سٹوریج انجینئرنگ ٹیم میں تکنیکی مینیجر کے طور پر اپنے کام کے بارے میں بات کرتے ہیں، تو اکثر "چیلنجنگ" اور "مذاق" کے الفاظ استعمال کرتے ہیں۔ چیلنجز اسٹوریج کے وسیع دائرہ کار سے پیدا ہوتے ہیں، جدید ترین NVMe پر مبنی SAN arrays سے لے کر DevOps میں اوپن سورس سافٹ ویئر سے طے شدہ اسٹوریج تک۔ یہیں سے "تفریح" شروع ہوتی ہے (ہابرے پر میرا اوتار دیکھیں، تقریبا. مترجم).
لیونارڈ اور ان کے 25 ساتھیوں کی ٹیم بلومبرگ ٹرمینل کے لیے ایپلی کیشنز تیار کرنے والے 100 انجینئرز کے لیے 6000 پیٹا بائٹس سے زیادہ صلاحیت اور اندرونی کلاؤڈ کی نگرانی کرتی ہے، یہ ٹیکنالوجی جس نے مائیکل بلومبرگ کو ارب پتی بنایا۔ ٹیم بلومبرگ انجینئرنگ کے لیے اسٹوریج سسٹم ڈیزائن، بناتی اور برقرار رکھتی ہے۔
باقی IT پیشے کی طرح، 2020 اسٹوریج انجینئرنگ ٹیم کے اراکین کے لیے ایک غیر معمولی سال تھا کیونکہ COVID-19 نے انہیں دور سے کام کرنے پر مجبور کیا۔ لیونارڈ نے کہا کہ وبائی مرض نے سماجی طور پر ان کی "تنگ ٹیم" کو متاثر کیا ہے کیونکہ آمنے سامنے کی بات چیت کو ختم کردیا گیا تھا ، لیکن عملے نے لیپ ٹاپ اور ویڈیو کانفرنسنگ پر گھر سے کام کرنے کے لئے بہت تیزی سے ڈھال لیا تھا۔
حیرت انگیز طور پر، میں یہ کہنا چاہتا ہوں کہ اس سے چیزیں خراب نہیں ہوئیں۔ موافقت کی ایک مختصر مدت تھی - ہر کوئی گھر سے کام کرنے کے لیے تیار نہیں تھا۔ ایک دو ہفتے کے بعد سب کو یہ بات سمجھ آئی۔ ہم خود کو مصروف رکھنے، سامان خریدنے اور اپ گریڈ کرنے کے طریقے تلاش کرنے میں کامیاب ہو گئے، اور ان اوقات کے دوران کمپنی کو سپورٹ کرنے کے لیے اخراجات میں اضافہ کیا۔ ہمیں تخلیقی ہونا تھا، لیکن ہمیں کوئی نقصان نہیں پہنچا
سب سے بڑا چیلنج شاید COVID-19 کے عروج سے پہلے تھا۔ یہ عالمی معیشت پر وبائی امراض کے اثرات کے بارے میں خدشات کی وجہ سے غیر مستحکم مارکیٹ ٹریڈنگ کی وجہ سے تھا۔ عالمی کیپٹل مارکیٹوں سے بلومبرگ ٹرمینلز میں بہنے والے ڈیٹا کا حجم تقریباً دوگنا ہو گیا، مارچ کے آخر میں کچھ دنوں میں معلومات کے 240 بلین ٹکڑوں تک پہنچ گیا۔ یہ اسٹوریج سسٹم کا ایک سنجیدہ امتحان ہے۔
جب آپ ایک دن میں اپنی سٹوریج کی ضروریات کو فوری طور پر دوگنا کرتے ہیں، تو یہ دلچسپ مسائل پیدا کرتا ہے۔ ہم اس پر قابو پانے اور اس بات کو یقینی بنانے میں کامیاب رہے کہ ایپلیکیشن ڈیولپمنٹ ٹیموں کو وہ جگہ اور کارکردگی دی گئی جس کی انہیں ضرورت تھی۔ اس میں سے زیادہ تر کا تعلق اس بات سے ہے کہ ہم اسٹوریج سسٹم کے بارے میں کیسے سوچتے ہیں۔ آج ہم کچھ نہیں بنا رہے۔ ہم یہ نہیں کہتے، "ہم ABC استعمال کرتے ہیں، لہذا ہم ABC کے لیے بنیادی ڈھانچہ بنائیں گے۔" ہم استعمال کی پیشن گوئی کرنے، استعمال اور کارکردگی کے رجحانات کا تجزیہ کرنے کے لیے اپنی ٹیموں کے ساتھ جسے ہم "ڈیٹا بجٹنگ" کہتے ہیں وہ کرتے ہیں، اور ہم سیکیورٹی کو بھی دیکھتے ہیں۔ اس قسم کی منصوبہ بندی، سوچ، اور طریقہ کار کے مطابق مستعدی ہمیں پسینے کو توڑے بغیر اضافے پر سخت کارروائی کرنے کی اجازت دیتی ہے۔ بے شک، میں گھبرا گیا تھا، لیکن میں نے اپنی جگہ پر رہنے میں آرام محسوس کیا۔
لیونارڈ نے حال ہی میں SearchStorage کے ساتھ ڈیٹا سے چلنے والے کاروبار کے لیے اسٹوریج کے انتظام کے بارے میں تفصیل سے بات کی۔ انہوں نے اس بات پر تبادلہ خیال کیا کہ بلومبرگ ڈیٹا سینٹرز میں کسی بھی ڈیٹا کو رکھتے ہوئے اپنے صارفین کو AWS خصوصیات فراہم کرنے کی اہلیت کے ساتھ، نجی کلاؤڈ اسٹوریج حل پیش کرنے میں کیا ضرورت ہے۔
اگر اب کوئی وبائی بیماری نہیں ہے، تو بلومبرگ انجینئرز کو اسٹوریج کا انتظام کرنے میں کیا مشکلات ہیں؟
ہماری بہت سی ضروریات ہیں، ہم صرف مختلف سمتوں میں پھٹے ہوئے ہیں۔ لہذا ہمیں اپنے ایپلیکیشن ڈویلپرز کو اسٹوریج کے بارے میں فکر کرنے کی بجائے اپنے کاموں پر توجہ مرکوز کرنے میں مدد کرنے کے لیے مختلف SLA سطحوں پر بہت سی مختلف قسم کی مصنوعات فراہم کرنے کی ضرورت ہے۔
اور اس کے لیے آپ کس حکمت عملی پر عمل پیرا ہیں؟
ہم جو کچھ کرنے کی کوشش کر رہے ہیں اس کا ایک حصہ اسٹوریج کی کارکردگی کو بہتر بنانا ہے۔ AWS ماڈل کے بارے میں سوچیں جہاں ایک ڈویلپمنٹ انجینئر چلتا ہے، ایک بٹن دباتا ہے، اور پھر "کلک" کو جادوئی طور پر اس کے مسئلے کو حل کرنے کے لیے صحیح اسٹوریج کی قسم مل جاتی ہے۔
آپ کا اسٹوریج انفراسٹرکچر کیسا لگتا ہے؟
چونکہ ہمارے پاس ایک بہت متنوع ماحولیاتی نظام اور بہت سے مختلف ڈویلپرز ہیں، ہم ایک پروڈکٹ پیش نہیں کر سکتے۔ ہمارے پاس آبجیکٹ، فائل اور بلاک اسٹوریج ہے۔ یہ مختلف مصنوعات ہیں اور ہم ان کی فراہمی کے لیے مختلف قسم کی ٹیکنالوجیز پیش کرتے ہیں۔ بلاک کے لیے ہم SAN استعمال کرتے ہیں۔ ہمارے پاس SDS بھی ہے، جو کارکردگی کی ضروریات کے مختلف سیٹ کے ساتھ ایک اور بلاک اسٹوریج آپشن فراہم کرتا ہے۔ فائلوں کے لیے ہم NFS استعمال کرتے ہیں۔ ایس ڈی ایس کو آبجیکٹ اسٹوریج کے لیے بھی استعمال کیا جاتا ہے۔ بلاک اور آبجیکٹ کے حصے کمپیوٹنگ اور اسٹوریج کے لیے اندرونی نجی کلاؤڈ بناتے ہیں۔
تو کیا آپ پبلک کلاؤڈ اسٹوریج استعمال نہیں کرتے؟
یہ ٹھیک ہے. کچھ ترقیاتی ٹیموں کو عوامی بادل استعمال کرنے کی اجازت ہے۔ لیکن ہمارے کاروبار کی نوعیت کی وجہ سے، ہم ان چیزوں پر زیادہ کنٹرول رکھنے کو ترجیح دیتے ہیں جو ہماری دیواروں سے نکل جاتی ہیں۔ تو ہاں، ہمارے اپنے بادل ہیں جو ہمارے کنٹرول میں ہیں۔ یہ ہمارے انتظام کے تحت ہمارے ڈیٹا سینٹر میں موجود سامان ہے۔
اپنے ڈیٹا سینٹرز میں، ہم ملٹی وینڈر کی حکمت عملی کو ترجیح دیتے ہیں۔ وہ بڑے سپلائرز ہیں، لیکن ہم یہ نہیں بتائیں گے کہ اصل میں کون ہے (یہ بلومبرگ کی پالیسی ہے کہ کسی بھی سپلائر کی توثیق نہ کی جائے، تقریبا. مترجم).
کیا آپ اپنا پرائیویٹ کلاؤڈ بنانے کے لیے ہائپر کنورجڈ انفراسٹرکچر استعمال کر رہے ہیں؟
نہیں. ہم بلومبرگ میں ایک ایسی سمت کا انتخاب کر رہے ہیں جہاں ہم ہائپر کنورجنسی کی طرف نہیں بڑھ رہے ہیں۔ ہم اسٹوریج سے کمپیوٹ کو ڈیکپل کرنے کی کوشش کر رہے ہیں تاکہ ہم انہیں آزادانہ طور پر پیمانہ کرسکیں۔ جس سمت میں ہم آگے بڑھ رہے ہیں، خاص طور پر اپنے بادل کے ساتھ، ہمارے لیے یہ ہے کہ ہم ان دو اداروں کو الگ کر سکیں۔ اور یہ سب اس لیے کہ ہمارے ملک میں کچھ چیزوں کے لیے گہرے حساب کی ضرورت ہوتی ہے، جب کہ کچھ کو اسٹوریج کی ضرورت ہوتی ہے۔ اگر آپ ان کو یکساں طور پر پیمانہ کرتے ہیں، تو آپ وسائل کھو دیں گے، چاہے پیسے سے کوئی فرق نہیں پڑتا، یا ڈیٹا سینٹرز میں جگہ، یا صلاحیت خرید کر جس کی آپ کو ضرورت نہیں ہے۔ یہی وجہ ہے کہ ہم دونوں اداروں کے درمیان ایک مشترکہ انٹرفیس رکھنا پسند کرتے ہیں، لیکن ان کا نظام مکمل طور پر مختلف ہونا چاہیے اور مختلف ٹیموں کے ذریعے ان کا انتظام کیا جائے۔
پرائیویٹ کلاؤڈ بنانے کے لیے کن رکاوٹوں کو دور کرنا ہوگا؟
پیمانے کا مسئلہ۔ جیسا کہ زیادہ تر چیزوں کے ساتھ، شیطان تفصیلات میں ہے. جب آپ سوچتے ہیں کہ یہ چیزیں کیسے کام کرتی ہیں، انہیں کیسے لچکدار بنایا جائے، آپریشنل بوجھ کو کیسے ہینڈل کیا جائے، آپ جسمانی اثاثہ ٹیموں کے ساتھ کیسے بات چیت کرتے ہیں، چیزیں تھوڑی دلچسپ ہوجاتی ہیں۔ چیلنج یہ ہے کہ ہر چیز کو ایک قابل توسیع اور قابل تعاون پروڈکٹ بنانے کا راستہ تلاش کرنا ہے جسے ہمارے ایپلیکیشن ڈویلپرز استعمال کرنا چاہیں گے، عوامی کلاؤڈ جو کچھ کر رہا ہے اس کے آخری کنارے پر رہتے ہوئے فیچر سیٹ کو مزید تقویت دینے کے قابل ہونا۔ اور یہ بھی کہ سب کو ساتھ لے کر آئیں تاکہ یہ کام کرتا رہے۔ یہ ہمارا بنیادی مسئلہ ہے - ہم کاروبار کے تمام شعبوں میں کام کرتے ہیں، تمام ضروریات کو پورا کرنے کی کوشش کرتے ہیں، لیکن دوسری ضروریات کو نظر انداز نہیں کرتے۔
کیا آپ کو لگتا ہے کہ آپ کو AWS اور دیگر عوامی بادلوں میں دستیاب تازہ ترین خصوصیات کی ضرورت ہے؟
S3 کے بارے میں سب سے دلچسپ حقیقت یہ ہے کہ معیار زندگی مسلسل بدل رہا ہے، نئی خصوصیات ہمیشہ شامل کی جا رہی ہیں۔ یہ ایک نئے کھلونے کی طرح ہے۔ اگر کسی کو نئی ریلیز میں کوئی نئی خصوصیت نظر آتی ہے تو وہ اسے چاہتے ہیں۔ AWS کی تمام خصوصیات ہمارے ماحول میں لاگو نہیں ہوتی ہیں، اس لیے یہ جاننا اہم اور دلچسپ ہے کہ ڈویلپرز کو کیا مدد ملے گی اور اسے گھر میں کیسے حاصل کیا جائے۔
آپ کونسی اسٹوریج کا سامان استعمال کرتے ہیں؟
ہم جدید ترین آلات استعمال کرتے ہیں۔ ہمارا اندرونی کلاؤڈ مکمل طور پر NVMe فلیش پر مبنی ہے، جو ان سسٹمز کو بہت طاقتور بناتا ہے۔ یہ ہماری زندگیوں کو قدرے آسان بنا دیتا ہے، اور یہ ہمارے ڈویلپرز کے لیے ایک اچھی خصوصیت بھی ہے کیونکہ انہیں اسٹوریج کی کارکردگی کے بارے میں فکر کرنے کی ضرورت نہیں ہے۔
آپ آبجیکٹ اسٹوریج کس کے لیے استعمال کرتے ہیں؟
ہمارے پاس 6000 ڈویلپرز بنیادی ڈھانچے پر کام کر رہے ہیں، وہ کسی ایک استعمال کے معاملے میں متحد نہیں ہیں۔ کسی بھی آپشن کے بارے میں آپ سوچ سکتے ہیں، ہمارے پاس شاید یہ آبجیکٹ اسٹوریج میں ہے۔ کچھ ٹیمیں اسے کولڈ آرکائیول اسٹوریج کے لیے استعمال کرتی ہیں، کچھ ڈیٹا کی منتقلی کے لیے، اور دوسری جو اسے ٹرانزیکشنل ایپلی کیشنز کے لیے استعمال کرتی ہیں۔ ان تمام استعمال کے معاملات میں SLA کی مختلف سطحوں کی ضرورت ہوتی ہے، لہذا جیسا کہ آپ دیکھ سکتے ہیں، ہمارے پاس مختلف قسم کی ٹریفک ہے، ہمارے انفراسٹرکچر کے مختلف صارفین کے لیے ہر قسم کی ضروریات ہیں۔ یہ ہمارے کسی بھی اسٹوریج کے اوپر چلنے والا یکساں استعمال کیس نہیں ہے، جو ظاہر ہے کہ چیزوں کو مزید پیچیدہ بنا دیتا ہے۔
Kubernetes اور کنٹینرز آپ کے لیے کتنا بڑا کردار ادا کرتے ہیں، اور اس کا اسٹوریج پر کیا اثر پڑتا ہے؟
ہم کلاؤڈ کا احساس پیدا کرنے کے لیے اسٹوریج کی پیداواری صلاحیت کو آگے بڑھا رہے ہیں، ایک سروس کے طور پر کچھ کا احساس، جہاں ڈویلپرز کے لیے اپنے ہنر کو تیز کرنے اور راستے میں انفراسٹرکچر کو ہٹانے کے لیے ایک بٹن موجود ہے۔
ایڈیٹر کا n.b.: 15 اکتوبر 2020 تیار ہو جائے گا۔ . آپ سیف نیٹ ورک اسٹوریج ٹکنالوجی سیکھیں گے جو آپ کے پروجیکٹس میں غلطی برداشت کو بہتر بنانے کے لیے استعمال کریں۔
ہمارے پاس تین ٹیمیں ہیں، پہلی اسٹوریج API ٹیم ہے۔ وہ بلومبرگ میں ایپ ڈویلپمنٹ کلائنٹس کے لیے پروگرامیٹک رسائی، اینڈ پوائنٹ، اور پہلے سے طے شدہ ورک فلو بناتے ہیں۔ یہ مکمل اسٹیک ویب ڈویلپرز کی ایک ٹیم ہے، وہ node.js، python، اوپن سورس ٹیکنالوجیز، جیسے Apache Airflow کا استعمال کرتے ہیں، اس لیے وہ کنٹینرائزیشن اور ورچوئلائزیشن کا مطالعہ کرتے ہیں۔
ہمارے پاس دو تکنیکی ٹیمیں بھی ہیں جو دراصل بٹس اور بائٹس کو منتقل کرتی ہیں۔ وہ آلات سے زیادہ براہ راست متعلق ہیں۔ ہمارے پاس بہت سارے سامان ہیں، اور یہ ٹیمیں ورچوئلائزیشن اور کنٹینرز استعمال نہیں کرتی ہیں۔
ہم صنعت میں جو کچھ ہو رہا ہے اس کو برقرار رکھنے کی کوشش کر رہے ہیں، Kubernetes CSI ڈرائیوروں کا مطالعہ کر رہے ہیں، اور بلومبرگ میں Kubernetes کو نافذ کرنے والی ٹیم کے ساتھ مل کر کام کر رہے ہیں تاکہ یہ اندازہ لگایا جا سکے کہ آیا ہم Kubernetes اسٹوریج کو ہمارے پاس موجود ٹیکنالوجیز کے ساتھ مستقل طور پر کام کر سکتے ہیں، اور ہمارے پاس ہے۔ یہ کام کر رہا ہے. ہم مستقل اسٹوریج سے منسلک Kubernetes کو سپورٹ کرنے کے لیے SDS کا استعمال کرتے ہیں۔ ہم نے کامیابی کے ساتھ اس ٹیکنالوجی کو تیار کیا ہے، اور دونوں ٹیموں کے درمیان اس بارے میں بات چیت جاری ہے کہ ہم اسے بلومبرگ میں ہر کسی کے لیے کیسے دستیاب کر سکتے ہیں۔ ہم نے دکھایا ہے کہ یہ بالکل ممکن ہے۔
آپ کون سا دوسرا اوپن سورس سافٹ ویئر استعمال کرتے ہیں، خاص طور پر اسٹوریج کے لیے؟
ہم ایپلیکیشن ٹریفک کو محدود کرنے کے لیے Apache Airflow, HAProxy استعمال کرتے ہیں۔ ہم Ceph بھی استعمال کرتے ہیں، SDS کے لیے ایک پلیٹ فارم۔ اس کے ساتھ، آپ کمانڈز کے لیے ایک سسٹم رکھ سکتے ہیں، لیکن کلائنٹس کو متعدد انٹرفیس فراہم کر سکتے ہیں۔ ورچوئلائزیشن پلیٹ فارمز میں سے ایک OpenStack پر چلتا ہے - ہم اس ٹیم کے ساتھ مل کر کام کرتے ہیں۔ ہمارے پاس ایک اوپن سورس ورچوئلائزیشن پلیٹ فارم ہے جو اسٹوریج کے لیے اوپن سورس SDS پلیٹ فارم استعمال کرتا ہے۔ یہ عجیب بات ہے.
اگلے دو سے تین سالوں کے لیے آپ کن اسٹوریج ٹیکنالوجیز پر غور کر رہے ہیں؟
ہم ہمیشہ اسٹوریج انڈسٹری میں ہونے والی دوسری عمدہ نئی چیزوں کی تلاش میں رہتے ہیں۔ یہ ہمارے کام کا حصہ ہے، یہ نہیں ہے "آپ کا SAN یہاں ہے، یہاں کا انتظام کریں، اور یہ رہے آپ کا NFS، وہاں کا انتظام کریں۔" ہم اپنے گاہکوں کے ساتھ بات چیت کرنے کی کوشش کرتے ہیں، یعنی ہمارے ایپلیکیشن ڈویلپرز کے ذریعہ۔ ہم یہ سمجھنے کے لیے مل کر کام کرتے ہیں کہ وہ کن مسائل کو حل کرنے کی کوشش کر رہے ہیں اور اس سے ہمارے بیرونی بلومبرگ کلائنٹس - بینک اور دیگر جو ہمارے سافٹ ویئر کا استعمال کرتے ہیں ان پر کیا اثر پڑے گا۔ اور پھر ہم ڈیٹا سٹوریج کی دنیا میں واپس جاتے ہیں تاکہ ان کے مقصد کو حاصل کرنے میں مدد کرنے کے مواقع تلاش کریں۔ ہم ان کی صحیح اسٹوریج ٹیکنالوجی تلاش کرنے میں کس طرح مدد کر سکتے ہیں جو ان کے SLA کے مطابق ہو یا وہ کیا کرنے کی کوشش کر رہے ہیں؟ کیونکہ ہمارے پاس بہت سارے انجینئرز اچھے کام کر رہے ہیں، یہ کبھی بورنگ نہیں ہوتا۔
ہم فی الحال SDS کی کارکردگی کو بہتر بنانے کے طریقے تلاش کر رہے ہیں جو ممکنہ طور پر عام مقصد کے سرورز پر چل سکتے ہیں۔ لہذا ہم TCP پر NVMe پر کام کر رہے ہیں، یہ ایک بہت ہی دلچسپ اور عمدہ اقدام ہے، بہت سے میں سے ایک۔ ہم صنعت کے اہم لوگوں اور موجودہ سپلائرز میں سے کچھ کے ساتھ بھی کام کر رہے ہیں تاکہ یہ معلوم کیا جا سکے کہ وہ کیا پیش کرتے ہیں اور اصل کارکردگی کیا ہو گی، کیا ہم اسے کمپنی میں پیداوار میں استعمال کرنا شروع کر سکتے ہیں۔ اس سے نئے افق کھلتے ہیں جو پہلے قابل رسائی نہیں تھے۔
PS میں تھوڑی مدد
PS اگر میں کر سکتا ہوں، میں آپ کو یاد دلانا چاہوں گا کہ 28-30 ستمبر کو منعقد ہوگا۔ ان لوگوں کے لیے جو Kubernetes کو نہیں جانتے لیکن اس سے واقف ہونا چاہتے ہیں اور اس کے ساتھ کام شروع کرنا چاہتے ہیں۔
ماخذ: www.habr.com