TL، ڊاڪٽر: بلومبرگ اسٽوريج انجنيئرنگ ٽيم اندروني استعمال لاءِ ڪلائوڊ اسٽوريج ٺاهي ٿي جيڪا انفراسٽرڪچر ۾ مداخلت نه ڪري ٿي ۽ وبائي مرض دوران واپاري عدم استحڪام جي وڏي لوڊ کي برداشت ڪري سگهي ٿي.
Mattew Leonard، جڏهن بلومبرگ اسٽوريج انجنيئرنگ ٽيم تي ٽيڪنيڪل مئنيجر جي حيثيت سان پنهنجي ڪم جي باري ۾ ڳالهائيندو آهي، اڪثر لفظ استعمال ڪندو آهي ”مشڪل“ ۽ ”مذاق“. چئلينجز اسٽوريج جي وسيع دائري مان پيدا ٿين ٿا، جديد NVMe-based SAN arrays کان وٺي DevOps ۾ اوپن سورس سافٽ ويئر جي وضاحت ڪيل اسٽوريج تائين. هي اهو آهي جتي "مذاق" شروع ٿئي ٿو (هبري تي منهنجو اوتار ڏسو، لڳ ڀڳ مترجم).
ليونارڊ ۽ سندس 25 ساٿين جي ٽيم 100 پيٽابائيٽس کان وڌيڪ ظرفيت ۽ 6000 انجنيئرن لاءِ اندروني ڪلائوڊ جي نگراني ڪن ٿا جيڪي بلومبرگ ٽرمينل لاءِ ايپليڪيشنون ٺاهي رهيا آهن، اها ٽيڪنالاجي جنهن مائيڪل بلومبرگ کي ارب پتي بڻايو. ٽيم بلومبرگ انجنيئرنگ لاءِ اسٽوريج سسٽم ٺاهي، ٺاهي ۽ برقرار رکي ٿي.
باقي آئي ٽي پيشي وانگر، 2020 هڪ غير معمولي سال هو اسٽوريج انجنيئرنگ ٽيم جي ميمبرن لاءِ جيئن COVID-19 انهن کي پري کان ڪم ڪرڻ تي مجبور ڪيو. ليونارڊ چيو ته وبائي مرض هن جي ”تنگ ٿيل ٽيم“ کي سماجي طور تي متاثر ڪيو آهي جيئن ته منهن ٽوڙ ڳالهه ٻولهه ختم ٿي وئي ، پر عملو گهر کان ليپ ٽاپ ۽ وڊيو ڪانفرنسنگ تي ڪم ڪرڻ لاءِ تمام جلدي موافقت ڪري چڪو هو.
حيرت انگيز طور تي، مان اهو چوڻ چاهيان ٿو ته هن شين کي خراب نه ڪيو. هڪ مختصر موافقت وارو عرصو هو - هرڪو گهر کان ڪم ڪرڻ لاءِ تيار نه هو. هڪ ٻن هفتن کان پوءِ هرڪو اهو سمجهي ويو. اسان پاڻ کي مصروف رکڻ، سامان خريد ڪرڻ ۽ اپ گريڊ ڪرڻ جا طريقا ڳولڻ جي قابل هئاسين، ۽ انهن وقتن دوران ڪمپني جي مدد ڪرڻ لاءِ قيمتون وڌايون. اسان کي تخليقي ٿيڻو هو، پر اسان کي نقصان نه ٿيو
سڀ کان وڏو چئلينج شايد COVID-19 جي چوٽي جي اڳڪٿي ڪري چڪو آهي. اهو عالمي معيشت تي وبائي مرض جي اثر بابت خدشات جي ڪري غير مستحڪم مارڪيٽ واپار جي ڪري هو. گلوبل سرمائي مارڪيٽن مان بلومبرگ ٽرمينلز ۾ وهڻ واري ڊيٽا جو حجم تقريباً ٻيڻو ٿي ويو، مارچ جي آخر ۾ ڪجهه ڏينهن تي معلومات جي 240 بلين ٽڪرن تائين پهچي وئي. هي اسٽوريج سسٽم جو هڪ سنجيده امتحان آهي.
جڏهن توهان فوري طور تي هڪ ڏينهن ۾ توهان جي اسٽوريج گهرجن کي ٻيڻو ڪيو، اهو دلچسپ مسئلا پيدا ڪري ٿو. اسان ان تي قابو پائڻ جي قابل ٿي ويا ۽ يقيني بڻايون ته ايپليڪيشن ڊولپمينٽ ٽيمن کي اها جاءِ ۽ ڪارڪردگي ڏني وئي جيڪا انهن کي گهربل هئي. گهڻو ڪري اهو ڪرڻو آهي ته اسان اسٽوريج سسٽم بابت ڪيئن سوچيو ٿا. اڄ اسان ڪجھ به نه ٺاهي رهيا آهيون. اسان اهو نه ٿا چئون، "اسان ABC استعمال ڪندا آهيون، تنهنڪري اسان ABC لاء انفراسٽرڪچر ٺاهينداسين." اسان اهو ڪندا آهيون جنهن کي اسان "ڊيٽا بجيٽنگ" سڏيندا آهيون اسان جي ٽيمن سان استعمال جي اڳڪٿي ڪرڻ، استعمال ۽ ڪارڪردگي جي رجحانن جو تجزيو ڪرڻ، ۽ اسان سيڪيورٽي کي پڻ ڏسندا آهيون. هن قسم جي منصوبابندي، سوچ، ۽ طريقي سان محنت ڪرڻ جي اسان کي اجازت ڏئي ٿي ته اسان کي بغير ڪنهن پسڻ جي ڀڃڪڙي تي سخت قدم کڻڻ. يقينن، مان نروس هئس، پر مون پنهنجي جاءِ تي آرام سان محسوس ڪيو.
ليونارڊ تازو ئي ڳالهيو آهي SearchStorage سان تفصيل سان ڊيٽا تي هلندڙ ڪاروبار لاءِ اسٽوريج کي منظم ڪرڻ بابت. هن بحث ڪيو ته اهو هڪ نجي ڪلائوڊ اسٽوريج حل پيش ڪرڻ لاءِ ڇا وٺندو، بلومبرگ ڊيٽا سينٽرن ۾ ڪنهن به ڊيٽا کي رکڻ دوران پنهنجي صارفين کي AWS خاصيتون مهيا ڪرڻ جي صلاحيت سان.
جيڪڏهن هاڻي وبائي مرض نه آهي ، بلومبرگ انجنيئرن کي اسٽوريج جي انتظام ڪرڻ ۾ ڪهڙيون مشڪلاتون آهن؟
اسان کي ڪيتريون ئي ضرورتون آهن، اسان صرف مختلف طرفن ۾ ڀڄي ويا آهيون. تنهن ڪري اسان کي ضرورت آهي ته اسان جي ايپليڪيشن ڊولپرز کي مختلف SLA سطحن تي مختلف قسم جا پراڊڪٽس مهيا ڪرڻ ۾ مدد ڏيڻ لاءِ انهن جي ڪمن تي ڌيان ڏيڻ بجاءِ پاڻ اسٽوريج بابت پريشان ٿيڻ.
۽ ان لاءِ توهان ڪهڙي حڪمت عملي تي عمل ڪندا آهيو؟
ان جو حصو جيڪو اسان ڪرڻ جي ڪوشش ڪري رهيا آهيون اسٽوريج جي ڪارڪردگي بهتر ڪرڻ آهي. AWS ماڊل جي باري ۾ سوچيو جتي هڪ ڊولپمينٽ انجنيئر اندر هلندو آهي، هڪ بٽڻ کي دٻايو، ۽ پوء "ڪلڪ ڪريو" جادوئي طور تي صحيح اسٽوريج جو قسم حاصل ڪري ٿو هن جي مسئلي کي حل ڪرڻ لاء.
توهان جي اسٽوريج انفراسٽرڪچر ڇا نظر اچي ٿي؟
ڇاڪاڻ ته اسان وٽ هڪ تمام متنوع ماحولياتي نظام ۽ ڪيترائي مختلف ڊولپر آهن، اسان هڪ واحد پراڊڪٽ پيش نٿا ڪري سگهون. اسان وٽ اعتراض، فائل ۽ بلاڪ اسٽوريج آهي. اهي مختلف پراڊڪٽس آهن ۽ اسان انهن کي پهچائڻ لاءِ مختلف قسم جون ٽيڪنالاجيون پيش ڪندا آهيون. بلاڪ لاءِ اسان استعمال ڪريون ٿا SAN. اسان وٽ پڻ SDS آهي، جيڪو ڪارڪردگي جي ضرورتن جي مختلف سيٽ سان گڏ هڪ ٻيو بلاڪ اسٽوريج اختيار فراهم ڪري ٿو. فائلن لاءِ اسان استعمال ڪندا آهيون NFS. SDS پڻ استعمال ڪيو ويندو آهي اعتراض اسٽوريج لاء. بلاڪ ۽ اعتراض جا حصا ڪمپيوٽنگ ۽ اسٽوريج لاء اندروني خانگي بادل ٺاهيندا آهن.
پوء توهان عوامي بادل اسٽوريج استعمال نٿا ڪريو؟
اهو درست آهي. ڪجهه ترقياتي ٽيمن کي عوامي بادل استعمال ڪرڻ جي اجازت آهي. پر اسان جي ڪاروبار جي فطرت جي ڪري، اسان انهن شين تي وڌيڪ ڪنٽرول ڪرڻ چاهيندا آهيون جيڪي اسان جي ديوار کي ڇڏيندا آهن. سو ها، اسان جا پنهنجا بادل آهن جيڪي اسان جي ڪنٽرول هيٺ آهن. هي سامان اسان جي انتظام هيٺ اسان جي ڊيٽا سينٽر ۾ واقع آهي.
اسان جي ڊيٽا سينٽرن ۾، اسان هڪ گھڻن وينڊر حڪمت عملي کي ترجيح ڏين ٿا. اهي وڏا سپلائر آهن، پر اسان اهو نه چونداسين ته ڪير بلڪل (اها آهي بلومبرگ جي پاليسي ڪنهن به سپلائر جي تصديق نه ڪرڻ، لڳ ڀڳ مترجم).
ڇا توھان استعمال ڪري رھيا آھيو hyperconverged infrastructure to build your personal cloud?
نه. اسان بلومبرگ تي هڪ هدايت چونڊي رهيا آهيون جتي اسان هائپر ڪنورجنسي ڏانهن نه رهيا آهيون. اسان ڪوشش ڪري رهيا آهيون ته ڪمپيوٽ کي اسٽوريج مان ڊيڪپل ڪرڻ لاءِ ته جيئن اسان انهن کي آزاديءَ سان ماپ ڪري سگهون. جنهن طرف اسان اڳتي وڌي رهيا آهيون، خاص طور تي اسان جي بادل سان، اسان لاءِ آهي ته اسان انهن ٻن ادارن کي الڳ ڪرڻ جي قابل آهيون. ۽ سڀ ڪجهه ڇاڪاڻ ته اسان جي ملڪ ۾ ڪجهه شين کي گهري حساب جي ضرورت آهي، جڏهن ته ٻين کي اسٽوريج جي ضرورت آهي. جيڪڏهن توهان انهن کي هڪجهڙائي سان ماپ ڪريو ٿا، توهان وسيلا وڃائي ويهندا، پئسا نه، يا ڊيٽا سينٽرن ۾ جاءِ، يا ظرفيت خريد ڪندي جنهن جي توهان کي ضرورت ناهي. انهي ڪري اسان چاهيون ٿا ته ٻن ادارن جي وچ ۾ هڪ عام انٽرفيس هجي، پر انهن کي مڪمل طور تي مختلف سسٽم ۽ مختلف ٽيمن پاران منظم ڪيو وڃي.
نجي بادل جي تعمير لاء ڪهڙيون رڪاوٽون ختم ٿيڻ گهرجن؟
پيماني جو مسئلو. جيئن اڪثر شين سان، شيطان تفصيل ۾ آهي. جڏهن توهان سوچيو ٿا ته اهي شيون ڪيئن ڪم ڪن ٿيون، انهن کي لچڪدار ڪيئن ٺاهيو وڃي، آپريشنل لوڊ کي ڪيئن سنڀالجي، توهان جسماني اثاثن جي ٽيمن سان ڪيئن ڳالهايو ٿا، شيون ٿورو دلچسپ ٿي وڃن ٿيون. چيلنج اهو آهي ته هر شي کي اسپيبلبل ۽ سپورٽ لائق پراڊڪٽ ٺاهڻ جو رستو ڳولڻ جيڪو اسان جا ايپليڪيشن ڊولپر استعمال ڪرڻ چاهيندا، فيچر سيٽ کي بهتر بنائڻ جي قابل ٿي رهيو آهي جڏهن ته عوامي ڪلائوڊ ڇا ڪري رهيو آهي. ۽ اهو پڻ سڀني کي گڏ ڪرڻ لاء ته جيئن اهو ڪم جاري رهي. اهو اسان جو بنيادي مسئلو آهي - اسان ڪاروبار جي سڀني علائقن ۾ ڪم ڪريون ٿا، سڀني ضرورتن کي پورو ڪرڻ جي ڪوشش ڪريون ٿا، پر ٻين ضرورتن کي نظرانداز نه ڪيو وڃي.
ڇا توهان سوچيو ٿا ته توهان کي AWS ۽ ٻين عوامي بادل ۾ موجود جديد خصوصيتن جي ضرورت آهي؟
S3 بابت سڀ کان وڌيڪ دلچسپ حقيقت اها آهي ته زندگين جو معيار مسلسل تبديل ٿي رهيو آهي، نيون خاصيتون شامل ڪيون وينديون آهن. اهو هڪ نئين رانديڪن وانگر آهي. جيڪڏهن ڪو ماڻهو نئين رليز ۾ هڪ نئين خاصيت ڏسي ٿو، اهي اهو چاهيندا آهن. سڀئي AWS خاصيتون اسان جي ماحول ۾ لاڳو نه آهن، تنهنڪري اهو ڄاڻڻ ضروري ۽ دلچسپ آهي ته ڊولپرز کي ڪهڙي مدد ملندي ۽ ان کي گهر ۾ ڪيئن حاصل ڪجي.
توهان ڪهڙو اسٽوريج سامان استعمال ڪندا آهيو؟
اسان جديد سامان استعمال ڪندا آهيون. اسان جو اندروني بادل مڪمل طور تي NVMe فليش تي ٻڌل آهي، جيڪو انهن سسٽم کي تمام طاقتور بڻائي ٿو. اهو اسان جي زندگين کي ٿورو آسان بڻائي ٿو، ۽ اهو پڻ اسان جي ڊولپرز لاء هڪ سٺي خاصيت آهي ڇو ته انهن کي اسٽوريج ڪارڪردگي بابت پريشان ٿيڻ جي ضرورت ناهي.
توهان ڪهڙي شيءِ جي اسٽوريج لاءِ استعمال ڪندا آهيو؟
اسان وٽ 6000 ڊولپر آهن جيڪي انفراسٽرڪچر تي ڪم ڪري رهيا آهن، اهي ڪنهن به هڪ استعمال جي صورت ۾ متحد نه آهن. ڪو به اختيار جيڪو توهان سوچي سگهو ٿا، اسان وٽ شايد اهو آهي اعتراض اسٽوريج ۾. ڪجھ ٽيمون ان کي استعمال ڪن ٿيون ٿڌي آرڪائيو اسٽوريج لاءِ، ڪجھ ڊيٽا جي منتقلي لاءِ، ۽ ٻيون جيڪي ان کي ٽرانزيڪشنل ايپليڪيشنن لاءِ استعمال ڪن ٿيون. انهن سڀني استعمال جي ڪيسن کي SLA جي مختلف سطحن جي ضرورت آهي، تنهنڪري توهان ڏسي سگهو ٿا، اسان وٽ مختلف قسم جي ٽرئفڪ، اسان جي انفراسٽرڪچر جي مختلف استعمال ڪندڙن لاء هر قسم جي ضرورت آهي. هي اسان جي ڪنهن به اسٽوريج جي چوٽي تي هلندڙ هڪجهڙائي وارو استعمال ڪيس نه آهي، جيڪو واضح طور تي شين کي وڌيڪ پيچيده بڻائي ٿو.
ڪبرنيٽس ۽ ڪنٽينرز توهان لاءِ ڪيترو وڏو ڪردار ادا ڪن ٿا، ۽ اهو اسٽوريج تي ڪيئن اثر انداز ٿئي ٿو؟
اسان اسٽوريج جي پيداوار کي زور ڏئي رهيا آهيون بادل جو احساس پيدا ڪرڻ لاءِ، ڪنهن شيءِ جي طور تي هڪ خدمت جو احساس، جتي ڊولپرز لاءِ هڪ بٽڻ موجود آهي ته جيئن انهن جي هنر کي تيز ڪري ۽ رستي ۾ انفراسٽرڪچر کي هٽائي.
ايڊيٽر جي n.b.: آڪٽوبر 15، 2020 تيار ٿي ويندي . توهان سکندا سيف نيٽورڪ اسٽوريج ٽيڪنالاجي توهان جي منصوبن ۾ استعمال ڪرڻ لاءِ غلطي رواداري کي بهتر ڪرڻ لاءِ.
اسان وٽ ٽي ٽيمون آهن، پهرين اسٽوريج API ٽيم آهي. اهي بلومبرگ تي ايپ ڊولپمينٽ ڪلائنٽ لاءِ پروگراماتي رسائي، آخري پوائنٽس، ۽ اڳواٽ بيان ڪيل ورڪ فلوز ٺاهيندا آهن. هي مڪمل اسٽيڪ ويب ڊولپرز جي ٽيم آهي، اهي استعمال ڪن ٿا node.js، python، اوپن سورس ٽيڪنالاجيون، جهڙوڪ Apache Airflow، تنهن ڪري اهي ڪنٽينرائيزيشن ۽ ورچوئلائيزيشن جو مطالعو ڪن ٿا.
اسان وٽ پڻ ٻه ٽيڪنيڪل ٽيمون آهن جيڪي اصل ۾ بٽ ۽ بائيٽ کي منتقل ڪن ٿيون. اهي وڌيڪ سڌو سنئون سامان سان لاڳاپيل آهن. اسان وٽ تمام گهڻو سامان آهي، ۽ اهي ٽيمون ورچوئلائيزيشن ۽ ڪنٽينر استعمال نٿا ڪن.
اسان ڪوشش ڪري رهيا آهيون ته صنعت ۾ ڇا ٿي رهيو آهي، ڪبرنيٽس سي ايس آءِ ڊرائيورن جو مطالعو ڪري رهيا آهيون، ۽ بلومبرگ تي ڪبرنيٽس کي لاڳو ڪرڻ واري ٽيم سان پڻ ويجهي ڪم ڪري رهيا آهيون اهو جائزو وٺڻ لاءِ ته ڇا اسان Kubernetes اسٽوريج کي مسلسل ڪم ڪري سگهون ٿا جيڪي اسان وٽ آهن، ۽ اسان وٽ آهن. اهو ڪم ڪري رهيو آهي. اسان SDS استعمال ڪندا آهيون ڪبرنيٽس کي سپورٽ ڪرڻ لاءِ جيڪو مسلسل اسٽوريج سان ڳنڍيل آهي. اسان ڪاميابيءَ سان هن ٽيڪنالاجي کي ترقي ڏني آهي، ۽ ٻنهي ٽيمن جي وچ ۾ ڳالهه ٻولهه جاري آهي ته ڪيئن اسان هن کي بلومبرگ ۾ هر ڪنهن لاءِ دستياب بڻائي سگهون ٿا. اسان ڏيکاريو آهي ته اهو بلڪل ممڪن آهي.
ٻيو ڪهڙو اوپن سورس سافٽ ويئر توهان استعمال ڪندا آهيو، خاص طور تي اسٽوريج لاءِ؟
اسان استعمال ڪريون ٿا Apache Airflow، HAProxy ايپليڪيشن ٽرئفڪ کي محدود ڪرڻ لاءِ. اسان پڻ استعمال ڪندا آهيون Ceph، SDS لاء هڪ پليٽ فارم. ان سان گڏ، توھان وٽ ھڪڙو سسٽم آھي حڪمن لاء، پر گراهڪن کي گھڻن انٽرفيس مهيا ڪريو. هڪ ورچوئلائيزيشن پليٽ فارم OpenStack تي هلندو آهي - اسان هن ٽيم سان ويجهي ڪم ڪريون ٿا. اسان وٽ هڪ اوپن سورس ورچوئلائيزيشن پليٽ فارم آهي جيڪو استعمال ڪري ٿو اوپن سورس SDS پليٽ فارم اسٽوريج لاءِ. اهو عجيب آهي.
ايندڙ ٻن ٽن سالن لاءِ توهان ڪهڙي اسٽوريج ٽيڪنالاجي تي غور ڪري رهيا آهيو؟
اسان هميشه ڳولي رهيا آهيون ٻيون سٺيون نيون شيون جيڪي اسٽوريج انڊسٽري ۾ ٿي رهيون آهن. هي اسان جي ڪم جو حصو آهي، اهو نه آهي "هتي توهان جو SAN آهي، هتي منظم ڪريو، ۽ هتي توهان جو NFS آهي، اتي انتظام ڪريو." اسان ڪوشش ڪندا آهيون ته اسان جي گراهڪن سان رابطو ڪريو، يعني. اسان جي ايپليڪيشن ڊولپرز طرفان. اسان گڏجي ڪم ڪريون ٿا اهو سمجهڻ لاءِ ته اهي ڪهڙا مسئلا حل ڪرڻ جي ڪوشش ڪري رهيا آهن ۽ اهو ڪيئن اثر انداز ٿيندو اسان جي ٻاهرين بلومبرگ ڪلائنٽ - بئنڪ ۽ ٻيا جيڪي اسان جو سافٽ ويئر استعمال ڪن ٿا. ۽ پوءِ اسان ڊيٽا اسٽوريج جي دنيا ۾ واپس وڃون ٿا موقعا ڳولڻ لاءِ انهن جي مقصد حاصل ڪرڻ ۾ مدد لاءِ. اسان ڪيئن انهن جي مدد ڪري سگهون ٿا صحيح اسٽوريج ٽيڪنالاجي ڳولڻ ۾ جيڪا انهن جي SLA سان مطابقت رکي ٿي يا اهي جيڪي ڪرڻ جي ڪوشش ڪري رهيا آهن؟ ڇو ته اسان وٽ ڪيترائي انجنيئر آهن جيڪي سٺيون شيون ڪري رهيا آهن، اهو ڪڏهن به بور نه ٿيندو آهي.
اسان في الحال SDS لاءِ ڪارڪردگي بهتر ڪرڻ جا طريقا ڳولي رهيا آهيون جيڪي ممڪن طور تي عام مقصد جي سرورن تي هلائي سگهن ٿيون. تنهن ڪري اسان ڪم ڪري رهيا آهيون NVMe مٿان TCP، هي هڪ تمام دلچسپ ۽ بهترين شروعات آهي، ڪيترن ئي مان هڪ. اسان صنعت ۾ اهم ماڻهن ۽ ڪجهه موجود سپلائرز سان پڻ ڪم ڪري رهيا آهيون اهو معلوم ڪرڻ لاءِ ته اهي ڇا پيش ڪن ٿا ۽ اصل ڪارڪردگي ڇا هوندي، ڇا اسان ان کي ڪمپني ۾ پيداوار ۾ استعمال ڪرڻ شروع ڪري سگهون ٿا. هي نئين افقون کوليندو آهي جيڪي اڳي رسائي نه هئا.
پي ايس ۾ ٿوري مدد
پي ايس جيڪڏهن آئون ڪري سگهان ٿو، مان توهان کي ياد ڏيارڻ چاهيان ٿو ته سيپٽمبر 28-30 تي منعقد ٿيندي ، انهن لاءِ جيڪي نه ڄاڻندا آهن ڪبرنيٽس، پر ان سان واقف ٿيڻ چاهين ٿا ۽ ان سان ڪم ڪرڻ شروع ڪن ٿا.
جو ذريعو: www.habr.com