ব্লুমবার্গের স্টোরেজ সাপোর্ট টিম ওপেন সোর্স এবং এসডিএস-এর উপর নির্ভর করে

TL; ডিআর: ব্লুমবার্গ স্টোরেজ ইঞ্জিনিয়ারিং দল অভ্যন্তরীণ ব্যবহারের জন্য ক্লাউড স্টোরেজ তৈরি করেছে যা পরিকাঠামোতে হস্তক্ষেপ করে না এবং মহামারী চলাকালীন ট্রেডিং অস্থিরতার ভারী বোঝা সহ্য করতে পারে।

ম্যাটিউ লিওনার্ড, যখন ব্লুমবার্গ স্টোরেজ ইঞ্জিনিয়ারিং টিমে টেকনিক্যাল ম্যানেজার হিসেবে তার কাজের কথা বলেন, তখন প্রায়ই "চ্যালেঞ্জিং" এবং "মজা" শব্দ ব্যবহার করেন। সঞ্চয়স্থানের বিস্তৃত সুযোগ থেকে চ্যালেঞ্জগুলি উদ্ভূত হয়, সর্বশেষ NVMe-ভিত্তিক SAN অ্যারে থেকে DevOps-এ ওপেন সোর্স সফ্টওয়্যার-সংজ্ঞায়িত স্টোরেজ পর্যন্ত। এখান থেকেই "মজা" শুরু হয় (হাব্রেতে আমার অবতার দেখুন, প্রায়. অনুবাদক).

লিওনার্ড এবং তার 25 জন সহকর্মীর দল 100 পেটাবাইটের বেশি ক্ষমতা এবং 6000 ইঞ্জিনিয়ারদের ব্লুমবার্গ টার্মিনালের জন্য অ্যাপ্লিকেশন ডেভেলপ করার জন্য একটি অভ্যন্তরীণ ক্লাউড তত্ত্বাবধান করে, যে প্রযুক্তিটি মাইকেল ব্লুমবার্গকে বিলিয়নিয়ার করেছে। দলটি ব্লুমবার্গ ইঞ্জিনিয়ারিংয়ের জন্য স্টোরেজ সিস্টেম ডিজাইন, তৈরি এবং রক্ষণাবেক্ষণ করে।

অন্যান্য আইটি পেশার মতো, 2020 স্টোরেজ ইঞ্জিনিয়ারিং দলের সদস্যদের জন্য একটি অস্বাভাবিক বছর ছিল কারণ COVID-19 তাদের দূর থেকে কাজ করতে বাধ্য করেছিল। লিওনার্ড বলেছিলেন যে মহামারীটি তার "আঁটসাঁট দলকে" সামাজিকভাবে প্রভাবিত করেছিল কারণ মুখোমুখি মিথস্ক্রিয়া বাদ দেওয়া হয়েছিল, তবে কর্মীরা ল্যাপটপ এবং ভিডিও কনফারেন্সিংয়ে বাড়ি থেকে কাজ করার জন্য খুব দ্রুত মানিয়ে নিয়েছিল।

আশ্চর্যজনকভাবে, আমি বলতে চাই যে এটি জিনিসগুলিকে আরও খারাপ করেনি। একটি সংক্ষিপ্ত অভিযোজন সময় ছিল - সবাই বাড়ি থেকে কাজ করতে প্রস্তুত ছিল না। এক-দুই সপ্তাহ পর সবাই বুঝতে পারল। আমরা নিজেদেরকে ব্যস্ত রাখার উপায় খুঁজে বের করতে পেরেছি, সরঞ্জাম কিনতে এবং আপগ্রেড করতে এবং এই সময়ে কোম্পানিকে সমর্থন করার জন্য খরচ বাড়াতে পেরেছি। আমাদের সৃজনশীল হতে হয়েছিল, কিন্তু আমরা আঘাত পাইনি

সবচেয়ে বড় চ্যালেঞ্জটি হয়ত কোভিড-১৯-এর শিখর আগে থেকেই ছিল। বিশ্ব অর্থনীতিতে মহামারীর প্রভাব সম্পর্কে উদ্বেগের কারণে অস্থির বাজার বাণিজ্যের কারণে এটি হয়েছিল। বৈশ্বিক পুঁজিবাজার থেকে ব্লুমবার্গ টার্মিনালে প্রবাহিত ডেটার পরিমাণ প্রায় দ্বিগুণ হয়েছে, মার্চের শেষের কিছু দিনে তথ্যের 19 বিলিয়ন টুকরোতে পৌঁছেছে। এটি স্টোরেজ সিস্টেমের একটি গুরুতর পরীক্ষা।

আপনি যখন অবিলম্বে একদিনে আপনার স্টোরেজ প্রয়োজনীয়তা দ্বিগুণ করেন, তখন এটি আকর্ষণীয় সমস্যা তৈরি করে। আমরা এটি কাটিয়ে উঠতে সক্ষম হয়েছি এবং নিশ্চিত করতে পেরেছি যে অ্যাপ্লিকেশন ডেভেলপমেন্ট দলগুলিকে তাদের প্রয়োজনীয় স্থান এবং কর্মক্ষমতা দেওয়া হয়েছে। আমরা স্টোরেজ সিস্টেম সম্পর্কে কিভাবে চিন্তা করি তার সাথে এর বেশিরভাগই জড়িত। আজ আমরা কিছুই তৈরি করছি না। আমরা বলি না, "আমরা ABC ব্যবহার করি, তাই আমরা ABC এর জন্য পরিকাঠামো তৈরি করব।" ব্যবহারের পূর্বাভাস দিতে, ব্যবহার এবং কর্মক্ষমতার প্রবণতা বিশ্লেষণ করতে আমরা আমাদের দলের সাথে "ডেটা বাজেটিং" বলি এবং আমরা নিরাপত্তার দিকেও নজর দিই। এই ধরণের পরিকল্পনা, চিন্তাভাবনা এবং পদ্ধতিগত যথাযথ অধ্যবসায় আমাদের ঘাম না ভেঙে ঢেউয়ের উপর কঠোর পদক্ষেপ নিতে দেয়। অবশ্যই, আমি নার্ভাস ছিলাম, কিন্তু আমি আমার জায়গায় থাকতে স্বাচ্ছন্দ্য বোধ করছিলাম।

লিওনার্ড সম্প্রতি অনুসন্ধান স্টোরেজের সাথে ডেটা-চালিত ব্যবসার জন্য স্টোরেজ পরিচালনার বিষয়ে বিস্তারিতভাবে কথা বলেছেন। তিনি ব্লুমবার্গ ডেটা সেন্টারে কোনো ডেটা রাখার সময় ব্যবহারকারীদের AWS বৈশিষ্ট্য প্রদান করার ক্ষমতা সহ একটি ব্যক্তিগত ক্লাউড স্টোরেজ সমাধান অফার করতে কী লাগবে তা নিয়ে আলোচনা করেছেন।

যদি আর মহামারী না থাকে, তবে ব্লুমবার্গ ইঞ্জিনিয়ারদের স্টোরেজ পরিচালনার ক্ষেত্রে কী অসুবিধা রয়েছে?

আমাদের অনেক চাহিদা রয়েছে, আমরা কেবল বিভিন্ন দিকে ছিঁড়েছি। তাই আমাদের অ্যাপ্লিকেশন ডেভেলপারদের স্টোরেজ নিয়ে চিন্তা না করে তাদের কাজগুলিতে ফোকাস করতে সাহায্য করার জন্য বিভিন্ন SLA স্তরে বিভিন্ন ধরনের পণ্য সরবরাহ করতে হবে।

এবং এর জন্য আপনি কোন কৌশল অনুসরণ করেন?

আমরা যা করার চেষ্টা করছি তার একটি অংশ হল স্টোরেজ কর্মক্ষমতা উন্নত করা। AWS মডেলের কথা চিন্তা করুন যেখানে একজন ডেভেলপমেন্ট ইঞ্জিনিয়ার প্রবেশ করেন, একটি বোতাম টিপুন এবং তারপরে "ক্লিক করুন" জাদুকরীভাবে তার সমস্যা সমাধানের জন্য সঠিক স্টোরেজ টাইপ পায়।

আপনার স্টোরেজ অবকাঠামো দেখতে কেমন?

যেহেতু আমাদের একটি খুব বৈচিত্র্যময় বাস্তুতন্ত্র এবং অনেকগুলি বিভিন্ন বিকাশকারী রয়েছে, আমরা একটি একক পণ্য অফার করতে পারি না। আমাদের কাছে অবজেক্ট, ফাইল এবং ব্লক স্টোরেজ আছে। এগুলি বিভিন্ন পণ্য এবং আমরা সেগুলি সরবরাহ করার জন্য বিভিন্ন ধরণের প্রযুক্তি অফার করি। ব্লকের জন্য আমরা SAN ব্যবহার করি। আমাদের কাছে এসডিএসও রয়েছে, যা পারফরম্যান্সের প্রয়োজনীয়তার একটি ভিন্ন সেট সহ আরেকটি ব্লক স্টোরেজ বিকল্প সরবরাহ করে। ফাইলের জন্য আমরা NFS ব্যবহার করি। অবজেক্ট স্টোরেজের জন্যও এসডিএস ব্যবহার করা হয়। ব্লক এবং অবজেক্ট অংশগুলি কম্পিউটিং এবং স্টোরেজের জন্য একটি অভ্যন্তরীণ ব্যক্তিগত ক্লাউড গঠন করে।

তাই আপনি পাবলিক ক্লাউড স্টোরেজ ব্যবহার করবেন না?

সেটা ঠিক. কিছু উন্নয়ন দলের পাবলিক ক্লাউড ব্যবহার করার অনুমতি আছে। কিন্তু আমাদের ব্যবসার প্রকৃতির কারণে, আমরা আমাদের দেয়াল ছেড়ে দেওয়া জিনিসগুলির উপর আরও নিয়ন্ত্রণ রাখতে পছন্দ করি। তাই হ্যাঁ, আমাদের নিজস্ব মেঘ রয়েছে যা আমাদের নিয়ন্ত্রণে রয়েছে। এটি আমাদের ব্যবস্থাপনার অধীনে আমাদের ডেটা সেন্টারে অবস্থিত সরঞ্জাম।

আমাদের ডেটা সেন্টারে, আমরা একটি বহু-বিক্রেতা কৌশল পছন্দ করি। তারা বড় সরবরাহকারী, কিন্তু আমরা ঠিক কে বলব না (কোন সরবরাহকারীকে সমর্থন না করা ব্লুমবার্গের নীতি, প্রায়. অনুবাদক).

আপনি কি আপনার ব্যক্তিগত ক্লাউড তৈরি করতে হাইপারকনভার্জড অবকাঠামো ব্যবহার করছেন?

না. ব্লুমবার্গে আমরা এমন একটি দিক বেছে নিচ্ছি যেখানে আমরা হাইপারকনভারজেন্সের দিকে এগোচ্ছি না। আমরা সঞ্চয়স্থান থেকে গণনা ডিকপল করার চেষ্টা করছি যাতে আমরা তাদের স্বাধীনভাবে স্কেল করতে পারি। আমরা যে দিকে যাচ্ছি, বিশেষ করে আমাদের ক্লাউডের সাথে, আমাদের জন্য সেই দুটি সত্তাকে আলাদা করতে সক্ষম হওয়া। এবং সব কারণ আমাদের দেশে কিছু জিনিস নিবিড় গণনার প্রয়োজন, অন্যদের স্টোরেজ প্রয়োজন। আপনি যদি সেগুলিকে সমানভাবে স্কেল করেন, তাহলে আপনি সম্পদ হারাবেন, অর্থ যাই হোক না কেন, বা ডেটা সেন্টারে জায়গা, বা আপনার প্রয়োজন নেই এমন ক্ষমতা কেনার মাধ্যমে। এই কারণেই আমরা দুটি সত্তার মধ্যে একটি সাধারণ ইন্টারফেস রাখতে চাই, তবে সেগুলি সম্পূর্ণ আলাদা সিস্টেম এবং বিভিন্ন দল দ্বারা পরিচালিত হোক।

একটি প্রাইভেট ক্লাউড তৈরি করতে কি বাধা অতিক্রম করতে হবে?

স্কেলের সমস্যা। বেশিরভাগ জিনিসের মতো, শয়তানটি বিশদে রয়েছে। আপনি যখন এই জিনিসগুলি কীভাবে কাজ করে, কীভাবে এগুলিকে স্থিতিস্থাপক করা যায়, কীভাবে অপারেশনাল লোড পরিচালনা করবেন, আপনি কীভাবে শারীরিক সম্পদ দলের সাথে যোগাযোগ করবেন সে সম্পর্কে চিন্তা করলে জিনিসগুলি কিছুটা আকর্ষণীয় হয়ে ওঠে। চ্যালেঞ্জ হল সবকিছুকে একটি পরিমাপযোগ্য এবং সমর্থনযোগ্য পণ্য করার উপায় খুঁজে বের করা যা আমাদের অ্যাপ্লিকেশন বিকাশকারীরা ব্যবহার করতে চাইবে, পাবলিক ক্লাউড যা করছে তার কাটিয়া প্রান্তে থাকাকালীন বৈশিষ্ট্য সেটটিকে সমৃদ্ধ করতে সক্ষম হওয়া। এবং এটি সব একসাথে আনতে যাতে এটি কাজ চালিয়ে যায়। এটি আমাদের প্রধান সমস্যা - আমরা ব্যবসার সমস্ত ক্ষেত্র জুড়ে কাজ করি, সমস্ত চাহিদা মেটানোর চেষ্টা করি, কিন্তু অন্যান্য চাহিদা উপেক্ষা করি না।

আপনি কি মনে করেন যে আপনার AWS এবং অন্যান্য পাবলিক ক্লাউডে উপলব্ধ সর্বশেষ বৈশিষ্ট্যগুলির প্রয়োজন?

S3 সম্পর্কে সবচেয়ে মজার তথ্য হল জীবনযাত্রার মান ক্রমাগত পরিবর্তিত হচ্ছে, নতুন বৈশিষ্ট্য সবসময় যোগ করা হচ্ছে। এটা একটা নতুন খেলনার মত। যদি কেউ একটি নতুন রিলিজে একটি নতুন বৈশিষ্ট্য দেখে, তারা এটি চায়। সমস্ত AWS বৈশিষ্ট্য আমাদের পরিবেশে প্রযোজ্য নয়, তাই ডেভেলপারদের কী সাহায্য করবে এবং কীভাবে এটি ইন-হাউস করা যায় তা জানা গুরুত্বপূর্ণ এবং আকর্ষণীয়।

আপনি কি স্টোরেজ সরঞ্জাম ব্যবহার করেন?

আমরা সর্বাধুনিক যন্ত্রপাতি ব্যবহার করি। আমাদের অভ্যন্তরীণ ক্লাউড সম্পূর্ণরূপে NVMe ফ্ল্যাশের উপর ভিত্তি করে, যা এই সিস্টেমগুলিকে খুব শক্তিশালী করে তোলে। এটি আমাদের জীবনকে একটু সহজ করে তোলে এবং এটি আমাদের ডেভেলপারদের জন্য একটি চমৎকার বৈশিষ্ট্য কারণ তাদের স্টোরেজ পারফরম্যান্স নিয়ে চিন্তা করতে হবে না।

আপনি কি জন্য অবজেক্ট স্টোরেজ ব্যবহার করবেন?

আমাদের 6000 ডেভেলপার অবকাঠামো নিয়ে কাজ করছে, তারা কোনো একটি ব্যবহারের ক্ষেত্রে একত্রিত নয়। আপনি যে কোনো বিকল্পের কথা ভাবতে পারেন, আমাদের কাছে সম্ভবত এটি অবজেক্ট স্টোরেজে আছে। কিছু দল এটিকে কোল্ড আর্কাইভাল স্টোরেজের জন্য ব্যবহার করে, কিছু ডেটা স্থানান্তরের জন্য এবং অন্যরা যারা লেনদেনমূলক অ্যাপ্লিকেশনের জন্য এটি ব্যবহার করে। এই সমস্ত ব্যবহারের ক্ষেত্রে বিভিন্ন স্তরের SLA প্রয়োজন, তাই আপনি দেখতে পাচ্ছেন, আমাদের বিভিন্ন ধরনের ট্র্যাফিক রয়েছে, আমাদের পরিকাঠামোর বিভিন্ন ব্যবহারকারীদের জন্য সব ধরনের প্রয়োজন। এটি আমাদের স্টোরেজের উপরে চলমান একটি সমজাতীয় ব্যবহারের কেস নয়, যা স্পষ্টতই জিনিসগুলিকে আরও জটিল করে তোলে।

কুবারনেটস এবং কন্টেইনারগুলি আপনার জন্য কতটা বড় ভূমিকা পালন করে এবং এটি কীভাবে স্টোরেজকে প্রভাবিত করে?

আমরা ক্লাউডের অনুভূতি তৈরি করতে স্টোরেজ উত্পাদনশীলতাকে ঠেলে দিচ্ছি, একটি পরিষেবা হিসাবে কিছুর অনুভূতি তৈরি করতে, যেখানে বিকাশকারীদের তাদের নৈপুণ্যকে ত্বরান্বিত করতে এবং পথ ধরে পরিকাঠামো সরানোর জন্য একটি বোতাম রয়েছে।

সম্পাদকের n.b.: 15 অক্টোবর, 2020 প্রস্তুত হবে Ceph ভিডিও কোর্স. আপনি ত্রুটি সহনশীলতা উন্নত করতে আপনার প্রকল্পগুলিতে ব্যবহার করার জন্য Ceph নেটওয়ার্ক স্টোরেজ প্রযুক্তি শিখবেন।

আমাদের তিনটি দল আছে, প্রথমটি হল স্টোরেজ API টিম। তারা ব্লুমবার্গে অ্যাপ ডেভেলপমেন্ট ক্লায়েন্টদের জন্য প্রোগ্রাম্যাটিক অ্যাক্সেস, এন্ডপয়েন্ট এবং পূর্বনির্ধারিত ওয়ার্কফ্লো তৈরি করে। এটি সম্পূর্ণ স্ট্যাক ওয়েব ডেভেলপারদের একটি দল, তারা node.js, python, ওপেন সোর্স প্রযুক্তি, যেমন Apache Airflow ব্যবহার করে, তাই তারা কন্টেইনারাইজেশন এবং ভার্চুয়ালাইজেশন অধ্যয়ন করে।

আমাদের কাছে দুটি প্রযুক্তিগত দলও রয়েছে যা আসলে বিট এবং বাইটগুলিকে সরিয়ে দেয়। তারা আরও সরাসরি সরঞ্জামের সাথে সম্পর্কিত। আমাদের কাছে প্রচুর সরঞ্জাম রয়েছে এবং এই দলগুলি ভার্চুয়ালাইজেশন এবং পাত্রে ব্যবহার করে না।

আমরা শিল্পে যা ঘটছে তার সাথে তাল মিলিয়ে চলার চেষ্টা করছি, Kubernetes CSI ড্রাইভারদের অধ্যয়ন করছি, এবং ব্লুমবার্গে Kubernetes বাস্তবায়নকারী দলের সাথে ঘনিষ্ঠভাবে কাজ করছি যে আমরা আমাদের কাছে থাকা প্রযুক্তির সাথে ধারাবাহিকভাবে Kubernetes স্টোরেজ কাজ করতে পারি কিনা, এবং আমাদের আছে। এটা কাজ করে আমরা স্থায়ী সঞ্চয়স্থানের সাথে সংযুক্ত Kubernetes সমর্থন করতে SDS ব্যবহার করি। আমরা সফলভাবে এই প্রযুক্তিটি তৈরি করেছি, এবং ব্লুমবার্গে কীভাবে আমরা এটিকে অন্য সবার জন্য উপলব্ধ করতে পারি সে সম্পর্কে দুই দলের মধ্যে আলোচনা অব্যাহত রয়েছে। আমরা দেখিয়েছি যে এটি বেশ সম্ভব।

আপনি অন্য কোন ওপেন সোর্স সফ্টওয়্যার ব্যবহার করেন, বিশেষ করে স্টোরেজের জন্য?

আমরা অ্যাপ্লিকেশন ট্রাফিক সীমিত করতে Apache Airflow, HAProxy ব্যবহার করি। আমরা Ceph ব্যবহার করি, SDS-এর জন্য একটি প্ল্যাটফর্ম। এটির সাহায্যে, আপনার কমান্ডের জন্য একটি সিস্টেম থাকতে পারে, কিন্তু ক্লায়েন্টদের একাধিক ইন্টারফেস প্রদান করে। ভার্চুয়ালাইজেশন প্ল্যাটফর্মগুলির মধ্যে একটি OpenStack-এ চলে - আমরা এই দলের সাথে ঘনিষ্ঠভাবে কাজ করি। আমাদের একটি ওপেন সোর্স ভার্চুয়ালাইজেশন প্ল্যাটফর্ম আছে যা স্টোরেজের জন্য ওপেন সোর্স SDS প্ল্যাটফর্ম ব্যবহার করে। এটা মজার.

আগামী দুই থেকে তিন বছরের জন্য আপনি কোন স্টোরেজ প্রযুক্তি বিবেচনা করছেন?

আমরা সবসময় স্টোরেজ শিল্পে ঘটতে থাকা অন্যান্য দুর্দান্ত নতুন জিনিসগুলির সন্ধান করি। এটি আমাদের কাজের অংশ, এটি "এখানে আপনার SAN, এখানে পরিচালনা করুন এবং এখানে আপনার NFS, সেখানে পরিচালনা করুন" নয়। আমরা আমাদের ক্লায়েন্টদের সাথে যোগাযোগ করার চেষ্টা করি, যেমন আমাদের অ্যাপ্লিকেশন ডেভেলপারদের দ্বারা। তারা কোন সমস্যাগুলি সমাধান করার চেষ্টা করছে এবং এটি কীভাবে আমাদের বহিরাগত ব্লুমবার্গ ক্লায়েন্ট - ব্যাঙ্ক এবং আমাদের সফ্টওয়্যার ব্যবহার করে অন্যদের প্রভাবিত করবে তা বোঝার জন্য আমরা একসাথে কাজ করি। এবং তারপরে আমরা তাদের লক্ষ্য অর্জনে সহায়তা করার সুযোগ খুঁজতে ডেটা স্টোরেজের জগতে ফিরে যাই। কিভাবে আমরা তাদের সঠিক স্টোরেজ প্রযুক্তি খুঁজে পেতে সাহায্য করতে পারি যা তাদের SLA এর সাথে মানানসই বা তারা যা করার চেষ্টা করছে? কারণ আমাদের অনেক প্রকৌশলী দুর্দান্ত জিনিস করছেন, এটি কখনই বিরক্তিকর হয় না।

আমরা বর্তমানে SDS-এর কর্মক্ষমতা উন্নত করার উপায় খুঁজছি যা সম্ভাব্যভাবে সাধারণ উদ্দেশ্য সার্ভারে চলতে পারে। তাই আমরা TCP এর উপর NVMe নিয়ে কাজ করছি, এটি একটি খুব আকর্ষণীয় এবং দুর্দান্ত উদ্যোগ, অনেকের মধ্যে একটি। আমরা শিল্পের মূল ব্যক্তিদের এবং বিদ্যমান সরবরাহকারীদের সাথে কাজ করছি তারা কী অফার করে এবং প্রকৃত কর্মক্ষমতা কী হবে, আমরা কোম্পানিতে উৎপাদনে এটি ব্যবহার করা শুরু করতে পারি কিনা। এটি নতুন দিগন্ত উন্মুক্ত করে যা আগে অ্যাক্সেসযোগ্য ছিল না।

পিএস একটু সাহায্য

PS আমি যদি করতে পারি, আমি আপনাকে মনে করিয়ে দিতে চাই যে 28-30 সেপ্টেম্বর অনুষ্ঠিত হবে নিবিড় কুবারনেটস বেস, যারা Kubernetes জানেন না, কিন্তু এটির সাথে পরিচিত হতে চান এবং এটি নিয়ে কাজ শুরু করতে চান।

উত্স: www.habr.com