ডেটা সেন্টারে দুর্ঘটনার প্রধান কারণ কম্পিউটার এবং চেয়ারের মধ্যে গ্যাসকেট

আধুনিক ডেটা সেন্টারগুলিতে বড় দুর্ঘটনার বিষয়টি এমন প্রশ্ন উত্থাপন করে যেগুলির উত্তর প্রথম নিবন্ধে দেওয়া হয়নি - আমরা এটি বিকাশ করার সিদ্ধান্ত নিয়েছি।

আপটাইম ইনস্টিটিউটের পরিসংখ্যান অনুসারে, ডেটা সেন্টারের বেশিরভাগ ঘটনাই পাওয়ার সাপ্লাই সিস্টেমের ব্যর্থতার সাথে সম্পর্কিত - তারা 39% ঘটনার জন্য দায়ী। তারা মানব ফ্যাক্টর দ্বারা অনুসরণ করা হয়, যা আরও 24% দুর্ঘটনার জন্য দায়ী। তৃতীয় সবচেয়ে গুরুত্বপূর্ণ কারণ (15%) ছিল শীতাতপ নিয়ন্ত্রণ ব্যবস্থার ব্যর্থতা, এবং চতুর্থ স্থানে (12%) ছিল প্রাকৃতিক দুর্যোগ। অন্যান্য ঝামেলার মোট ভাগ মাত্র 10%। একটি সম্মানিত সংস্থার তথ্য নিয়ে প্রশ্ন না তুলে, আমরা বিভিন্ন দুর্ঘটনায় সাধারণ কিছু তুলে ধরব এবং সেগুলি এড়ানো যেত কিনা তা বোঝার চেষ্টা করব। স্পয়লার: এটি বেশিরভাগ ক্ষেত্রেই সম্ভব।

পরিচিতি বিজ্ঞান

এটাকে সহজভাবে বলতে গেলে, পাওয়ার সাপ্লাইয়ের সাথে শুধুমাত্র দুটি সমস্যা রয়েছে: হয় সেখানে কোন যোগাযোগ নেই যেখানে এটি থাকা উচিত, বা সেখানে যোগাযোগ আছে যেখানে যোগাযোগ করা উচিত নয়। আপনি আধুনিক নিরবচ্ছিন্ন বিদ্যুৎ সরবরাহ ব্যবস্থার নির্ভরযোগ্যতা সম্পর্কে দীর্ঘ সময়ের জন্য কথা বলতে পারেন, তবে তারা সর্বদা আপনাকে বাঁচায় না। ব্রিটিশ এয়ারওয়েজ দ্বারা ব্যবহৃত ডেটা সেন্টারের হাই-প্রোফাইল কেস নিন, যা মূল কোম্পানি ইন্টারন্যাশনাল এয়ারলাইন্স গ্রুপের মালিকানাধীন। হিথ্রো বিমানবন্দরের কাছে এই জাতীয় দুটি সম্পত্তি রয়েছে - বোয়াডিসিয়া হাউস এবং ধূমকেতু হাউস। এর মধ্যে প্রথমটিতে, 27 মে, 2017 তারিখে, একটি দুর্ঘটনাজনিত বিদ্যুৎ বিভ্রাট ঘটেছিল, যা একটি ওভারলোড এবং UPS সিস্টেমের ব্যর্থতার দিকে পরিচালিত করেছিল। ফলস্বরূপ, কিছু আইটি সরঞ্জাম শারীরিকভাবে ক্ষতিগ্রস্ত হয়েছিল এবং সর্বশেষ বিপর্যয়টি সমাধান করতে তিন দিন সময় লেগেছিল।

এয়ারলাইনটিকে এক হাজারেরও বেশি ফ্লাইট বাতিল বা পুনঃনির্ধারণ করতে হয়েছিল, প্রায় 75 হাজার যাত্রী সময়মতো উড়তে পারেনি - $128 মিলিয়ন ক্ষতিপূরণ দেওয়ার জন্য ব্যয় করা হয়েছিল, ডেটা সেন্টারগুলির কার্যকারিতা পুনরুদ্ধারের জন্য প্রয়োজনীয় খরচগুলি গণনা না করে। ব্ল্যাকআউটের কারণের ইতিহাস অস্পষ্ট। আপনি যদি ইন্টারন্যাশনাল এয়ারলাইন্স গ্রুপের সিইও উইলি ওয়ালশ কর্তৃক ঘোষিত অভ্যন্তরীণ তদন্তের ফলাফল বিশ্বাস করেন তবে এটি ইঞ্জিনিয়ারদের একটি ত্রুটির কারণে হয়েছে। যাইহোক, নিরবচ্ছিন্ন বিদ্যুৎ সরবরাহ ব্যবস্থাকে এই ধরনের শাটডাউন সহ্য করতে হয়েছিল - এজন্য এটি ইনস্টল করা হয়েছিল। ডেটা সেন্টারটি আউটসোর্সিং কোম্পানি সিবিআরই ম্যানেজড সার্ভিসেসের বিশেষজ্ঞদের দ্বারা পরিচালিত হয়েছিল, তাই ব্রিটিশ এয়ারওয়েজ লন্ডনের একটি আদালতের মাধ্যমে ক্ষতির পরিমাণ পুনরুদ্ধারের চেষ্টা করেছিল।

একই পরিস্থিতিতে বিদ্যুৎ বিভ্রাট ঘটে: প্রথমে বিদ্যুৎ সরবরাহকারীর ত্রুটির কারণে, কখনও কখনও খারাপ আবহাওয়া বা অভ্যন্তরীণ সমস্যার কারণে (মানুষের ত্রুটি সহ) কারণে একটি ব্ল্যাকআউট হয় এবং তারপরে নিরবচ্ছিন্ন বিদ্যুৎ সরবরাহ ব্যবস্থা লোডের সাথে মোকাবিলা করতে পারে না বা একটি ছোট। -সাইন ওয়েভের মেয়াদী বাধা অনেক পরিষেবার ব্যর্থতার কারণ হয়, যার ফলে পুনরুদ্ধার করতে অনেক সময় এবং অর্থ লাগে। এমন দুর্ঘটনা কি এড়ানো সম্ভব? নিঃসন্দেহে। আপনি যদি সিস্টেমটি সঠিকভাবে ডিজাইন করেন, এমনকি বড় ডেটা সেন্টারের নির্মাতারাও ভুল থেকে মুক্ত নয়।

হিউম্যান ফ্যাক্টর

যখন একটি ঘটনার তাৎক্ষণিক কারণ হল ডেটা সেন্টারের কর্মীদের ভুল কর্ম, সমস্যাগুলি প্রায়শই (কিন্তু সবসময় নয়) আইটি অবকাঠামোর সফ্টওয়্যার অংশকে প্রভাবিত করে। এমনকি বড় প্রতিষ্ঠানেও এ ধরনের দুর্ঘটনা ঘটে। ফেব্রুয়ারী 2017-এ, ডেটা সেন্টারগুলির একটির প্রযুক্তিগত অপারেশন গ্রুপের একটি ভুলভাবে নিয়োগ করা দলের সদস্যের কারণে, Amazon ওয়েব পরিষেবা সার্ভারগুলির একটি অংশ অক্ষম করা হয়েছিল। Amazon Simple Storage Service (S3) ক্লাউড স্টোরেজ গ্রাহকদের জন্য বিলিং প্রক্রিয়া ডিবাগ করার সময় একটি ত্রুটি ঘটেছে৷ একজন কর্মচারী বিলিং সিস্টেম দ্বারা ব্যবহৃত বেশ কয়েকটি ভার্চুয়াল সার্ভার মুছে ফেলার চেষ্টা করেছিল, কিন্তু একটি বড় ক্লাস্টারে আঘাত করেছিল৷

একটি প্রকৌশলী ত্রুটির ফলে, গুরুত্বপূর্ণ Amazon ক্লাউড স্টোরেজ সফ্টওয়্যার মডিউল চালানো সার্ভারগুলি মুছে ফেলা হয়েছে৷ প্রথম প্রভাবিত হয়েছিল ইন্ডেক্সিং সাবসিস্টেম, যেখানে US-EAST-3 আমেরিকান অঞ্চলের সমস্ত S1 অবজেক্টের মেটাডেটা এবং অবস্থান সম্পর্কে তথ্য রয়েছে। ঘটনাটি ডেটা হোস্ট করতে এবং স্টোরেজের জন্য উপলব্ধ স্থান পরিচালনা করতে ব্যবহৃত সাবসিস্টেমকেও প্রভাবিত করেছিল। ভার্চুয়াল মেশিনগুলি মুছে ফেলার পরে, এই দুটি সাবসিস্টেমের একটি সম্পূর্ণ পুনঃসূচনা প্রয়োজন, এবং তারপরে অ্যামাজন প্রকৌশলীরা অবাক হয়েছিলেন - দীর্ঘ সময়ের জন্য, পাবলিক ক্লাউড স্টোরেজ গ্রাহকের অনুরোধগুলি পরিষেবা দিতে অক্ষম ছিল৷

প্রভাব ব্যাপক ছিল, কারণ অনেক বড় সম্পদ Amazon S3 ব্যবহার করে। বিভ্রাট Trello, Coursera, IFTTT এবং সবচেয়ে অপ্রীতিকরভাবে, S&P 500 তালিকা থেকে প্রধান Amazon অংশীদারদের পরিষেবাগুলিকে প্রভাবিত করেছে৷ এই ধরনের ক্ষেত্রে ক্ষতি গণনা করা কঠিন, তবে এটি কয়েক মিলিয়ন মার্কিন ডলারের অঞ্চলে ছিল৷ আপনি দেখতে পাচ্ছেন, বৃহত্তম ক্লাউড প্ল্যাটফর্মের পরিষেবাটি অক্ষম করার জন্য একটি ভুল কমান্ড যথেষ্ট। এটি একটি বিচ্ছিন্ন ঘটনা নয়; মে 16, 2019, রক্ষণাবেক্ষণের কাজ চলাকালীন, Yandex.Cloud পরিষেবা মুছে ফেলা ru-central1-c জোনের ব্যবহারকারীদের ভার্চুয়াল মেশিন যা অন্তত একবার সাসপেন্ডেড অবস্থায় ছিল। ক্লায়েন্ট ডেটা ইতিমধ্যেই এখানে ক্ষতিগ্রস্ত হয়েছে, যার মধ্যে কিছু অপূরণীয়ভাবে হারিয়ে গেছে। অবশ্যই, লোকেরা অসম্পূর্ণ, তবে আধুনিক তথ্য সুরক্ষা সিস্টেমগুলি দীর্ঘকাল ধরে সুবিধাপ্রাপ্ত ব্যবহারকারীদের প্রবেশ করা কমান্ডগুলি কার্যকর করার আগে তাদের ক্রিয়াকলাপ নিরীক্ষণ করতে সক্ষম হয়েছে। ইয়ানডেক্স বা অ্যামাজনে এই ধরনের সমাধান প্রয়োগ করা হলে, এই ধরনের ঘটনা এড়ানো যেতে পারে।

হিমায়িত শীতল

জানুয়ারী 2017 সালে, মেগাফোন কোম্পানির দিমিত্রভ ডেটা সেন্টারে একটি বড় দুর্ঘটনা ঘটেছিল। তারপরে মস্কো অঞ্চলে তাপমাত্রা −35 ডিগ্রি সেলসিয়াসে নেমে আসে, যা সুবিধার কুলিং সিস্টেমের ব্যর্থতার দিকে পরিচালিত করে। অপারেটরের প্রেস সার্ভিস বিশেষ করে ঘটনার কারণ সম্পর্কে কথা বলেনি - রাশিয়ান কোম্পানিগুলি তাদের নিজস্ব সুবিধাগুলিতে দুর্ঘটনার বিষয়ে কথা বলতে অত্যন্ত অনিচ্ছুক; প্রচারের ক্ষেত্রে, আমরা পশ্চিমের তুলনায় অনেক পিছিয়ে আছি। রাস্তার পাশে বিছানো পাইপে কুল্যান্টের জমাট বাঁধা এবং ইথিলিন গ্লাইকলের ফুটো সম্পর্কে সামাজিক নেটওয়ার্কগুলিতে একটি সংস্করণ প্রচারিত হয়েছিল। তার মতে, অপারেশন পরিষেবা দীর্ঘ ছুটির কারণে দ্রুত 30 টন কুল্যান্ট পেতে অক্ষম ছিল এবং সিস্টেমটি পরিচালনার নিয়ম লঙ্ঘন করে ইম্প্রোভাইজড ফ্রি-কুলিংয়ের আয়োজন করে ইম্প্রোভাইজড উপায় ব্যবহার করে বেরিয়ে যায়। তীব্র ঠান্ডা সমস্যাটিকে আরও বাড়িয়ে তুলেছে - জানুয়ারিতে, শীত হঠাৎ রাশিয়ায় আঘাত হানে, যদিও কেউ এটি আশা করেনি। ফলস্বরূপ, কর্মীদের সার্ভার র্যাকের অংশে বিদ্যুৎ বন্ধ করতে হয়েছিল, যে কারণে কিছু অপারেটর পরিষেবা দু'দিন ধরে অনুপলব্ধ ছিল।

সম্ভবত, আমরা এখানে আবহাওয়ার বৈষম্য সম্পর্কে কথা বলতে পারি, তবে এই ধরনের তুষারপাত রাজধানী অঞ্চলের জন্য অস্বাভাবিক কিছু নয়। মস্কো অঞ্চলে শীতকালে তাপমাত্রা নিম্ন স্তরে নেমে যেতে পারে, তাই −42°C তাপমাত্রায় স্থিতিশীল অপারেশনের প্রত্যাশায় ডেটা সেন্টার তৈরি করা হয়। প্রায়শই, কুল্যান্ট দ্রবণে গ্লাইকল এবং অতিরিক্ত জলের অপর্যাপ্ত উচ্চ ঘনত্বের কারণে শীতল আবহাওয়ায় শীতলকরণ ব্যবস্থা ব্যর্থ হয়। পাইপ ইনস্টলেশন বা সিস্টেমের নকশা এবং পরীক্ষায় ভুল গণনার সাথেও সমস্যা রয়েছে, প্রধানত অর্থ সাশ্রয়ের আকাঙ্ক্ষার সাথে যুক্ত। ফলস্বরূপ, একটি গুরুতর দুর্ঘটনা ঘটছে নীল, যা প্রতিরোধ করা যেত।

প্রাকৃতিক বিপর্যয়

প্রায়শই, বজ্রঝড় এবং/অথবা হারিকেনগুলি ডেটা সেন্টারের প্রকৌশল অবকাঠামোকে ব্যাহত করে, যার ফলে পরিষেবা বাধাগ্রস্ত হয় এবং/অথবা সরঞ্জামের শারীরিক ক্ষতি হয়। খারাপ আবহাওয়ার কারণে সৃষ্ট ঘটনা প্রায়ই ঘটে। 2012 সালে, হারিকেন স্যান্ডি ভারী বৃষ্টিপাতের সাথে মার্কিন যুক্তরাষ্ট্রের পশ্চিম উপকূল জুড়ে প্রবাহিত হয়েছিল। পিয়ার 1 ডেটা সেন্টার লোয়ার ম্যানহাটনের একটি উচ্চ ভবনে অবস্থিত বাহ্যিক বিদ্যুৎ সরবরাহ হারিয়েছে, লবণাক্ত সমুদ্রের জল বেসমেন্ট প্লাবিত পরে. সুবিধার জরুরী জেনারেটরগুলি 18 তম তলায় অবস্থিত ছিল এবং তাদের জ্বালানী সরবরাহ সীমিত ছিল - 9/11 সন্ত্রাসী হামলার পরে নিউইয়র্কে প্রবর্তিত নিয়মগুলি উপরের তলায় প্রচুর পরিমাণে জ্বালানী সংরক্ষণ করা নিষিদ্ধ করে।

জ্বালানী পাম্পটিও ব্যর্থ হয়েছে, তাই কর্মীরা হাতে জেনারেটরে ডিজেল নিয়ে যাওয়ার জন্য বেশ কয়েক দিন ব্যয় করেছেন। দলের বীরত্ব ডাটা সেন্টারটিকে একটি গুরুতর দুর্ঘটনা থেকে বাঁচিয়েছিল, কিন্তু এটি কি সত্যিই প্রয়োজনীয় ছিল? আমরা নাইট্রোজেন-অক্সিজেন বায়ুমণ্ডল এবং প্রচুর জল সহ একটি গ্রহে বাস করি। বজ্রঝড় এবং হারিকেন এখানে সাধারণ (বিশেষ করে উপকূলীয় এলাকায়)। ডিজাইনাররা সম্ভবত জড়িত ঝুঁকিগুলি বিবেচনা করা এবং একটি উপযুক্ত নিরবচ্ছিন্ন বিদ্যুৎ সরবরাহ ব্যবস্থা তৈরি করা ভাল করবেন। অথবা অন্তত একটি দ্বীপে একটি উচ্চ বৃদ্ধির চেয়ে ডেটা সেন্টারের জন্য আরও উপযুক্ত অবস্থান বেছে নিন।

অন্য সব কিছুর

আপটাইম ইনস্টিটিউট এই বিষয়শ্রেণীতে বিভিন্ন ঘটনা চিহ্নিত করে, যার মধ্যে একটি সাধারণ একটি বেছে নেওয়া কঠিন। তামার তারের চুরি, ডাটা সেন্টারে গাড়ির ধাক্কা, পাওয়ার লাইন সাপোর্ট এবং ট্রান্সফরমার সাবস্টেশন, আগুন, খননকারী অপারেটর অপটিক্সের ক্ষতি করে, ইঁদুর (ইঁদুর, খরগোশ এবং এমনকি গর্ভবতী, যা আসলে মার্সুপিয়াল), সেইসাথে যারা শুটিং করতে পছন্দ করে তারের - মেনুটি ব্যাপক। পাওয়ার ব্যর্থতা এমনকি কারণ হতে পারে চুরি বিদ্যুৎ অবৈধ গাঁজা বাগান। বেশিরভাগ ক্ষেত্রে, নির্দিষ্ট লোকেরা ঘটনার অপরাধী হয়ে ওঠে, অর্থাৎ আমরা আবার মানব ফ্যাক্টরের সাথে কাজ করছি, যখন সমস্যাটির একটি নাম এবং উপাধি থাকে। এমনকি যদি প্রথম নজরে দুর্ঘটনাটি প্রযুক্তিগত ত্রুটি বা প্রাকৃতিক বিপর্যয়ের সাথে জড়িত থাকে তবে এটি এড়ানো যেতে পারে যদি সুবিধাটি সঠিকভাবে ডিজাইন করা হয় এবং সঠিকভাবে পরিচালিত হয়। একমাত্র ব্যতিক্রমগুলি হল ডেটা সেন্টারের অবকাঠামোর গুরুতর ক্ষতি বা প্রাকৃতিক দুর্যোগের কারণে ভবন এবং কাঠামোর ধ্বংসের ঘটনা। এগুলি সত্যিই ফোর্স ম্যাজিউর পরিস্থিতি, এবং অন্যান্য সমস্ত সমস্যা কম্পিউটার এবং চেয়ারের মধ্যে গ্যাসকেটের কারণে হয় - সম্ভবত এটি যে কোনও জটিল সিস্টেমের সবচেয়ে অবিশ্বস্ত অংশ।

উত্স: www.habr.com