ডেটা সেন্টারের ধোঁয়া পরীক্ষায় আগুন লাগলে সার্ভারগুলি কি নিভিয়ে দেওয়া উচিত?

আপনার কেমন লাগবে যদি গ্রীষ্মের একটি ভালো দিনে আপনার যন্ত্রপাতি সহ ডেটা সেন্টারটি এরকম দেখায়?

হাই সব! আমার নাম দিমিত্রি স্যামসোনভ, আমি "এ প্রধান সিস্টেম প্রশাসক হিসাবে কাজ করি"Odnoklassniki" ফটোটি চারটি ডেটা সেন্টারের মধ্যে একটি দেখায় যেখানে আমাদের প্রকল্প পরিবেশনকারী সরঞ্জামগুলি ইনস্টল করা আছে৷ এই দেয়ালের পিছনে প্রায় 4 হাজার টুকরো সরঞ্জাম রয়েছে: সার্ভার, ডেটা স্টোরেজ সিস্টেম, নেটওয়ার্ক সরঞ্জাম ইত্যাদি। - আমাদের সমস্ত সরঞ্জামের প্রায় ⅓।
বেশিরভাগ সার্ভারই ​​লিনাক্স। এছাড়াও Windows (MS SQL)-এ কয়েক ডজন সার্ভার রয়েছে - আমাদের ঐতিহ্য, যা আমরা বহু বছর ধরে পদ্ধতিগতভাবে পরিত্যাগ করে আসছি।
তাই, 5 জুন, 2019 তারিখে 14:35-এ, আমাদের একটি ডেটা সেন্টারের প্রকৌশলীরা ফায়ার অ্যালার্ম রিপোর্ট করেছেন।

অস্বীকার

14:45। ডেটা সেন্টারে ছোটখাটো ধূমপানের ঘটনা আপনার ধারণার চেয়ে বেশি সাধারণ। হলের অভ্যন্তরে সূচকগুলি স্বাভাবিক ছিল, তাই আমাদের প্রথম প্রতিক্রিয়া তুলনামূলকভাবে শান্ত ছিল: তারা উত্পাদনের সাথে কাজ করার উপর নিষেধাজ্ঞা প্রবর্তন করেছিল, যে কোনও কনফিগারেশন পরিবর্তনের উপর, নতুন সংস্করণগুলি রোল আউট করার উপর, ইত্যাদি, কিছু ঠিক করার সাথে সম্পর্কিত কাজ ব্যতীত।

ক্রোধ

আপনি কি কখনও অগ্নিনির্বাপকদের কাছ থেকে ঠিক কোথায় আগুন লেগেছে তা জানার চেষ্টা করেছেন, বা পরিস্থিতি মূল্যায়ন করার জন্য নিজেই জ্বলন্ত ছাদে উঠার চেষ্টা করেছেন? পাঁচজনের মাধ্যমে প্রাপ্ত তথ্যের ওপর আস্থার মাত্রা কী হবে?

14: 50 আগুন কুলিং সিস্টেমের কাছে পৌঁছেছে বলে তথ্য পাওয়া গেছে. কিন্তু আসবে কি? ডিউটিতে থাকা সিস্টেম অ্যাডমিনিস্ট্রেটর এই ডেটা সেন্টারের ফ্রন্ট থেকে বাহ্যিক ট্র্যাফিক সরিয়ে দেয়।

এই মুহুর্তে, আমাদের সমস্ত পরিষেবার ফ্রন্টগুলি তিনটি ডেটা সেন্টারে সদৃশ করা হয়েছে, DNS স্তরে ব্যালেন্সিং ব্যবহার করা হয়, যা আমাদের DNS থেকে একটি ডেটা সেন্টারের ঠিকানাগুলি সরাতে দেয়, যার ফলে পরিষেবাগুলিতে অ্যাক্সেসের সম্ভাব্য সমস্যা থেকে ব্যবহারকারীদের রক্ষা করা যায়। . যদি ডেটা সেন্টারে ইতিমধ্যে সমস্যা দেখা দেয় তবে এটি স্বয়ংক্রিয়ভাবে ঘূর্ণন ছেড়ে যায়। আপনি এখানে আরও পড়তে পারেন: ওডনোক্লাসনিকিতে ভারসাম্য এবং দোষ সহনশীলতা।

আগুন আমাদেরকে এখনও কোনোভাবে প্রভাবিত করেনি - ব্যবহারকারী বা সরঞ্জামের কোনো ক্ষতি হয়নি। এটা কি দুর্ঘটনা? "দুর্ঘটনা কর্ম পরিকল্পনা" নথির প্রথম বিভাগটি "দুর্ঘটনা" ধারণাটিকে সংজ্ঞায়িত করে এবং বিভাগটি এভাবে শেষ হয়:
«দুর্ঘটনা ঘটছে কি না সন্দেহ থাকলেই তো দুর্ঘটনা!»

14:53। একজন জরুরী সমন্বয়কারী নিয়োগ করা হয়।

সমন্বয়কারী হলেন সেই ব্যক্তি যিনি সমস্ত অংশগ্রহণকারীদের মধ্যে যোগাযোগ নিয়ন্ত্রণ করেন, দুর্ঘটনার স্কেল মূল্যায়ন করেন, জরুরী কর্ম পরিকল্পনা ব্যবহার করেন, প্রয়োজনীয় কর্মীদের আকর্ষণ করেন, মেরামতের সমাপ্তি পর্যবেক্ষণ করেন এবং সবচেয়ে গুরুত্বপূর্ণভাবে যে কোনও কাজ অর্পণ করেন। অন্য কথায়, এই ব্যক্তি যিনি সমগ্র জরুরী প্রতিক্রিয়া প্রক্রিয়া পরিচালনা করেন।

দর কষাকষি

15:01 আমরা সার্ভারগুলিকে নিষ্ক্রিয় করতে শুরু করি যেগুলি উত্পাদনের সাথে সম্পর্কিত নয়।
15:03। আমরা সঠিকভাবে সমস্ত সংরক্ষিত পরিষেবা বন্ধ করে দিই।
এর মধ্যে কেবল ফ্রন্ট (যা এই মুহুর্তে ব্যবহারকারীরা আর অ্যাক্সেস করতে পারে না) এবং তাদের সহায়ক পরিষেবাগুলি (ব্যবসায়িক যুক্তি, ক্যাশে, ইত্যাদি) নয়, বরং প্রতিলিপি ফ্যাক্টর 2 বা তার বেশি সহ বিভিন্ন ডেটাবেসও অন্তর্ভুক্ত করে (কাসান্দ্রা, বাইনারি ডেটা স্টোরেজ, হিমাগার, নিউএসকিউএল ইত্যাদি)।
15: 06 তথ্য পাওয়া গেছে যে ডাটা সেন্টার হলগুলির একটিতে আগুনের আশঙ্কা রয়েছে। আমাদের এই ঘরে সরঞ্জাম নেই, তবে আগুন ছাদ থেকে হলগুলিতে ছড়িয়ে পড়তে পারে তা যা ঘটছে তার চিত্রটিকে ব্যাপকভাবে পরিবর্তন করে।
(পরে দেখা গেল যে হলটির জন্য কোন শারীরিক হুমকি ছিল না, যেহেতু এটি ছাদ থেকে হর্মেটিকভাবে সিল করা হয়েছিল। হুমকিটি শুধুমাত্র এই হলের কুলিং সিস্টেমের জন্য ছিল।)
15:07 আমরা অতিরিক্ত চেক ছাড়াই ত্বরিত মোডে সার্ভারে কমান্ড কার্যকর করার অনুমতি দিই (আমাদের প্রিয় ক্যালকুলেটর ছাড়া).
15:08। হলগুলোতে তাপমাত্রা স্বাভাবিক সীমার মধ্যে রয়েছে।
15: 12 হলগুলোতে তাপমাত্রা বৃদ্ধি রেকর্ড করা হয়েছে।
15:13। ডেটা সেন্টারের অর্ধেকের বেশি সার্ভার বন্ধ রয়েছে। চল অবিরত রাখি.
15:16। সমস্ত সরঞ্জাম বন্ধ করার সিদ্ধান্ত নেওয়া হয়েছে।
15:21। আমরা সঠিকভাবে অ্যাপ্লিকেশন এবং অপারেটিং সিস্টেম বন্ধ না করেই স্টেটলেস সার্ভারে পাওয়ার বন্ধ করতে শুরু করি।
15:23। এমএস এসকিউএল-এর জন্য দায়ী লোকদের একটি গ্রুপ বরাদ্দ করা হয়েছে (তাদের মধ্যে খুব কমই রয়েছে, তাদের উপর পরিষেবাগুলির নির্ভরতা খুব বেশি নয়, তবে কার্যকারিতা পুনরুদ্ধারের পদ্ধতিটি আরও বেশি সময় নেয় এবং উদাহরণস্বরূপ, ক্যাসান্দ্রার চেয়ে জটিল)।

বিষণ্নতা

15: 25 16টির মধ্যে চারটি হল (নং 6, 7, 8, 9) বিদ্যুৎ বন্ধ থাকার তথ্য পাওয়া গেছে। আমাদের সরঞ্জাম হল 7 এবং 8 এ অবস্থিত। আমাদের দুটি হল (নং 1 ও 3) সম্পর্কে কোন তথ্য নেই।
সাধারণত, আগুনের সময়, বিদ্যুৎ সরবরাহ অবিলম্বে বন্ধ হয়ে যায়, তবে এই ক্ষেত্রে, অগ্নিনির্বাপক এবং ডেটা সেন্টারের প্রযুক্তিগত কর্মীদের সমন্বিত কাজের জন্য ধন্যবাদ, এটি সর্বত্র বন্ধ করা হয়নি এবং অবিলম্বে নয়, তবে প্রয়োজন অনুসারে।
(পরবর্তীতে এটি আবিষ্কৃত হয়েছিল যে 8 এবং 9 হলগুলিতে বিদ্যুৎ বন্ধ করা হয়নি।)
15:28। আমরা অন্যান্য ডেটা সেন্টারে ব্যাকআপ থেকে MS SQL ডাটাবেস স্থাপন করা শুরু করছি।
এতে কতক্ষণ সময় লাগবে? পুরো রুটের জন্য পর্যাপ্ত নেটওয়ার্ক ক্ষমতা আছে কি?
15: 37 নেটওয়ার্কের কিছু অংশের শাটডাউন রেকর্ড করা হয়েছে।
ব্যবস্থাপনা এবং উৎপাদন নেটওয়ার্ক শারীরিকভাবে একে অপরের থেকে বিচ্ছিন্ন। যদি প্রোডাকশন নেটওয়ার্ক পাওয়া যায়, তাহলে আপনি সার্ভারে যেতে পারেন, অ্যাপ্লিকেশন বন্ধ করতে পারেন এবং OS বন্ধ করতে পারেন। যদি এটি উপলব্ধ না হয়, তাহলে আপনি IPMI এর মাধ্যমে লগ ইন করতে পারেন, অ্যাপ্লিকেশনটি বন্ধ করতে পারেন এবং OS বন্ধ করতে পারেন। যদি কোনও নেটওয়ার্ক না থাকে তবে আপনি কিছুই করতে পারবেন না। "ধন্যবাদ, ক্যাপ!", আপনি ভাববেন।
"এবং সাধারণভাবে, অনেক অশান্তি আছে," আপনিও ভাবতে পারেন।
জিনিসটি হল যে সার্ভারগুলি, এমনকি আগুন ছাড়াই, প্রচুর পরিমাণে তাপ উৎপন্ন করে। আরও স্পষ্টভাবে, যখন শীতল হয়, তারা তাপ উৎপন্ন করে, এবং যখন কোন শীতল হয় না, তারা একটি নারকীয় নরক তৈরি করে, যা সর্বোত্তমভাবে, সরঞ্জামের একটি অংশ গলে যায় এবং অন্য অংশটি বন্ধ করে দেয়, এবং সবচেয়ে খারাপভাবে... হলের ভিতরে আগুন, যা প্রায় সবকিছু ধ্বংস করার গ্যারান্টিযুক্ত।

15:39। আমরা conf ডাটাবেসের সমস্যার সমাধান করি।

conf ডাটাবেস হল একই নামের পরিষেবার ব্যাকএন্ড, যা দ্রুত সেটিংস পরিবর্তন করতে সমস্ত উত্পাদন অ্যাপ্লিকেশন ব্যবহার করে। এই বেস ছাড়া, আমরা পোর্টালের অপারেশন নিয়ন্ত্রণ করতে পারি না, তবে পোর্টাল নিজেই কাজ করতে পারে।

15:41। কোর নেটওয়ার্ক ইকুইপমেন্টের তাপমাত্রা সেন্সর সর্বোচ্চ অনুমোদিত রিডিংয়ের কাছাকাছি। এটি একটি বাক্স যা একটি সম্পূর্ণ র্যাক দখল করে এবং ডেটা সেন্টারের ভিতরে সমস্ত নেটওয়ার্কের অপারেশন নিশ্চিত করে।

15:42। ইস্যু ট্র্যাকার এবং উইকি অনুপলব্ধ, স্ট্যান্ডবাইতে স্যুইচ করুন।
এটি উত্পাদন নয়, তবে দুর্ঘটনার ক্ষেত্রে, যে কোনও জ্ঞানের ভিত্তির প্রাপ্যতা গুরুত্বপূর্ণ হতে পারে।
15:50 একটি মনিটরিং সিস্টেম বন্ধ হয়ে গেছে।
তাদের মধ্যে বেশ কয়েকটি রয়েছে এবং তারা পরিষেবার বিভিন্ন দিকগুলির জন্য দায়ী৷ তাদের মধ্যে কিছু প্রতিটি ডেটা সেন্টারের মধ্যে স্বায়ত্তশাসিতভাবে কাজ করার জন্য কনফিগার করা হয়েছে (অর্থাৎ, তারা শুধুমাত্র তাদের নিজস্ব ডেটা সেন্টার নিরীক্ষণ করে), অন্যগুলি বিতরণ করা উপাদানগুলির সমন্বয়ে গঠিত যা স্বচ্ছভাবে কোনও ডেটা সেন্টারের ক্ষতি থেকে বেঁচে থাকে।
এই ক্ষেত্রে এটি কাজ করা বন্ধ করে দেয় ব্যবসায়িক যুক্তি সূচক অসঙ্গতি সনাক্তকরণ সিস্টেম, যা মাস্টার-স্ট্যান্ডবাই মোডে কাজ করে। স্ট্যান্ডবাইতে স্যুইচ করা হয়েছে।

স্বীকৃতি

15:51। MS SQL ব্যতীত সমস্ত সার্ভার সঠিকভাবে বন্ধ না করে IPMI এর মাধ্যমে বন্ধ করা হয়েছে।
প্রয়োজনে আপনি কি আইপিএমআই এর মাধ্যমে ব্যাপক সার্ভার পরিচালনার জন্য প্রস্তুত?

খুব মুহূর্ত যখন ডেটা সেন্টারে সরঞ্জাম উদ্ধার এই পর্যায়ে সম্পন্ন হয়। যা করা যেত সবই করা হয়েছে। কিছু সহকর্মী বিশ্রাম নিতে পারেন।
16: 13 তথ্য পাওয়া গেছে যে এয়ার কন্ডিশনার থেকে ফ্রিন পাইপগুলি ছাদে ফেটে গেছে - এটি আগুন নির্মূল হওয়ার পরে ডেটা সেন্টার চালু করতে বিলম্ব করবে।
16:19 ডাটা সেন্টারের কারিগরি কর্মীদের কাছ থেকে প্রাপ্ত তথ্য অনুযায়ী, হলগুলোতে তাপমাত্রা বৃদ্ধি থেমে গেছে।
17:10 conf ডাটাবেস পুনরুদ্ধার করা হয়েছে। এখন আমরা অ্যাপ্লিকেশন সেটিংস পরিবর্তন করতে পারি।
কেন এটি এত গুরুত্বপূর্ণ যদি সবকিছু দোষ-সহনশীল হয় এবং এমনকি একটি ডেটা সেন্টার ছাড়াই কাজ করে?
প্রথমত, সবকিছু দোষ-সহনশীল নয়। এমন বিভিন্ন সেকেন্ডারি পরিষেবা রয়েছে যেগুলি এখনও ডেটা সেন্টারের ব্যর্থতা থেকে বাঁচতে পারেনি, এবং মাস্টার-স্ট্যান্ডবাই মোডে ডেটাবেস রয়েছে। সেটিংস পরিচালনা করার ক্ষমতা আপনাকে কঠিন পরিস্থিতিতেও ব্যবহারকারীদের উপর দুর্ঘটনার পরিণতির প্রভাব কমাতে প্রয়োজনীয় সবকিছু করতে দেয়।
দ্বিতীয়ত, এটি স্পষ্ট হয়ে গেছে যে ডেটা সেন্টারের অপারেশন আগামী ঘন্টার মধ্যে সম্পূর্ণরূপে পুনরুদ্ধার করা হবে না, তাই প্রতিলিপিগুলির দীর্ঘমেয়াদী অনুপলব্ধতা সম্পূর্ণ ডিস্কগুলির মতো অতিরিক্ত সমস্যাগুলির দিকে নিয়ে যায় না তা নিশ্চিত করার জন্য ব্যবস্থা নেওয়া প্রয়োজন। অবশিষ্ট তথ্য কেন্দ্র.
17:29। পিজ্জার সময়! আমরা মানুষকে নিয়োগ করি, রোবট নয়।

পুনর্বাসন

18:02। ৮ নং (আমাদের), ৯, ১০ ও ১১ হলের তাপমাত্রা স্থিতিশীল হয়েছে। অফলাইনে থাকা একটিতে (নং 8) আমাদের সরঞ্জাম রয়েছে এবং সেখানে তাপমাত্রা ক্রমাগত বাড়তে থাকে।
18:31 তারা 1 এবং 3 নং হলগুলিতে যন্ত্রপাতি চালু করার অনুমতি দিয়েছে - এই হলগুলি আগুনে ক্ষতিগ্রস্ত হয়নি।

বর্তমানে, সার্ভারগুলি হল নং 1, 3, 8-এ চালু করা হচ্ছে, সবচেয়ে জটিল থেকে শুরু করে। সমস্ত চলমান পরিষেবার সঠিক অপারেশন চেক করা হয়। ৭ নম্বর হল নিয়ে এখনও সমস্যা রয়েছে।

18:44। ডেটা সেন্টারের কারিগরি কর্মীরা আবিষ্কার করেছেন যে 7 নং রুমে (যেখানে শুধুমাত্র আমাদের সরঞ্জাম রয়েছে) অনেক সার্ভার বন্ধ নেই। আমাদের তথ্য অনুযায়ী, 26টি সার্ভার সেখানে অনলাইনে থাকে। একটি দ্বিতীয় চেক করার পরে, আমরা 58 সার্ভার খুঁজে পাই।
20:18। ডাটা সেন্টার টেকনিশিয়ানরা হলওয়ের মধ্য দিয়ে চলমান মোবাইল ডাক্টের মাধ্যমে একটি শীতাতপ নিয়ন্ত্রিত কক্ষে বাতাস ফুঁকছেন।
23:08 প্রথম অ্যাডমিনকে বাড়িতে পাঠানো হয়। আগামীকাল কাজ চালিয়ে যাওয়ার জন্য কাউকে রাতে ঘুমাতে হবে। এর পরে, আমরা আরও কিছু অ্যাডমিন এবং ডেভেলপার প্রকাশ করব।
02:56। আমরা চালু করা যেতে পারে সবকিছু চালু. আমরা স্বয়ংক্রিয় পরীক্ষা ব্যবহার করে সমস্ত পরিষেবার অনেক চেক করি।

03:02 সর্বশেষ, ৭ম হলের শীতাতপ নিয়ন্ত্রণ ব্যবস্থা পুনরুদ্ধার করা হয়েছে।
03:36 আমরা ডাটা সেন্টারের ফ্রন্টগুলিকে DNS-এ ঘূর্ণনে নিয়ে এসেছি। এই মুহূর্ত থেকে ব্যবহারকারীর ট্র্যাফিক আসতে শুরু করে।
আমরা বেশিরভাগ প্রশাসনিক দলকে বাড়িতে পাঠাচ্ছি। কিন্তু আমরা কিছু লোক রেখে যাই।

ছোট FAQ:
প্রশ্ন: 18:31 থেকে 02:56 পর্যন্ত কী হয়েছিল?
উত্তর: "দুর্যোগ কর্ম পরিকল্পনা" অনুসরণ করে, আমরা সবচেয়ে গুরুত্বপূর্ণ থেকে শুরু করে সমস্ত পরিষেবা চালু করি। এই ক্ষেত্রে, চ্যাটের সমন্বয়কারী একটি বিনামূল্যে প্রশাসকের কাছে পরিষেবাটি ইস্যু করে, যিনি OS এবং অ্যাপ্লিকেশন শুরু হয়েছে কিনা, কোন ত্রুটি আছে কিনা এবং সূচকগুলি স্বাভাবিক কিনা তা পরীক্ষা করে। লঞ্চটি সম্পন্ন হওয়ার পরে, তিনি চ্যাটে রিপোর্ট করেন যে তিনি বিনামূল্যে এবং সমন্বয়কারীর কাছ থেকে একটি নতুন পরিষেবা পান।
ব্যর্থ হার্ডওয়্যার দ্বারা প্রক্রিয়াটি আরও ধীর হয়ে যায়। এমনকি যদি ওএস বন্ধ করা এবং সার্ভারগুলি বন্ধ করা সঠিকভাবে যায় তবে কিছু সার্ভার ডিস্ক, মেমরি এবং চ্যাসিসের হঠাৎ ব্যর্থতার কারণে ফিরে আসে না। শক্তি হারিয়ে গেলে ব্যর্থতার হার বেড়ে যায়।
প্রশ্ন: কেন আপনি একবারে সবকিছু চালাতে পারবেন না এবং তারপরে পর্যবেক্ষণে যা আসে তা ঠিক করুন?
উত্তর: সবকিছুই ধীরে ধীরে করা উচিত, কারণ পরিষেবাগুলির মধ্যে নির্ভরতা রয়েছে৷ এবং নিরীক্ষণের জন্য অপেক্ষা না করে এখনই সবকিছু পরীক্ষা করা উচিত - কারণ সমস্যাগুলি আরও খারাপ হওয়ার জন্য অপেক্ষা না করে এখনই মোকাবেলা করা ভাল।

7:40 শেষ অ্যাডমিন (সমন্বয়ক) বিছানায় গেল। প্রথম দিনের কাজ শেষ হয়েছে।
8:09 প্রথম ডেভেলপার, ডাটা সেন্টার ইঞ্জিনিয়ার এবং অ্যাডমিনিস্ট্রেটররা (নতুন সমন্বয়কারী সহ) পুনরুদ্ধারের কাজ শুরু করেন।
09:37 আমরা হল নং 7 (শেষ একটি) বাড়াতে শুরু করি।
একই সময়ে, আমরা অন্যান্য কক্ষে যা ঠিক করা হয়নি তা পুনরুদ্ধার করা চালিয়ে যাচ্ছি: ডিস্ক/মেমরি/সার্ভার প্রতিস্থাপন করা, পর্যবেক্ষণে "বার্ন" হওয়া সবকিছু ঠিক করা, মাস্টার-স্ট্যান্ডবাই স্কিমগুলিতে ভূমিকা ফিরিয়ে দেওয়া এবং অন্যান্য ছোট জিনিস, যার মধ্যে রয়েছে তবুও বেশ অনেক।
17:08। আমরা উত্পাদনের সাথে সমস্ত নিয়মিত কাজ করার অনুমতি দিই।
21:45। দ্বিতীয় দিনের কাজ শেষ।
09:45। আজ শুক্রবার. পর্যবেক্ষণে এখনও বেশ কয়েকটি ছোট সমস্যা রয়েছে। সামনে সপ্তাহান্ত, সবাই আরাম করতে চায়। আমরা আমাদের যা করতে পারি তা ব্যাপকভাবে মেরামত করা চালিয়ে যাচ্ছি। নিয়মিত অ্যাডমিনের কাজগুলো স্থগিত করা যেত। সমন্বয়কারী নতুন।
15:40 হঠাৎ করেই অন্য ডেটা সেন্টারে অর্ধেক কোর নেটওয়ার্ক ইকুইপমেন্ট স্ট্যাক রিস্টার্ট হয়েছে। ঝুঁকি কমানোর জন্য ফ্রন্টগুলি ঘূর্ণনের বাইরে নেওয়া হয়েছিল। ব্যবহারকারীদের জন্য কোন প্রভাব নেই. পরে দেখা গেল যে এটি একটি ত্রুটিপূর্ণ চ্যাসি ছিল। একসঙ্গে দুটি দুর্ঘটনা মেরামতের কাজ করছেন সমন্বয়ক।
17:17 অন্য ডেটা সেন্টারে নেটওয়ার্ক অপারেশন পুনরুদ্ধার করা হয়েছে, সবকিছু চেক করা হয়েছে। তথ্য কেন্দ্র ঘূর্ণন করা হয়.
18:29। তৃতীয় দিনের কাজ এবং, সাধারণভাবে, দুর্ঘটনার পরে পুনরুদ্ধার সম্পন্ন হয়েছে।

উত্তরভাষ

04.04.2013 404 ত্রুটির দিনে, "সহপাঠী" সবচেয়ে বড় দুর্ঘটনা থেকে বেঁচে যান —তিন দিনের জন্য পোর্টালটি সম্পূর্ণ বা আংশিকভাবে অনুপলব্ধ ছিল। এই পুরো সময় জুড়ে, 100 টিরও বেশি লোক বিভিন্ন শহর থেকে, বিভিন্ন কোম্পানি থেকে (আবারও অনেক ধন্যবাদ!), দূর থেকে এবং সরাসরি ডেটা সেন্টারে, ম্যানুয়ালি এবং স্বয়ংক্রিয়ভাবে, হাজার হাজার সার্ভার মেরামত করেছে।
আমরা উপসংহার টানা হয়েছে. এটি যাতে আবার না ঘটে তার জন্য, আমরা আজ অবধি ব্যাপক কাজ চালিয়েছি এবং চালিয়ে যাচ্ছি।

বর্তমান দুর্ঘটনা এবং 404 এর মধ্যে প্রধান পার্থক্য কি?

• আমাদের একটি "দুর্ঘটনা কর্ম পরিকল্পনা" আছে। এক ত্রৈমাসিকে একবার, আমরা ব্যায়াম পরিচালনা করি - আমরা একটি জরুরী পরিস্থিতির ভূমিকা পালন করি, যা প্রশাসকদের একটি দলকে (সব মিলিয়ে) অবশ্যই "জরুরি কর্ম পরিকল্পনা" ব্যবহার করে নির্মূল করতে হবে। প্রধান সিস্টেম অ্যাডমিনিস্ট্রেটররা পালাক্রমে সমন্বয়কের ভূমিকা পালন করে।
• ত্রৈমাসিক, পরীক্ষা মোডে, আমরা LAN এবং WAN নেটওয়ার্কের মাধ্যমে ডেটা সেন্টারগুলিকে (সব মিলিয়ে) বিচ্ছিন্ন করি, যা আমাদেরকে অবিলম্বে বাধাগুলি সনাক্ত করতে দেয়।
• কম ভাঙা ডিস্ক, কারণ আমরা মানগুলি শক্ত করেছি: কম অপারেটিং ঘন্টা, SMART-এর জন্য কঠোর থ্রেশহোল্ড,
• আমরা বার্কলেডিবি সম্পূর্ণরূপে পরিত্যাগ করেছি, একটি পুরানো এবং অস্থির ডাটাবেস যা সার্ভার পুনরায় চালু করার পরে পুনরুদ্ধারের জন্য অনেক সময় প্রয়োজন।
• আমরা MS SQL এর সাথে সার্ভারের সংখ্যা কমিয়েছি এবং বাকিগুলির উপর নির্ভরতা কমিয়েছি।
• আমাদের নিজেদের আছে মেঘ - এক-মেঘ, যেখানে আমরা দুই বছর ধরে সক্রিয়ভাবে সমস্ত পরিষেবা স্থানান্তরিত করছি৷ ক্লাউডটি অ্যাপ্লিকেশনটির সাথে কাজ করার পুরো চক্রটিকে ব্যাপকভাবে সরল করে এবং দুর্ঘটনার ক্ষেত্রে এটি এই জাতীয় অনন্য সরঞ্জাম সরবরাহ করে:
  • এক ক্লিকে সমস্ত অ্যাপ্লিকেশনের সঠিক স্টপ;
  • ব্যর্থ সার্ভার থেকে অ্যাপ্লিকেশনের সহজ স্থানান্তর;
  • স্বয়ংক্রিয় র‌্যাঙ্ক করা (পরিষেবাগুলির অগ্রাধিকার অনুসারে) একটি সম্পূর্ণ ডেটা সেন্টার চালু করা।

এই নিবন্ধে বর্ণিত দুর্ঘটনাটি 404 তম দিনের পর থেকে বৃহত্তম। অবশ্যই, সবকিছু মসৃণভাবে যায় নি। উদাহরণস্বরূপ, অন্য ডেটা সেন্টারে আগুনে ক্ষতিগ্রস্ত ডেটা সেন্টারের অনুপলব্ধতার সময়, একটি সার্ভারের একটি ডিস্ক ব্যর্থ হয়েছিল, অর্থাৎ ক্যাসান্দ্রা ক্লাস্টারের তিনটি প্রতিলিপির মধ্যে শুধুমাত্র একটি অ্যাক্সেসযোগ্য ছিল, যার কারণে 4,2% মোবাইল অ্যাপ্লিকেশন ব্যবহারকারীরা লগ ইন করতে পারেনি। একই সময়ে, ইতিমধ্যে সংযুক্ত ব্যবহারকারীরা কাজ চালিয়ে গেছে। মোট, দুর্ঘটনার ফলস্বরূপ, 30 টিরও বেশি সমস্যা চিহ্নিত করা হয়েছিল - ব্যানাল বাগ থেকে পরিষেবা আর্কিটেকচারের ত্রুটিগুলি পর্যন্ত।

কিন্তু বর্তমান দুর্ঘটনা এবং 404 তম এর মধ্যে সবচেয়ে গুরুত্বপূর্ণ পার্থক্য হল যে আমরা যখন আগুনের পরিণতিগুলি দূর করছিলাম, ব্যবহারকারীরা তখনও টেক্সট এবং ভিডিও কল করছিল TomTom, গেম খেলেছে, গান শুনেছে, একে অপরকে উপহার দিয়েছে, ভিডিও দেখেছে, টিভি সিরিজ এবং টিভি চ্যানেল ঠিক আছে, এবং এছাড়াও প্রবাহিত ওকে লাইভ.

আপনার দুর্ঘটনা কিভাবে যায়?

উত্স: www.habr.com