Slurm SRE. Booking.com এবং Google.com এর বিশেষজ্ঞদের সাথে ক্রমাগত পরীক্ষা

আমাদের দল পরীক্ষা পছন্দ করে। প্রতিটি স্লার্ম পূর্ববর্তীগুলির একটি স্থির পুনরাবৃত্তি নয়, তবে অভিজ্ঞতার প্রতিফলন এবং ভাল থেকে ভালতে পরিবর্তন। কিন্তু সঙ্গে Slurm SRE আমরা একটি সম্পূর্ণ নতুন বিন্যাস প্রয়োগ করার সিদ্ধান্ত নিয়েছি - অংশগ্রহণকারীদের যতটা সম্ভব "লড়াই" করার শর্ত দিতে।

নিবিড় কোর্সের সময় আমরা কী করেছি তা যদি সংক্ষেপে বর্ণনা করি: “আমরা নির্মাণ করি, ভাঙি, মেরামত করি,
আপনি উত্তর দিবেন না." নিছক তত্ত্বে SRE এর মূল্য খুব কম - শুধুমাত্র অনুশীলন, বাস্তব সমাধান, বাস্তব সমস্যা।

অংশগ্রহণকারীদের দলে বিভক্ত করা হয়েছিল যাতে একটি শক্তিশালী প্রতিযোগিতামূলক মনোভাব কাউকে ঘুমিয়ে পড়তে বা আইফোনে "অ্যাংরি বার্ডস" চালু করতে দেয় না, দিমিত্রি আনাতোলিভিচের উদাহরণ অনুসরণ করে।

চারজন পরামর্শদাতা দ্বারা অংশগ্রহণকারীদের সমস্যা, ত্রুটি, বাগ এবং কাজগুলি প্রদান করা হয়েছিল। ইভান ক্রুগ্লোভ, Booking.com (নেদারল্যান্ড) এর প্রধান বিকাশকারী। বেন টাইলার, বুকিং ডট কম (ইউএসএ) এর প্রধান বিকাশকারী। এডুয়ার্ড মেদভেদেভ, টংস্টেন ল্যাবসের সিটিও (জার্মানি)। Evgeniy Varavva, Google এর সাধারণ বিকাশকারী (সান ফ্রান্সিসকো)।

অধিকন্তু, অংশগ্রহণকারীরা দলে বিভক্ত এবং একে অপরের সাথে প্রতিদ্বন্দ্বিতা করে। মজাদার?

ইভান, বেন, এডুয়ার্ড এবং ইভজেনি প্রতিযোগিতা শুরুর আগে দরিদ্র স্লার্ম এসআরই অংশগ্রহণকারীদের দিকে সদয় লেনিনবাদী স্কুইন্টের সাথে তাকাচ্ছেন।

তাই কাজ:

আমরা আমাদের, আমরা নতুন পৃথিবী গড়ব...

একটি সিনেমা টিকেট এগ্রিগেটর ওয়েবসাইট আছে. ঘটনাগুলি একটি পূর্ব-কাজ করা পরিস্থিতিতে পরামর্শদাতাদের দ্বারা উদ্ভাবিত হয় (যদিও কেউ বিশেষভাবে পরিশীলিত এবং প্রতারণামূলক ইমপ্রোভাইজেশন বাদ দেয় না), সাইটের কর্মক্ষমতা বিভিন্ন মেট্রিক্স দ্বারা বর্ণনা করা হয়। সমস্যাগুলি খুব আলাদা হতে পারে: মৌলিন রুজ থিয়েটারের টিকিট ডাটাবেসে লোড করা হয় না; চলচ্চিত্র এবং অভিনয়ের পোস্টার 10 সেকেন্ডেরও বেশি সময়ের মধ্যে ডাটাবেসে লোড হয়; একটি পৃথক চলচ্চিত্রের বর্ণনা জমাট বাঁধা; 0,1% অর্ডার ইতিমধ্যে সংরক্ষিত আছে; সময়ে সময়ে পেমেন্ট প্রসেসিং সিস্টেম এক বা দুই মিনিটের জন্য ক্র্যাশ হয়। এবং অনেক, অনেক, অনেক অপ্রীতিকর জিনিস যা একজন Slurm SRE অংশগ্রহণকারীকে তার আসল চাকরিতে ঘটাতে পারে।

আমরা যে কোনো কিছু পরিচালনা করতে প্রস্তুত...এবং সবাইকে।

আমাদের দীর্ঘস্থায়ী ওয়েবসাইটটি বেশ কয়েকটি মাইক্রোসার্ভিস নিয়ে গঠিত। এর কাজ হল সমস্ত সিনেমা থেকে শো, মূল্য এবং উপলব্ধ আসনের ডেটা একত্রিত করা; এটি সিনেমার ঘোষণা দেখায়, আপনাকে একটি সিনেমা, শো, হল এবং স্থান নির্বাচন করতে, বুক করতে এবং টিকিটের জন্য অর্থ প্রদান করতে দেয়। সাধারণভাবে, দর্শক কেবল স্বপ্ন দেখতে পারে এমন সবকিছু। তবে ব্যবহারকারীর সন্দেহ হয় না যে সাইটের স্থিতিশীলতা এবং অ্যাক্সেসযোগ্যতার জন্য কী টাইটানিক সংগ্রাম চলছে ভিতরে।

নিবিড় সাইটের জন্য, আমরা এসএলও, এসএলআই, এসএলএ সূচক তৈরি করেছি, স্থাপত্য এবং অবকাঠামো উন্নত করেছি, সাইটটি স্থাপন করেছি, মনিটরিং এবং সতর্কতা সেট আপ করেছি। এবং আমরা দূরে চলে যাই।

এসএলও, এসএলআই, এসএলএ

SLI - পরিষেবা স্তরের সূচক। SLO হল পরিষেবা স্তরের লক্ষ্য। SLA - পরিষেবা স্তরের চুক্তি।

SLA হল একটি ITIL পদ্ধতির শব্দ যা একটি পরিষেবার গ্রাহক এবং তার সরবরাহকারীর মধ্যে একটি আনুষ্ঠানিক চুক্তিকে নির্দেশ করে, যেখানে পরিষেবার বিবরণ, পক্ষগুলির অধিকার এবং বাধ্যবাধকতা এবং সবচেয়ে গুরুত্বপূর্ণভাবে, এটির বিধানের জন্য মানসম্মত স্তরের সম্মতি রয়েছে। সেবা

একটি SLO হল একটি পরিষেবা স্তরের উদ্দেশ্য: একটি লক্ষ্য মান বা পরিষেবা স্তরের মানগুলির পরিসর যা SLI দ্বারা পরিমাপ করা হয়। SLO-এর একটি স্বাভাবিক মান হল "SLI ≤ লক্ষ্য" বা "নিম্ন সীমা ≤ SLI ≤ উচ্চ সীমা"।

SLI হল একটি পরিষেবা স্তর নির্দেশক—প্রদত্ত পরিষেবার স্তরের একটি দিক সম্পর্কে সতর্কতার সাথে সংজ্ঞায়িত পরিমাণগত পরিমাপ। বেশিরভাগ পরিষেবার জন্য, কী SLI কে অনুরোধের লেটেন্সি হিসাবে বিবেচনা করা হয় - একটি অনুরোধের প্রতিক্রিয়া ফেরাতে কতক্ষণ লাগে৷ অন্যান্য সাধারণ SLI এর মধ্যে রয়েছে ত্রুটির হার, প্রায়শই প্রাপ্ত সমস্ত অনুরোধের ভগ্নাংশ হিসাবে প্রকাশ করা হয় এবং সিস্টেম থ্রুপুট, সাধারণত প্রতি সেকেন্ডে অনুরোধে পরিমাপ করা হয়।

প্রথমত, আমরা প্লেন ভাঙব, তারপর মেয়েরা, তারপর মেয়েরা...

অভ্যন্তরীণ এবং বাহ্যিক কারণগুলি প্রথম মিনিট থেকেই এসএলওকে "লুণ্ঠন" করতে শুরু করেছিল। সবকিছু প্রশাসকদের মাথায় পড়ে—ডেভেলপারের ভুল, অবকাঠামোগত ব্যর্থতা, ভিজিটরদের আগমন এবং DDoS আক্রমণ। এসএলওকে খারাপ করে এমন সবকিছু।

"- প্রিয় অংশগ্রহণকারীরা, আমি আপনাকে খুশি করতে তাড়াহুড়ো করছি, প্রথম জিনিসটি আপনি ব্যর্থ হবেন... সবকিছু!"

পথ ধরে, বক্তারা স্থিতিশীলতা, ত্রুটি বাজেট, পরীক্ষার অনুশীলন, বাধা ব্যবস্থাপনা এবং অপারেশনাল লোড নিয়ে আলোচনা করেন।

আমরা মজুতদার নই, কাঠমিস্ত্রী নই...

তারপরে অংশগ্রহণকারীরা জিনিসগুলি ঠিক করতে শুরু করে - প্রধান জিনিসটি প্রথমে কী ধরতে হবে তা বোঝা।

"- প্রভু, আমি কখনই এটিকে এভাবে, এই আকারে এবং এমন অবস্থানে ভাঙতে দেখিনি!"

সুতরাং, একটি দুর্ঘটনা ঘটেছে। পেমেন্ট প্রসেসিং পরিষেবা বন্ধ আছে। সংক্ষিপ্ততম সময়ে কার্যকারিতা পুনরুদ্ধার করার জন্য কীভাবে কাজ করবেন?

বিশেষজ্ঞরা, অংশগ্রহণকারীদের স্নেহের সাথে তাকিয়ে, আরেকটি কৌশল প্রস্তুত করছেন।

প্রতিটি দল দুর্ঘটনা দূর করার জন্য গ্রুপের কাজ সংগঠিত করে - সহকর্মীদের জড়িত করে, আগ্রহী পক্ষগুলিকে (স্টেকহোল্ডারদের) অবহিত করে। একই সময়ে, অগ্রাধিকার নির্ধারণ করা হয়। এইভাবে, অংশগ্রহণকারীরা অত্যন্ত সীমিত সময়ের অবস্থার মধ্যে চাপের মধ্যে কাজ করার জন্য প্রশিক্ষিত।

"কী ধরনের ভয়াবহতা বেরিয়ে এসেছে?!"

শ্বাস ছাড়ুন... এবং ব্যায়াম শেষ করুন

স্পিকারের সাথে একসাথে, প্রতিটি সমস্যা সমাধানের পরে এবং সাইটটি সাময়িকভাবে স্থিতিশীল হওয়ার পরে, দলটি একটি SRE দৃষ্টিকোণ থেকে ঘটনাগুলি অধ্যয়ন করে। আমরা সমস্যাগুলি বিশদভাবে বিশ্লেষণ করেছি - ঘটনার কারণ, নির্মূলের অগ্রগতি। এর পরে, দলগতভাবে এবং সম্মিলিতভাবে, আমরা কীভাবে তাদের আরও প্রতিরোধ করতে পারি সে বিষয়ে সিদ্ধান্ত নিয়েছি: কীভাবে পর্যবেক্ষণের উন্নতি করা যায়, কীভাবে বুদ্ধিমত্তার সাথে স্থাপত্য পরিবর্তন করা যায়, কীভাবে বিকাশ এবং পরিচালনার পদ্ধতিকে সামঞ্জস্য করা যায়, কীভাবে প্রবিধানগুলি সংশোধন করা যায়। বক্তারা ময়নাতদন্তের অনুশীলন প্রদর্শন করেন।

“আর কে যন্ত্রণা চায়! - আমি!"

ইলেকট্রনিক স্কোরবোর্ডে দলগুলোর সাফল্য কঠোরভাবে এবং স্পষ্টভাবে রেকর্ড করা হয়েছিল।

প্রথম স্থানের জন্য - স্টেকহোল্ডারদের থেকে একটি বোনাস।

উত্স: www.habr.com