মনিটরিং + লোড টেস্টিং = পূর্বাভাসযোগ্যতা এবং কোন ব্যর্থতা

VTB-এর আইটি বিভাগকে বেশ কয়েকবার সিস্টেমের অপারেশনে জরুরী পরিস্থিতি মোকাবেলা করতে হয়েছিল, যখন তাদের উপর লোড বহুগুণ বেড়ে গিয়েছিল। অতএব, এমন একটি মডেল তৈরি করা এবং পরীক্ষা করা প্রয়োজনীয় হয়ে উঠেছে যা সমালোচনামূলক সিস্টেমে সর্বোচ্চ লোডের পূর্বাভাস দেবে। এটি করার জন্য, ব্যাঙ্কের আইটি বিশেষজ্ঞরা মনিটরিং সেট আপ করেছেন, ডেটা বিশ্লেষণ করেছেন এবং কীভাবে পূর্বাভাস স্বয়ংক্রিয় করতে হয় তা শিখেছেন। কোন সরঞ্জামগুলি লোডের পূর্বাভাস দিতে সাহায্য করেছিল এবং তাদের সাহায্যে কাজটি অপ্টিমাইজ করা সম্ভব ছিল কিনা, আমরা একটি সংক্ষিপ্ত নিবন্ধে বলব।

উচ্চ লোড পরিষেবাগুলির সমস্যাগুলি প্রায় সমস্ত শিল্পেই দেখা দেয়, তবে আর্থিক খাতের জন্য সেগুলি গুরুতর৷ X ঘন্টায়, সমস্ত যুদ্ধ ইউনিট প্রস্তুত থাকতে হয়েছিল, তাই কী ঘটতে পারে তা আগে থেকেই জানা দরকার এবং এমনকি যে দিন লোড বাড়বে এবং কোন সিস্টেমগুলি এর মুখোমুখি হবে তা নির্ধারণ করা প্রয়োজন। ব্যর্থতার সাথে মোকাবিলা করা এবং প্রতিরোধ করা দরকার, তাই একটি ভবিষ্যদ্বাণীমূলক বিশ্লেষণ ব্যবস্থা বাস্তবায়নের প্রয়োজনীয়তা নিয়েও আলোচনা করা হয়নি। মনিটরিং ডেটার উপর ভিত্তি করে সিস্টেমগুলিকে আপগ্রেড করতে হয়েছিল।

হাঁটু উপর বিশ্লেষণ

একটি পে-রোল প্রকল্প একটি ব্যর্থতার ঘটনা সবচেয়ে সংবেদনশীল এক. এটি পূর্বাভাসের জন্য সবচেয়ে বোধগম্য, তাই আমরা এটি দিয়ে শুরু করার সিদ্ধান্ত নিয়েছি। পিক সময়ে উচ্চ সংযোগের কারণে, রিমোট ব্যাঙ্কিং (RB) সহ অন্যান্য সাবসিস্টেমগুলিও সমস্যার সম্মুখীন হতে পারে। উদাহরণস্বরূপ, গ্রাহকরা যারা অর্থের প্রাপ্তি সম্পর্কে এসএমএস দিয়ে আনন্দিত হয়েছিল তারা সক্রিয়ভাবে তাদের ব্যবহার করতে শুরু করেছিল। এই ক্ষেত্রে, লোড মাত্রার একটি আদেশের চেয়ে বেশি লাফ দিতে পারে। 

প্রথম ভবিষ্যদ্বাণীমূলক মডেলটি ম্যানুয়ালি তৈরি করা হয়েছিল। আমরা গত বছরের জন্য আপলোড নিয়েছি এবং হিসাব করেছি কোন দিনে সর্বোচ্চ চূড়া প্রত্যাশিত: উদাহরণস্বরূপ, 1, 15 এবং 25 তারিখে, সেইসাথে মাসের শেষ দিনগুলিতে৷ এই মডেলের জন্য গুরুতর শ্রম খরচ প্রয়োজন এবং সঠিক পূর্বাভাস দেয়নি। তবুও, তিনি বাধাগুলি চিহ্নিত করেছিলেন যেখানে "আয়রন" যোগ করা প্রয়োজন ছিল এবং অ্যাঙ্কর ক্লায়েন্টদের সাথে একমত হয়ে অর্থ স্থানান্তরের প্রক্রিয়াটি অনুকূল করার অনুমতি দিয়েছেন: "এক ঝাঁকুনিতে" বেতন না দেওয়ার জন্য, সময়ের সাথে সাথে বিভিন্ন অঞ্চল থেকে লেনদেন ছড়িয়ে পড়েছিল। . এখন আমরা সেগুলিকে এমন অংশে প্রক্রিয়া করি যে ব্যাঙ্কের আইটি অবকাঠামো ব্যর্থতা ছাড়াই "চিবাতে" সক্ষম।

প্রথম ইতিবাচক ফলাফল পাওয়ার পর, আমরা স্বয়ংক্রিয় পূর্বাভাসের দিকে অগ্রসর হলাম৷ আরও এক ডজন গুরুতর এলাকা তাদের পালাগুলির জন্য অপেক্ষা করছিল৷

ইন্টিগ্রেটেড পদ্ধতির

VTB মাইক্রোফোকাস থেকে একটি মনিটরিং সিস্টেম প্রয়োগ করেছে। সেখান থেকে, আমরা পূর্বাভাস, একটি স্টোরেজ সিস্টেম এবং একটি রিপোর্টিং সিস্টেমের জন্য ডেটা সংগ্রহ নিয়েছি। প্রকৃতপক্ষে, ইতিমধ্যেই মনিটরিং ছিল, এটি শুধুমাত্র মেট্রিক্স, একটি ভবিষ্যদ্বাণী মডিউল যোগ করা এবং নতুন প্রতিবেদন তৈরি করা বাকি ছিল। এই সমাধানটি বাহ্যিক ঠিকাদার টেকনোসার্ভ দ্বারা সমর্থিত, তাই প্রকল্পের বাস্তবায়নের মূল কাজটি তার বিশেষজ্ঞদের উপর পড়ে, তবে আমরা নিজেরাই মডেলটি তৈরি করেছি। পূর্বাভাস সিস্টেমটি নবীর ভিত্তিতে তৈরি করা হয়েছিল - এই উন্মুক্ত পণ্যটি ফেসবুক দ্বারা বিকাশিত হয়েছিল। এটি ব্যবহার করা সহজ এবং আমাদের ইন্টিগ্রেটেড মনিটরিং টুল এবং ভার্টিকার সাথে সহজেই একত্রিত হয়। মোটামুটিভাবে বলতে গেলে, সিস্টেমটি লোডিং সময়সূচী বিশ্লেষণ করে এবং ফুরিয়ার সিরিজের উপর ভিত্তি করে এটি এক্সট্রাপোলেট করে। আমাদের মডেল থেকে নেওয়া দিনের জন্য কিছু সহগ যোগ করাও সম্ভব। মেট্রিক্স মানব হস্তক্ষেপ ছাড়াই নেওয়া হয়, সপ্তাহে একবার পূর্বাভাস স্বয়ংক্রিয়ভাবে পুনরায় গণনা করা হয়, প্রাপকদের কাছে নতুন প্রতিবেদন পাঠানো হয়। 

এই পদ্ধতিটি প্রধান চক্র প্রকাশ করে, উদাহরণস্বরূপ, বার্ষিক, মাসিক, ত্রৈমাসিক এবং সাপ্তাহিক। বেতন এবং অগ্রিম অর্থপ্রদান, ছুটির সময়কাল, ছুটি এবং বিক্রয় - এই সমস্ত সিস্টেমে কলের সংখ্যাকে প্রভাবিত করে। এটি দেখা গেল, উদাহরণস্বরূপ, কিছু চক্র একে অপরকে ওভারল্যাপ করে এবং সিস্টেমের প্রধান লোড (75%) সেন্ট্রাল ফেডারেল জেলা থেকে আসে। আইনি সত্তা এবং ব্যক্তি ভিন্নভাবে আচরণ করে। যদি "পদার্থবিদদের" থেকে লোড সপ্তাহের দিনগুলিতে তুলনামূলকভাবে সমানভাবে বিতরণ করা হয় (অনেক ছোট লেনদেন হয়), তবে কোম্পানিগুলির কাজের সময় 99,9% থাকে, তদুপরি, লেনদেনগুলি সংক্ষিপ্ত হতে পারে, বা সেগুলি প্রক্রিয়া করা যেতে পারে। কয়েক মিনিট বা এমনকি ঘন্টা।

প্রাপ্ত তথ্যের উপর ভিত্তি করে, দীর্ঘমেয়াদী প্রবণতা নির্ধারণ করা হয়। নতুন সিস্টেমটি প্রকাশ করেছে যে লোকেরা রিমোট ব্যাঙ্কিংয়ের জন্য প্রচুর পরিমাণে চলে যাচ্ছে। সবাই এটা জানে, কিন্তু আমরা এই ধরনের স্কেল আশা করিনি এবং প্রথমে তাদের বিশ্বাস করিনি: ব্যাঙ্কের অফিসে কলের সংখ্যা অত্যন্ত দ্রুত হ্রাস পাচ্ছে এবং দূরবর্তী লেনদেনের সংখ্যা ঠিক একই পরিমাণে বাড়ছে। তদনুসারে, সিস্টেমের লোডও বাড়ছে এবং বাড়তে থাকবে। আমরা এখন 2020 সালের ফেব্রুয়ারি পর্যন্ত লোডের পূর্বাভাস দিচ্ছি। সাধারণ দিনগুলি 3% এর ত্রুটি সহ ভবিষ্যদ্বাণী করা যেতে পারে এবং সর্বোচ্চ দিনগুলি - 10% এর ত্রুটি সহ। এটি একটি ভাল ফলাফল।

pitfalls

যথারীতি, এটি অসুবিধা ছাড়া ছিল না। ফুরিয়ার সিরিজ ব্যবহার করে এক্সট্রাপোলেশন মেকানিজম ভালোভাবে শূন্য অতিক্রম করে না - আমরা জানি যে আইনি সত্তা সপ্তাহান্তে কিছু লেনদেন তৈরি করে, কিন্তু ভবিষ্যদ্বাণী মডিউল এমন মান তৈরি করে যা শূন্য থেকে অনেক দূরে। জোর করে তাদের সংশোধন করা সম্ভব ছিল, কিন্তু ক্রাচ আমাদের পদ্ধতি নয়। উপরন্তু, আমাদের সোর্স সিস্টেম থেকে ব্যথাহীন ডেটা অপসারণের সমস্যা সমাধান করতে হয়েছিল। তথ্যের নিয়মিত সংগ্রহের জন্য গুরুতর কম্পিউটিং সংস্থানগুলির প্রয়োজন, তাই আমরা প্রতিলিপি ব্যবহার করে দ্রুত ক্যাশে তৈরি করেছি, আমরা প্রতিলিপিগুলি থেকে ইতিমধ্যে ব্যবসায়িক ডেটা পাই৷ এই জাতীয় ক্ষেত্রে মাস্টার সিস্টেমগুলিতে অতিরিক্ত লোডের অনুপস্থিতি একটি ব্লকিং প্রয়োজনীয়তা।

নতুন চ্যালেঞ্জ

শীর্ষস্থানীয় পূর্বাভাস দেওয়ার প্রধান কাজটি সমাধান করা হয়েছিল: এই বছরের মে থেকে ব্যাংকে কোনও ওভারলোড-সম্পর্কিত ব্যর্থতা ছিল না এবং নতুন পূর্বাভাস ব্যবস্থা এতে একটি গুরুত্বপূর্ণ ভূমিকা পালন করেছে। হ্যাঁ, এটি যথেষ্ট ছিল না, এবং এখন ব্যাঙ্ক বুঝতে চায় যে এটির জন্য কোদাল কতটা বিপজ্জনক। আমাদের লোড টেস্টিং থেকে মেট্রিক্স ব্যবহার করে পূর্বাভাস প্রয়োজন, এবং প্রায় 30% সমালোচনামূলক সিস্টেমের জন্য এটি ইতিমধ্যেই কাজ করে, বাকিগুলি পূর্বাভাস পাওয়ার প্রক্রিয়ার মধ্যে রয়েছে। পরবর্তী পর্যায়ে, আমরা ব্যবসায়িক লেনদেনে নয়, কিন্তু আইটি অবকাঠামোর পরিপ্রেক্ষিতে সিস্টেমে লোডের পূর্বাভাস দিতে যাচ্ছি, অর্থাৎ আমরা নীচের স্তরে চলে যাব। উপরন্তু, আমাদের মেট্রিক্স সংগ্রহ এবং তাদের উপর ভিত্তি করে পূর্বাভাস নির্মাণ সম্পূর্ণরূপে স্বয়ংক্রিয় করতে হবে, যাতে আনলোডিং মোকাবেলা করতে না হয়। এর মধ্যে অসামান্য কিছুই নেই - আমরা কেবল বিশ্ব সেরা অনুশীলন অনুসারে পর্যবেক্ষণ এবং লোড পরীক্ষা করি।

উত্স: www.habr.com