কেন একটি ব্যাঙ্কের AIOps এবং ছাতা পর্যবেক্ষণ প্রয়োজন, বা গ্রাহক সম্পর্ক কিসের উপর ভিত্তি করে?

Habré-এর প্রকাশনাগুলিতে, আমি ইতিমধ্যে আমার দলের সাথে অংশীদারিত্ব গড়ে তোলার অভিজ্ঞতা সম্পর্কে লিখেছি (এখানে একটি নতুন ব্যবসা শুরু করার সময় একটি অংশীদারিত্বের চুক্তি কীভাবে আঁকতে হয় সে সম্পর্কে কথা বলে যাতে ব্যবসাটি ভেঙে না যায়)। এবং এখন আমি ক্লায়েন্টদের সাথে কীভাবে অংশীদারিত্ব তৈরি করতে হয় সে সম্পর্কে কথা বলতে চাই, যেহেতু তাদের ছাড়া আলাদা হওয়ার কিছুই থাকবে না। আমি আশা করি এই নিবন্ধটি স্টার্টআপদের জন্য দরকারী হবে যারা তাদের পণ্য বড় ব্যবসার কাছে বিক্রি করতে শুরু করেছে।

আমি বর্তমানে MONQ ডিজিটাল ল্যাব নামে একটি স্টার্টআপের নেতৃত্ব দিচ্ছি, যেখানে আমি এবং আমার দল কর্পোরেট আইটি সমর্থন ও পরিচালনার প্রক্রিয়াগুলি স্বয়ংক্রিয় করার জন্য একটি পণ্য তৈরি করছি। বাজারে প্রবেশ করা একটি সহজ কাজ নয় এবং আমরা একটু হোমওয়ার্ক দিয়ে শুরু করেছি, বাজার বিশেষজ্ঞদের, আমাদের অংশীদারদের মধ্য দিয়ে গিয়েছি এবং বাজারের বিভাজন করেছি। মূল প্রশ্নটি বোঝার জন্য ছিল "কাদের ব্যথা আমরা ভালভাবে নিরাময় করতে পারি?"

ব্যাঙ্কগুলি শীর্ষ 3 বিভাগে এটি তৈরি করেছে। এবং অবশ্যই, তালিকায় প্রথম ছিলেন টিঙ্কফ এবং সবারব্যাঙ্ক। আমরা যখন ব্যাঙ্কিং মার্কেট এক্সপার্টদের কাছে গিয়েছিলাম, তারা বলেছিল: সেখানে আপনার প্রোডাক্টের পরিচয় দিন, এবং ব্যাঙ্কিং মার্কেটে যাওয়ার পথ উন্মুক্ত হয়ে যাবে। আমরা সেখানে এবং সেখানে উভয়ই প্রবেশ করার চেষ্টা করেছি, কিন্তু ব্যর্থতা Sberbank-এ আমাদের জন্য অপেক্ষা করছে এবং Tinkoff-এর ছেলেরা রাশিয়ান স্টার্টআপগুলির সাথে উত্পাদনশীল যোগাযোগের জন্য অনেক বেশি উন্মুক্ত হয়ে উঠেছে (হয়তো সেই সময়ে Sber এর কারণে কিনলেন আমাদের পশ্চিমা প্রতিযোগীদের প্রায় এক বিলিয়ন)। এক মাসের মধ্যে আমরা একটি পাইলট প্রকল্প শুরু করি। এটা কিভাবে ঘটেছে, পড়ুন.

আমরা বহু বছর ধরে অপারেশন এবং মনিটরিংয়ের সমস্যাগুলি মোকাবেলা করে আসছি, এখন আমরা আমাদের পণ্যটি সরকারী ক্ষেত্রে, বীমা, ব্যাঙ্ক, টেলিকম সংস্থাগুলিতে বাস্তবায়ন করছি, একটি বাস্তবায়ন একটি বিমান সংস্থার সাথে ছিল (প্রকল্পের আগে, আমরা এমনকি করিনি) মনে হয় বিমান চালনা ছিল একটি আইটি-নির্ভর শিল্প, এবং এখন আমরা সত্যিই আশা করি, কোভিড সত্ত্বেও, কোম্পানিটি উত্থিত হবে এবং যাত্রা শুরু করবে)।

আমরা যে পণ্যটি তৈরি করি তা এন্টারপ্রাইজ সফ্টওয়্যার, AIOps (IT অপারেশনের জন্য কৃত্রিম বুদ্ধিমত্তা, বা ITOps) বিভাগের অন্তর্গত। কোম্পানিতে প্রক্রিয়া পরিপক্কতার মাত্রা বৃদ্ধির মতো সিস্টেমগুলি বাস্তবায়নের প্রধান লক্ষ্যগুলি:

1. আগুন নিভিয়ে ফেলুন: ব্যর্থতা শনাক্ত করুন, ধ্বংসাবশেষ থেকে সতর্কতার স্রোত পরিষ্কার করুন, দায়ী ব্যক্তিদের কাজ এবং ঘটনা অর্পণ করুন;
2. আইটি পরিষেবার দক্ষতা বৃদ্ধি করুন: ঘটনাগুলি সমাধান করার জন্য সময় হ্রাস করুন, ব্যর্থতার কারণগুলি নির্দেশ করুন, আইটি অবস্থার স্বচ্ছতা বৃদ্ধি করুন;
3. ব্যবসায়িক দক্ষতা বৃদ্ধি করুন: কায়িক শ্রমের পরিমাণ হ্রাস করুন, ঝুঁকি হ্রাস করুন, গ্রাহকের আনুগত্য বাড়ান।

আমাদের অভিজ্ঞতায়, সমস্ত বড় আইটি অবকাঠামোর সাথে সাধারণ পর্যবেক্ষণের সাথে ব্যাঙ্কগুলির নিম্নলিখিত "ব্যথা" রয়েছে:

• "কে জানে কি": অনেক প্রযুক্তিগত বিভাগ আছে, প্রায় প্রত্যেকেরই অন্তত একটি মনিটরিং সিস্টেম রয়েছে এবং বেশিরভাগেরই একাধিক রয়েছে;
• সতর্কতার "মশার ঝাঁক": প্রতিটি সিস্টেম শত শত তৈরি করে এবং তাদের সাথে দায়ী সকলকে বোমাবর্ষণ করে (কখনও কখনও বিভাগের মধ্যেও)। প্রতিটি বিজ্ঞপ্তির উপর ক্রমাগত নিয়ন্ত্রণের ফোকাস বজায় রাখা কঠিন; বিপুল সংখ্যার কারণে তাদের জরুরীতা এবং গুরুত্ব সমান হয়;
• বড় ব্যাঙ্কগুলি - সেক্টরের নেতারা কেবল তাদের সিস্টেমগুলিকে ক্রমাগত পর্যবেক্ষণ করতে চায় না, কোথায় ব্যর্থতা রয়েছে তা জানতে চায়, তবে AI এর আসল জাদুও - সিস্টেমগুলিকে স্ব-নিরীক্ষণ, স্ব-ভবিষ্যদ্বাণী এবং স্ব-সঠিক করে তুলতে।

যখন আমরা টিংকফে প্রথম বৈঠকে আসি, তখন আমাদের সাথে সাথে বলা হয়েছিল যে তাদের পর্যবেক্ষণে কোন সমস্যা নেই এবং তাদের কিছুই ক্ষতি করেনি এবং মূল প্রশ্নটি ছিল: "যারা ইতিমধ্যে ভাল করছে তাদের জন্য আমরা কী দিতে পারি?"

কথোপকথনটি দীর্ঘ ছিল, আমরা আলোচনা করেছি কীভাবে তাদের মাইক্রোসার্ভিসগুলি তৈরি করা হয়, কীভাবে বিভাগগুলি কাজ করে, কোন অবকাঠামোগত সমস্যাগুলি বেশি সংবেদনশীল, কোনটি ব্যবহারকারীদের জন্য কম সংবেদনশীল, কোথায় "ব্লাইন্ড স্পট" এবং তাদের লক্ষ্য এবং এসএলএগুলি কী।

যাইহোক, ব্যাঙ্কের এসএলএগুলি সত্যিই চিত্তাকর্ষক। উদাহরণস্বরূপ, একটি অগ্রাধিকার XNUMX নেটওয়ার্ক উপলব্ধতার ঘটনাটি সমাধান করতে কয়েক মিনিট সময় নিতে পারে। এখানে ত্রুটি এবং ডাউনটাইম খরচ, অবশ্যই, চিত্তাকর্ষক.

ফলস্বরূপ, আমরা সহযোগিতার বেশ কয়েকটি ক্ষেত্র চিহ্নিত করেছি:

1. ঘটনার রেজোলিউশনের গতি বাড়ানোর জন্য প্রথম পর্যায়ে ছাতা পর্যবেক্ষণ
2. দ্বিতীয় পর্যায়ে ঝুঁকি কমাতে এবং আইটি বিভাগের স্কেলিংয়ের জন্য খরচ কমাতে প্রক্রিয়া অটোমেশন।

বেশ কয়েকটি "সাদা দাগ" শুধুমাত্র কয়েকটি মনিটরিং সিস্টেম থেকে তথ্য প্রক্রিয়াকরণের মাধ্যমে সতর্কতার উজ্জ্বল রঙে আঁকা যেতে পারে, যেহেতু সরাসরি মেট্রিক্স নেওয়া অসম্ভব ছিল; ক্রমানুসারে "এক স্ক্রিনে" বিভিন্ন মনিটরিং সিস্টেম থেকে ডেটা কেন্দ্রীভূত করাও প্রয়োজন ছিল। যা ঘটছে তার সামগ্রিক চিত্র বুঝতে। "ছাতা" এই কাজের জন্য উপযুক্ত এবং আমরা তখন এই প্রয়োজনীয়তাগুলি পূরণ করেছি।

একটি খুব গুরুত্বপূর্ণ জিনিস, আমাদের মতে, ক্লায়েন্টদের সাথে সম্পর্কের ক্ষেত্রে সততা। লাইসেন্সের খরচের প্রথম কথোপকথন এবং গণনার পরে, এটি বলা হয়েছিল যে যেহেতু ব্যয়টি এত কম, এটি এখনই একটি লাইসেন্স কেনার মূল্য হতে পারে (সবুজ ব্যাংক সম্পর্কে উপরের নিবন্ধ থেকে ডিনাট্রেস ক্লিউচ-অ্যাস্ট্রমের তুলনায়, আমাদের লাইসেন্সের দাম এক বিলিয়নের এক তৃতীয়াংশ নয়, তবে 12 গিগাবাইটের জন্য প্রতি মাসে 1 হাজার রুবেল, Sber এর জন্য এটি কয়েকগুণ সস্তা খরচ হবে)। কিন্তু আমরা তাৎক্ষণিকভাবে তাদের বলে দিই আমাদের কী আছে আর কী নেই। সম্ভবত একটি বড় ইন্টিগ্রেটরের বিক্রয় প্রতিনিধি বলতে পারে "হ্যাঁ, আমরা সবকিছু করতে পারি, অবশ্যই আমাদের লাইসেন্স কিনতে পারি" কিন্তু আমরা আমাদের সমস্ত কার্ড টেবিলে রাখার সিদ্ধান্ত নিয়েছি। লঞ্চের সময়, আমাদের বাক্সে প্রমিথিউসের সাথে ইন্টিগ্রেশন ছিল না, এবং একটি অটোমেশন সাবসিস্টেম সহ একটি নতুন সংস্করণ প্রকাশিত হতে চলেছে, কিন্তু আমরা এখনও এটি গ্রাহকদের কাছে প্রেরণ করিনি৷

পাইলট প্রকল্প শুরু হয়েছিল, এর সীমানা নির্ধারণ করা হয়েছিল এবং আমাদের 2 মাস সময় দেওয়া হয়েছিল। প্রধান কাজ ছিল:

• প্ল্যাটফর্মের একটি নতুন সংস্করণ প্রস্তুত করুন এবং এটি ব্যাঙ্কের পরিকাঠামোতে স্থাপন করুন
• 2 মনিটরিং সিস্টেম সংযুক্ত করুন (জ্যাবিক্স এবং প্রমিথিউস);
• স্ল্যাকে এবং এসএমএসের মাধ্যমে দায়িত্বপ্রাপ্তদের বিজ্ঞপ্তি পাঠান;
• অটোহিলিং স্ক্রিপ্ট চালান।

পাইলট প্রকল্পের প্রথম মাসটি পাইলট প্রকল্পের প্রয়োজনের জন্য সুপার-ফাস্ট মোডে প্ল্যাটফর্মের একটি নতুন সংস্করণ প্রস্তুত করতে ব্যয় করা হয়েছিল। নতুন সংস্করণ অবিলম্বে Prometheus এবং স্বয়ংক্রিয় নিরাময় সঙ্গে একীকরণ অন্তর্ভুক্ত. আমাদের ডেভেলপমেন্ট টিমকে ধন্যবাদ, তারা বেশ কয়েক রাত ঘুমায়নি, কিন্তু পূর্বে করা অন্যান্য প্রতিশ্রুতির সময়সীমা মিস না করে তারা যা প্রতিশ্রুতি দিয়েছে তা প্রকাশ করেছে।

যখন আমরা পাইলট সেট আপ করছিলাম, তখন আমরা একটি নতুন সমস্যার সম্মুখীন হয়েছিলাম যা সময়সূচির আগেই প্রকল্পটি বন্ধ করে দিতে পারে: তাত্ক্ষণিক বার্তাবাহকদের এবং এসএমএসের মাধ্যমে সতর্কতা পাঠাতে, আমাদের Microsoft Azure সার্ভারগুলিতে ইনকামিং এবং আউটগোয়িং সংযোগের প্রয়োজন ছিল (সে সময়ে আমরা এই প্ল্যাটফর্মটি ব্যবহার করতাম স্ল্যাকে সতর্কতা পাঠাতে) এবং একটি বহিরাগত পাঠানো পরিষেবা এসএমএস। কিন্তু এই প্রকল্পে, নিরাপত্তা একটি বিশেষ ফোকাস ছিল. ব্যাঙ্কের নীতি অনুসারে, এই ধরনের "গর্ত" কোনো অবস্থাতেই খোলা যাবে না। সবকিছু একটি বন্ধ লুপ থেকে কাজ ছিল. আমাদের নিজস্ব অভ্যন্তরীণ পরিষেবাগুলির API ব্যবহার করার প্রস্তাব দেওয়া হয়েছিল যা স্ল্যাকে এবং এসএমএসের মাধ্যমে সতর্কতা পাঠায়, কিন্তু আমাদের কাছে এই ধরনের পরিষেবাগুলিকে বাক্সের বাইরে সংযুক্ত করার সুযোগ ছিল না।

উন্নয়ন দলের সাথে বিতর্কের একটি সন্ধ্যা সমাধানের জন্য একটি সফল অনুসন্ধানের সাথে শেষ হয়েছে। ব্যাকলগের মধ্যে দিয়ে গুঞ্জন করার পরে, আমরা এমন একটি কাজ খুঁজে পেয়েছি যার জন্য আমাদের কখনই পর্যাপ্ত সময় এবং অগ্রাধিকার ছিল না - একটি প্লাগ-ইন সিস্টেম তৈরি করা যাতে বাস্তবায়নকারী দল বা ক্লায়েন্টরা নিজেরাই অ্যাড-অন লিখতে পারে, প্ল্যাটফর্মের ক্ষমতা প্রসারিত করে।

কিন্তু আমাদের ঠিক এক মাস বাকি ছিল, যে সময়ে আমাদের সবকিছু ইনস্টল করতে হবে, কনফিগার করতে হবে এবং অটোমেশন স্থাপন করতে হবে।

আমাদের প্রধান স্থপতি সের্গেই এর মতে, প্লাগ-ইন সিস্টেমটি বাস্তবায়ন করতে কমপক্ষে এক মাস সময় লাগে।

আমাদের সময় ছিল না...

একমাত্র সমাধান ছিল - ক্লায়েন্টের কাছে যান এবং সবকিছু যেমন আছে বলুন। একসাথে সময়সীমা পরিবর্তন নিয়ে আলোচনা করুন। এবং এটা কাজ করে. আমাদের আরও ২ সপ্তাহ সময় দেওয়া হয়েছিল। ফলাফল দেখানোর জন্য তাদের নিজস্ব সময়সীমা এবং অভ্যন্তরীণ বাধ্যবাধকতাও ছিল, কিন্তু তাদের কাছে 2 রিজার্ভ সপ্তাহ ছিল। শেষ পর্যন্ত, আমরা লাইনে সবকিছু করা. তালগোল পাকানো অসম্ভব ছিল। সততা এবং একটি অংশীদারিত্ব পদ্ধতি আবার বন্ধ পরিশোধ.

পাইলটের ফলস্বরূপ, বেশ কয়েকটি গুরুত্বপূর্ণ প্রযুক্তিগত ফলাফল এবং উপসংহার প্রাপ্ত হয়েছিল:

আমরা সতর্কতা প্রক্রিয়াকরণের জন্য নতুন কার্যকারিতা পরীক্ষা করেছি

স্থাপন করা সিস্টেম সঠিকভাবে প্রমিথিউসের কাছ থেকে সতর্কতা গ্রহণ করতে শুরু করে এবং তাদের দলবদ্ধ করে। প্রমিথিউস ক্লায়েন্টের কাছ থেকে সমস্যা সম্পর্কে সতর্কতা প্রতি 30 সেকেন্ডে উড়ছিল (সময় অনুসারে গোষ্ঠীকরণ সক্ষম করা হয়নি), এবং আমরা ভাবছিলাম যে তাদের "ছাতা" তে গ্রুপ করা সম্ভব হবে কিনা। দেখা গেল যে এটি সম্ভব - প্ল্যাটফর্মে সতর্কতার প্রক্রিয়াকরণ সেট আপ করা একটি স্ক্রিপ্ট দ্বারা বাস্তবায়িত হয়। এটি তাদের প্রক্রিয়াকরণের জন্য প্রায় কোনো যুক্তি বাস্তবায়ন করা সম্ভব করে তোলে। আমরা ইতিমধ্যে প্ল্যাটফর্মে টেমপ্লেট আকারে স্ট্যান্ডার্ড লজিক প্রয়োগ করেছি - আপনি যদি নিজের কিছু নিয়ে আসতে না চান তবে আপনি একটি রেডিমেড ব্যবহার করতে পারেন।

"সিন্থেটিক ট্রিগার" ইন্টারফেস। সংযুক্ত মনিটরিং সিস্টেম থেকে সতর্কতা প্রক্রিয়াকরণ সেট আপ করা

সিস্টেমের "স্বাস্থ্য" অবস্থা তৈরি করেছে

সতর্কতার উপর ভিত্তি করে, মনিটরিং ইভেন্টগুলি তৈরি করা হয়েছিল যা কনফিগারেশন ইউনিটের (CUs) স্বাস্থ্যকে প্রভাবিত করেছিল। আমরা একটি রিসোর্স-সার্ভিস মডেল (RSM) বাস্তবায়ন করছি, যা হয় একটি অভ্যন্তরীণ CMDB ব্যবহার করতে পারে বা একটি বাহ্যিক সংযোগ করতে পারে - পাইলট প্রকল্পের সময় ক্লায়েন্ট তার নিজস্ব CMDB সংযোগ করেনি।

রিসোর্স-সার্ভিস মডেলের সাথে কাজ করার জন্য ইন্টারফেস। পাইলট আরএসএম।

ঠিক আছে, আসলে, ক্লায়েন্টের অবশেষে একটি একক মনিটরিং স্ক্রীন রয়েছে, যেখানে বিভিন্ন সিস্টেমের ঘটনাগুলি দৃশ্যমান। বর্তমানে, দুটি সিস্টেম "ছাতা" এর সাথে সংযুক্ত - জ্যাবিক্স এবং প্রমিথিউস, এবং প্ল্যাটফর্মের নিজেই একটি অভ্যন্তরীণ পর্যবেক্ষণ ব্যবস্থা।

বিশ্লেষণ ইন্টারফেস। একক পর্যবেক্ষণ পর্দা।

প্রসেস অটোমেশন চালু হয়েছে

ইভেন্টগুলি মনিটরিং পূর্ব-কনফিগার করা অ্যাকশনগুলিকে ট্রিগার করে - সতর্কতা পাঠানো, স্ক্রিপ্ট চালানো, ঘটনাগুলি নিবন্ধন/সমৃদ্ধ করা - পরবর্তীটি এই নির্দিষ্ট ক্লায়েন্টের সাথে চেষ্টা করা হয়নি, কারণ পাইলট প্রকল্পে পরিষেবা ডেস্কের সাথে কোনও একীকরণ ছিল না।

অ্যাকশন সেটিংস ইন্টারফেস। Slack এ সতর্কতা পাঠান এবং সার্ভার রিবুট করুন।

প্রসারিত পণ্য কার্যকারিতা

অটোমেশন স্ক্রিপ্ট নিয়ে আলোচনা করার সময়, ক্লায়েন্ট ব্যাশ সমর্থন এবং একটি ইন্টারফেসের জন্য অনুরোধ করেছিল যেখানে এই স্ক্রিপ্টগুলি সুবিধাজনকভাবে কনফিগার করা যেতে পারে। নতুন সংস্করণটি আরও একটু বেশি করেছে (সিআরএল, এসএসএইচ এবং এসএনএমপি-র সমর্থন সহ লুয়াতে সম্পূর্ণ লজিক্যাল কনস্ট্রাক্ট লেখার ক্ষমতা) এবং কার্যকরী কার্যকারিতা যা আপনাকে একটি স্ক্রিপ্টের জীবনচক্র (তৈরি, সম্পাদনা, সংস্করণ নিয়ন্ত্রণ) পরিচালনা করতে দেয়। , মুছুন এবং সংরক্ষণাগার)।

অটোহিলিং স্ক্রিপ্টগুলির সাথে কাজ করার জন্য ইন্টারফেস। SSH এর মাধ্যমে সার্ভার রিবুট স্ক্রিপ্ট।

প্রধান ফলাফল

পাইলট চলাকালীন, ব্যবহারকারীর গল্পগুলিও তৈরি করা হয়েছিল যা বর্তমান কার্যকারিতা উন্নত করে এবং ক্লায়েন্টের জন্য মান বৃদ্ধি করে, এখানে সেগুলির কয়েকটি রয়েছে:

• সতর্কতা থেকে অটোহিলিং স্ক্রিপ্টে সরাসরি ভেরিয়েবল ফরোয়ার্ড করার ক্ষমতা প্রয়োগ করুন;
• অ্যাক্টিভ ডিরেক্টরির মাধ্যমে প্ল্যাটফর্মে অনুমোদন যোগ করুন।

এবং আমরা আরও বৈশ্বিক চ্যালেঞ্জ পেয়েছি - অন্যান্য ক্ষমতা সহ পণ্যটিকে "বিল্ড আপ" করতে:

• নিয়ম এবং এজেন্টের পরিবর্তে ML-এর উপর ভিত্তি করে একটি রিসোর্স-সার্ভিস মডেলের স্বয়ংক্রিয় নির্মাণ (সম্ভবত এখন প্রধান চ্যালেঞ্জ);
• অতিরিক্ত স্ক্রিপ্টিং এবং লজিক ভাষার জন্য সমর্থন (এবং এটি জাভাস্ক্রিপ্ট হবে)।

আমার মতে, সবচেয়ে গুরুত্বপূর্ণ বিষয়এই পাইলট যা দেখায় তা হল দুটি জিনিস:

1. ক্লায়েন্টের সাথে অংশীদারিত্ব হল কার্যকারিতার চাবিকাঠি, যখন কার্যকর যোগাযোগ সততা এবং খোলামেলাতার ভিত্তিতে তৈরি করা হয় এবং ক্লায়েন্ট এমন একটি দলের অংশ হয়ে ওঠে যা অল্প সময়ের মধ্যে উল্লেখযোগ্য ফলাফল অর্জন করে।
2. কোন অবস্থাতেই "কাস্টমাইজ" এবং "ক্র্যাচ" তৈরি করার প্রয়োজন নেই - শুধুমাত্র সিস্টেম সমাধান। একটু বেশি সময় ব্যয় করা ভাল, তবে একটি সিস্টেম সমাধান তৈরি করুন যা অন্যান্য ক্লায়েন্টদের দ্বারা ব্যবহার করা হবে। যাইহোক, এটিই ঘটেছে, প্লাগইন সিস্টেম এবং Azure-এর উপর নির্ভরতা দূরীকরণ অন্যান্য ক্লায়েন্টদের অতিরিক্ত মান প্রদান করেছে (হ্যালো, ফেডারেল ল 152)।

উত্স: www.habr.com