LMS-এর জন্য ওপেন সোর্স সফ্টওয়্যার: কীভাবে বিনামূল্যে সফ্ট VTB-তে গুরুত্বপূর্ণ ব্যবসায়িক সিস্টেমগুলি পরিচালনা করতে সাহায্য করে৷

আমাদের ব্যাঙ্কে ডকুমেন্টেশন সাপোর্ট সিস্টেম ক্রমাগত বিকাশ এবং স্কেলিং করছে, এবং গতি এবং ত্রুটি সহনশীলতার প্রয়োজনীয়তাগুলি কেবল বাড়ছে। কিছু সময়ে, কার্যকর কেন্দ্রীভূত পর্যবেক্ষণ ছাড়া একটি LMS বজায় রাখা খুব ঝুঁকিপূর্ণ হয়ে ওঠে। VTB-তে ব্যবসায়িক প্রক্রিয়াগুলিকে সুরক্ষিত করতে এবং প্রশাসকদের কাজকে সহজ করতে, আমরা খোলা প্রযুক্তির স্ট্যাকের উপর ভিত্তি করে একটি সমাধান প্রয়োগ করেছি। এর সাহায্যে, আমরা সম্ভাব্য সমস্যাগুলি প্রতিরোধ করে, ঘটনাগুলির প্রতি সক্রিয়ভাবে প্রতিক্রিয়া জানাতে পারি। বড় আকারের ব্যবসায়িক ব্যবস্থা নিরীক্ষণের জন্য বিনামূল্যে সফ্টওয়্যার ব্যবহার করার ক্ষেত্রে আমাদের অভিজ্ঞতা সম্পর্কে একটি গল্প নিচে দেওয়া হল।

কেন আপনার নথি ব্যবস্থাপনা সিস্টেম নিরীক্ষণ?

2005 সাল থেকে, VTB ব্যাংকে ডকুমেন্টেশন সমর্থন কোম্পানিমিডিয়া সিস্টেম দ্বারা "পরিচালিত" হয়েছে। LMS 60 হাজারেরও বেশি ব্যবহারকারী নিয়োগ করে যারা প্রতি মাসে এক মিলিয়নেরও বেশি নতুন নথি তৈরি করে। আমাদের সার্ভারগুলিকে অবশ্যই দিনে 24 ঘন্টা কাজ করতে হবে: প্রায় যেকোনো মুহূর্তে সিস্টেমে 2500-3000 জন লোক থাকে, যারা পেট্রোপাভলভস্ক-কামচাটস্কি থেকে কালিনিনগ্রাদ পর্যন্ত সারা দেশে সংযুক্ত থাকে। LMS অপারেশনের প্রতি সেকেন্ড মানে 10-15 পরিবর্তন।

সিস্টেমটি তার নির্ধারিত কাজগুলি সঠিকভাবে পূরণ করে তা নিশ্চিত করতে, আমরা প্রক্সি সার্ভার, অনুরোধের ভারসাম্য, তথ্য সুরক্ষা, পূর্ণ-পাঠ্য অনুসন্ধান, ইন্টিগ্রেশন রুট এবং ব্যাকআপ ব্যবহার করে একটি ত্রুটি-সহনশীল পরিকাঠামো স্থাপন করেছি। এই স্কেলের একটি প্রকল্পকে সমর্থন ও পরিচালনার জন্য প্রচুর সম্পদের প্রয়োজন। অ্যাডমিনিস্ট্রেটররা সার্ভার অপারেশন, RAM লোড, CPU সময়, I/O সাবসিস্টেম, এবং তাই ঘড়ির চারপাশে মৌলিক তথ্য নিরীক্ষণ করে। তবে এটি ছাড়াও, আরও সূক্ষ্ম বিশ্লেষণের প্রয়োজন:

• ব্যবসায়িক পরিস্থিতি সম্পাদনে ব্যয় করা সময়ের গণনা করা;
• সিস্টেমের কর্মক্ষমতা এবং এতে লোডের গতিশীলতা পর্যবেক্ষণ করা;
• অনুমোদিত অ-কার্যকরী প্রয়োজনীয়তা থেকে সিস্টেমের উপাদানগুলিতে বিচ্যুতি অনুসন্ধান করা।

এলএমএস প্রবর্তনের 11 বছর পরে, বিভিন্ন ধরণের ত্রুটির জন্য সক্রিয় প্রতিক্রিয়ার বিষয়টি বিশেষত তীব্র হয়ে উঠেছে। ব্যাঙ্কের ম্যানেজমেন্ট বুঝতে পেরেছিল যে মনিটর ছাড়া কাজ করা এবং একটি সিস্টেম লাইফ কনসোল আগুনের সাথে খেলছে: এই স্তরের ব্যবসায়িক সিস্টেমে সামান্যতম ব্যর্থতার ফলে লক্ষ লক্ষ লোকসান হতে পারে।

2016 সালে, আমরা রিয়েল টাইমে আমাদের আগ্রহের পরামিতিগুলি পর্যবেক্ষণ সহ LMS-এর কার্যকারিতাতে সমস্যাগুলি দ্রুত সনাক্ত করার জন্য সরঞ্জামগুলি প্রবর্তন করা শুরু করি৷ পূর্বে, আন্তঃট্রাস্ট কোম্পানি অবকাঠামোর কাঠামোর মধ্যে প্রয়োগ করা মনিটরিং সিস্টেম স্থাপন এবং পরীক্ষা করা হয়েছিল।

কিভাবে এটা সব শুরু

আজ, ওপেন সোর্স সফ্টওয়্যার পণ্যের উপর ভিত্তি করে VTB LMS-এর কেন্দ্রীভূত অ্যাপ্লিকেশন মনিটরিং সিস্টেম, ডকুমেন্ট প্রবাহের সাথে যুক্ত বেশিরভাগ ত্রুটি প্রতিরোধ করতে সাহায্য করে, সমস্যাগুলি দ্রুত এবং সঠিকভাবে শ্রেণীবদ্ধ করতে এবং যেকোনো ঘটনার সাথে সাথে প্রতিক্রিয়া জানাতে সাহায্য করে। এটি দুটি সাবসিস্টেম অন্তর্ভুক্ত করে:

• সিস্টেম পরিষেবাগুলির আইটি অবকাঠামো নিরীক্ষণের জন্য;
• LMS এর অপারেশনে ত্রুটির ঘটনা নিরীক্ষণ করতে।

এটি সব একটি একক বিনামূল্যে পর্যবেক্ষণ অ্যাপ্লিকেশন দিয়ে শুরু. বেশ কয়েকটি বিকল্পের মধ্য দিয়ে যাওয়ার পরে, আমরা Zabbix-এ স্থির হয়েছি - বিনামূল্যের সফ্টওয়্যার যা মূলত ব্যাঙ্কিং পরিষেবা এবং সরঞ্জামগুলির জন্য লেখা হয়েছিল৷ এই PHP ওয়েব-ভিত্তিক সিস্টেম, যা MySQL, PostgreSQL, SQLite বা Oracle ডেটাবেসে ডেটা সঞ্চয় করতে পারে, আমাদের প্রয়োজনের জন্য উপযুক্ত ছিল।

Zabbix প্রতিটি সার্ভারে তার এজেন্ট চালায় এবং একটি একক ডাটাবেসে রিয়েল টাইমে আগ্রহের মেট্রিক্সের তথ্য সংগ্রহ করে। অ্যাপ্লিকেশনটি ব্যবহার করে, প্রসেসর এবং র‌্যামের উপর লোড, নেটওয়ার্ক এবং অন্যান্য উপাদানগুলির ব্যবহার, স্ট্যান্ডার্ড পরিষেবাগুলির (SMTP বা HTTP) প্রাপ্যতা এবং প্রতিক্রিয়া পরীক্ষা করা, বাহ্যিক প্রোগ্রাম চালানো এবং এর মাধ্যমে পর্যবেক্ষণ সমর্থন করা সুবিধাজনক। এসএনএমপি।

Zabbix স্থাপন করার পরে, আমরা স্ট্যান্ডার্ড হার্ডওয়্যার মেট্রিক্স কনফিগার করেছি এবং প্রথমে এটি যথেষ্ট ছিল। কিন্তু VTB SDO ক্রমাগত বিকাশ এবং বৃদ্ধি পাচ্ছে: 2016 সালে, সার্ভারের সংখ্যা লক্ষণীয়ভাবে বৃদ্ধি পেয়েছে, মাইগ্রেশন প্রক্রিয়াগুলি উপস্থিত হয়েছে, ব্যাঙ্ক অফ মস্কো, VTB ক্যাপিটাল এবং VTB24 সিস্টেমে যোগ দিয়েছে। এখন আর পর্যাপ্ত স্ট্যান্ডার্ড মেট্রিক্স নেই, এবং আমরা Zabbix কে সার্ভারের সাথে সংযুক্ত প্রতিটি ভলিউমে সারিগুলির উপস্থিতি সম্পর্কে তথ্য ট্র্যাক করতে শিখিয়েছি (বক্সের বাইরে Zabbix শুধুমাত্র সাধারণ ডিস্ক সারি প্রতিফলিত করে), সেইসাথে এতে যে সময় লাগে একটি নির্দিষ্ট প্রক্রিয়া সম্পন্ন করতে।

এছাড়াও, আমরা সিস্টেমটিকে একাধিক ট্রিগার দিয়ে সজ্জিত করেছি - শর্তাবলী যার অধীনে প্রশাসকের কাছে একটি বিজ্ঞপ্তি পাঠানো হয় (টেলিগ্রামে একটি বার্তা, একটি ফোন নম্বরে একটি এসএমএস বা একটি ইমেল)। ট্রিগার যে কোনো সেটের প্যারামিটারের জন্য কনফিগার করা যেতে পারে। উদাহরণস্বরূপ, আপনি মুক্ত ডিস্ক স্থানের একটি নির্দিষ্ট শতাংশ নির্দিষ্ট করতে পারেন এবং নির্দিষ্ট থ্রেশহোল্ডে পৌঁছে গেলে সিস্টেম অ্যাডমিনিস্ট্রেটরকে সতর্ক করবে, অথবা একটি ব্যাকগ্রাউন্ড পদ্ধতি স্বাভাবিকের চেয়ে বেশি সময় ধরে চললে আপনাকে জানাবে।

জাভা সংযোগ এবং ডেটা ভিজ্যুয়ালাইজেশন

আমরা বিশ্লেষণকৃত ডেটার পরিসর উল্লেখযোগ্যভাবে প্রসারিত করেছি, কিন্তু শীঘ্রই এটি কার্যকর পর্যবেক্ষণের জন্য যথেষ্ট ছিল না। কোম্পানিমিডিয়ার এলএমএস একটি জাভা অ্যাপ্লিকেশন হওয়ার সুযোগ নিয়ে আমরা জেএমএক্স ইন্টারফেসের মাধ্যমে জাভা ভার্চুয়াল মেশিনের সাথে সংযুক্ত হয়েছি এবং সরাসরি জাভা মেট্রিক্স নিতে সক্ষম হয়েছি। এবং শুধুমাত্র জাভা অত্যাবশ্যক ক্রিয়াকলাপের স্ট্যান্ডার্ড প্যারামিটারই নয়, যেমন GC কাজের তীব্রতা বা হিপ খরচ, তবে এক্সিকিউটেবল অ্যাপ্লিকেশন কোডের সাথে সরাসরি সম্পর্কিত নির্দিষ্ট পরীক্ষাগুলিও।

2017 সালে, মনিটরিং সিস্টেম বাস্তবায়নের প্রায় এক বছর পরে, এটি পরিষ্কার হয়ে যায় যে Zabbix-এ সংগৃহীত বিপুল পরিমাণ ডেটার সাথে স্বাভাবিকভাবে কাজ করার জন্য, যথেষ্ট ভিজ্যুয়ালাইজেশন ছিল না - জটিল পর্দা। এই সমস্যার সর্বোত্তম সমাধান ছিল আবার বিনামূল্যের সফ্টওয়্যার - Grafana, মেট্রিক্সের জন্য একটি সুবিধাজনক ড্যাশবোর্ড যা আপনাকে একটি স্ক্রিনে সমস্ত ডেটা একত্রিত করতে দেয়।

Grafana ইন্টারফেস ইন্টারেক্টিভ, একটি OLAP সিস্টেমের স্মরণ করিয়ে দেয়। সাবসিস্টেম একটি একক স্ক্রিনে Zabbix দ্বারা প্রাপ্ত ডেটা প্রদর্শন করে, তথ্যগুলিকে গ্রাফ এবং ডায়াগ্রাম আকারে উপস্থাপন করে যা বিশ্লেষণ করা সহজ। প্রশাসক সহজেই তার প্রয়োজনীয় স্লাইস কাস্টমাইজ করতে পারেন।

এলএমএস সিস্টেমে ত্রুটিগুলির নিরীক্ষণ এবং প্রতিরোধমূলক নির্মূল

ELK ওপেন সোর্স সফ্টওয়্যার প্ল্যাটফর্ম আপনাকে পর্যবেক্ষণের সময় প্রাপ্ত তথ্য ফিল্টার এবং বিশ্লেষণ করতে সহায়তা করে। এই ওপেনসোর্স পণ্যটিতে ডেটা সংগ্রহ, সংরক্ষণ এবং বিশ্লেষণ করার জন্য তিনটি শক্তিশালী টুল রয়েছে: ইলাস্টিকসার্চ, লগস্ট্যাশ এবং কিবানা। এই সাবসিস্টেমটির বাস্তবায়ন, বিশেষ করে, সিস্টেমে কতগুলি ত্রুটি ঘটেছে, কোন সার্ভারে এবং এই ত্রুটিগুলি পুনরাবৃত্তি হয়েছে কিনা তা রিয়েল টাইমে দেখার অনুমতি দেয়।

এখন অ্যাডমিনিস্ট্রেটর প্রাথমিক পর্যায়ে একটি সমস্যা সনাক্ত করতে পারে, এমনকি ব্যবহারকারী এটির সম্মুখীন হওয়ার আগেই। এই ধরনের সক্রিয় পর্যবেক্ষণ আপনাকে সময়মত ত্রুটিগুলি দূর করে সিস্টেমের ত্রুটিগুলি প্রতিরোধ করতে দেয়। উপরন্তু, আমরা আপডেটের পরে সিস্টেমের আচরণ কীভাবে পরিবর্তিত হয়েছে তা বুঝতে পারি, সেইসাথে নতুন সমস্যাগুলি উপস্থিত হলে সনাক্ত করতে পারি।

ব্যবসায়িক অপারেশন মনিটরিং

সম্পদ খরচ নিরীক্ষণের মৌলিক ফাংশন ছাড়াও, সিস্টেমের ব্যবসায়িক ক্রিয়াকলাপ বিশ্লেষণ এবং নিয়ন্ত্রণ করার ক্ষমতা রয়েছে।

ব্যবসায়িক ক্রিয়াকলাপের সামগ্রিক নির্বাহের সময় পর্যবেক্ষণ করা আপনাকে নতুন কারণগুলি সনাক্ত করতে এবং সিস্টেমের ক্রিয়াকলাপের উপর তাদের প্রভাব বুঝতে দেয়।

প্রতিটি ব্যবসায়িক পরিষেবার জন্য অনুরোধগুলি সম্পাদনের সময় পর্যবেক্ষণ করা আদর্শ থেকে বিচ্যুত ক্রিয়াকলাপগুলি সনাক্ত করা সম্ভব করে তোলে।

উপরের স্ক্রিনশটটি আদর্শ থেকে বিচ্যুতির পরিপ্রেক্ষিতে একটি ব্যাকগ্রাউন্ড টাস্ক নিরীক্ষণের একটি উদাহরণ।

একটি নির্দিষ্ট সার্ভারে তাদের ক্রিয়াকলাপের পরিপ্রেক্ষিতে নিয়ন্ত্রিত কাজের তালিকা আপনাকে সমস্ত সার্ভার জুড়ে - টাস্ক এক্সিকিউশনের ডুপ্লিকেশন সহ - ত্রুটিগুলি সনাক্ত করতে দেয়৷

ব্যাকগ্রাউন্ড পদ্ধতির কার্যকরী সময়ের প্রবণতাও পর্যবেক্ষণ করা হয়।

সিস্টেম বৃদ্ধি, বিকাশ এবং সমস্যা মোকাবেলা করতে সাহায্য করে

বর্ণিত সিস্টেমের বাস্তবায়নের সাথে, এলএমএস সার্ভারের অপারেশন নিরীক্ষণ উল্লেখযোগ্যভাবে সরলীকৃত হয়েছে। তা সত্ত্বেও, সময়ে সময়ে বিভিন্ন ধরনের দ্বন্দ্ব দেখা দেয়, যা নথি প্রবাহের গতিকে প্রভাবিত করে এবং ব্যবহারকারীর অভিযোগের কারণ হয়। সুতরাং আমরা বুঝতে পেরেছি যে শুধুমাত্র সার্ভার নয়, অ্যাপ্লিকেশনের আচরণ নিয়ন্ত্রণ করা প্রয়োজন।

এই সমস্যাটি সমাধান করার জন্য, একটি ব্যালেন্সার API এর মাধ্যমে পর্যবেক্ষণ সিস্টেমের সাথে সংযুক্ত ছিল, যা অ্যাপ্লিকেশন সার্ভারগুলির একটি ক্লাস্টারের সাথে কাজ করে। এটির জন্য ধন্যবাদ, প্রশাসক দেখতে পারেন যে প্রতিটি ব্যবহারকারীর অনুরোধে সাড়া দিতে সার্ভার কত সময় নেয়।

সার্ভার প্রতিক্রিয়া সময়ের ডেটা বিশ্লেষণের জন্য উপলব্ধ হয়ে ওঠে, যা সার্ভারে ঘটতে থাকা প্রক্রিয়াগুলির সাথে LMS-এর মন্থরতাকে লিঙ্ক করা সম্ভব করে তোলে। বিশেষ করে, একটি আকর্ষণীয় পরিস্থিতি আবির্ভূত হয়েছে: সার্ভারটি ধীরে ধীরে চলছে, যদিও এই মুহুর্তে এটি লোড হয় না। অসংগতি বিশ্লেষণ করে, আমরা আবর্জনা সংগ্রাহক জাভার অপারেশনে বিচ্যুতি আবিষ্কার করেছি। শেষ পর্যন্ত, দেখা গেল যে এই পরিষেবাটির ভুল অপারেশন এই পরিস্থিতির দিকে পরিচালিত করেছিল। আবর্জনা সংগ্রাহক জাভা নিয়ন্ত্রণ করে, আমরা সম্পূর্ণরূপে সমস্যাটি দূর করেছি।

এইভাবে বিনামূল্যে সফ্টওয়্যার ব্যাংকিং শিল্পে ডকুমেন্ট ম্যানেজমেন্ট সিস্টেমের বিকাশ এবং বৃদ্ধিতে সহায়তা করে। আমরা VTB SDO মনিটরিং সিস্টেমের সাথে সম্পর্কিত শুধুমাত্র প্রধান বিষয়গুলিকে স্পর্শ করেছি। আপনি যদি বিশদে আগ্রহী হন তবে মন্তব্যগুলিতে জিজ্ঞাসা করুন, আমরা আপনার সাথে আমাদের অভিজ্ঞতা ভাগ করে নিতে পেরে খুশি হব।

উত্স: www.habr.com