ہمارے بینک میں دستاویزی معاونت کا نظام مسلسل ترقی کر رہا ہے اور اسکیل کر رہا ہے، اور رفتار اور غلطی کو برداشت کرنے کے تقاضے صرف بڑھ رہے ہیں۔ کسی وقت، مؤثر مرکزی نگرانی کے بغیر LMS کو برقرار رکھنا بہت خطرناک ہو گیا۔ VTB پر کاروباری عمل کو محفوظ بنانے اور منتظمین کے کام کو آسان بنانے کے لیے، ہم نے اوپن ٹیکنالوجیز کے اسٹیک پر مبنی ایک حل نافذ کیا۔ اس کی مدد سے، ہم ممکنہ مسائل کو روکتے ہوئے واقعات کا فعال طور پر جواب دے سکتے ہیں۔ کٹ کے نیچے بڑے پیمانے پر کاروباری نظام کی نگرانی کے لیے مفت سافٹ ویئر استعمال کرنے کے ہمارے تجربے کے بارے میں ایک کہانی ہے۔
اپنے دستاویز کے انتظام کے نظام کی نگرانی کیوں کریں؟
2005 سے، VTB بینک میں دستاویزی معاونت کمپنیمیڈیا سسٹم کے ذریعے "منظم" کی گئی ہے۔ LMS 60 ہزار سے زیادہ صارفین کو ملازمت دیتا ہے جو ہر ماہ ایک ملین سے زیادہ نئی دستاویزات بناتے ہیں۔ ہمارے سرورز کو دن میں 24 گھنٹے کام کرنا چاہیے: تقریباً کسی بھی وقت سسٹم میں 2500–3000 لوگ ہوتے ہیں، جو پیٹرو پاولوسک-کامچٹسکی سے لے کر کیلینن گراڈ تک پورے ملک میں جڑے ہوتے ہیں۔ LMS آپریشن کے ہر سیکنڈ کا مطلب ہے 10-15 تبدیلیاں۔
اس بات کو یقینی بنانے کے لیے کہ سسٹم اپنے تفویض کردہ کاموں کو درست طریقے سے پورا کرتا ہے، ہم نے پراکسی سرورز، درخواست میں توازن، معلومات کے تحفظ، مکمل متن کی تلاش، انضمام کے راستوں اور بیک اپ کا استعمال کرتے ہوئے ایک غلطی برداشت کرنے والا بنیادی ڈھانچہ تعینات کیا ہے۔ اس پیمانے کے منصوبے کی حمایت اور انتظام کے لیے بے پناہ وسائل کی ضرورت ہوتی ہے۔ منتظمین چوبیس گھنٹے سرور کے آپریشن، RAM لوڈ، CPU ٹائم، I/O سب سسٹم، اور اسی طرح کے بارے میں بنیادی معلومات کی نگرانی کرتے ہیں۔ لیکن اس کے علاوہ، مزید لطیف تجزیات کی ضرورت ہے:
- کاروباری منظرناموں کو انجام دینے میں صرف کیے گئے وقت کا حساب لگانا؛
- سسٹم کی کارکردگی اور اس پر بوجھ کی حرکیات کی نگرانی؛
- منظور شدہ غیر فعال ضروریات سے سسٹم کے اجزاء میں انحراف کی تلاش۔
LMS کے متعارف ہونے کے 11 سال بعد، مختلف قسم کی غلطیوں کے لیے فعال ردعمل کا مسئلہ خاص طور پر شدید ہو گیا ہے۔ بینک کی انتظامیہ نے محسوس کیا کہ مانیٹر اور سسٹم لائف کنسول کے بغیر کام کرنا آگ سے کھیل رہا ہے: اس سطح کے کاروباری نظام میں معمولی سی ناکامی کے نتیجے میں لاکھوں کا نقصان ہو سکتا ہے۔
2016 میں، ہم نے LMS کے کام میں تیزی سے دشواریوں کی نشاندہی کرنے کے لیے ٹولز متعارف کرانا شروع کیے، بشمول حقیقی وقت میں ہماری دلچسپی کے پیرامیٹرز کی نگرانی۔ اس سے پہلے، لاگو نگرانی کے نظام کو انٹر ٹرسٹ کمپنی کے بنیادی ڈھانچے کے فریم ورک کے اندر تعینات اور ٹیسٹ کیا گیا تھا۔
جہاں سے یہ سب شروع ہوا۔
آج، اوپن سورس سافٹ ویئر پروڈکٹس پر مبنی VTB LMS کا سنٹرلائزڈ ایپلیکیشن مانیٹرنگ سسٹم، دستاویز کے بہاؤ سے وابستہ زیادہ تر غلطیوں کو روکنے، مسائل کو جلدی اور درست طریقے سے درجہ بندی کرنے، اور کسی بھی واقعے کا فوری جواب دینے میں مدد کرتا ہے۔ اس میں دو ذیلی نظام شامل ہیں:
- سسٹم سروسز کے آئی ٹی انفراسٹرکچر کی نگرانی کے لیے؛
- LMS کے آپریشن میں غلطیوں کی موجودگی کی نگرانی کے لیے۔
یہ سب ایک ہی مفت مانیٹرنگ ایپ کے ساتھ شروع ہوا۔ کئی اختیارات سے گزرنے کے بعد، ہم نے Zabbix - مفت سافٹ ویئر پر طے کیا جو اصل میں بینکنگ خدمات اور آلات کے لیے لکھا گیا تھا۔ یہ پی ایچ پی ویب پر مبنی نظام، جو MySQL، PostgreSQL، SQLite یا Oracle Database میں ڈیٹا اسٹور کر سکتا ہے، ہماری ضروریات کے لیے موزوں تھا۔
Zabbix اپنے ایجنٹوں کو ہر سرور پر چلاتا ہے اور ایک ڈیٹا بیس میں حقیقی وقت میں دلچسپی کے میٹرکس پر معلومات اکٹھا کرتا ہے۔ ایپلی کیشن کا استعمال کرتے ہوئے، نیٹ ورک اور دیگر اجزاء کے استعمال پر، پروسیسرز اور ریم پر بوجھ پر ڈیٹا اکٹھا کرنا، معیاری خدمات (SMTP یا HTTP) کی دستیابی اور ردعمل کی جانچ کرنا، بیرونی پروگراموں کو چلانا، اور اس کے ذریعے نگرانی کی حمایت کرنا آسان ہے۔ ایس این ایم پی۔
Zabbix کو تعینات کرنے کے بعد، ہم نے معیاری ہارڈویئر میٹرکس کو ترتیب دیا، اور پہلے یہ کافی تھا۔ لیکن VTB SDO مسلسل ترقی کر رہا ہے اور بڑھ رہا ہے: 2016 میں، سرورز کی تعداد میں نمایاں اضافہ ہوا، نقل مکانی کا عمل ظاہر ہوا، بینک آف ماسکو، VTB کیپٹل، اور VTB24 سسٹم میں شامل ہوئے۔ اب کافی معیاری میٹرکس نہیں ہیں، اور ہم نے Zabbix کو سرور سے منسلک ہر حجم پر قطاروں کی موجودگی کے بارے میں معلومات کو ٹریک کرنا سکھایا (باکس سے باہر Zabbix صرف عام ڈسک کی قطار کی عکاسی کرتا ہے)، اور ساتھ ہی اس میں لگنے والا وقت ایک خاص طریقہ کار کو مکمل کرنے کے لیے۔
اس کے علاوہ، ہم نے سسٹم کو متعدد محرکات سے لیس کیا ہے - ایسی شرائط جن کے تحت ایڈمنسٹریٹر کو اطلاع بھیجی جاتی ہے (ٹیلیگرام میں ایک پیغام، فون نمبر پر ایس ایم ایس یا ای میل)۔ ٹرگرز کو پیرامیٹرز کے کسی بھی سیٹ کے لیے ترتیب دیا جا سکتا ہے۔ مثال کے طور پر، آپ مفت ڈسک کی جگہ کا ایک خاص فیصد بتا سکتے ہیں، اور مخصوص حد تک پہنچنے پر نظام منتظم کو الرٹ کرے گا، یا اگر پس منظر کا طریقہ کار معمول سے زیادہ لمبا چل رہا ہے تو آپ کو مطلع کرے گا۔
جاوا کنیکٹیویٹی اور ڈیٹا ویژولائزیشن
ہم نے تجزیہ کردہ ڈیٹا کی حد کو نمایاں طور پر بڑھایا، لیکن جلد ہی یہ موثر نگرانی کے لیے کافی نہیں تھا۔ اس حقیقت کا فائدہ اٹھاتے ہوئے کہ CompanyMedia کا LMS ایک جاوا ایپلیکیشن ہے، ہم نے JMX انٹرفیس کے ذریعے جاوا ورچوئل مشین سے منسلک کیا اور براہ راست جاوا میٹرکس لینے کے قابل ہو گئے۔ اور نہ صرف جاوا کی اہم سرگرمی کے معیاری پیرامیٹرز، جیسے کہ GC کام کی شدت یا ہیپ کی کھپت، بلکہ براہ راست قابل عمل ایپلیکیشن کوڈ سے متعلق مخصوص ٹیسٹ بھی۔
2017 میں، نگرانی کے نظام کے نفاذ کے تقریباً ایک سال بعد، یہ واضح ہو گیا کہ Zabbix میں جمع کیے گئے ڈیٹا کی بڑی مقدار کے ساتھ عام طور پر کام کرنے کے لیے، کافی ویژولائزیشن - پیچیدہ اسکرینیں نہیں تھیں۔ اس مسئلے کا بہترین حل ایک بار پھر مفت سافٹ ویئر تھا - گرافانا، میٹرکس کے لیے ایک آسان ڈیش بورڈ جو آپ کو تمام ڈیٹا کو ایک اسکرین پر جمع کرنے کی اجازت دیتا ہے۔
گرافانا انٹرفیس انٹرایکٹو ہے، جو OLAP سسٹم کی یاد تازہ کرتا ہے۔ ذیلی نظام Zabbix کی طرف سے موصول ہونے والے ڈیٹا کو ایک اسکرین پر دکھاتا ہے، معلومات کو گراف اور خاکوں کی شکل میں پیش کرتا ہے جن کا تجزیہ کرنا آسان ہے۔ منتظم آسانی سے اپنی ضرورت کے مطابق سلائس بنا سکتا ہے۔
ایل ایم ایس سسٹم میں خرابیوں کی نگرانی اور حفاظتی خاتمہ
ELK اوپن سورس سافٹ ویئر پلیٹ فارم نگرانی کے دوران موصول ہونے والی معلومات کو فلٹر اور تجزیہ کرنے میں آپ کی مدد کرتا ہے۔ یہ اوپن سورس پروڈکٹ ڈیٹا اکٹھا کرنے، ذخیرہ کرنے اور تجزیہ کرنے کے لیے تین طاقتور ٹولز پر مشتمل ہے: Elasticsearch، Logstash اور Kibana۔ اس سب سسٹم کا نفاذ، خاص طور پر، اصل وقت میں یہ دیکھنے کی اجازت دیتا ہے کہ سسٹم میں کتنی خرابیاں ہوئیں، کن سرورز پر اور آیا یہ غلطیاں دہرائی جاتی ہیں۔
اب منتظم ابتدائی مرحلے میں کسی مسئلے کا پتہ لگا سکتا ہے، اس سے پہلے کہ صارف اس کا سامنا کرے۔ اس طرح کی فعال نگرانی آپ کو بروقت غلطیوں کو ختم کرکے سسٹم کی خرابیوں کو روکنے کی اجازت دیتی ہے۔ اس کے علاوہ، ہم یہ سمجھ سکتے ہیں کہ اپ ڈیٹ کے بعد سسٹم کے رویے میں کس طرح تبدیلی آئی ہے، اور ساتھ ہی اگر نئے مسائل ظاہر ہوتے ہیں تو ان کا پتہ لگا سکتے ہیں۔
بزنس آپریشنز مانیٹرنگ
وسائل کی کھپت کی نگرانی کے بنیادی کاموں کے علاوہ، نظام کاروباری کارروائیوں کا تجزیہ اور کنٹرول کرنے کی صلاحیت رکھتا ہے۔
کاروباری کارروائیوں کے مجموعی عمل آوری کے وقت کی نگرانی آپ کو نئے عوامل کی نشاندہی کرنے اور سسٹم کے آپریشن پر ان کے اثرات کو سمجھنے کی اجازت دیتی ہے۔
ہر کاروباری سروس کے لیے درخواستوں پر عمل درآمد کے وقت کی نگرانی کرنا معمول سے ہٹنے والے آپریشنز کا پتہ لگانا ممکن بناتا ہے۔
مندرجہ بالا اسکرین شاٹ معمول سے انحراف کے لحاظ سے پس منظر کے کام کی نگرانی کی ایک مثال ہے۔
کسی مخصوص سرور پر ان کی سرگرمی کے لحاظ سے کنٹرول شدہ کاموں کی فہرست آپ کو تمام سرورز پر غلطیوں کی شناخت کرنے کی اجازت دیتی ہے - بشمول ٹاسک ایگزیکیوشن کی نقل۔
پس منظر کے طریقہ کار کے نفاذ کے وقت کے رجحانات کی بھی نگرانی کی جاتی ہے۔
نظام بڑھتا ہے، ترقی کرتا ہے اور مسائل سے نمٹنے میں مدد کرتا ہے۔
بیان کردہ نظام کے نفاذ کے ساتھ، LMS سرورز کے آپریشن کی نگرانی نمایاں طور پر آسان ہو گئی ہے۔ اس کے باوجود، وقتاً فوقتاً مختلف قسم کے تنازعات پیدا ہوتے رہتے ہیں، جس سے دستاویز کے بہاؤ کی رفتار متاثر ہوتی ہے اور صارف کی شکایات ہوتی ہیں۔ لہذا ہم نے محسوس کیا کہ ایپلی کیشن کے رویے کو کنٹرول کرنا ضروری تھا، نہ کہ صرف سرورز۔
اس مسئلے کو حل کرنے کے لیے، ایک بیلنسر کو API کے ذریعے مانیٹرنگ سسٹم سے منسلک کیا گیا تھا، جو ایپلیکیشن سرورز کے کلسٹر کے ساتھ کام کرتا ہے۔ اس کی بدولت، منتظم دیکھ سکتا ہے کہ سرور کو ہر صارف کی درخواست کا جواب دینے میں کتنا وقت لگتا ہے۔
سرور کے جوابی اوقات کا ڈیٹا تجزیہ کے لیے دستیاب ہو گیا، جس نے LMS کی سست روی کو سرور پر ہونے والے عمل سے جوڑنا ممکن بنایا۔ خاص طور پر، ایک دلچسپ صورت حال سامنے آئی: سرور آہستہ سے چل رہا ہے، حالانکہ اس وقت یہ لوڈ نہیں ہے۔ بے ضابطگی کا تجزیہ کرتے ہوئے، ہم نے گاربیج کلیکٹر جاوا کے آپریشن میں انحرافات کو دریافت کیا۔ آخر میں، یہ پتہ چلا کہ یہ اس سروس کا غلط آپریشن تھا جس کی وجہ سے یہ صورتحال پیدا ہوئی۔ گاربیج کلیکٹر جاوا کا کنٹرول سنبھال کر، ہم نے مسئلہ کو مکمل طور پر ختم کر دیا۔
اس طرح مفت سافٹ ویئر بینکنگ انڈسٹری میں دستاویز کے انتظام کے نظام کی ترقی اور ترقی میں مدد کرتا ہے۔ ہم نے صرف VTB SDO مانیٹرنگ سسٹم سے متعلق اہم مسائل پر بات کی ہے۔ اگر آپ تفصیلات میں دلچسپی رکھتے ہیں، تبصرے میں پوچھیں، ہمیں اپنے تجربے کو آپ کے ساتھ بانٹ کر خوشی ہوگی۔
ماخذ: www.habr.com