අපගේ බැංකුවේ ලේඛන ආධාරක පද්ධතිය නිරන්තරයෙන් සංවර්ධනය වෙමින් පවතින අතර, වේගය සහ දෝෂ ඉවසීම සඳහා වන අවශ්‍යතා වැඩි වෙමින් පවතී. යම් අවස්ථාවක, ඵලදායී මධ්යගත අධීක්ෂණයකින් තොරව LMS නඩත්තු කිරීම ඉතා අවදානම් විය. VTB හි ව්‍යාපාරික ක්‍රියාවලීන් සුරක්ෂිත කිරීමට සහ පරිපාලකයින්ගේ කාර්යය සරල කිරීමට, අපි විවෘත තාක්ෂණයන් තොගයක් මත පදනම්ව විසඳුමක් ක්රියාත්මක කළෙමු. එහි උපකාරයෙන්, සිදුවිය හැකි ගැටළු වළක්වා ගැනීමෙන්, සිදුවීම් වලට පූර්වගාමීව ප්රතිචාර දැක්විය හැක. කප්පාදුවට පහළින් ඇත්තේ මහා පරිමාණ ව්‍යාපාරික පද්ධති නිරීක්ෂණය කිරීම සඳහා නිදහස් මෘදුකාංග භාවිතා කිරීමේ අපගේ අත්දැකීම් පිළිබඳ කතාවකි.
ඔබගේ ලේඛන කළමනාකරණ පද්ධතිය නිරීක්ෂණය කරන්නේ ඇයි?
2005 සිට, VTB බැංකුවේ ලේඛන සහාය CompanyMedia පද්ධතිය විසින් "කළමනාකරණය" කර ඇත. LMS සෑම මසකම මිලියනයකට වඩා නව ලේඛන නිර්මාණය කරන පරිශීලකයින් 60 කට වඩා සේවය කරයි. අපගේ සේවාදායකයන් දවසේ පැය 24 පුරාම ක්රියා කළ යුතුය: ඕනෑම මොහොතක පාහේ පද්ධතිය තුළ පුද්ගලයින් 2500-3000 ක් සිටින අතර ඔවුන් රට පුරා පෙට්‍රොපව්ලොව්ස්ක්-කම්චට්ස්කි සිට කලිනින්ග්‍රෑඩ් දක්වා සම්බන්ධ වේ. LMS මෙහෙයුමේ සෑම තත්පරයකම වෙනස්කම් 10-15 ක් අදහස් වේ.
පද්ධතිය එහි පවරා ඇති කාර්යයන් නිවැරදිව ඉටු කරන බව සහතික කිරීම සඳහා, අපි ප්‍රොක්සි සර්වර්, ඉල්ලීම් තුලනය, තොරතුරු ආරක්ෂාව, සම්පූර්ණ පෙළ සෙවීම, ඒකාබද්ධ කිරීමේ මාර්ග සහ උපස්ථ භාවිතා කරමින් දෝෂ-ඉවසන යටිතල පහසුකම් යොදවා ඇත. මෙම පරිමාණයේ ව්‍යාපෘතියකට සහය දැක්වීමට සහ පරිපාලනය කිරීමට අතිවිශාල සම්පත් අවශ්ය වේ. පරිපාලකයින් සේවාදායක ක්රියාකාරිත්වය, RAM පැටවීම, CPU වේලාව, I/O උප පද්ධතිය සහ යනාදිය පිළිබඳ මූලික තොරතුරු නිරීක්ෂණය කරයි. නමුත් මීට අමතරව, වඩාත් සියුම් විශ්ලේෂණ අවශ්ය වේ:
- ව්යාපාර අවස්ථා ක්රියාත්මක කිරීම සඳහා වැය කරන කාලය ගණනය කිරීම;
- පද්ධති කාර්ය සාධනයේ ගතිකත්වය නිරීක්ෂණය කිරීම සහ එය මත පැටවීම;
- අනුමත ක්රියාකාරී නොවන අවශ්‍යතා වලින් පද්ධති සංරචකවල අපගමනය සෙවීම.
LMS හඳුන්වාදීමෙන් වසර 11 කට පසුව, විවිධ ආකාරයේ දෝෂ සඳහා ක්රියාකාරී ප්රතිචාරය පිළිබඳ ගැටළුව විශේෂයෙන් උග්ර වී ඇත. මොනිටර සහ පද්ධති ජීවිත කොන්සෝලයක් නොමැතිව වැඩ කිරීම ගින්නෙන් සෙල්ලම් කරන බව බැංකුවේ කළමනාකාරිත්වය වටහා ගත්තේය: මෙම මට්ටමේ ව්යාපාර පද්ධතියක සුළු අසාර්ථක වීමක් මිලියන ගණනක පාඩුවක් විය හැකිය.
2016 දී, අපි තත්‍ය කාලීනව අපට උනන්දුවක් දක්වන පරාමිතීන් නිරීක්ෂණය කිරීම ඇතුළුව, LMS හි ක්‍රියාකාරිත්වයේ ගැටළු ඉක්මනින් හඳුනා ගැනීම සඳහා මෙවලම් හඳුන්වා දීම ආරම්භ කළෙමු. මීට පෙර, ව්‍යවහාරික අධීක්ෂණ පද්ධතිය යොදවා පරීක්ෂා කරන ලද්දේ InterTrust සමාගම් යටිතල ව්‍යුහයේ රාමුව තුළ ය.
සියල්ල ආරම්භ වූ ආකාරය
අද, විවෘත මූලාශ්‍ර මෘදුකාංග නිෂ්පාදන මත පදනම් වූ VTB LMS හි මධ්යගත යෙදුම් අධීක්ෂණ පද්ධතිය, ලේඛන ප්‍රවාහය හා සම්බන්ධ බොහෝ දෝෂ වැළැක්වීමට, ගැටළු ඉක්මනින් හා නිවැරදිව වර්ග කිරීමට සහ ඕනෑම සිදුවීමකට ක්ෂණිකව ප්රතිචාර දැක්වීමට උපකාරී වේ. එයට උප පද්ධති දෙකක් ඇතුළත් වේ:
- පද්ධති සේවාවන්හි තොරතුරු තාක්ෂණ යටිතල පහසුකම් අධීක්ෂණය සඳහා;
- LMS හි ක්‍රියාකාරිත්වයේ දෝෂ ඇතිවීම නිරීක්ෂණය කිරීමට.
ඒ සියල්ල ආරම්භ වූයේ එක් නොමිලේ අධීක්ෂණ යෙදුමකිනි. විකල්ප කිහිපයක් හරහා ගිය පසු, අපි බැංකු සේවා සහ උපකරණ සඳහා මුලින් ලියා ඇති Zabbix - නිදහස් මෘදුකාංගය මත පදිංචි විය. MySQL, PostgreSQL, SQLite හෝ Oracle Database හි දත්ත ගබඩා කළ හැකි මෙම PHP වෙබ් පාදක පද්ධතිය අපගේ අවශ්‍යතා සඳහා ඉතා සුදුසු විය.
Zabbix එහි නියෝජිතයන් එක් එක් සේවාදායකය මත ධාවනය කරන අතර තනි දත්ත ගබඩාවකට තත්‍ය කාලීන උනන්දුවක් දක්වන ප්රමිතික පිළිබඳ තොරතුරු රැස් කරයි. යෙදුම භාවිතා කරමින්, ප්‍රොසෙසර සහ RAM මත පැටවීම, ජාලය සහ අනෙකුත් සංරචක භාවිතය පිළිබඳ දත්ත රැස් කිරීම, සම්මත සේවාවන් (SMTP හෝ HTTP) ලබා ගැනීම සහ ප්රතිචාරය පරීක්ෂා කිරීම, බාහිර වැඩසටහන් ක්රියාත්මක කිරීම සහ අධීක්ෂණය සඳහා සහාය වීම පහසුය. SNMP.
Zabbix යෙදවීමෙන් පසු, අපි සම්මත දෘඪාංග ප්රමිතික වින්යාස කළ අතර, මුලදී මෙය ප්රමාණවත් විය. නමුත් VTB SDO නිරන්තරයෙන් සංවර්ධනය වෙමින් හා වර්ධනය වෙමින් පවතී: 2016 දී සේවාදායකයන් ගණන සැලකිය යුතු ලෙස වැඩි විය, සංක්‍රමණ ක්‍රියාවලීන් දර්ශනය විය, මොස්කව් බැංකුව, VTB කැපිටල් සහ VTB24 පද්ධතියට සම්බන්ධ විය. තවදුරටත් ප්රමාණවත් තරම් සම්මත ප්රමිතික නොමැති අතර, සේවාදායකයට සම්බන්ධ එක් එක් වෙළුම් වල පෝලිම් තිබීම පිළිබඳ තොරතුරු සොයා ගැනීමට අපි Zabbix ට ඉගැන්නුවෙමු (Zabbix කොටුවෙන් පිටත සාමාන්‍ය තැටි පෝලිම පමණක් පිළිබිඹු කරයි), මෙන්ම එයට ගතවන කාලය විශේෂිත ක්රියා පටිපාටියක් සම්පූර්ණ කිරීමට.
ඊට අමතරව, අපි පද්ධතිය බහු ප්‍රේරක වලින් සන්නද්ධ කළෙමු - පරිපාලක වෙත දැනුම්දීමක් යවන කොන්දේසි (ටෙලිග්‍රාම් හි පණිවිඩයක්, දුරකථන අංකයකට කෙටි පණිවුඩයක් හෝ විද්‍යුත් තැපෑලක්). ඕනෑම පරාමිති කට්ටලයක් සඳහා ප්‍රේරක වින්‍යාසගත කළ හැක. උදාහරණයක් ලෙස, ඔබට නිදහස් තැටි අවකාශයේ යම් ප්‍රතිශතයක් නියම කළ හැකි අතර, නිශ්චිත සීමාවට ළඟා වූ විට පද්ධතිය පරිපාලකයාට අනතුරු අඟවයි, නැතහොත් පසුබිම් ක්‍රියාවලියක් වෙනදාට වඩා වැඩි කාලයක් ක්රියාත්මක වන්නේ නම් ඔබට දන්වනු ඇත.
ජාවා සම්බන්ධතාවය සහ දත්ත දෘශ්‍යකරණය
අපි විශ්ලේෂණය කළ දත්ත පරාසය සැලකිය යුතු ලෙස පුළුල් කළ නමුත් ඉක්මනින් මෙය ඵලදායී අධීක්ෂණය සඳහා ප්රමාණවත් නොවීය. CompanyMedia හි LMS යනු ජාවා යෙදුමක් වීම ප්‍රයෝජනයට ගනිමින්, අපි JMX අතුරුමුහුණත හරහා Java Virtual Machine වෙත සම්බන්ධ වූ අතර ජාවා ප්රමිතික සෘජුවම ලබා ගැනීමට හැකි විය. GC වැඩ තීව්‍රතාව හෝ Heap පරිභෝජනය වැනි Java වැදගත් ක්‍රියාකාරකම්වල සම්මත පරාමිතීන් පමණක් නොව, ක්රියාත්මක කළ හැකි යෙදුම් කේතයට සෘජුවම සම්බන්ධ විශේෂිත පරීක්ෂණ ද වේ.
2017 දී, අධීක්ෂණ පද්ධතිය ක්රියාත්මක කිරීමෙන් වසරකට පමණ පසු, Zabbix හි එකතු කරන ලද දැවැන්ත දත්ත සමඟ සාමාන්‍යයෙන් වැඩ කිරීම සඳහා, ප්රමාණවත් දෘශ්‍යකරණයක් නොමැති බව පැහැදිලි විය - සංකීර්ණ තිර. මෙම ගැටලුවට හොඳම විසඳුම නැවතත් නිදහස් මෘදුකාංගයකි - ග්‍රැෆනා, ප්රමිතික සඳහා පහසු උපකරණ පුවරුවක් වන අතර එය එක් තිරයක සියලු දත්ත එකතු කිරීමට ඔබට ඉඩ සලසයි.
ග්‍රැෆනා අතුරුමුහුණත අන්තර්ක්‍රියාකාරී වන අතර එය OLAP පද්ධතියක් සිහිගන්වයි. උප පද්ධතිය Zabbix වෙත ලැබුණු දත්ත තනි තිරයක් මත ප්‍රදර්ශනය කරයි, විශ්ලේෂණය කිරීමට පහසු ප්‍රස්ථාර සහ රූප සටහන් ආකාරයෙන් තොරතුරු ඉදිරිපත් කරයි. පරිපාලකයාට ඔහුට අවශ්ය පෙති පහසුවෙන් රිසිකරණය කළ හැකිය.
LMS පද්ධතියේ දෝෂ නිරීක්ෂණය කිරීම සහ වැළැක්වීම
ELK විවෘත මූලාශ්‍ර මෘදුකාංග වේදිකාව ඔබට අධීක්ෂණය අතරතුර ලැබෙන තොරතුරු පෙරීමට සහ විශ්ලේෂණය කිරීමට උපකාරී වේ. මෙම විවෘත මූලාශ්‍ර නිෂ්පාදනය දත්ත එකතු කිරීම, ගබඩා කිරීම සහ විශ්ලේෂණය කිරීම සඳහා ප්‍රබල මෙවලම් තුනකින් සමන්විත වේ: Elasticsearch, Logstash සහ Kibana. මෙම උප පද්ධතිය ක්රියාත්මක කිරීම මඟින් පද්ධතියේ දෝෂ කීයක් සිදුවී ඇත්ද, කුමන සේවාදායකයන් සහ මෙම දෝෂ නැවත නැවත සිදුවේද යන්න තත්‍ය කාලීනව බැලීමට ඉඩ සලසයි.
දැන් පරිපාලකයාට පරිශීලකයා එය හමුවීමට පෙර පවා මුල් අවධියේදී ගැටලුවක් හඳුනාගත හැකිය. එවැනි ක්‍රියාශීලී අධීක්ෂණය මඟින් කාලෝචිත ලෙස දෝෂ ඉවත් කිරීමෙන් පද්ධතියේ අක්‍රමිකතා වළක්වා ගැනීමට ඔබට ඉඩ සලසයි. ඊට අමතරව, යාවත්කාලීන කිරීමෙන් පසු පද්ධතියේ හැසිරීම වෙනස් වී ඇති ආකාරය අපට තේරුම් ගත හැකිය, එසේම ඒවා දිස්වන්නේ නම් නව ගැටළු හඳුනා ගත හැකිය.
ව්යාපාර මෙහෙයුම් අධීක්ෂණය
සම්පත් පරිභෝජනය අධීක්ෂණය කිරීමේ මූලික කාර්යයන් වලට අමතරව, ව්යාපාර මෙහෙයුම් විශ්ලේෂණය කිරීමට සහ පාලනය කිරීමට පද්ධතියට හැකියාව ඇත.
ව්යාපාර මෙහෙයුම්වල සමස්ත ක්රියාත්මක කාලය නිරීක්ෂණය කිරීමෙන් ඔබට නව සාධක හඳුනා ගැනීමට සහ පද්ධතියේ ක්‍රියාකාරිත්වයට ඇති බලපෑම තේරුම් ගැනීමට ඉඩ සලසයි.
එක් එක් ව්‍යාපාරික සේවාව සඳහා ඉල්ලීම් ක්රියාත්මක කිරීමේ කාලය නිරීක්ෂණය කිරීම සම්මතයෙන් බැහැර වන මෙහෙයුම් හඳුනා ගැනීමට හැකි වේ.
ඉහත තිර රුවක් පසුබිම් කාර්යයක් සම්මතයෙන් බැහැරවීම අනුව නිරීක්ෂණය කිරීමේ උදාහරණයකි.
නිශ්චිත සේවාදායකයක ක්‍රියාකාරකම් අනුව පාලිත කාර්යයන් ලැයිස්තුව මඟින් සියලුම සේවාදායකයන් හරහා - කාර්යය ක්රියාත්මක කිරීම අනුපිටපත් කිරීම ඇතුළුව - දෝෂ හඳුනා ගැනීමට ඔබට ඉඩ සලසයි.
පසුබිම් ක්රියා පටිපාටි ක්රියාත්මක කිරීමේ කාලයෙහි ප්‍රවණතා ද නිරීක්ෂණය කෙරේ.
පද්ධතිය වර්ධනය වේ, වර්ධනය වන අතර ගැටළු සමඟ සාර්ථකව කටයුතු කිරීමට උපකාරී වේ
විස්තර කරන ලද පද්ධතිය ක්රියාත්මක කිරීමත් සමග, LMS සේවාදායකයන්ගේ ක්රියාකාරිත්වය නිරීක්ෂණය කිරීම සැලකිය යුතු ලෙස සරල කර ඇත. එසේ වුවද, විවිධ ආකාරයේ ගැටුම් වරින් වර පැන නගින අතර, ලේඛන ප්රවාහයේ වේගයට බලපාන අතර පරිශීලක පැමිණිලි ඇති කරයි. එබැවින් සේවාදායකයන් පමණක් නොව යෙදුමේ හැසිරීම පාලනය කිරීම අවශ්ය බව අපට වැටහුණි.
මෙම ගැටළුව විසඳීම සඳහා, යෙදුම් සේවාදායක පොකුරක් සමඟ ක්රියා කරන API හරහා සමතුලිතයක් අධීක්ෂණ පද්ධතියට සම්බන්ධ කරන ලදී. මෙයට ස්තූතියි, එක් එක් පරිශීලක ඉල්ලීමට ප්රතිචාර දැක්වීමට සේවාදායකයට කොපමණ කාලයක් ගතවේද යන්න පරිපාලකයාට දැක ගත හැකිය.
සේවාදායක ප්රතිචාර කාලයන් පිළිබඳ දත්ත විශ්ලේෂණය සඳහා ලබා ගත හැකි වූ අතර, එමඟින් LMS හි මන්දගාමිත්වය සේවාදායකයේ සිදුවන ක්‍රියාවලීන් සමඟ සම්බන්ධ කිරීමට හැකි විය. විශේෂයෙන්, සිත්ගන්නාසුලු තත්වයක් මතු විය: මේ මොහොතේ එය පටවා නොතිබුණද සේවාදායකය සෙමින් ක්රියාත්මක වේ. විෂමතාව විශ්ලේෂණය කරමින්, අපි කසළ එකතු කරන ජාවා මෙහෙයුමේ අපගමනය සොයා ගත්තෙමු. අවසානයේ පෙනී ගියේ මෙම සේවාවේ වැරදි ක්රියාකාරිත්වය මෙම තත්ත්වයට හේතු වූ බවයි. කසළ එකතු කරන ජාවා පාලනය කර ගැනීමෙන් අපි ගැටලුව සම්පූර්ණයෙන්ම ඉවත් කළෙමු.
බැංකු ක්‍ෂේත්‍රයේ ලේඛන කළමනාකරණ පද්ධතිය දියුණු කිරීමට සහ වර්ධනය වීමට නිදහස් මෘදුකාංග උපකාර කරන්නේ එලෙසය. අපි ස්පර්ශ කර ඇත්තේ VTB SDO අධීක්ෂණ පද්ධතියට අදාළ ප්‍රධාන ගැටළු පමණි. ඔබ විස්තර සඳහා උනන්දුවක් දක්වන්නේ නම්, අදහස් දැක්වීමේදී විමසන්න, අපගේ අත්දැකීම් ඔබ සමඟ බෙදා ගැනීමට අපි සතුටු වන්නෙමු.
මූලාශ්රය: www.habr.com