മോണിറ്ററിംഗ് + ലോഡ് ടെസ്റ്റിംഗ് = പ്രവചനം കൂടാതെ പരാജയങ്ങളൊന്നുമില്ല

വിടിബി ഐടി വകുപ്പിന് സിസ്റ്റങ്ങളുടെ പ്രവർത്തനത്തിൽ അടിയന്തിര സാഹചര്യങ്ങൾ കൈകാര്യം ചെയ്യേണ്ടിവന്നു, അവയിൽ ലോഡ് പലതവണ വർദ്ധിച്ചപ്പോൾ. അതിനാൽ, ക്രിട്ടിക്കൽ സിസ്റ്റങ്ങളിൽ പീക്ക് ലോഡ് പ്രവചിക്കുന്ന ഒരു മോഡൽ വികസിപ്പിക്കുകയും പരീക്ഷിക്കുകയും ചെയ്യേണ്ടത് ആവശ്യമാണ്. ഇത് ചെയ്യുന്നതിന്, ബാങ്കിൻ്റെ ഐടി സ്പെഷ്യലിസ്റ്റുകൾ നിരീക്ഷണം സജ്ജമാക്കുകയും ഡാറ്റ വിശകലനം ചെയ്യുകയും പ്രവചനങ്ങൾ ഓട്ടോമേറ്റ് ചെയ്യാൻ പഠിക്കുകയും ചെയ്തു. ഏത് ഉപകരണങ്ങളാണ് ലോഡ് പ്രവചിക്കാൻ സഹായിച്ചതെന്നും അവ ജോലി ഒപ്റ്റിമൈസ് ചെയ്യാൻ സഹായിച്ചോ എന്നും ഒരു ചെറിയ ലേഖനത്തിൽ ഞങ്ങൾ നിങ്ങളോട് പറയും.

ഉയർന്ന ലോഡ് സേവനങ്ങളുമായി ബന്ധപ്പെട്ട പ്രശ്നങ്ങൾ മിക്കവാറും എല്ലാ വ്യവസായങ്ങളിലും ഉയർന്നുവരുന്നു, എന്നാൽ സാമ്പത്തിക മേഖലയെ സംബന്ധിച്ചിടത്തോളം അവ നിർണായകമാണ്. X മണിക്കൂറിൽ, എല്ലാ കോംബാറ്റ് യൂണിറ്റുകളും തയ്യാറായിരിക്കണം, അതിനാൽ എന്ത് സംഭവിക്കുമെന്ന് മുൻകൂട്ടി അറിയേണ്ടതും ലോഡ് ചാടുന്നതും ഏതൊക്കെ സിസ്റ്റങ്ങളാണ് അത് നേരിടുന്നതും എന്ന് പോലും നിർണ്ണയിക്കേണ്ടതും ആവശ്യമാണ്. പരാജയങ്ങൾ കൈകാര്യം ചെയ്യുകയും തടയുകയും ചെയ്യേണ്ടത് ആവശ്യമാണ്, അതിനാൽ ഒരു പ്രവചന വിശകലന സംവിധാനം നടപ്പിലാക്കേണ്ടതിൻ്റെ ആവശ്യകത ചർച്ച ചെയ്തില്ല. മോണിറ്ററിംഗ് ഡാറ്റയെ അടിസ്ഥാനമാക്കി സിസ്റ്റങ്ങൾ നവീകരിക്കേണ്ടത് ആവശ്യമാണ്.

നിങ്ങളുടെ മുട്ടുകുത്തിയ അനലിറ്റിക്സ്

പരാജയപ്പെട്ടാൽ ഏറ്റവും സെൻസിറ്റീവ് ആയ ഒന്നാണ് ശമ്പള പദ്ധതി. പ്രവചനത്തിന് ഇത് ഏറ്റവും മനസ്സിലാക്കാവുന്നതേയുള്ളൂ, അതിനാൽ ഞങ്ങൾ അത് ആരംഭിക്കാൻ തീരുമാനിച്ചു. ഉയർന്ന കണക്റ്റിവിറ്റി കാരണം, റിമോട്ട് ബാങ്കിംഗ് സേവനങ്ങൾ (RBS) ഉൾപ്പെടെയുള്ള മറ്റ് സബ്സിസ്റ്റങ്ങൾക്ക് പീക്ക് ലോഡുകളുടെ സമയങ്ങളിൽ പ്രശ്നങ്ങൾ അനുഭവപ്പെടാം. ഉദാഹരണത്തിന്, പണത്തിൻ്റെ രസീതിനെക്കുറിച്ചുള്ള SMS-ൽ സന്തോഷിച്ച ക്ലയൻ്റുകൾ അത് സജീവമായി ഉപയോഗിക്കാൻ തുടങ്ങി. ലോഡിന് ഒരു ഓർഡറിനേക്കാൾ കൂടുതൽ ചാടാൻ കഴിയും. 

ആദ്യത്തെ പ്രവചന മോഡൽ സ്വമേധയാ സൃഷ്ടിച്ചു. ഞങ്ങൾ കഴിഞ്ഞ വർഷത്തെ അപ്‌ലോഡുകൾ എടുത്ത്, ഏതൊക്കെ ദിവസങ്ങളിലാണ് പരമാവധി കൊടുമുടികൾ പ്രതീക്ഷിക്കുന്നതെന്ന് കണക്കാക്കി: ഉദാഹരണത്തിന്, 1, 15, 25, മാസത്തിൻ്റെ അവസാന ദിവസങ്ങളിലും. ഈ മോഡലിന് കാര്യമായ തൊഴിൽ ചെലവ് ആവശ്യമായിരുന്നു കൂടാതെ കൃത്യമായ പ്രവചനം നൽകിയില്ല. എന്നിരുന്നാലും, ഹാർഡ്‌വെയർ ചേർക്കാൻ ആവശ്യമായ തടസ്സങ്ങൾ ഇത് തിരിച്ചറിഞ്ഞു, ആങ്കർ ക്ലയൻ്റുകളുമായി യോജിച്ച് പണം കൈമാറ്റം ചെയ്യുന്ന പ്രക്രിയ ഒപ്റ്റിമൈസ് ചെയ്യുന്നത് സാധ്യമാക്കി: ഒറ്റയടിക്ക് ശമ്പളം നൽകാതിരിക്കാൻ, വിവിധ പ്രദേശങ്ങളിൽ നിന്നുള്ള ഇടപാടുകൾ കാലക്രമേണ ഇടംപിടിച്ചു. ബാങ്കിൻ്റെ ഐടി ഇൻഫ്രാസ്ട്രക്ചറിന് പരാജയമില്ലാതെ "ച്യൂവ്" ചെയ്യാൻ കഴിയുന്ന ഭാഗങ്ങളിൽ ഞങ്ങൾ ഇപ്പോൾ അവ പ്രോസസ്സ് ചെയ്യുന്നു.

ആദ്യത്തെ പോസിറ്റീവ് ഫലം ലഭിച്ച ശേഷം, ഞങ്ങൾ സ്വയമേവയുള്ള പ്രവചനത്തിലേക്ക് നീങ്ങി, ഒരു ഡസനോളം നിർണായക മേഖലകൾ അവരുടെ ഊഴത്തിനായി കാത്തിരിക്കുന്നു.

സംയോജിത സമീപനം

മൈക്രോഫോക്കസിൽ നിന്ന് VTB ഒരു നിരീക്ഷണ സംവിധാനം നടപ്പിലാക്കി. അവിടെ നിന്ന് ഞങ്ങൾ പ്രവചനത്തിനായി ഡാറ്റ ശേഖരണം, ഒരു സ്റ്റോറേജ് സിസ്റ്റം, ഒരു റിപ്പോർട്ടിംഗ് സിസ്റ്റം എന്നിവ എടുത്തു. വാസ്തവത്തിൽ, മോണിറ്ററിംഗ് ഇതിനകം തന്നെ നിലവിലുണ്ടായിരുന്നു, മെട്രിക്‌സ്, ഒരു പ്രവചന മൊഡ്യൂൾ എന്നിവ ചേർക്കുകയും പുതിയ റിപ്പോർട്ടുകൾ സൃഷ്ടിക്കുകയും ചെയ്യുക മാത്രമാണ് അവശേഷിക്കുന്നത്. ഈ തീരുമാനത്തെ ബാഹ്യ കരാറുകാരൻ ടെക്നോസെർവ് പിന്തുണയ്ക്കുന്നു, അതിനാൽ പ്രോജക്റ്റ് നടപ്പിലാക്കുന്നതിനുള്ള പ്രധാന ജോലി അതിൻ്റെ സ്പെഷ്യലിസ്റ്റുകളുടെ മേൽ പതിച്ചു, പക്ഷേ ഞങ്ങൾ സ്വയം മോഡൽ നിർമ്മിച്ചു. ഫേസ്ബുക്ക് വികസിപ്പിച്ചെടുത്ത ഓപ്പൺ സോഴ്‌സ് ഉൽപ്പന്നമായ പ്രവാചകനെ അടിസ്ഥാനമാക്കിയാണ് പ്രവചന സംവിധാനം നിർമ്മിച്ചത്. ഇത് ഉപയോഗിക്കാൻ എളുപ്പമാണ് ഒപ്പം ഞങ്ങളുടെ ഇൻസ്റ്റാൾ ചെയ്ത ഇൻ്റഗ്രേറ്റഡ് മോണിറ്ററിംഗ് ടൂളുകളുമായും വെർട്ടിക്കയുമായും എളുപ്പത്തിൽ സംയോജിപ്പിക്കുന്നു. ഏകദേശം പറഞ്ഞാൽ, സിസ്റ്റം ലോഡ് ഗ്രാഫ് വിശകലനം ചെയ്യുകയും ഫ്യൂറിയർ സീരീസിനെ അടിസ്ഥാനമാക്കി അതിനെ എക്സ്ട്രാപോളേറ്റ് ചെയ്യുകയും ചെയ്യുന്നു. ഞങ്ങളുടെ മാതൃകയിൽ നിന്ന് എടുത്ത ചില ഗുണകങ്ങൾ പകൽ സമയത്ത് ചേർക്കാനും സാധിക്കും. മാനുഷിക ഇടപെടലില്ലാതെ മെട്രിക്കുകൾ എടുക്കുന്നു, പ്രവചനം ആഴ്ചയിൽ ഒരിക്കൽ സ്വയമേവ വീണ്ടും കണക്കാക്കുകയും പുതിയ റിപ്പോർട്ടുകൾ സ്വീകർത്താക്കൾക്ക് അയയ്ക്കുകയും ചെയ്യുന്നു. 

ഈ സമീപനം പ്രധാന ചാക്രികതകളെ തിരിച്ചറിയുന്നു, ഉദാഹരണത്തിന്, വാർഷിക, പ്രതിമാസ, ത്രൈമാസ, പ്രതിവാര. ശമ്പളത്തിൻ്റെയും അഡ്വാൻസുകളുടെയും പേയ്‌മെൻ്റുകൾ, അവധിക്കാല കാലയളവുകൾ, അവധിദിനങ്ങൾ, വിൽപ്പന - ഇതെല്ലാം സിസ്റ്റങ്ങളിലേക്കുള്ള കോളുകളുടെ എണ്ണത്തെ ബാധിക്കുന്നു. ഉദാഹരണത്തിന്, ചില സൈക്കിളുകൾ പരസ്പരം ഓവർലാപ്പ് ചെയ്യുന്നു, കൂടാതെ സിസ്റ്റങ്ങളിലെ പ്രധാന ലോഡ് (75%) സെൻട്രൽ ഫെഡറൽ ഡിസ്ട്രിക്റ്റിൽ നിന്നാണ് വരുന്നത്. നിയമപരമായ സ്ഥാപനങ്ങളും വ്യക്തികളും വ്യത്യസ്തമായി പെരുമാറുന്നു. "ഭൗതികശാസ്ത്രജ്ഞരിൽ" നിന്നുള്ള ലോഡ് ആഴ്‌ചയിലെ ദിവസങ്ങളിൽ താരതമ്യേന തുല്യമായി വിതരണം ചെയ്യപ്പെടുന്നുവെങ്കിൽ (ഇത് ധാരാളം ചെറിയ ഇടപാടുകളാണ്), കമ്പനികൾക്ക് 99,9% ജോലി സമയത്തിനായി ചെലവഴിക്കുന്നു, ഇടപാടുകൾ ചെറുതായിരിക്കാം അല്ലെങ്കിൽ നിരവധി തവണ പ്രോസസ്സ് ചെയ്യാൻ കഴിയും. മിനിറ്റുകൾ അല്ലെങ്കിൽ മണിക്കൂറുകൾ പോലും.

ലഭിച്ച ഡാറ്റയെ അടിസ്ഥാനമാക്കി, ദീർഘകാല പ്രവണതകൾ നിർണ്ണയിക്കപ്പെടുന്നു. റിമോട്ട് ബാങ്കിംഗ് സേവനങ്ങളിലേക്ക് ആളുകൾ കൂട്ടത്തോടെ നീങ്ങുന്നതായി പുതിയ സംവിധാനം വെളിപ്പെടുത്തി. എല്ലാവർക്കും ഇത് അറിയാം, പക്ഷേ ഞങ്ങൾ അത്തരമൊരു സ്കെയിൽ പ്രതീക്ഷിച്ചില്ല, ആദ്യം അതിൽ വിശ്വസിച്ചില്ല: ബാങ്ക് ഓഫീസുകളിലേക്കുള്ള കോളുകളുടെ എണ്ണം വളരെ വേഗത്തിൽ കുറയുന്നു, കൂടാതെ വിദൂര ഇടപാടുകളുടെ എണ്ണം കൃത്യമായി അതേ അളവിൽ വളരുകയാണ്. അതനുസരിച്ച്, സിസ്റ്റങ്ങളിലെ ലോഡും വളരുകയും വളരുകയും ചെയ്യും. 2020 ഫെബ്രുവരി വരെയുള്ള ലോഡ് ഞങ്ങൾ ഇപ്പോൾ പ്രവചിക്കുന്നു. സാധാരണ ദിവസങ്ങൾ 3% പിശക് ഉപയോഗിച്ച് പ്രവചിക്കാം, കൂടാതെ 10% പിശക് ഉപയോഗിച്ച് പീക്ക് ദിവസങ്ങൾ. ഇതൊരു നല്ല ഫലമാണ്.

.അതിവിശാലമായ

പതിവുപോലെ, ഇത് ബുദ്ധിമുട്ടുകൾ ഇല്ലാതെ ആയിരുന്നില്ല. ഫോറിയർ സീരീസ് ഉപയോഗിക്കുന്ന എക്സ്ട്രാപോളേഷൻ സംവിധാനം പൂജ്യത്തെ നന്നായി മറികടക്കുന്നില്ല - നിയമപരമായ സ്ഥാപനങ്ങൾ വാരാന്ത്യങ്ങളിൽ കുറച്ച് ഇടപാടുകൾ സൃഷ്ടിക്കുമെന്ന് ഞങ്ങൾക്കറിയാം, പക്ഷേ പ്രവചന ഘടകം പൂജ്യത്തിൽ നിന്ന് വളരെ അകലെയുള്ള മൂല്യങ്ങൾ നിർമ്മിക്കുന്നു. ബലപ്രയോഗത്തിലൂടെ അവരെ തിരുത്താൻ സാധിച്ചു, പക്ഷേ ഊന്നുവടികൾ ഞങ്ങളുടെ രീതിയല്ല. കൂടാതെ, ഉറവിട സിസ്റ്റങ്ങളിൽ നിന്ന് വേദനയില്ലാതെ ഡാറ്റ വീണ്ടെടുക്കുന്നതിനുള്ള പ്രശ്നം ഞങ്ങൾ പരിഹരിക്കേണ്ടതുണ്ട്. വിവരങ്ങളുടെ പതിവ് ശേഖരണത്തിന് ഗുരുതരമായ കമ്പ്യൂട്ടിംഗ് ഉറവിടങ്ങൾ ആവശ്യമാണ്, അതിനാൽ ഞങ്ങൾ റെപ്ലിക്കേഷൻ ഉപയോഗിച്ച് വേഗത്തിലുള്ള കാഷെകൾ നിർമ്മിക്കുകയും പകർപ്പുകളിൽ നിന്ന് ബിസിനസ്സ് ഡാറ്റ സ്വീകരിക്കുകയും ചെയ്യുന്നു. അത്തരം സന്ദർഭങ്ങളിൽ മാസ്റ്റർ സിസ്റ്റങ്ങളിൽ അധിക ലോഡ് ഇല്ലാത്തത് ഒരു തടയൽ ആവശ്യകതയാണ്.

പുതിയ വെല്ലുവിളികൾ

കൊടുമുടികൾ പ്രവചിക്കാനുള്ള നേരായ ചുമതല പരിഹരിച്ചു: ഈ വർഷം മെയ് മുതൽ ബാങ്കിൽ ഓവർലോഡുമായി ബന്ധപ്പെട്ട പരാജയങ്ങളൊന്നും ഉണ്ടായിട്ടില്ല, പുതിയ പ്രവചന സംവിധാനം ഇതിൽ ഒരു പ്രധാന പങ്ക് വഹിച്ചു. അതെ, അത് പര്യാപ്തമല്ലെന്ന് തെളിഞ്ഞു, ഇപ്പോൾ കൊടുമുടികൾ അതിന് എത്രത്തോളം അപകടകരമാണെന്ന് മനസ്സിലാക്കാൻ ബാങ്ക് ആഗ്രഹിക്കുന്നു. ലോഡ് ടെസ്റ്റിംഗിൽ നിന്നുള്ള മെട്രിക്‌സ് ഉപയോഗിച്ച് ഞങ്ങൾക്ക് പ്രവചനങ്ങൾ ആവശ്യമാണ്, ഏകദേശം 30% നിർണായക സിസ്റ്റങ്ങളിൽ ഇത് ഇതിനകം പ്രവർത്തിക്കുന്നു, ബാക്കിയുള്ളവ പ്രവചനങ്ങൾ നേടുന്ന പ്രക്രിയയിലാണ്. അടുത്ത ഘട്ടത്തിൽ, ഞങ്ങൾ സിസ്റ്റങ്ങളിലെ ലോഡ് പ്രവചിക്കാൻ പോകുന്നത് ബിസിനസ്സ് ഇടപാടുകളിലല്ല, മറിച്ച് ഐടി ഇൻഫ്രാസ്ട്രക്ചറിൻ്റെ കാര്യത്തിൽ, അതായത് ഞങ്ങൾ ഒരു ലെയറിലേക്ക് പോകും. കൂടാതെ, ഡൗൺലോഡുകൾ കൈകാര്യം ചെയ്യാതിരിക്കാൻ, അളവുകളുടെ ശേഖരണവും അവയെ അടിസ്ഥാനമാക്കിയുള്ള പ്രവചനങ്ങളുടെ നിർമ്മാണവും ഞങ്ങൾ പൂർണ്ണമായും ഓട്ടോമേറ്റ് ചെയ്യേണ്ടതുണ്ട്. ഇതിൽ അതിശയകരമായ ഒന്നും തന്നെയില്ല - ആഗോള മികച്ച സമ്പ്രദായങ്ങൾക്ക് അനുസൃതമായി ഞങ്ങൾ നിരീക്ഷണവും ലോഡ് ടെസ്റ്റിംഗും മറികടക്കുകയാണ്.

അവലംബം: www.habr.com