Sistimi ea tšehetso ea litokomane bankeng ea rona e lula e ntlafala le ho hola, 'me litlhoko tsa mamello ea lebelo le liphoso li ntse li eketseha. Ka nako e 'ngoe, ho boloka LMS ntle le tlhahlobo e sebetsang e bohareng ho bile kotsi haholo. Ho boloka lits'ebetso tsa khoebo ho VTB le ho nolofatsa mosebetsi oa batsamaisi, re kentse tšebetsong tharollo e ipapisitseng le letoto la mahlale a bulehileng. Ka thuso ea eona, re ka arabela ka matla liketsahalong, ho thibela mathata a ka bang teng. Ka tlase ho sehiloeng ke pale e mabapi le boiphihlelo ba rona ba ho sebelisa software ea mahala ho beha leihlo litsamaiso tse kholo tsa khoebo.
Ke hobane'ng ha u beha leihlo tsamaiso ea hau ea litokomane?
Ho tloha 2005, tšehetso ea litokomane ho VTB Bank e "tsamaisoa" ke tsamaiso ea CompanyMedia. LMS e hira basebelisi ba fetang likete tse 60 ba etsang litokomane tse ncha tse fetang milione khoeli le khoeli. Li-server tsa rona li tlameha ho sebetsa lihora tse 24 ka letsatsi: hoo e batlang e le motsotso ofe kapa ofe ho na le batho ba 2500-3000 tsamaisong, ba hokahaneng ho pholletsa le naha, ho tloha Petropavlovsk-Kamchatsky ho ea Kaliningrad. Motsotsoana o mong le o mong oa ts'ebetso ea LMS o bolela liphetoho tse 10–15.
Ho etsa bonnete ba hore sistimi e phethahatsa mesebetsi eo e e abetsoeng ka nepo, re kentse meralo ea motheo e mamellang liphoso re sebelisa li-server tsa proxy, ho leka-lekanya ho kopa, ts'ireletso ea tlhahisoleseling, ho batla mongolo ka botlalo, litsela tsa ho kopanya le ho boloka bekapo. Ho tšehetsa le ho tsamaisa morero oa tekanyo ena ho hloka lisebelisoa tse ngata haholo. Batsamaisi ba beha leihlo tlhahisoleseling ea mantlha mabapi le ts'ebetso ea seva, mojaro oa RAM, nako ea CPU, sistimi ea I/O, joalo-joalo bosiu le motšehare. Empa ntle le sena, ho hlokahala li-analytics tse poteletseng haholoanyane:
- ho bala nako e sebelisitsoeng ho phethahatsa maemo a khoebo;
- ho lekola matla a ts'ebetso ea sistimi le ho e jarisa;
- ho batla ho kheloha likarolo tsa sistimi ho tsoa ho litlhoko tse sa sebetseng tse lumelletsoeng.
Lilemo tse 11 kamora ho hlahisoa ha LMS, taba ea karabelo e matla mefuteng e fapaneng ea liphoso e se e le mpe haholo. Tsamaiso ea banka e ile ea hlokomela hore ho sebetsa ntle le li-monitor le tsamaiso ea bophelo ea tsamaiso ho ne ho bapala ka mollo: ho hlōleha hanyenyane tsamaisong ea khoebo ea boemo bona ho ka fella ka tahlehelo ea limilione.
Ka selemo sa 2016, re ile ra qala ho hlahisa lisebelisoa tsa ho tsebahatsa mathata ka potlako tšebetsong ea LMS, ho kenyeletsoa le maemo a re khahlang ka nako ea nnete. Pejana, mokhoa o sebelisoang oa ho beha leihlo o ne o sebelisoa le ho lekoa ka har'a moralo oa meralo ea motheo ea khamphani ea InterTrust.
Moo tsohle li qalileng teng
Kajeno, tsamaiso e bohareng ea ts'ebetso ea VTB LMS, e thehiloeng ho lihlahisoa tsa software ea mohloli o bulehileng, e thusa ho thibela liphoso tse ngata tse amanang le phallo ea litokomane, ho arola mathata ka potlako le ka nepo, le ho arabela hang-hang liketsahalong leha e le life. E kenyelletsa li-subsystem tse peli:
- bakeng sa ho beha leihlo lisebelisoa tsa IT tsa lits'ebeletso tsa sistimi;
- ho beha leihlo ho hlaha ha liphoso tšebetsong ea LMS.
Tsohle li qalile ka sesebelisoa se le seng sa mahala sa ho beha leihlo. Kamora ho khetha likhetho tse 'maloa, re ile ra lula ho Zabbix - software ea mahala eo qalong e neng e ngoletsoe litšebeletso tsa banka le lisebelisoa. Sistimi ena e thehiloeng marang-rang ea PHP, e ka bolokang data ho MySQL, PostgreSQL, SQLite kapa Oracle Database, e ne e lekana hantle le litlhoko tsa rona.
Zabbix e tsamaisa mahlahana a eona ho seva se seng le se seng 'me e bokella tlhahisoleseding mabapi le metrics ea thahasello ka nako ea sebele ho database e le' ngoe. U sebelisa ts'ebeliso, ho bonolo ho bokella datha mabapi le mojaro oa li-processor le RAM, ts'ebeliso ea marang-rang le likarolo tse ling, ho lekola boteng le karabelo ea lits'ebeletso tse tloaelehileng (SMTP kapa HTTP), tsamaisa mananeo a kantle, le ts'ehetso ea ts'ehetso. SNMP.
Ha re se re sebelisitse Zabbix, re ile ra lokisa metrics e tloaelehileng ea hardware, 'me qalong sena se ne se lekane. Empa VTB SDO e ntse e tsoela pele le ho hōla: ka 2016, palo ea li-server e ile ea eketseha ka mokhoa o hlokomelehang, mekhoa ea ho falla e ile ea hlaha, Bank of Moscow, VTB Capital, le VTB24 e ile ea ikopanya le tsamaiso. Ha ho sa na metrics e tloaelehileng e lekaneng, 'me re ile ra ruta Zabbix ho lekola tlhahisoleseling mabapi le boteng ba mela ho e' ngoe le e 'ngoe ea li-volume tse amanang le seva (ka ntle ho lebokose Zabbix e bontša feela lethathamo la disk ka kakaretso), hammoho le nako eo e e nkang. ho phethela mokhoa o itseng.
Ntle le moo, re ile ra hlomella sistimi ka lintho tse susumetsang tse ngata - maemo ao ho ona tsebiso e romelloang ho molaoli (molaetsa ho Telegraph, SMS ho nomoro ea mohala kapa lengolo-tsoibila). Li-triggers li ka hlophisoa bakeng sa sehlopha sefe kapa sefe sa li-parameter. Mohlala, o ka hlakisa peresente e itseng ea sebaka sa mahala sa disk, 'me sistimi e tla lemosa mookameli ha moeli o boletsoeng o fihletsoe, kapa o u tsebise haeba ts'ebetso ea morao-rao e sebetsa nako e telele ho feta e tloaelehileng.
Khokahano ea Java le pono ea data
Re atolositse haholo mefuta e mengata ea lintlha tse hlahlobiloeng, empa haufinyane sena se ne se sa lekana bakeng sa tlhahlobo e sebetsang. Re nka monyetla ka taba ea hore CompanyMedia's LMS ke sesebelisoa sa Java, re ile ra hokahanya le Java Virtual Machine ka sebopeho sa JMX mme ra khona ho nka metrics ea Java ka kotloloho. Eseng feela liparamente tse tloaelehileng tsa ts'ebetso ea bohlokoa ea Java, joalo ka matla a mosebetsi oa GC kapa tšebeliso ea Heap, empa le liteko tse ikhethileng tse amanang ka kotloloho le khoutu ea ts'ebeliso e sebetsang.
Ka 2017, hoo e ka bang selemo ka mor'a ts'ebetsong ea tsamaiso ea ho shebella, ho ile ha hlaka hore e le hore ho sebetsanoe ka mokhoa o tloaelehileng le palo e kholo ea boitsebiso bo bokeletsoeng Zabbix, ho ne ho se na pono e lekaneng - li-skrini tse rarahaneng. Tharollo e molemohali ea bothata bona e ne e boetse e le software ea mahala - Grafana, dashboard e bonolo ea metrics e u lumellang ho bokella lintlha tsohle skrineng se le seng.
Sehokelo sa Grafana sea sebetsa, se hopotsa sistimi ea OLAP. Subsystem e bonts'a data e amohetsoeng ke Zabbix skrineng se le seng, e fana ka tlhaiso-leseling ka mokhoa oa li-graph le litšoantšo tseo ho leng bonolo ho li sekaseka. Motsamaisi a ka etsa lilae tseo a li hlokang habonolo.
Ho beha leihlo le ho thibela ho felisoa ha liphoso tsamaisong ea LMS
Sethala sa software se bulehileng sa ELK se u thusa ho sefa le ho sekaseka tlhahisoleseling e fumanoeng nakong ea ho beha leihlo. Sehlahisoa sena sa opensource se na le lisebelisoa tse tharo tse matla tsa ho bokella, ho boloka le ho sekaseka data: Elasticsearch, Logstash le Kibana. Ts'ebetsong ea tsamaiso ena e nyenyane e lumella, haholo-holo, ho bona ka nako ea sebele hore na ho na le liphoso tse kae tse etsahetseng tsamaisong, hore na ke li-server life le hore na liphoso tsena li phetoa.
Joale motsamaisi a ka bona bothata esale pele, le pele mosebelisi a kopana le bona. Tlhokomelo e joalo e sebetsang e u lumella ho thibela ho se sebetse hantle ha sistimi ka ho tlosa liphoso ka nako. Ho phaella moo, re ka utloisisa hore na boitšoaro ba tsamaiso bo fetohile joang ka mor'a ho ntlafatsoa, hammoho le ho lemoha mathata a macha haeba a hlaha.
Tlhokomelo ea Ts'ebetso ea Khoebo
Ntle le mesebetsi ea mantlha ea ho lekola tšebeliso ea lisebelisoa, sistimi e na le bokhoni ba ho sekaseka le ho laola ts'ebetso ea khoebo.
Ho beha leihlo nako e akaretsang ea ts'ebetso ea ts'ebetso ea khoebo ho u fa monyetla oa ho tseba lintlha tse ncha le ho utloisisa phello eo li nang le eona ts'ebetsong ea sistimi.
Ho beha leihlo nako ea ts'ebetso ea likopo bakeng sa ts'ebeletso e 'ngoe le e' ngoe ea khoebo ho etsa hore ho khonehe ho lemoha lits'ebetso tse khelohang ho se tloaelehileng.
Setšoantšo sa skrini se ka holimo ke mohlala oa ho beha leihlo mosebetsi oa morao-rao ho latela ho kheloha hoa tloaelo.
Lethathamo la mesebetsi e laoloang ho latela ts'ebetso ea bona ho seva e itseng e u lumella ho tseba liphoso - ho kenyelletsa le ho pheta-pheta ha ts'ebetso ea mosebetsi - ho li-server tsohle.
Mekhoa ea nako ea ts'ebetso ea mekhoa ea morao-rao e boetse e behiloe leihlo.
Sistimi ea hola, e nts'etsapele ebile e thusa ho sebetsana le mathata
Ka ts'ebetsong ea sistimi e hlalositsoeng, ho lekola ts'ebetso ea li-server tsa LMS ho nolofalitsoe haholo. Leha ho le joalo, mefuta e fapaneng ea likhohlano e hlaha nako le nako, e amang lebelo la phallo ea litokomane le ho baka litletlebo tsa basebelisi. Kahoo re ile ra hlokomela hore ho ne ho hlokahala ho laola boitšoaro ba kopo ka boeona, eseng feela li-server.
Ho rarolla bothata bona, balancer e ne e amana le tsamaiso ea ho shebella ka API, e sebetsang le sehlopha sa li-server tsa kopo. Ka lebaka la sena, mookameli a ka bona hore na ho nka nako e kae seva ho arabela kopo e 'ngoe le e' ngoe ea mosebedisi.
Lintlha tse mabapi le linako tsa karabelo ea seva li ile tsa fumaneha bakeng sa tlhahlobo, e leng se entseng hore ho khonehe ho hokahanya ho fokotseha ha LMS le lits'ebetso tse etsahalang ho seva. Ka ho khetheha, ho ile ha hlaha boemo bo thahasellisang: seva se ntse se sebetsa butle, le hoja hona joale ha se laeloe. Ha re hlahlobisisa bothata bona, re ile ra fumana liphapang ts'ebetsong ea Java Collector. Qetellong, ho ile ha fumaneha hore ke ts'ebetso e fosahetseng ea tšebeletso ena e lebisitseng boemong bona. Ka ho nka taolo ea Java Collector ea Lithōle, re ile ra felisa bothata ka ho feletseng.
Ke kamoo software ea mahala e thusang sistimi ea taolo ea litokomane indastering ea libanka ho nts'etsapele le ho hola. Re amme feela litaba tse kholo tse amanang le mokhoa oa ho beha leihlo oa VTB SDO. Haeba u thahasella lintlha, botsa litlhaloso, re tla thabela ho arolelana phihlelo ea rona le uena.
Source: www.habr.com