DevOps xyaum ua haujlwm. Peb tau ntseeg txog qhov no peb tus kheej thaum peb txo qhov tso tawm lub sijhawm teeb tsa los ntawm 10 zaug. Hauv FIS Profile system, uas peb siv ntawm VTB, kev teeb tsa tam sim no siv sijhawm 90 feeb ntau dua li 10. Lub sijhawm tsim tawm tau txo qis los ntawm ob lub lis piam mus rau ob hnub. Tus naj npawb ntawm cov kev siv tsis tu ncua tau poob mus rau yuav luag tsawg kawg. Txhawm rau kom deb ntawm "kev ua haujlwm ntawm tes" thiab tshem tawm kev vam khom ntawm tus neeg muag khoom, peb yuav tsum ua haujlwm nrog cov cuab yeej cuab tam thiab nrhiav kev daws teeb meem npaj txhij txog. Hauv qab no qhov kev txiav yog cov ncauj lus kom ntxaws txog yuav ua li cas peb tsim kom muaj kev txhim kho sab hauv tag nrho.
Prologue: DevOps yog lub tswv yim
Nyob rau xyoo tas los no, peb tau ua ntau txoj haujlwm los npaj kev txhim kho sab hauv thiab kev siv DevOps kev coj ua ntawm VTB:
- Peb tsim cov txheej txheem kev txhim kho sab hauv rau 12 lub tshuab;
- Peb tau tsim 15 lub raj xa dej, plaub qhov uas tau coj mus rau kev tsim khoom;
- Automated 1445 xeem scenarios;
- Peb tau ua tiav ntau qhov kev tshaj tawm uas npaj los ntawm pab pawg hauv tsev.
Ib qho nyuaj tshaj plaws rau kev txhim kho hauv tsev thiab kev siv DevSecOps cov kev coj ua tau dhau los ua FIS Profile system - cov khoom lag luam muag khoom ntawm DBMS tsis muaj feem cuam tshuam. Txawm li cas los xij, peb tuaj yeem tsim kev txhim kho, tso lub raj xa dej, teeb tsa ib tus neeg tsis tso cov pob khoom ntawm cov khoom, thiab kawm paub yuav ua li cas sib sau ua ke tso tawm. Txoj haujlwm tsis yooj yim, tab sis nthuav thiab tsis muaj kev txwv tsis pub siv: ntawm no yog qhov system - koj yuav tsum tsim kom muaj kev txhim kho hauv tsev. Qhov xwm txheej nkaus xwb yog siv CD ua ntej qhov chaw tsim khoom.
Thaum xub thawj, qhov kev siv algorithm zoo li yooj yim thiab meej:
- Peb tsim kev tsim kho thawj zaug thiab ua tiav qhov kev lees paub zoo los ntawm pab pawg code yam tsis muaj kev cuam tshuam tag nrho;
- Peb koom ua ke rau hauv cov txheej txheem uas twb muaj lawm ntau li ntau tau;
- Txhawm rau hloov cov lej ntawm cov theem pom tseeb, peb txiav cov raj xa dej thiab thawb ib qho ntawm nws qhov kawg mus rau qhov txuas ntxiv.
Lub sijhawm no, pab pawg tsim kho ntawm qhov loj me yuav tsum tau tsim cov kev txawj ntse thiab nce qhov kev sib koom ntawm nws txoj kev koom tes rau kev tso tawm mus rau qib uas tau txais. Thiab qhov ntawd yog nws, peb tuaj yeem xav txog qhov ua tiav.
Nws yuav zoo li tias qhov no yog txoj hauv kev ua kom muaj zog tag nrho rau qhov xav tau: ntawm no yog DevOps, ntawm no yog pab pawg kev ntsuas kev ua tau zoo, ntawm no yog cov kws tshaj lij sau... , thiab tsis "txuas ntxiv rau cov txheej txheem gitlab, ansible, nexus thiab ntxiv rau hauv daim ntawv teev npe."
Muaj ib zaug txheeb xyuas qhov kev npaj ua, peb pom tau tias peb tab tom tsim ib hom kev muag khoom tawm hauv peb tus kheej. Yog li ntawd, cov txheej txheem reengineering tau ntxiv rau cov algorithm uas tau piav qhia saum toj no, nrog rau kev txhim kho kev txawj ntse raws tag nrho txoj kev txhim kho kom ua tiav lub luag haujlwm tseem ceeb hauv cov txheej txheem no. Tsis yog qhov kev xaiv yooj yim tshaj plaws, tab sis qhov no yog txoj hauv kev ntawm ideologically txhim kho kom raug.
Txoj kev loj hlob hauv tsev pib qhov twg?
Nws tsis yog tus phooj ywg zoo tshaj plaws los ua haujlwm nrog. Architecturally, nws yog ib qho loj uas tsis muaj kev cuam tshuam DBMS, muaj ntau yam khoom siv sib cais (cov ntawv sau, cov txheej txheem, cov khoom siv, thiab lwm yam), uas tau hu ua raws li xav tau, thiab ua haujlwm ntawm lub hauv paus ntsiab lus ntawm lub thawv dub: nws tau txais kev thov thiab teeb meem. ib teb. Lwm yam teeb meem tsim nyog sau cia suav nrog:
- Cov lus txawv txawv (MUMPS);
- Console interface;
- Tsis muaj kev sib koom ua ke nrog cov cuab yeej siv hluav taws xob nrov thiab cov txheej txheem ua haujlwm;
- Cov ntaub ntawv ntim hauv kaum tawm terabytes;
- Kev thauj khoom ntau dua 2 lab kev ua haujlwm hauv ib teev;
- Qhov tseem ceeb - Kev lag luam-tseem ceeb.
Nyob rau tib lub sijhawm, tsis muaj qhov chaw cia khoom ntawm peb sab. Tag nrho. Muaj cov ntaub ntawv, tab sis tag nrho cov kev paub thiab kev txawj ntse tseem ceeb nyob rau sab ntawm lub koom haum sab nraud.
Peb pib mastering txoj kev loj hlob ntawm lub system yuav luag los ntawm kos, coj mus rau hauv tus account nws cov yam ntxwv thiab tsawg tis. Pib lub Kaum Hlis 2018:
- Kawm cov ntaub ntawv thiab cov hauv paus ntawm kev tsim cov cai;
- Peb kawm cov chav kawm luv luv ntawm kev txhim kho tau txais los ntawm tus neeg muag khoom;
- Mastered kev txhim kho thawj zaug;
- Peb tau sau phau ntawv qhia kev cob qhia rau cov tswv cuab tshiab;
- Peb pom zoo kom suav nrog pab pawg hauv "kev sib ntaus sib tua" hom;
- daws qhov teeb meem nrog kev tswj hwm kev tswj hwm zoo;
- Peb tau tsim ib qho chaw sawv cev rau kev txhim kho.
Peb tau siv peb lub hlis txhim kho kev txawj ntse thiab ua rau peb tus kheej hauv lub cev, thiab txij li thaum pib ntawm 2019, kev txhim kho hauv tsev pib nws txoj kev txav mus rau lub neej yav tom ntej, qee zaum nyuaj, tab sis muaj kev ntseeg siab thiab muaj lub hom phiaj.
Repository migration thiab autotests
Thawj txoj haujlwm DevOps yog qhov chaw cia khoom. Peb tau pom zoo sai sai rau kev muab kev nkag mus, tab sis nws yog qhov yuav tsum tau tsiv teb tsaws los ntawm SVN tam sim no nrog ib ceg pob tw rau peb lub hom phiaj Git nrog rau kev hloov mus rau tus qauv ntawm ntau ceg thiab kev loj hlob ntawm Git Flow. Peb kuj muaj 2 pab pawg nrog lawv tus kheej infrastructure, ntxiv rau ib feem ntawm cov neeg muag khoom pab neeg txawv teb chaws. Kuv yuav tsum nyob nrog ob Gits thiab xyuas kom synchronization. Hauv qhov xwm txheej zoo li no, nws yog qhov tsawg dua ntawm ob qhov kev phem.
Kev tsiv teb tsaws chaw ntawm qhov chaw khaws cia tau raug ncua ntau zaus; nws tau ua tiav hauv lub Plaub Hlis nkaus xwb, nrog kev pab los ntawm cov npoj yaig los ntawm cov kab pem hauv ntej. Nrog Git Flow, peb tau txiav txim siab khaws tej yam yooj yim rau kev pib thiab txiav txim siab ntawm cov txheej txheem classic nrog kev kho kub, tsim thiab tso tawm. Lawv txiav txim siab tso tus tswv (aka prod-like). Hauv qab no peb yuav piav qhia vim li cas qhov kev xaiv no tau ua kom zoo rau peb. Ib qho chaw cia sab nraud uas yog tus neeg muag khoom, feem ntau rau ob pawg, tau siv los ua tus neeg ua haujlwm. Nws synchronized nrog lub internal repository raws li lub sij hawm. Tam sim no nrog Git thiab Gitlab nws muaj peev xwm ua kom tiav cov txheej txheem.
Qhov teeb meem ntawm autotests tau daws tau yooj yim xav tsis thoob - peb tau muab cov txheej txheem npaj ua tiav. Noj mus rau hauv tus account lub peculiarities ntawm lub system, hu rau ib tug cais kev ua hauj lwm yog ib tug nkag siab ib feem ntawm lub lag luam txheej txheem thiab nyob rau tib lub sij hawm tau txais kev pab raws li ib tug unit test. Txhua yam uas tseem tshuav yog los npaj cov ntaub ntawv xeem thiab teeb tsa qhov kev xav tau ntawm kev hu cov ntawv sau thiab ntsuas cov txiaj ntsig. Raws li cov npe ntawm cov xwm txheej, tsim los ntawm kev ua haujlwm txheeb cais, qhov kev thuam ntawm cov txheej txheem thiab cov txheej txheem rov qab uas twb muaj lawm, ua tiav, kev sim tsis siv neeg pib tshwm sim. Tam sim no peb tuaj yeem pib tsim cov kav dej.
Yuav ua li cas yog: tus qauv ua ntej automation
Cov qauv uas twb muaj lawm ntawm cov txheej txheem kev siv yog ib zaj dab neeg cais. Txhua qhov kev hloov kho tau hloov pauv manually raws li cov khoom sib txuas ntxiv ntxiv. Tom ntej no tuaj txog kev sau npe hauv Jira thiab phau ntawv teeb tsa ntawm ib puag ncig. Rau cov pob khoom ntawm tus kheej, txhua yam zoo li pom tseeb, tab sis nrog kev npaj ntawm kev tso tawm, txhua yam nyuaj dua.
Kev sib dhos tau ua nyob rau theem ntawm kev xa khoom ntawm tus kheej, uas yog cov khoom ywj pheej. Txhua yam kev hloov pauv yog kev xa khoom tshiab. Ntawm lwm yam, 60-70 technical versions tau ntxiv rau 10-15 pob ntawm cov ntsiab lus tso tawm - cov qauv tau txais thaum ntxiv lossis tsis suav nrog qee yam los ntawm kev tso tawm thiab xav txog kev hloov pauv hauv kev muag khoom tawm sab nraud.
Cov khoom nyob rau hauv cov khoom xa tuaj sib tshooj nrog ib leeg, tshwj xeeb tshaj yog nyob rau hauv txoj cai executable, uas yog tsawg tshaj li ib nrab ntawm nws. Muaj ntau qhov kev vam khom ob qho tib si ntawm cov cai uas twb tau teeb tsa lawm thiab ntawm qhov uas nws qhov kev teeb tsa tsuas yog npaj.
Txhawm rau kom tau txais qhov yuav tsum tau ua ntawm cov cai, nws yog ib qho tsim nyog yuav tsum nruj me ntsis raws li kev teeb tsa kev teeb tsa, thaum lub sijhawm cov khoom raug sau rov qab ntau zaus, qee qhov 10-12 zaug.
Tom qab txhim kho ib pawg ntawm cov pob khoom, kuv yuav tsum ua raws li cov lus qhia kom pib qhov chaw. Qhov kev tso tawm tau sib sau ua ke thiab teeb tsa los ntawm tus neeg muag khoom. Qhov muaj pes tsawg leeg ntawm kev tso tawm tau qhia meej yuav luag ua ntej lub sijhawm ntawm kev siv, uas suav nrog kev tsim cov pob khoom "decoupling". Yog li ntawd, ib feem tseem ceeb ntawm cov khoom siv tau txav los ntawm kev tso tawm mus tso nrog nws tus kheej tus Tsov tus tw ntawm "decouplings".
Tam sim no nws yog tseeb hais tias nrog rau qhov no mus kom ze - sib sau ua ke tso tawm puzzle nyob rau hauv lub pob theem - ib tug tswv ceg tsis muaj lub ntsiab lus tswv yim. Kev teeb tsa ntawm kev tsim khoom siv los ntawm ib thiab ib nrab mus rau ob teev ntawm kev siv tes ua haujlwm. Nws yog qhov zoo uas tsawg kawg ntawm qib installer qhov kev txiav txim ntawm cov khoom ua tiav tau teev tseg: teb thiab cov qauv tau nkag ua ntej cov ntaub ntawv rau lawv thiab cov txheej txheem. Txawm li cas los xij, qhov no tsuas yog ua haujlwm hauv ib lub pob cais.
Qhov laj thawj ntawm qhov kev xav tau no yog qhov yuav tsum tau ua qhov tsis xws luag nyob rau hauv daim ntawv ntawm cov khoom sib txawv ntawm cov khoom, cov cai tsis tsim nyog, cov lus qhia uas ploj lawm thiab tsis muaj kev cuam tshuam rau kev sib nrig sib cuam tshuam ntawm cov khoom, uas tau kub hnyiab tawm tom qab tso tawm.
Thawj qhov hloov tshiab: cog lus sib dhos thiab xa khoom
Automation pib los ntawm kev xa cov lej los ntawm cov yeeb nkab raws txoj kev no:
- Nqa cov khoom tiav los ntawm kev khaws cia;
- Nruab nws rau ib puag ncig tshwj xeeb;
- Khiav autotests;
- Txheeb xyuas qhov tshwm sim ntawm kev teeb tsa;
- Hu rau cov raj xa dej hauv qab no ntawm sab ntawm cov lus txib kuaj.
Cov kav dej txuas ntxiv yuav tsum tau sau npe rau txoj haujlwm hauv Jira thiab tos cov lus txib kom muab faib rau cov kev sim xaiv, uas nyob ntawm lub sijhawm ntawm kev ua haujlwm. Trigger - ib tsab ntawv hais txog kev npaj xa mus rau qhov chaw nyob. Qhov no, ntawm chav kawm, yog ib qho cuab yeej cuab tam, tab sis kuv yuav tsum pib qhov twg. Thaum lub Tsib Hlis 2019, kev hloov pauv ntawm cov lej pib nrog kev txheeb xyuas ntawm peb ib puag ncig. Cov txheej txheem tau pib, txhua yam uas tseem tshuav yog coj nws mus rau qhov zoo:
- Txhua qhov kev hloov kho yog ua nyob rau hauv ib tug nyias muaj nyias ib ceg, uas sib haum mus rau lub installation pob thiab merges rau hauv lub hom phiaj master ceg;
- Lub raj xa hluav taws xob yog qhov tshwm sim ntawm kev cog lus tshiab hauv tus tswv ceg los ntawm kev thov kev sib koom ua ke, uas raug kaw los ntawm cov neeg saib xyuas los ntawm pab pawg hauv tsev;
- Repositories yog synchronized ib zaug txhua tsib feeb;
- Kev sib dhos ntawm lub pob installation yog pib - siv lub assembler tau txais los ntawm tus neeg muag khoom.
Tom qab no, muaj cov kauj ruam uas twb muaj lawm los xyuas thiab hloov cov cai, tso cov yeeb nkab thiab sib sau ua ke ntawm peb sab.
Qhov kev xaiv no tau pib thaum Lub Xya Hli. Cov teeb meem ntawm kev hloov pauv tau ua rau qee qhov tsis txaus siab ntawm cov neeg muag khoom thiab cov kab hauv ntej, tab sis nyob rau lub hlis tom ntej peb tau tswj xyuas kom tshem tawm tag nrho cov npoo ntxhib thiab tsim cov txheej txheem ntawm cov pab pawg. Peb tam sim no muaj kev sib dhos los ntawm kev cog lus thiab xa khoom.
Thaum lub Yim Hli, peb tau ua tiav thawj qhov kev teeb tsa ntawm cov pob cais ntawm kev tsim khoom siv peb cov raj xa dej, thiab txij li lub Cuaj Hli, tsis muaj qhov tshwj xeeb, tag nrho cov kev teeb tsa ntawm ib tus neeg tsis tso tawm pob khoom tau ua los ntawm peb cov cuab yeej CD. Tsis tas li ntawd, peb tau tswj hwm kom ua tiav ib feem ntawm cov haujlwm hauv tsev hauv 40% ntawm qhov kev tso tawm nrog ib pab pawg me dua li tus neeg muag khoom - qhov no yog qhov ua tiav tiav. Lub luag haujlwm tseem ceeb tshaj plaws tseem nyob - sib sau ua ke thiab nruab qhov tso tawm.
Qhov kawg kev daws teeb meem: cumulative installation pob
Peb nkag siab zoo kawg nkaus tias kev sau ntawv tus neeg muag khoom cov lus qhia yog qhov ua haujlwm zoo li ntawd; peb yuav tsum rov xav txog cov txheej txheem nws tus kheej. Qhov kev daws teeb meem yog pom tseeb - txhawm rau sau cov khoom sib txuas los ntawm cov chaw tso tawm nrog txhua yam khoom ntawm qhov xav tau versions.
Peb pib nrog cov ntaub ntawv pov thawj ntawm lub tswv yim: peb tes-sib dhos lub pob tso tawm raws li cov ntsiab lus ntawm kev siv yav dhau los thiab muab tso rau hauv peb qhov chaw. Txhua yam ua tiav, lub tswv yim tau hloov mus ua haujlwm tau. Tom ntej no, peb daws qhov teeb meem ntawm kev sau cov ntawv pib pib thiab suav nrog lawv hauv kev cog lus. Peb tau npaj ib pob tshiab thiab sim nws hauv qhov chaw sim ua ib feem ntawm kev hloov kho contour. Kev teeb tsa tau ua tiav, txawm tias muaj ntau cov lus pom los ntawm pab pawg ua haujlwm. Tab sis qhov tseem ceeb tshaj plaws yog tias peb tau muab qhov kev mus ua ntej mus rau hauv kev tsim khoom hauv lub Kaum Ib Hlis tso nrog peb lub rooj sib txoos.
Tsuas yog tshaj li ib hlis dhau los, cov khoom siv tes tuav tau qhia meej tias lub sijhawm tau ploj mus. Lawv txiav txim siab los tsim lub tsev los ntawm kev tso tawm ceg, tab sis vim li cas yuav tsum tau muab cais? Peb tsis muaj Prod-zoo li, thiab cov ceg ntoo uas twb muaj lawm tsis zoo - muaj ntau cov cai tsis tsim nyog. Peb urgently yuav tsum tau txiav prod-nyiam, thiab qhov no yog tshaj peb txhiab commits. Kev sib sau ua ke ntawm tes tsis yog ib qho kev xaiv txhua. Peb sketched tawm ib tsab ntawv uas khiav los ntawm cov khoom installation cav thiab sau commits rau ceg. Lub sijhawm thib peb nws ua haujlwm raug, thiab tom qab "ua tiav nrog cov ntaub ntawv" ceg tau npaj txhij.
Peb tau sau peb tus kheej tsim rau lub pob installation thiab ua tiav nws hauv ib lub lis piam. Tom qab ntawd peb yuav tsum hloov kho lub installer los ntawm cov haujlwm tseem ceeb ntawm lub kaw lus, vim nws yog qhov qhib. Tom qab ib qho kev kuaj xyuas thiab kev hloov kho, qhov tshwm sim tau pom tias ua tiav. Nyob rau hauv lub meantime, qhov muaj pes tsawg leeg ntawm qhov kev tso tawm coj zoo, rau qhov tseeb installation ntawm uas nws yog tsim nyog los dlhos lub xeem Circuit Court nrog ib tug ntau lawm, thiab ib tug nyias muaj nyias ib tsab ntawv rau qhov no.
Lawm, muaj ntau cov lus hais txog kev teeb tsa thawj zaug, tab sis tag nrho cov cai ua haujlwm. Thiab tom qab hais txog qhov thib peb installation txhua yam pib zoo. Kev tswj hwm kev sib xyaw thiab kev tswj hwm ntawm cov khoom raug saib xyuas nyias nyob rau hauv phau ntawv hom, uas nyob rau theem no yog qhov ncaj ncees.
Ib qho kev sib tw ntxiv yog qhov loj ntawm cov tsis tso tawm uas yuav tsum tau coj mus rau hauv tus account. Tab sis nrog cov ceg zoo li Prod thiab Rebase, txoj haujlwm tau dhau los ua pob tshab.
Thawj zaug, sai thiab tsis raug
Peb tau mus txog qhov kev tso tawm nrog tus cwj pwm zoo thiab ntau tshaj li kaum ob qhov kev txhim kho tau zoo ntawm ntau lub voj voog. Tab sis cia ib hnub ua ntej hnub kawg, nws tau pom tias tus neeg muag khoom tsis tau ua tiav cov haujlwm los npaj qhov kev tso tawm rau kev teeb tsa hauv txoj kev lees paub. Yog tias vim li cas peb lub tsev tsis ua haujlwm, qhov kev tso tawm yuav cuam tshuam. Ntxiv mus, los ntawm peb cov kev siv zog, uas tshwj xeeb tshaj yog tsis kaj siab. Peb tsis muaj txoj kev rov qab los. Yog li ntawd, peb xav los ntawm lwm txoj kev xaiv, npaj cov phiaj xwm nqis tes ua thiab pib teeb tsa.
Kuj ceeb tias, tag nrho kev tso tawm, suav nrog ntau dua 800 yam khoom, pib raug, thawj zaug thiab hauv 10 feeb xwb. Peb tau siv sijhawm ib teev los tshuaj xyuas cov cav nrhiav qhov yuam kev, tab sis tsis pom ib qho twg.
Tag nrho hnub tom qab muaj kev ntsiag to hauv kev sib tham tso tawm: tsis muaj teeb meem kev siv, kev hloov pauv lossis "tsis tsim nyog" code. Nws txawm ua tau txawv txawv. Tom qab ntawd, qee cov lus tau tshwm sim, tab sis piv rau lwm lub tshuab thiab kev paub dhau los, lawv cov lej thiab qhov tseem ceeb tau qis dua.
Ib qho txiaj ntsig ntxiv los ntawm cov nyhuv cumulative yog qhov nce ntawm qhov zoo ntawm kev sib dhos thiab kev sim. Vim muaj ntau qhov kev teeb tsa ntawm qhov kev tso tawm tag nrho, tsim cov teeb meem thiab kev xa tawm yuam kev raug txheeb xyuas raws sijhawm. Kev sim nyob rau hauv tag nrho tso tawm configurations ua rau nws muaj peev xwm ntxiv txheeb xyuas qhov tsis xws luag nyob rau hauv kev sib nrig sib cuam tshuam ntawm cov khoom uas tsis tshwm sim thaum lub sij hawm incremental installation. Nws yog ib qho kev vam meej, tshwj xeeb tshaj yog muab peb 57% kev koom tes rau kev tso tawm.
Cov txiaj ntsig thiab cov lus xaus
Nyob rau hauv tsawg tshaj li ib xyoos peb tswj tau:
- Tsim kom muaj kev txhim kho sab hauv uas siv cov kab txawv txawv;
- Tshem tawm qhov tseem ceeb ntawm tus neeg muag khoom kev vam khom;
- Tua tawm CI/CD rau cov keeb kwm tsis zoo heev;
- Txhim kho cov txheej txheem kev siv mus rau qib tshiab;
- Txo cov sij hawm xa tawm ntau heev;
- Txo cov naj npawb ntawm kev ua yuam kev;
- Cia siab rau tshaj tawm koj tus kheej ua tus kws tshaj lij kev txhim kho.
Tau kawg, ntau yam uas tau piav qhia zoo li qhov tsis txaus ntseeg, tab sis cov no yog cov yam ntxwv ntawm lub kaw lus thiab cov txheej txheem txwv uas muaj nyob hauv nws. Tam sim no, cov kev hloov pauv cuam tshuam rau IS Profile cov khoom lag luam thiab cov kev pabcuam (tus tswv nyiaj, daim npav yas, cov nyiaj khaws cia, nyiaj qiv nyiaj, qiv nyiaj), tab sis muaj peev xwm siv tau rau txhua qhov IS uas lub luag haujlwm ntawm kev siv DevOps cov kev coj ua. Cov qauv sib xyaw tuaj yeem ua kom zoo dua qub rau kev siv tom qab (nrog rau cov tsis tso tawm) los ntawm ntau cov khoom xa tuaj.
Tau qhov twg los: www.hab.com