Direktè Operasyon yo nan pòtal Banki.ru Andrey Nikolsky te pale nan konferans ane pase a sou sèvis òfelen: ki jan yo idantifye yon òfelen nan enfrastrikti a, poukisa sèvis òfelen yo move, kisa pou fè ak yo, ak sa pou w fè si anyen pa ede.
Anba koupe a se yon vèsyon tèks rapò a.
Bonjou kòlèg yo! Non mwen se Andrey, mwen dirije operasyon nan Banki.ru.
Nou gen gwo sèvis, sa yo se sèvis monolitik sa yo, gen sèvis nan yon sans ki pi klasik, e gen anpil ti. Nan tèminoloji travayè-peyizan mwen an, mwen di ke si yon sèvis se senp epi piti, Lè sa a, li se mikwo, epi si li pa trè senp ak piti, Lè sa a, se jis yon sèvis.
Avantaj nan sèvis yo
Mwen pral byen vit ale sou avantaj ki genyen nan sèvis yo.
Premye a se dekale. Ou ka byen vit fè yon bagay sou sèvis la epi kòmanse pwodiksyon an. Ou te resevwa trafik, ou te klonaj sèvis la. Ou gen plis trafik, ou te klonaj li epi viv ak li. Sa a se yon bonis bon, epi, nan prensip, lè nou te kòmanse, li te konsidere kòm bagay ki pi enpòtan pou nou, poukisa nou ap fè tout bagay sa yo.
Dezyèmman, devlopman izole, lè ou gen plizyè ekip devlopman, plizyè devlopè diferan nan chak ekip, epi chak ekip devlope pwòp sèvis li.
Ak ekip gen yon nuans. Devlopè yo diferan. E gen, pou egzanp, . Mwen te wè sa a pou premye fwa ak Maxim Dorofeev. Pafwa moun flokon yo nan kèk ekip epi yo pa nan lòt. Sa fè diferan sèvis yo itilize atravè konpayi an yon ti jan inegal.
Gade foto a: sa a se yon bon devlopè, li gen gwo men, li ka fè anpil. Pwoblèm prensipal la se kote men sa yo soti.
Sèvis yo fè li posib yo sèvi ak lang pwogramasyon diferan ki pi apwopriye pou travay diferan. Gen kèk sèvis ki nan Go, gen kèk ki nan Erlang, kèk ki nan Ruby, yon bagay ki nan PHP, yon bagay ki nan Python. An jeneral, ou ka elaji trè lajman. Gen nuans isit la tou.
Achitekti sèvis oryante se sitou sou devops. Sa vle di, si ou pa gen automatisation, pa gen okenn pwosesis deplwaman, si ou konfigirasyon li manyèlman, konfigirasyon ou yo ka chanje de egzanp sèvis nan egzanp, epi ou dwe ale la fè yon bagay, Lè sa a, ou nan lanfè.
Pou egzanp, ou gen 20 sèvis epi ou bezwen deplwaye alamen, ou gen 20 konsola, epi ou ansanm peze "antre" tankou yon Ninja. Li pa trè bon.
Si ou gen yon sèvis apre tès (si gen tès, nan kou), epi ou toujou bezwen fini li ak yon dosye pou ke li travay nan pwodiksyon, mwen menm tou mwen gen move nouvèl pou ou.
Si ou konte sou sèvis Amazon espesifik ak travay nan Larisi, Lè sa a, de mwa de sa ou te gen tou "Tout ozalantou yo sou dife, mwen anfòm, tout bagay se fre."
Nou itilize Ansible pou otomatize deplwaman, Puppet pou dirèksyon, Banbou pou otomatize deplwaman, ak Confluence pou dekri tout bagay.
Mwen pa pral rete sou sa a an detay, paske rapò a se plis sou pratik entèraksyon, epi yo pa sou aplikasyon teknik.
Pou egzanp, nou te gen pwoblèm kote Puppet sou sèvè a travay ak Ruby 2, men gen kèk aplikasyon ki ekri pou Ruby 1.8, epi yo pa travay ansanm. Yon bagay ale mal la. Men, lè ou bezwen kouri plizyè vèsyon nan Ruby sou yon sèl machin, anjeneral ou kòmanse gen pwoblèm.
Pa egzanp, nou bay chak devlopè yon platfòm sou ki gen apeprè tout sa nou genyen, tout sèvis ki ka devlope, pou li gen yon anviwonman izole, li ka kraze li epi konstwi li jan li vle.
Li rive ke ou bezwen kèk pake espesyalman konpile ak sipò pou yon bagay la. Li byen difisil. Mwen koute yon repòtaj kote imaj Docker a peze 45 GB. Nan Linux, nan kou, li pi senp, tout bagay se pi piti la, men yo toujou, pa pral gen ase espas.
Oke, gen depandans konfli, lè yon moso nan pwojè a depann sou yon bibliyotèk nan yon vèsyon, yon lòt moso nan pwojè a depann sou yon lòt vèsyon, ak bibliyotèk yo pa enstale ansanm ditou.
Nou gen sit ak sèvis nan PHP 5.6, nou wont pou yo, men kisa nou ka fè? Sa a se yon sèl sit nou an. Gen sit ak sèvis sou PHP 7, gen plis ladan yo, nou pa wont yo. Epi chak pwomotè gen pwòp baz li kote li san pwoblèm mwen tap wè.
Si ou ekri nan yon konpayi nan yon sèl lang, Lè sa a, twa machin vityèl pou chak pwomotè son nòmal. Si ou gen diferan lang programmation, lè sa a sitiyasyon an vin pi mal.
Ou gen sit ak sèvis sou sa a, sou sa a, Lè sa a, yon lòt sit pou Go, yon sit pou Ruby, ak kèk lòt Redis sou bò a. Kòm yon rezilta, tout bagay sa yo vin tounen yon gwo jaden pou sipò, ak tout tan tout tan an kèk nan li ka kraze.
Se poutèt sa, nou ranplase benefis ki genyen nan langaj pwogramasyon an ak itilizasyon diferan kad, depi kad PHP yo byen diferan, yo gen kapasite diferan, kominote diferan, ak sipò diferan. Epi ou ka ekri yon sèvis pou ou deja gen yon bagay pare pou li.
Chak sèvis gen ekip pwòp li yo
Avantaj prensipal nou an, ki te kristalize sou plizyè ane, se ke chak sèvis gen ekip pwòp li yo. Sa a se pratik pou yon gwo pwojè, ou ka ekonomize tan sou dokiman, administratè yo konnen pwojè yo byen.
Ou ka fasilman soumèt travay nan sipò. Pou egzanp, sèvis asirans lan te kraze. Epi imedyatman ekip la ki fè fas ak asirans ale nan ranje li.
Nouvo karakteristik yo te kreye byen vit, paske lè ou gen yon sèl sèvis atomik, ou ka byen vit vis yon bagay nan li.
Epi lè ou kraze sèvis ou a, epi sa a inevitableman rive, ou pa t afekte sèvis lòt moun, ak devlopè ki gen ti moso nan lòt ekip pa vin kouri vin jwenn ou epi di: "Oh, pa fè sa."
Kòm toujou, gen nuans. Nou gen ekip ki estab, manadjè yo kloure nan ekip la. Gen dokiman klè, manadjè byen kontwole tout bagay. Chak ekip ki gen yon manadjè gen plizyè sèvis, epi gen yon pwen konpetans espesifik.
Si ekip yo ap flote (nou tou pafwa itilize sa a), gen yon bon metòd ki rele "kat kat zetwal la".
Ou gen yon lis sèvis ak moun. Yon asteris vle di ke moun nan se yon ekspè nan sèvis sa a, yon liv vle di ke moun nan ap etidye sèvis sa a. Travay moun nan se chanje ti liv la pou yon asterisk. Men, si pa gen anyen ki ekri devan sèvis la, Lè sa a, pwoblèm kòmanse, ki mwen pral pale sou pi lwen.
Ki jan sèvis òfelen yo parèt?
Premye pwoblèm, premye fason pou jwenn yon sèvis òfelen nan enfrastrikti ou se revoke moun. Èske nenpòt moun te janm gen yon biznis satisfè dat limit yo anvan travay yo te evalye? Pafwa li rive ke dat limit yo sere epi tou senpleman pa gen ase tan pou dokimantasyon. "Nou bezwen remèt sèvis la bay pwodiksyon, Lè sa a, nou pral ajoute li."
Si ekip la piti, li rive ke gen yon sèl devlopè ki ekri tout bagay, rès yo nan zèl yo. "Mwen te ekri achitekti debaz la, ann ajoute interfaces yo." Lè sa a, nan kèk pwen manadjè a, pou egzanp, kite. Ak pandan peryòd sa a, lè manadjè a te kite ak yon nouvo pa gen ankò te nonmen, devlopè yo tèt yo deside ki kote sèvis la prale ak sa k ap pase la. Epi kòm nou konnen (ann tounen kèk glisad), nan kèk ekip gen moun ki flokon, pafwa yon lidè ekip flokon. Lè sa a, li kite, epi nou jwenn yon sèvis òfelen.
An menm tan, travay ki soti nan sipò ak nan biznis pa disparèt; yo fini nan rès la. Si te gen nenpòt erè achitekti pandan devlopman nan sèvis la, yo tou fini nan rès la. Sèvis la ap deteryore tou dousman.
Ki jan yo idantifye yon òfelen?
Lis sa a byen dekri sitiyasyon an. Ki moun ki te aprann anyen sou enfrastrikti yo?
Sou dokimante travay-arounds: gen yon sèvis epi, an jeneral, li travay, li gen yon manyèl de paj sou kòman yo travay avèk li, men pèsonn pa konnen ki jan li fonksyone andedan.
Oswa, pou egzanp, gen kèk kalite lyen kout. Pou egzanp, kounye a nou gen twa lyen kout ki itilize pou diferan rezon nan diferan sèvis. Sa yo se jis konsekans yo.
Koulye a, mwen pral kòmandan an nan evidan an. Ki sa ki ta dwe fè? Premyèman, nou bezwen transfere sèvis la nan yon lòt manadjè, yon lòt ekip. Si dirijan ekip ou a poko kite fimen, Lè sa a, nan lòt ekip sa a, lè ou konprann ke sèvis la se tankou yon òfelen, ou bezwen mete yon moun ki konprann omwen yon bagay sou li.
Bagay pwensipal lan: ou dwe gen pwosedi transfè yo ekri nan san. Nan ka nou an, mwen anjeneral kontwole sa a, paske mwen bezwen li tout travay. Manadjè yo bezwen li dwe delivre byen vit, epi sa ki rive li pita pa tèlman enpòtan pou yo.
Pwochen fason pou fè yon òfelen se "Nou pral fè li tretans, li pral pi vit, epi Lè sa a, nou pral remèt li nan men ekip la." Li klè ke tout moun gen kèk plan nan ekip la, yon vire. Souvan yon kliyan biznis panse ke externalisation a ap fè menm bagay ak Depatman teknik ke konpayi an genyen. Malgre ke motivatè yo diferan. Gen solisyon teknolojik etranj ak solisyon algoritmik etranj nan tretans.
Pou egzanp, nou te gen yon sèvis ki te gen Sphinx nan divès kote inatandi. Mwen pral di w pita sa mwen te gen pou fè.
Outsources yo gen pwòp tèt ou-ekri cadres. Sa a se jis fè PHP ak kopye-kole soti nan yon pwojè anvan, kote ou ka jwenn tout kalite bagay. Scripts deplwaman yo se yon gwo dezavantaj lè ou bezwen sèvi ak kèk scripts Bash konplèks pou chanje plizyè liy nan kèk dosye, epi kèk twazyèm script rele scripts deplwaman sa yo. Kòm yon rezilta, ou chanje sistèm deplwaman an, chwazi yon lòt bagay, hop, men sèvis ou a pa travay. Paske la li te nesesè pou mete 8 lòt lyen ant diferan dossiers. Oswa li rive ke mil dosye travay, men yon santèn mil pa travay ankò.
Mwen pral kontinye kòm kòmandan. Aksepte yon sèvis tretans se yon pwosedi obligatwa. Èske gen nenpòt moun ki te janm gen yon sèvis externalisés rive epi yo pa aksepte nenpòt kote? Sa a se pa popilè, nan kou, kòm yon sèvis òfelen, men yo toujou.
Sèvis la bezwen tcheke, sèvis la bezwen revize, modpas yo bezwen chanje. Nou te gen yon ka lè yo te ban nou yon sèvis, gen yon panèl admin "si konekte == 'admin' && modpas == 'admin'...", li ekri dwat nan kòd la. Nou chita epi panse, ak moun ki ekri sa a nan 2018?
Tès kapasite depo se tou yon bagay nesesè. Ou bezwen gade sa ki pral rive sou yon santèn mil dosye, menm anvan ou mete sèvis sa a nan pwodiksyon yon kote.
Pa ta dwe gen okenn wont nan voye yon sèvis pou amelyorasyon. Lè ou di: "Nou pa pral aksepte sèvis sa a, nou gen 20 travay, fè yo, Lè sa a, nou pral aksepte," sa a se nòmal. Konsyans ou pa ta dwe fè mal nan lefèt ke w ap mete yon jeran oswa ke biznis la ap gaspiye lajan. Lè sa a, biznis la ap depanse plis.
Nou te gen yon ka lè nou te deside externalisation yon pwojè pilòt.
Li te delivre alè, e sa a se sèl kritè bon jan kalite a. Se poutèt sa nou te fè yon lòt pwojè pilòt, ki pa t menm vrèman yon pilòt ankò. Yo te aksepte sèvis sa yo, e atravè mwayen administratif yo te di, men kòd ou, men ekip la, men responsab ou. Sèvis yo te aktyèlman deja kòmanse fè yon pwofi. An menm tan, an reyalite, yo toujou òfelen, pèsonn pa konprann ki jan yo travay, ak administratè yo fè tout sa yo kapab pou nye travay yo.
Gen yon lòt gwo konsèp - devlopman geriya. Lè kèk depatman, anjeneral depatman maketing, vle teste yon ipotèz ak lòd tout sèvis la tretans. Trafik kòmanse ap koule sou li, yo fèmen dokiman yo, yo siyen dokiman ak kontraktè a, yo antre an fonksyon epi yo di: "Mesye, nou gen yon sèvis la, li gen trafik deja, li pote nou lajan, ann aksepte li." Nou te tankou, "Oppa, ki jan sa ka ye."
Ak yon lòt fason pou jwenn yon sèvis òfelen: lè yon ekip toudenkou jwenn tèt li chaje, jesyon di: "Ann transfere sèvis ekip sa a nan yon lòt ekip, li gen yon chaj ki pi piti." Apre sa, nou pral transfere li nan yon twazyèm ekip epi chanje manadjè a. Epi nan fen nou gen yon òfelen ankò.
Ki pwoblèm ki genyen ak òfelen yo?
Ki moun ki pa konnen, sa a se kwirase Wasa a leve soti vivan nan Sweden, pi popilè pou lefèt ke li te plonje 5 minit apre lansman. Ak wa Syèd la, nan chemen an, pa t 'egzekisyon pèsonn pou sa a. Li te konstwi pa de jenerasyon enjenyè ki pa t 'konnen ki jan yo bati bato sa yo. Efè natirèl.
Bato a te kapab koule, nan chemen an, nan yon fason ki pi mal, pou egzanp, lè wa a te deja monte sou li yon kote nan yon tanpèt. Se konsa, li te nwaye touswit, dapre Agile li bon echwe bonè.
Si nou echwe bonè, anjeneral pa gen pwoblèm. Pou egzanp, pandan akseptasyon li te voye pou revizyon. Men, si nou echwe deja nan pwodiksyon, lè lajan yo envesti, Lè sa a, ka gen pwoblèm. Konsekans, jan yo rele yo nan biznis.
Poukisa sèvis òfelen yo danjere:
- Sèvis la ka kraze toudenkou.
- Sèvis la pran anpil tan pou repare oswa li pa repare ditou.
- Pwoblèm sekirite.
- Pwoblèm ak amelyorasyon ak mizajou.
- Si yon sèvis enpòtan kraze, repitasyon konpayi an soufri.
Kisa pou w fè ak sèvis òfelen yo?
Mwen pral repete sa pou m fè ankò. Premyèman, dwe gen dokiman. 7 ane nan Banki.ru te anseye m 'ke tèsteur yo pa ta dwe pran pawòl la nan devlopè yo, ak operasyon yo pa ta dwe pran pawòl la nan tout moun. Nou bezwen tcheke.
Dezyèmman, li nesesè yo ekri dyagram entèraksyon, paske li rive ke sèvis ki pa trè byen resevwa gen depandans ke pèsonn pa di sou. Pou egzanp, devlopè yo enstale sèvis la sou kle yo nan kèk Yandex.Maps oswa Dadata. Ou te kouri soti nan limit gratis, tout bagay kase, epi ou pa konnen sa ki te pase ditou. Tout rato sa yo dwe dekri: sèvis la sèvi ak Dadata, SMS, yon lòt bagay.
Twazyèmman, travay ak dèt teknik. Lè ou fè kèk kalite beki oswa aksepte yon sèvis epi di ke yon bagay bezwen fè, ou bezwen asire w ke li se fè. Paske Lè sa a, li ka vire soti ke ti twou a pa tèlman piti, epi ou pral tonbe nan li.
Avèk travay achitekti, nou te gen yon istwa sou Sphinx. Youn nan sèvis yo te itilize Sphinx pou antre nan lis. Jis yon lis paj, men li te re-endèks chak swa. Li te rasanble nan de endèks: yon sèl gwo yo te endis chak swa, epi te gen tou yon ti endèks ki te vise sou li. Chak jou, ak yon pwobabilite 50% pou swa bonbadman oswa ou pa, endèks la te fè aksidan pandan kalkil la, ak nouvèl nou yo sispann mete ajou sou paj prensipal la. Okòmansman, li te pran 5 minit pou endèks la re-endèks, Lè sa a, endèks la te grandi, ak nan kèk pwen li te kòmanse pran 40 minit pou re-endèks. Lè nou koupe sa a, nou te soufle yon souf nan soulajman, paske li te klè ke yon ti kras plis tan ta pral pase ak endèks nou an ta dwe re-endèks a plen tan. Sa a pral yon echèk pou pòtal nou an, pa gen okenn nouvèl pou uit èdtan - se li, biznis te sispann.
Planifye pou travay ak yon sèvis òfelen
An reyalite, sa a se trè difisil fè, paske devops se sou kominikasyon. Ou vle an bon tèm ak kòlèg ou yo, epi lè ou frape kòlèg ou yo ak administratè yo sou tèt la ak règleman yo, yo ka gen santiman konfli anvè moun sa yo ki fè sa.
Anplis de tout pwen sa yo, gen yon lòt bagay enpòtan: moun espesifik yo dwe responsab pou chak sèvis espesifik, pou chak seksyon espesifik nan pwosedi deplwaman an. Lè pa gen moun epi ou oblije atire kèk lòt moun pou etidye tout bagay sa a, li vin difisil.
Si tout bagay sa yo pa t 'ede, ak sèvis òfelen ou a toujou yon òfelen, pèsonn pa vle pran li sou li, dokiman yo pa ekri, ekip la ki te rele nan sèvis sa a refize fè anyen, gen yon fason ki senp - refè. tout bagay.
Sa vle di, ou pran kondisyon yo pou sèvis la ankò epi ekri yon nouvo sèvis, pi bon, sou yon pi bon platfòm, san solisyon teknolojik etranj. Epi ou imigre nan li nan batay.
Nou te gen yon sitiyasyon lè nou te pran yon sèvis sou Yii 1 ak reyalize ke nou pa t 'kapab devlope li pi lwen, paske nou te kouri soti nan devlopè ki te kapab ekri byen sou Yii 1. Tout devlopè ekri byen sou Symfony XNUMX. Kisa pou fe? Nou te asiyen tan, asiyen yon ekip, atribye ba yon manadjè, reekri pwojè a ak san pwoblèm chanje trafik nan li.
Apre sa, ansyen sèvis la ka efase. Sa a se pwosedi pi renmen m ', lè ou bezwen pran ak netwaye kèk sèvis nan sistèm nan jesyon konfigirasyon ak Lè sa a, ale nan ak wè ke tout machin yo nan pwodiksyon yo te enfim, se konsa ke devlopè yo pa gen okenn tras kite. Repozitwa a rete nan Git.
Sa a se tout sa mwen te vle pale sou, mwen pare pou diskite, sijè a se holivar, anpil te naje nan li.
Slides yo te di ke ou inifye lang yo. Yon egzanp te redimensionnement foto yo. Èske li vrèman nesesè pou estrikteman limite li nan yon sèl lang? Paske imaj redimensionnman nan PHP, byen, ta ka aktyèlman fèt nan Golang.
An reyalite, li se opsyonèl, tankou tout pratik. Petèt, nan kèk ka, li se menm endezirab. Men, ou bezwen konprann ke si ou gen yon depatman teknik nan yon konpayi ki gen 50 moun, 45 nan yo se espesyalis PHP, yon lòt 3 se devops ki konnen Python, Ansible, Puppet ak yon bagay konsa, epi sèlman youn nan yo ekri nan kèk. kalite lang.kèk sèvis Go imaj redimensionnman, Lè sa a, lè li kite, ekspètiz la ale ak li. Ak an menm tan an, w ap bezwen chèche yon pwomotè mache-espesifik ki konnen lang sa a, sitou si li se ra. Sa vle di, nan yon pwen de vi òganizasyonèl, sa a se pwoblèm. Soti nan yon pwen de vi devops, ou pa pral jis bezwen klonaj kèk seri liv jwèt pare yo ke ou itilize pou deplwaye sèvis, men ou pral oblije ekri yo tout lòt peyi sou ankò.
Kounye a nou ap konstwi yon sèvis sou Node.js, epi sa a pral jis yon platfòm ki tou pre pou chak pwomotè ak yon lang separe. Men, nou te chita ak panse ke jwèt la te vo chandèl la. Sa vle di, sa a se yon kesyon pou ou chita epi reflechi sou.
Ki jan ou kontwole sèvis ou yo? Ki jan ou kolekte epi kontwole mòso bwa?
Nou kolekte mòso bwa nan Elasticsearch epi mete yo nan Kibana, epi tou depann de si li se pwodiksyon oswa anviwònman tès, pèseptè diferan yo itilize la. Yon kote Lumberjack, yon lòt kote yon lòt bagay, mwen pa sonje. E gen toujou kèk kote nan sèten sèvis kote nou enstale Telegraf epi tire yon lòt kote separeman.
Ki jan yo viv ak Puppet ak Ansible nan menm anviwònman an?
An reyalite, kounye a nou gen de anviwònman, youn se mannken, lòt la se Ansible. Nou ap travay pou hybridize yo. Ansible se yon bon fondasyon pou konfigirasyon inisyal, Puppet se yon kad move pou konfigirasyon inisyal paske li mande pou travay pratik dirèkteman sou platfòm la, ak Puppet asire dirèksyon konfigirasyon. Sa vle di ke platfòm la kenbe tèt li nan yon eta ajou, ak nan lòd pou machin nan ansibilize yo dwe kenbe ajou, ou bezwen kouri playbooks sou li tout tan tout tan an ak kèk frekans. Se diferans lan.
Ki jan ou kenbe konpatibilite? Èske w gen konfigirasyon tou de Ansible ak Puppet?
Sa a se gwo doulè nou an, nou kenbe konpatibilite ak men nou epi reflechi sou ki jan yo deplase sou tout bagay sa a yon kote kounye a. Li sanble ke Puppet woule pakè epi kenbe kèk lyen la, ak Ansible, pou egzanp, woule kòd la epi ajiste dènye konfigirasyon aplikasyon yo la.
Prezantasyon an te sou diferan vèsyon Ruby. Ki solisyon?
Nou te rankontre sa a nan yon sèl kote, epi nou dwe kenbe li nan tèt nou tout tan tout tan. Nou tou senpleman etenn pati ki te kouri sou Ruby a ki te enkonpatib ak aplikasyon yo epi kenbe li separe.
Konferans ane sa a pral fèt 7 desanm nan Technopolis. N ap aksepte aplikasyon pou rapò jiska 11 novanm. nou si ou ta renmen pale.
Enskripsyon pou patisipan yo louvri, rantre nan nou!
Sous: www.habr.com