Jodi a, sèvis Bitrix24 la pa gen dè santèn de gigabit nan trafik, ni li pa gen yon flòt gwo nan serveurs (byenke, nan kou, gen byen kèk moun ki deja egziste). Men, pou anpil kliyan li se zouti prensipal la pou travay nan konpayi an; li se yon aplikasyon reyèl biznis-kritik. Se poutèt sa, pa gen okenn fason yo tonbe. E si aksidan an te rive, men sèvis la "refè" tèlman vit ke pèsonn pa remake anyen? Ak ki jan li posib aplike failover san yo pa pèdi bon jan kalite a nan travay ak kantite kliyan an? Alexander Demidov, direktè sèvis nwaj nan Bitrix24, te pale pou blog nou an sou fason sistèm rezèvasyon an te evolye sou 7 ane egzistans pwodwi a.
"Nou te lanse Bitrix24 kòm yon SaaS 7 ane de sa. Difikilte prensipal la te pwobableman sa ki annapre yo: anvan li te lanse piblikman kòm SaaS, pwodui sa a tou senpleman te egziste nan fòma yon solisyon bwat. Kliyan yo te achte li nan men nou, yo te òganize li sou sèvè yo, mete kanpe yon pòtal antrepriz - yon solisyon jeneral pou kominikasyon anplwaye, depo dosye, jesyon travay, CRM, sa a tout. Epi pa 2012, nou te deside ke nou te vle lanse li kòm SaaS, administre li tèt nou, asire tolerans fay ak fyab. Nou te genyen eksperyans sou wout la, paske jouk lè sa a nou tou senpleman pa t 'gen li - nou te sèlman manifaktirè lojisyèl, pa founisè sèvis.
Lè lanse sèvis la, nou konprann ke sa ki pi enpòtan an se asire tolerans fay, fyab ak disponiblite konstan nan sèvis la, paske si ou gen yon senp sit entènèt òdinè, yon magazen, pou egzanp, epi li tonbe sou ou epi chita la pou yon èdtan, sèlman ou soufri, ou pèdi lòd, ou pèdi kliyan, men pou kliyan ou tèt li, sa a pa trè kritik pou li. Li te fache, nan kou, men li te ale ak achte l 'sou yon lòt sit. Men, si sa a se yon aplikasyon sou ki tout travay la nan konpayi an, kominikasyon, desizyon mare, Lè sa a, bagay ki pi enpòtan se jwenn konfyans nan itilizatè yo, se sa ki, pa kite yo desann epi yo pa tonbe. Paske tout travay ka sispann si yon bagay anndan pa mache.
Bitrix.24 kòm SaaS
Nou te rasanble premye pwototip nan yon ane anvan lansman piblik la, nan 2011. Nou rasanble li nan apeprè yon semèn, gade li, vire li - li te menm travay. Sa vle di, ou ta ka antre nan fòm lan, antre non pòtal la la, yon nouvo pòtal ta louvri, epi yo ta kreye yon baz itilizatè. Nou te gade li, te evalye pwodwi a an prensip, te abandone li e nou te kontinye rafine li pou yon ane antye. Paske nou te gen yon gwo travay: nou pa t 'vle fè de baz kòd diferan, nou pa t' vle sipòte yon pwodwi pake separe, solisyon nwaj separe - nou te vle fè li tout nan yon sèl kòd.
Yon aplikasyon entènèt tipik nan tan sa a se te yon sèl sèvè sou ki kèk kòd PHP kouri, yon baz done mysql, dosye yo Uploaded, dokiman, foto yo mete nan katab la Upload - byen, li tout ap travay. Ay, li enposib pou lanse yon sèvis entènèt ki trè estab lè l sèvi avèk sa a. La, distribiye kachèt pa sipòte, replikasyon baz done pa sipòte.
Nou fòmile kondisyon yo: sa a se kapasite pou yo lokalize nan diferan kote, sipòte replikasyon, epi depreferans yo dwe lokalize nan diferan sant done distribye jeyografik. Separe lojik pwodwi a ak, an reyalite, depo done. Kapab dinamik echèl selon chay la, ak tolere estatik tout ansanm. Soti nan konsiderasyon sa yo, an reyalite, kondisyon yo pou pwodwi a parèt, ke nou rafine sou kou a nan ane a. Pandan tan sa a, nan platfòm la, ki te tounen yo dwe inifye - pou solisyon bwat, pou pwòp sèvis nou - nou te fè sipò pou bagay sa yo ke nou te bezwen. Sipò pou replikasyon mysql nan nivo pwodwi a li menm: se sa ki, pwomotè ki ekri kòd la pa panse sou ki jan demann li yo pral distribye, li sèvi ak api nou an, epi nou konnen ki jan yo kòrèkteman distribye ekri ak li demann ant mèt. ak esklav.
Nou te fè sipò nan nivo pwodwi pou plizyè depo objè nwaj: google depo, amazon s3, plis sipò pou open stack swift. Se poutèt sa, sa a te pratik tou de pou nou kòm yon sèvis ak pou devlopè ki travay ak yon solisyon pake: si yo jis itilize API nou an pou travay, yo pa panse sou ki kote dosye a pral finalman sove, lokalman sou sistèm nan dosye oswa nan depo dosye objè a.
Kòm yon rezilta, nou imedyatman deside ke nou ta rezève nan nivo a tout sant done. An 2012, nou te lanse nèt sou Amazon AWS paske nou te deja gen eksperyans ak platfòm sa a - pwòp sit entènèt nou te òganize la. Nou te atire pa lefèt ke nan chak rejyon Amazon gen plizyè zòn disponiblite - an reyalite, (nan tèminoloji yo) plizyè sant done ki gen plis oswa mwens endepandan youn ak lòt epi ki pèmèt nou rezève nan nivo a nan yon sant done antye: si li toudenkou echwe, baz done yo ap repwodui mèt-mèt, sèvè aplikasyon entènèt yo ap fè bak, epi done estatik yo deplase nan depo objè s3 la. Chaj la balanse - nan moman sa a pa Amazon elb, men yon ti kras pita nou te rive nan balans pwòp chaj nou an, paske nou te bezwen lojik pi konplèks.
Sa yo te vle se sa yo te resevwa...
Tout bagay debaz yo ke nou te vle asire - tolerans fòt nan serveurs yo tèt yo, aplikasyon pou entènèt, baz done - tout bagay te travay byen. Senaryo ki pi senp la: si youn nan aplikasyon entènèt nou an echwe, Lè sa a, tout bagay se senp - yo chanje soti nan balanse.
Balansè a (nan moman sa a se te Amazon a elb) te make machin ki te nan lòd kòm malsen ak etenn distribisyon chaj sou yo. Amazon autoscaling te travay: lè chaj la te grandi, nouvo machin yo te ajoute nan gwoup la autoscaling, chaj la te distribye nan nouvo machin - tout bagay te byen. Ak balans nou yo, lojik la se apeprè menm bagay la tou: si yon bagay rive nan sèvè aplikasyon an, nou retire demann nan li, jete machin sa yo, kòmanse lòt epi kontinye travay. Konplo a chanje yon ti kras pandan ane yo, men li kontinye travay: li se senp, konprann, epi pa gen okenn difikilte ak li.
Nou travay nan tout mond lan, pik chaj kliyan yo konplètman diferan, epi, nan yon fason amikal, nou ta dwe kapab fè sèten travay sèvis sou nenpòt eleman nan sistèm nou an nenpòt ki lè - inapèsi pa kliyan yo. Se poutèt sa, nou gen opòtinite pou fèmen baz done a soti nan operasyon, redistribiye chaj la nan yon dezyèm sant done.
Ki jan li tout travay? — Nou chanje trafik nan yon sant done k ap travay - si gen yon aksidan nan sant done a, Lè sa a, konplètman, si sa a se travay nou planifye ak yon baz done, Lè sa a, nou chanje yon pati nan trafik la k ap sèvi kliyan sa yo nan yon dezyèm sant done, sispann li replikasyon. Si yo bezwen nouvo machin pou aplikasyon entènèt paske chaj la sou dezyèm sant done a ogmante, yo pral kòmanse otomatikman. Nou fini travay la, replikasyon an retabli, epi nou retounen tout chaj la tounen. Si nou bezwen reflete kèk travay nan dezyèm DC a, pou egzanp, enstale mizajou sistèm oswa chanje anviwònman nan baz done dezyèm lan, Lè sa a, an jeneral, nou repete menm bagay la, jis nan lòt direksyon an. Men, si sa a se yon aksidan, Lè sa a, nou fè tout bagay trivially: nou itilize mekanis nan evènman-handlers nan sistèm nan siveyans. Si plizyè chèk yo deklanche ak estati a ale nan kritik, Lè sa a, nou kouri sa a okipe, yon moun ki okipe ki ka egzekite sa a oswa ki lojik. Pou chak baz done, nou presize ki sèvè se failover pou li, ak ki kote trafik bezwen chanje si li pa disponib. Istorikman, nou itilize nagios oswa kèk nan fouchèt li yo nan yon fòm oswa yon lòt. Nan prensip, mekanis ki sanble egziste nan prèske nenpòt sistèm siveyans; nou pa sèvi ak anyen ki pi konplèks ankò, men petèt yon jou nou pral. Koulye a, siveyans deklanche pa indisponibilite e li gen kapasite pou chanje yon bagay.
Eske nou rezève tout bagay?
Nou gen anpil kliyan soti nan USA a, anpil kliyan soti nan Ewòp, anpil kliyan ki pi pre lès la - Japon, Singapore ak sou sa. Natirèlman, yon gwo pati nan kliyan yo nan Larisi. Sa vle di, travay pa nan yon sèl rejyon. Itilizatè yo vle yon repons rapid, gen kondisyon pou konfòme yo ak divès lwa lokal yo, ak nan chak rejyon nou rezève de sant done, plis gen kèk sèvis adisyonèl, ki, ankò, se pratik yo mete nan yon rejyon - pou kliyan ki nan rejyon sa a ap travay. Manadjè REST, serveurs otorizasyon, yo mwens kritik pou operasyon kliyan an antye, ou ka chanje atravè yo ak yon ti reta akseptab, men ou pa vle reenvante volan an sou fason pou kontwole yo ak sa pou w fè. avek yo. Se poutèt sa, nou ap eseye sèvi ak solisyon ki deja egziste nan maksimòm nan, olye ke devlope kèk kalite konpetans nan pwodwi adisyonèl. Ak yon kote nou trivially itilize chanje nan nivo DNS, epi nou detèmine vivan nan sèvis la pa menm DNS la. Amazon gen yon sèvis Route 53, men se pa sèlman yon DNS nan kote ou ka fè antre epi li se li-li pi fleksib ak pratik. Atravè li ou ka bati sèvis geo-distribiye ak geolokalizasyon, lè ou sèvi ak li pou detèmine kote kliyan an soti epi ba li sèten dosye - avèk èd li ou ka bati achitekti failover. Menm chèk sante yo konfigirasyon nan Route 53 li menm, ou mete pwen final yo ke yo kontwole, mete mezi, mete ki pwotokòl detèmine "vivans" nan sèvis la - tcp, http, https; mete frekans nan chèk ki detèmine si sèvis la vivan oswa ou pa. Ak nan dns nan tèt li ou presize sa ki pral prensipal, ki sa ki pral segondè, ki kote yo chanje si chèk la sante deklanche andedan wout 53. Tout bagay sa a ka fè ak kèk lòt zouti, men poukisa li pratik - nou mete li. leve yon fwa epi Lè sa a, pa panse sou li ditou ki jan nou fè chèk, ki jan nou chanje: tout bagay ap travay poukont li.
Premye "men": ki jan ak ki sa yo rezève wout 53 tèt li? Ki moun ki konnen, e si yon bagay rive l? Erezman, nou pa janm te demisyone sou rato sa a, men ankò, mwen pral gen yon istwa devan poukisa nou te panse ke nou toujou bezwen fè yon rezèvasyon. Isit la nou mete pay pou tèt nou davans. Plizyè fwa pa jou nou fè yon dechaje konplè sou tout zòn ke nou genyen nan wout 53 la. API Amazon a pèmèt ou fasil voye yo nan JSON, epi nou gen plizyè sèvè backup kote nou konvèti li, telechaje li nan fòm lan nan konfigirasyon epi yo gen, apeprè pale, yon konfigirasyon backup. Si yon bagay rive, nou ka byen vit deplwaye li manyèlman san yo pa pèdi done DNS paramèt yo.
Dezyèm "men": Kisa ki nan foto sa a poko rezève? Ekilib la tèt li! Distribisyon kliyan nou yo pa rejyon an fè trè senp. Nou gen domèn yo bitrix24.ru, bitrix24.com, .de - kounye a gen 13 diferan, ki opere nan yon varyete zòn. Nou rive nan sa ki annapre yo: chak rejyon gen pwòp balans pa yo. Sa fè li pi pratik pou distribye atravè rejyon yo, tou depann de kote chaj la pik sou rezo a ye. Si sa a se yon echèk nan nivo yon balanse sèl, Lè sa a, li se tou senpleman retire nan sèvis ak retire nan dns la. Si gen kèk pwoblèm ak yon gwoup balans, Lè sa a, yo apiye sou lòt sit, epi chanje ant yo se fè lè l sèvi avèk menm wout la53, paske akòz kout TTL la, chanje fèt nan yon maksimòm de 2, 3, 5 minit. .
Twazyèm "men": Kisa ki poko rezève? S3, kòrèk. Lè nou mete fichye yo ke nou estoke pou itilizatè yo nan s3, nou sensèman kwè ke li te pèse blende epi pa t 'gen okenn bezwen rezève anyen la. Men listwa montre ke bagay yo rive yon fason diferan. An jeneral, Amazon dekri S3 kòm yon sèvis fondamantal, paske Amazon tèt li sèvi ak S3 nan magazen imaj machin, konfigirasyon, imaj AMI, snapshots... Men, si s3 aksidan, jan sa te rive yon fwa pandan 7 ane sa yo, osi lontan ke nou te itilize. bitrix24, li swiv li tankou yon fanatik Gen yon pakèt antye de bagay ki vini - enkapasite yo kòmanse machin vityèl, echèk api, ak sou sa.
Ak S3 ka tonbe - li te rive yon fwa. Se poutèt sa, nou te rive nan konplo sa a: kèk ane de sa pa te gen okenn enstalasyon depo objè piblik grav nan Larisi, epi nou te konsidere opsyon pou fè yon bagay pou pwòp pa nou... Erezman, nou pa t kòmanse fè sa, paske nou ta te fouye nan ekspètiz ke nou pa genyen nou genyen, epi yo ta pwobableman dezòd. Koulye a, Mail.ru gen depo s3-konpatib, Yandex gen li, ak yon kantite lòt founisè genyen li. Evantyèlman nou te vin nan lide ke nou te vle gen, premye, backup, ak dezyèmman, kapasite nan travay ak kopi lokal yo. Pou rejyon Ris la espesyalman, nou itilize sèvis Mail.ru Hotbox, ki se API konpatib ak s3. Nou pa t 'bezwen okenn gwo modifikasyon nan kòd la andedan aplikasyon an, epi nou te fè mekanis sa a: nan s3 gen deklanche ki deklanche kreyasyon an / efase objè, Amazon gen yon sèvis ki rele Lambda - sa a se yon lansman kòd san sèvè. ki pral egzekite jis lè sèten deklannche yo deklanche.
Nou te fè li trè tou senpleman: si deklanche nou an dife, nou egzekite kòd ki pral kopye objè a nan depo Mail.ru la. Pou lanse travay konplètman ak kopi done lokal yo, nou bezwen tou senkronizasyon ranvèse pou kliyan ki nan segman Ris la ka travay ak depo ki pi pre yo. Mail se sou yo fini deklanche nan depo li yo - li pral posib fè senkronizasyon ranvèse nan nivo enfrastrikti, men pou kounye a nou ap fè sa nan nivo pwòp kòd pa nou an. Si nou wè ke yon kliyan te afiche yon dosye, Lè sa a, nan nivo kòd nou mete evènman an nan yon keu, trete li epi fè replikasyon ranvèse. Poukisa li move: si nou fè kèk kalite travay ak objè nou yo deyò nan pwodwi nou an, se sa ki, pa kèk mwayen ekstèn, nou pa pral pran li an kont. Se poutèt sa, nou rete tann jouk nan fen a, lè deklannche parèt nan nivo depo a, pou ke kèlkeswa kote nou egzekite kòd la soti nan, objè a ki te vin jwenn nou kopye nan lòt direksyon an.
Nan nivo kòd, nou anrejistre tou de depo pou chak kliyan: youn konsidere kòm prensipal la, lòt la konsidere kòm yon sèl backup. Si tout bagay anfòm, nou travay ak depo ki pi pre nou: se sa ki kliyan nou yo ki nan Amazon, yo travay ak S3, ak moun ki travay nan Larisi, yo travay ak Hotbox. Si drapo a deklanche, lè sa a failover ta dwe konekte, epi nou chanje kliyan nan yon lòt depo. Nou ka tcheke kaz sa a poukont yo pa rejyon epi nou ka chanje yo retounen ak lide. Nou poko itilize sa a nan pratik, men nou te bay mekanis sa a epi nou panse ke yon jou nou pral bezwen switch sa a epi vin an sou la men. Sa a te deja rive yon fwa.
Oh, ak Amazon kouri ale ...
Avril sa a make anivèsè kòmansman an nan Telegram bloke nan Larisi. Founisè ki pi afekte ki tonbe anba sa a se Amazon. Epi, malerezman, konpayi Ris ki te travay pou lemonn antye soufri plis.
Si konpayi an se mondyal ak Larisi se yon segman piti anpil pou li, 3-5% - byen, yon fason oswa yon lòt, ou ka sakrifye yo.
Si sa a se yon konpayi piman Ris - mwen sèten ke li bezwen yo dwe lokalize lokalman - byen, li pral tou senpleman pratik pou itilizatè yo tèt yo, konfòtab, epi pral gen mwens risk.
E si sa a se yon konpayi ki opere globalman epi ki gen apeprè egal kantite kliyan soti nan Larisi ak yon kote atravè mond lan? Koneksyon an nan segman yo enpòtan, epi yo dwe travay youn ak lòt yon fason oswa yon lòt.
Nan fen mwa mas 2018, Roskomnadzor te voye yon lèt bay pi gwo operatè yo ki di yo te planifye pou bloke plizyè milyon IP Amazon pou yo bloke... mesaje Zello a. Mèsi a menm founisè sa yo - yo avèk siksè fwit lèt la bay tout moun, e te gen yon konpreyansyon ke koneksyon an ak Amazon te kapab tonbe apa. Li te Vandredi, nou kouri nan yon panik nan kòlèg nou yo soti nan servers.ru, li di: "Zanmi, nou bezwen plizyè serveurs ki pral lokalize pa nan Larisi, pa nan Amazon, men, pou egzanp, yon kote nan Amstèdam," nan lòd. nan lòd yo kapab omwen yon jan kanmenm enstale pwòp VPN nou an ak proxy la pou kèk pwen final ke nou pa ka enfliyanse nan okenn fason, pou egzanp endponts nan menm s3 a - nou pa ka eseye ogmante yon nouvo sèvis epi jwenn yon ip diferan, nou ou toujou bezwen rive la. Nan kèk jou sèlman, nou te mete sou pye sèvè sa yo, te monte yo ak kouri, epi, an jeneral, prepare pou moman bloke a te kòmanse. Li se kirye ke RKN, gade nan meli melo ak panik, te di: "Non, nou pa pral bloke anyen kounye a." (Men, sa a se egzakteman jiska moman sa a lè Telegram yo te kòmanse bloke.) Èske w gen mete kanpe kapasite yo kontoune ak reyalize ke bloke a pa te prezante, nou, sepandan, pa t 'kòmanse regle tout pwoblèm nan. Wi, jis nan ka.
Ak nan 2019, nou toujou ap viv nan kondisyon nan bloke. Mwen gade yè swa: apeprè yon milyon IP kontinye bloke. Se vre, Amazon te prèske nèt debloke, nan pik li te rive nan 20 milyon adrès... An jeneral, reyalite a se ke ka pa gen koerans, bon koerans. Menm lè a. Li ka pa egziste pou rezon teknik - dife, pneu, tout sa. Oswa, jan nou te wè, pa totalman teknik. Se poutèt sa, yon moun gwo ak gwo, ak pwòp AS yo, ka pwobableman jere sa a nan lòt fason - koneksyon dirèk ak lòt bagay yo deja nan nivo l2. Men, nan yon vèsyon ki senp, tankou nou an oswa menm pi piti, ou ka, jis nan ka, gen èkse nan nivo a nan serveurs leve soti vivan yon lòt kote, configuré davans vpn, prokurasyon, ak kapasite nan byen vit chanje konfigirasyon an nan yo nan segman sa yo. ki kritik pou koneksyon ou. Sa a te itil pou nou plis pase yon fwa, lè bloke Amazon an te kòmanse; nan pi move senaryo a, nou sèlman pèmèt trafik S3 atravè yo, men piti piti tout bagay sa yo te rezoud.
Ki jan yo rezève... yon founisè antye?
Kounye a nou pa gen yon senaryo nan ka tout Amazon an desann. Nou gen yon senaryo menm jan an pou Larisi. Nan Larisi, nou te akomode pa yon founisè, ki soti nan ki moun nou te chwazi gen plizyè sit. Ak yon ane de sa nou te fè fas a yon pwoblèm: menm si sa yo se de sant done, ka gen pwoblèm deja nan nivo nan konfigirasyon rezo founisè a ki pral toujou afekte tou de sant done. Epi nou ka fini pa disponib sou tou de sit. Natirèlman, se sa ki te pase. Nou te fini rekonsidere achitekti anndan an. Li pa chanje anpil, men pou Larisi kounye a nou gen de sit, ki pa soti nan menm founisè a, men ki soti nan de diferan. Si youn echwe, nou ka chanje nan lòt la.
Ipotetikman, pou Amazon nou ap konsidere posibilite pou rezèvasyon nan nivo yon lòt founisè; petèt Google, petèt yon lòt moun... Men, jiskaprezan nou te obsève nan pratik ke pandan ke Amazon gen aksidan nan nivo nan yon zòn disponiblite, aksidan nan nivo a nan yon rejyon an antye se byen ra. Se poutèt sa, nou teyorikman gen lide ke nou ta ka fè yon rezèvasyon "Amazon se pa Amazon", men nan pratik sa a se poko ka a.
Kèk mo sou automatisation
Èske automatisation toujou nesesè? Isit la li apwopriye pou sonje efè Dunning-Kruger. Sou aks "x" la se konesans nou ak eksperyans nou genyen, epi sou aks "y" se konfyans nan aksyon nou yo. Okòmansman, nou pa konnen anyen e nou pa sèten. Lè sa a, nou konnen yon ti kras epi vin mega-konfyan - sa a se sa yo rele "pik nan sòt", byen ilistre pa foto a "demans ak kouraj". Lè sa a, nou te aprann yon ti kras epi yo pare pou ale nan batay. Lè sa a, nou etap sou kèk erè mega-grav epi jwenn tèt nou nan yon fon nan dezespwa, lè nou sanble konnen yon bagay, men an reyalite nou pa konnen anpil. Lè sa a, kòm nou jwenn eksperyans, nou vin pi plis konfyans.
Lojik nou an sou divès chanjman otomatik nan sèten aksidan trè byen dekri nan graf sa a. Nou te kòmanse - nou pa t 'konnen ki jan fè anyen, prèske tout travay la te fè alamen. Lè sa a, nou reyalize ke nou te kapab tache automatisation nan tout bagay epi, tankou, dòmi anpè. Epi toudenkou nou etap sou yon mega-rato: yon fo pozitif deklanche, epi nou chanje trafik retounen ak lide lè, nan yon bon fason, nou pa ta dwe fè sa. Kontinwe, replikasyon kraze oswa yon lòt bagay-sa a se fon an nan dezespwa. Apre sa, nou vin konprann ke nou dwe apwoche tout bagay avèk sajès. Sa vle di, li fè sans pou konte sou automatisation, bay posiblite pou fo alam. Men! si konsekans yo ka devastatè, Lè sa a, li pi bon kite li nan chanjman an devwa, nan enjenyè yo ki an sèvis, ki moun ki pral asire w ak kontwole ke gen reyèlman gen yon aksidan, epi yo pral fè aksyon ki nesesè yo manyèlman ...
Konklizyon
Pandan 7 ane, nou te soti nan lefèt ke lè yon bagay te tonbe, te gen panik-panik, nan konpreyansyon ke pwoblèm pa egziste, gen sèlman travay, yo dwe - epi yo ka - dwe rezoud. Lè w ap konstwi yon sèvis, gade li anlè, evalye tout risk ki ka rive. Si ou wè yo touswit, Lè sa a, bay pou redondance davans ak posibilite pou bati yon enfrastrikti toleran fay, paske nenpòt ki pwen ki ka echwe ak mennen nan inoperabilite nan sèvis la pral definitivman fè sa. E menm si li sanble ou ke kèk eleman nan enfrastrikti a pral definitivman pa echwe - tankou s3 a menm, toujou kenbe nan tèt ou ke yo kapab. Ak omwen nan teyori, gen yon lide sou sa ou pral fè ak yo si yon bagay rive. Gen yon plan jesyon risk. Lè w ap panse sou fè tout bagay otomatikman oswa manyèlman, evalye risk yo: kisa ki pral rive si automatisation a kòmanse chanje tout bagay - èske sa a pa mennen nan yon sitiyasyon menm pi mal konpare ak yon aksidan? Petèt yon kote li nesesè pou sèvi ak yon konpwomi rezonab ant itilizasyon automatisation ak reyaksyon enjenyè nan sèvis la, ki pral evalye foto reyèl la epi konprann si yon bagay bezwen chanje sou plas la oswa "wi, men se pa kounye a."
Yon konpwomi rezonab ant pèfeksyonism ak efò reyèl, tan, lajan ke ou ka depanse nan konplo a ke ou pral evantyèlman genyen.
Tèks sa a se yon vèsyon ki ajou ak elaji rapò Alexander Demidov nan konferans lan .
Sous: www.habr.com