Sijè a nan gwo aksidan nan sant done modèn soulve kesyon ki pa te reponn nan premye atik la - nou deside devlope li.
Dapre estatistik ki soti nan Uptime Institute, majorite ensidan nan sant done yo gen rapò ak echèk sistèm ekipman pou pouvwa-yo konte pou 39% nan ensidan. Yo swiv pa faktè imen an, ki kont pou yon lòt 24% nan aksidan. Twazyèm rezon ki pi enpòtan (15%) se te echèk nan sistèm èkondisyone, ak nan katriyèm plas (12%) se te dezas natirèl. Pati total lòt pwoblèm se sèlman 10%. San yo pa kesyone done yo nan yon òganizasyon respekte, nou pral mete aksan sou yon bagay komen nan aksidan diferan epi eseye konprann si yo te kapab evite. Spoiler: li posib nan pifò ka yo.
Syans nan kontak
Pou mete li tou senpleman, gen sèlman de pwoblèm ak ekipman pou pouvwa: swa pa gen okenn kontak kote li ta dwe, oswa gen kontak kote pa ta dwe gen kontak. Ou ka pale pou yon tan long sou fyab nan sistèm modèn ekipman pou pouvwa san enteripsyon, men yo pa toujou sove ou. Pran ka a wo pwofil nan sant done ki itilize pa British Airways, ki se posede pa konpayi paran International Airlines Group. Gen de pwopriyete sa yo ki sitiye tou pre Heathrow Ayewopò - Boadicea House ak Comet House. Nan premye a nan sa yo, nan dat 27 me 2017, te gen yon pann kouran ki aksidan, ki te mennen nan yon surcharge ak echèk nan sistèm UPS la. Kòm rezilta, kèk nan ekipman IT yo te domaje fizikman, ak dènye dezas la te pran twa jou pou rezoud.
Konpayi avyon an te oblije anile oswa repwograme plis pase mil vòl, anviwon 75 mil pasaje pa t kapab vole alè - yo te depanse 128 milyon dola pou peye konpansasyon, san konte depans ki nesesè pou retabli fonksyonalite sant done yo. Istwa rezon ki fè blakawout la pa klè. Si w kwè rezilta envestigasyon entèn yo te anonse pa PDG gwoup Airlines entènasyonal Willie Walsh, se te akòz yon erè enjenyè. Sepandan, sistèm ekipman pou pouvwa san enteripsyon te oblije kenbe tèt ak yon are tankou - se poutèt sa li te enstale. Sant done a te jere pa espesyalis nan konpayi an externalisation CBRE Managed Services, kidonk British Airways te eseye refè kantite domaj nan yon tribinal London.
Pann kouran elektrik rive nan senaryo menm jan an: premye gen yon blakawout akòz fòt founisè elektrisite a, pafwa akòz move tan oswa pwoblèm entèn (ki gen ladan erè imen), ak Lè sa a, sistèm ekipman pou pouvwa san enteripsyon pa ka fè fas ak chaj la oswa yon kout. -tèm entèripsyon nan vag sinis la lakòz echèk nan anpil sèvis, sa ki lakòz restorasyon nan ki pran anpil tan ak lajan. Èske li posib pou evite aksidan sa yo? San dout. Si ou konsepsyon sistèm lan kòrèkteman, menm kreyatè gwo sant done yo pa iminitè kont erè.
Imèn faktè
Lè kòz la imedya nan yon ensidan se aksyon yo kòrèk nan pèsonèl sant done, pwoblèm yo pi souvan (men se pa toujou) afekte pati nan lojisyèl nan enfrastrikti IT la. Aksidan sa yo rive menm nan gwo kòporasyon yo. Nan mwa fevriye 2017, akòz yon manm ekip mal rekrite nan gwoup operasyon teknik nan youn nan sant done yo, yon pati nan Amazon Web Services sèvè yo te enfim. Yon erè te fèt pandan y ap debogaj pwosesis bòdwo a pou kliyan depo nwaj Amazon Simple Storage Service (S3). Yon anplwaye te eseye efase yon kantite sèvè vityèl ke sistèm bòdwo a te itilize, men li te frape yon pi gwo gwoup.
Kòm yon rezilta nan yon erè enjenyè, yo te efase serveurs ki ap dirije modil lojisyèl depo Amazon nwaj yo. Premye ki afekte a se sou-sistèm Indexing, ki gen enfòmasyon sou metadata ak kote tout objè S3 nan rejyon US-EAST-1 Ameriken an. Ensidan an te afekte tou sou-sistèm yo te itilize pou òganize done ak jere espas ki disponib pou depo. Apre yo fin efase machin vityèl yo, de subsistèm sa yo te mande yon rekòmanse konplè, ak Lè sa a, enjenyè Amazon yo te nan yon sipriz - pou yon tan long, depo nwaj piblik la pa t 'kapab fè sèvis demann kliyan yo.
Enpak la te gaye toupatou, kòm anpil resous gwo itilize Amazon S3. Pann yo afekte Trello, Coursera, IFTTT ak, pi dezagreyab, sèvis gwo patnè Amazon nan lis S & P 500. Domaj la nan ka sa yo difisil pou kalkile, men li te nan rejyon an nan dè santèn de milyon dola ameriken. Kòm ou ka wè, yon sèl move lòd se ase yo enfim sèvis la nan pi gwo platfòm nwaj la. Sa a se pa yon ka izole; sou 16 me 2019, pandan travay antretyen, sèvis Yandex.Cloud. machin vityèl itilizatè yo nan zòn ru-central1-c ki te nan estati SUSPENDED omwen yon fwa. Done kliyan yo te deja domaje isit la, kèk nan yo te irevokabl pèdi. Natirèlman, moun yo enpafè, men sistèm sekirite enfòmasyon modèn yo te kapab kontwole aksyon itilizatè privilejye yo anvan yo egzekite kòmandman yo te antre yo. Si solisyon sa yo aplike nan Yandex oswa Amazon, ensidan sa yo ka evite.
Refwadisman nan frizè
Nan mwa janvye 2017, yon gwo aksidan te fèt nan sant done Dmitrov nan konpayi Megafon. Lè sa a, tanperati a nan rejyon Moskou a desann nan -35 °C, ki te mennen nan echèk nan sistèm refwadisman etablisman an. Sèvis pou laprès operatè a pa t 'pati patikilye pale sou rezon ki fè ensidan an - konpayi Ris yo trè ezite pale sou aksidan nan enstalasyon yo posede; an tèm de piblisite, nou reta byen lwen Lwès la. Te gen yon vèsyon ki sikile sou rezo sosyal yo sou konjelasyon nan awozaj nan tiyo mete nan lari a ak flit nan glikol etilèn. Dapre li, sèvis operasyon an pa t 'kapab byen vit jwenn 30 tòn awozaj akòz jou ferye long ak soti lè l sèvi avèk mwayen enpwovize, òganize enpwovize gratis-refwadisman an vyolasyon règ yo pou opere sistèm nan. Fwad grav te vin pi grav pwoblèm nan - nan mwa janvye, sezon fredi toudenkou frape Larisi, byenke pèsonn pa t ap tann li. Kòm yon rezilta, anplwaye a te oblije fèmen pouvwa a nan yon pati nan etajè sèvè yo, ki se poukisa kèk sèvis operatè yo pa t disponib pou de jou.
Pwobableman, nou ka pale sou yon anomali move tan isit la, men frima sa yo se pa yon bagay etranj pou rejyon kapital la. Tanperati nan sezon fredi nan rejyon Moskou a ka desann nan nivo pi ba yo, kidonk sant done yo bati ak atant nan operasyon ki estab nan -42 ° C. Pi souvan, sistèm refwadisman echwe nan move tan frèt akòz yon konsantrasyon ensifizan segondè nan glikol ak dlo depase nan solisyon an awozaj. Genyen tou pwoblèm ak enstalasyon an nan tiyo oswa ak move kalkil nan konsepsyon an ak tès nan sistèm nan, sitou ki asosye ak dezi a ekonomize lajan. Kòm yon rezilta, yon aksidan grav rive soti nan ble a, ki te kapab anpeche.
Dezas natirèl
Pi souvan, tanpèt loraj ak/oswa siklòn deranje enfrastrikti jeni yon sant done, sa ki lakòz entèripsyon sèvis ak/oswa domaj fizik nan ekipman yo. Ensidan ki te koze pa move tan rive byen souvan. An 2012, siklòn Sandy te pase sou kòt lwès Etazini ak gwo lapli. Sitiye nan yon bilding ki wo nan Lower Manhattan, sant done Peer 1 la , apre dlo lanmè sale te inonde sousòl yo. Dèlko ijans etablisman an te chita nan 18yèm etaj la, epi rezèv gaz yo te limite - règ yo te entwodwi nan New York apre atak teworis 9/11 yo entèdi estoke gwo kantite gaz nan etaj anwo yo.
Ponp gaz la te echwe tou, kidonk anplwaye a te pase plizyè jou pou pote dyezèl nan dèlko yo alamen. Ewoyis ekip la te sove sant done a nan yon aksidan grav, men èske li vrèman nesesè? Nou ap viv sou yon planèt ki gen yon atmosfè nitwojèn-oksijèn ak anpil dlo. Tanpèt loraj ak siklòn yo komen isit la (sitou nan zòn kotyè yo). Konsèpteur ta pwobableman fè byen konsidere risk ki enplike yo epi bati yon sistèm ekipman pou pouvwa san enteripsyon. Oswa omwen chwazi yon kote ki pi apwopriye pou sant done a pase yon gwo bilding sou yon zile.
Tout lòt bagay
Uptime Institute idantifye yon varyete ensidan nan kategori sa a, pami ki li difisil pou chwazi yon tipik. Vòl kab kòb kwiv mete yo, machin ki tonbe nan sant done yo, sipò liy elektrik yo ak estasyon transfòmatè yo, dife, operatè ekskavatè domaje optik, rat (rat, lapen e menm wombat, ki aktyèlman marsupial), ansanm ak moun ki renmen tire sou yo. fil - meni an se vaste. Echèk pouvwa ka menm lakòz elektrisite ilegal plantasyon marigwana. Nan pifò ka yo, moun espesifik vin koupab yo nan ensidan an, sa vle di nou ankò ap fè fas ak faktè imen an, lè pwoblèm nan gen yon non ak ti non. Menm si nan premye gade aksidan an asosye ak yon malfonksyònman teknik oswa dezas natirèl, li ka evite depi etablisman an byen fèt ak opere kòrèkteman. Sèl eksepsyon yo se ka domaj kritik nan enfrastrikti sant done oswa destriksyon bilding ak estrikti akòz yon dezas natirèl. Sa yo se vrèman fòs majeures sikonstans, ak tout lòt pwoblèm yo ki te koze pa Joint ant òdinatè a ak chèz la - petèt sa a se pati ki pi enfidèl nan nenpòt sistèm konplèks.
Sous: www.habr.com