Заманбап маалымат борборлорундагы ири авариялар темасы биринчи макалада жооп берилбеген суроолорду жаратат - биз аны иштеп чыгууну чечтик.
Uptime институтунун статистикасына ылайык, маалымат борборлорундагы инциденттердин көпчүлүгү электр менен жабдуу системасынын бузулушуна байланыштуу — алар окуялардын 39% түзөт. Алардан кийинки орунда адам фактору турат, ал кырсыктардын дагы 24%ын түзөт. Үчүнчү маанилүү себеп (15%) кондициялоо системасынын иштен чыгышы, төртүнчү орунда (12%) табигый кырсыктар болду. Башка көйгөйлөрдүн жалпы үлүшү 10% гана түзөт. Урматтуу уюмдун маалыматтарына шек келтирбестен, биз ар кандай кырсыктарда кеңири тараган нерсени баса белгилеп, алардын алдын алуу мүмкүнбү же жокпу, түшүнүүгө аракет кылабыз. Спойлер: бул көпчүлүк учурда мүмкүн.
Байланыш илими
Жөнөкөй сөз менен айтканда, электр менен камсыздоодо эки гана көйгөй бар: же ал керек жерде байланыш жок, же байланыш болбошу керек жерде байланыш бар. Заманбап үзгүлтүксүз электр менен жабдуу системаларынын ишенимдүүлүгү жөнүндө көпкө айта аласыз, бирок алар дайыма эле сизди сактап кала бербейт. International Airlines Group башкы компаниясына таандык болгон British Airways колдонгон маалымат борборунун жогорку профилдүү корпусун алалы. Хитроу аэропортуна жакын жайгашкан мындай эки мүлк бар - Boadicea House жана Comet House. Алардын биринчисинде 27-жылдын 2017-майында электр энергиясы кокусунан өчүрүлүп, АЭС системасынын ашыкча жүктөлүшүнө жана иштен чыгуусуна алып келген. Натыйжада айрым IT жабдыктары физикалык жактан жабыркап, акыркы кырсыкты жоюу үч күнгө созулду.
Авиакомпания миңден ашык каттамды жокко чыгарууга же башка күнгө которууга аргасыз болгон, 75 миңге жакын жүргүнчү өз убагында уча албай калган – компенсацияларды төлөөгө 128 миллион доллар сарпталган, дата борборлорунун иштөөсүн калыбына келтирүүгө кеткен чыгымдарды эсепке албаганда. Өчүрүү себептеринин тарыхы так эмес. International Airlines Group компаниясынын башкы директору Вилли Уолш жарыялаган ички иликтөөнүн жыйынтыгына ишенсеңиз, бул инженерлердин катасынан улам болгон. Бирок, үзгүлтүксүз электр менен жабдуу системасы мындай өчүрүүгө туруштук бериши керек болчу - ошондуктан ал орнотулган. Маалымат борборун CBRE Managed Services аутсорсинг компаниясынын адистери башкарган, ошондуктан British Airways зыяндын суммасын Лондон соту аркылуу өндүрүп алууга аракет кылган.
Окшош сценарийлерде электр энергиясы өчүрүлөт: адегенде электр менен камсыздоочунун күнөөсү боюнча, кээде аба ырайынын начардыгынан же ички көйгөйлөрдөн (анын ичинде адамдык каталардан) өчүрүү болот, андан кийин үзгүлтүксүз электр энергиясы менен камсыздоо системасы жүктү көтөрө албайт же кыска - синус толкунунун мөөнөттүү үзгүлтүккө учурашы көптөгөн кызматтардын иштен чыгышына алып келет, аларды калыбына келтирүү көп убакытты жана акчаны талап кылат. Мындай кырсыктарды болтурбай коюуга болобу? шексиз. Эгер сиз системаны туура долбоорлосоңуз, чоң маалымат борборлорунун жаратуучулары да каталардан корголбойт.
Адамдык фактор
Инциденттин дароо себеби маалымат борборунун кызматкерлеринин туура эмес аракеттери болгондо, көйгөйлөр көбүнчө (бирок дайыма эмес) IT инфраструктурасынын программалык бөлүгүнө таасир этет. Мындай кырсыктар ири корпорацияларда да болот. 2017-жылдын февраль айында маалымат борборлорунун биринин техникалык операция тобунун туура эмес тартылган командасынын мүчөсүнүн айынан Amazon Web Services серверлеринин бир бөлүгү өчүрүлгөн. Amazon Simple Storage Service (S3) булут сактагычынын кардарлары үчүн эсеп коюу процессин оңдоодо ката кетти. Кызматкер эсеп системасы тарабынан колдонулган бир катар виртуалдык серверлерди жок кылууга аракет кылган, бирок чоңураак кластерге тийген.
Инженер катасынын натыйжасында Amazon булут сактагычынын маанилүү программалык модулдарын иштеткен серверлер жок кылынды. Биринчи таасир эткен индекстөө подсистемасы болду, ал US-EAST-3 Америка аймагындагы бардык S1 объекттеринин метаберилиштери жана жайгашкан жери жөнүндө маалыматты камтыйт. Окуя маалыматтарды жайгаштыруу жана сактоо үчүн жеткиликтүү мейкиндикти башкаруу үчүн колдонулган подсистемага да таасирин тийгизди. Виртуалдык машиналарды жок кылгандан кийин, бул эки подсистеманы толук өчүрүп күйгүзүү талап кылынган, андан кийин Amazon инженерлери күтүлбөгөн окуяга туш болушкан - узак убакыт бою коомдук булут сактагыч кардарлардын суроо-талаптарын тейлей алган эмес.
Көптөгөн ири ресурстар Amazon S3 колдонгондуктан, таасир кеңири жайылган. Өчүрүүлөр Trello, Coursera, IFTTT жана эң жагымсызы, S&P 500 тизмесинен Amazon негизги өнөктөштөрүнүн кызматтарына таасирин тийгизди.Мындай учурларда келтирилген зыянды эсептөө кыйын, бирок ал жүздөгөн миллион АКШ долларын түзгөн. Көрүнүп тургандай, эң чоң булут платформасынын кызматын өчүрүү үчүн бир туура эмес буйрук жетиштүү. Бул өзүнчө эле окуя эмес, 16-жылдын 2019-майында техникалык тейлөө иштеринин жүрүшүндө Yandex.Cloud кызматы ru-central1-c зонасында жок дегенде бир жолу ТОКТОТУЛГАН статуста болгон колдонуучулардын виртуалдык машиналары. Бул жерде кардар маалыматтары буга чейин бузулган, алардын айрымдары калыбына келтирилгис жоголгон. Албетте, адамдар жеткилең эмес, бирок заманбап маалыматтык коопсуздук системалары эчак эле артыкчылыктуу колдонуучулардын иш-аракеттерин алар киргизген буйруктарды аткарууга чейин көзөмөлдөй алышкан. Мындай чечимдер Яндекс же Амазонка ишке ашырылса, мындай окуялардын алдын алууга болот.
Тоңдурулган муздатуу
2017-жылдын январында "Мегафон" компаниясынын Дмитров маалымат борборунда ири авария болгон. Андан кийин Москва облусунда температура −35 °Cге чейин төмөндөп, бул мекеменин муздатуу системасынын иштен чыгышына алып келген. Оператордун басма сөз кызматы окуянын себептери жөнүндө өзгөчө айткан жок - россиялык компаниялар өздөрүнө таандык объекттердеги кырсыктар жөнүндө айтууну абдан каалашат, жарыялоо жагынан биз Батыштан бир топ артта калдык. Соцтармактарда көчө бойлой төшөлгөн түтүктөрдөгү муздатуучу суу тоңуп, этиленгликол агып кеткени тууралуу версия тараган. Анын айтымында, эксплуатация кызматы узак эс алуу күндөрүнө байланыштуу 30 тонна муздаткычты тез арада ала албай, системаны иштетүү эрежесин бузуу менен импровизацияланган эркин муздатууларды уюштуруп, импровизацияланган каражаттар менен чыгып кетишкен. Катуу суук көйгөйдү ого бетер курчутуп жиберди – январь айында күтүүсүздөн Орусияга кыш кирди, бирок аны эч ким күтпөгөн. Натыйжада кызматкерлерге сервердик стеллаждардын бир бөлүгүн өчүрүүгө туура келген, ошондуктан айрым оператор кызматтары эки күн иштебей турган.
Балким, бул жерде аба ырайынын аномалиясы тууралуу айтсак болот, бирок мындай үшүк борбор облус үчүн адаттан тыш нерсе эмес. Москва аймагында кыш мезгилинде температура төмөнкү деңгээлге чейин төмөндөшү мүмкүн, ошондуктан маалымат борборлору -42°C туруктуу иштешин күтүү менен курулган. Көбүнчө муздатуу системалары муздаткычтын эритмесинде гликолдордун жана ашыкча суунун жетишсиз концентрациясынан улам муздак аба ырайында иштебей калат. Түтүктөрдү орнотууда же системаны долбоорлоодо жана сыноодо туура эмес эсептөөлөр менен көйгөйлөр да бар, бул негизинен акчаны үнөмдөө каалоосу менен байланышкан. Натыйжада күтүлбөгөн жерден олуттуу кырсык болуп, алдын алса болмок.
Табигый кырсыктар
Көбүнчө чагылган жана/же бороон-чапкындар маалымат борборунун инженердик инфраструктурасын бузуп, тейлөө үзгүлтүккө учурашына жана/же жабдуулардын физикалык бузулушуна алып келет. Жаман аба ырайынан улам болгон окуялар көп кездешет. 2012-жылы "Сэнди" бороон-чапкыны катуу жамгыр менен АКШнын батыш жээгин каптаган. Төмөнкү Манхэттендеги көп кабаттуу имаратта жайгашкан, Peer 1 маалымат борбору , туздуу деңиз суусунан кийин жертөлөлөрдү каптап кеткен. Объекттин авариялык генераторлору 18-кабатта жайгашып, аларды күйүүчү май менен камсыз кылуу чектелген – Нью-Йоркто 9-сентябрдагы теракттан кийин киргизилген эрежелер жогорку кабаттарда чоң көлөмдөгү күйүүчү майды сактоого тыюу салат.
Күйүүчү май насосу да иштен чыгып калгандыктан, кызматкерлер бир нече күн бою генераторлорго кол менен дизелди ташыган. Команданын эрдиги маалымат борборун олуттуу авариядан сактап калды, бирок бул чындап эле зарыл беле? Биз азот-кычкылтек атмосферасы жана суусу көп планетада жашайбыз. Бул жерде (өзгөчө деңиз жээгиндеги райондордо) күн күркүрөшү жана бороон-чапкын көп болот. Дизайнерлер, балким, тиешелүү тобокелдиктерди эске алып, үзгүлтүксүз электр менен жабдуу системасын курушса жакшы болмок. Же жок дегенде аралдагы бийик кабатка караганда маалымат борбору үчүн ылайыктуу жерди тандаңыз.
Бардык башка
Uptime институту бул категориядагы ар кандай окуяларды аныктайт, алардын ичинен типтүүсүн тандоо кыйын. Жез кабелдерди уурдоо, маалымат борборлоруна, электр чубалгыларынын тирөөчтөрүнө жана трансформатордук көмөкчордондорго кулап түшкөн унаалар, өрт, оптикага зыян келтирген экскаваторлордун операторлору, кемирүүчүлөр (чыныгы беткей жаныбарлар болуп саналган келемиштер, коёндор жана ал тургай вомбаттар), ошондой эле ок атуу менен машыгууну жакшы көргөндөр. зымдар - меню кенен. Электр кубаты үзгүлтүккө учурашы да себеп болушу мүмкүн электр энергиясы мыйзамсыз марихуана плантациясы. Көпчүлүк учурларда окуянын күнөөкөрү конкреттүү адамдар болуп калат, б.а., биз кайрадан адам фактору менен алектенип жатабыз, маселе аты жана фамилиясына ээ болгондо. Бир караганда кырсык техникалык бузулуу же табигый кырсыктар менен байланыштуу болсо да, объект туура долбоорлонуп, туура иштетилсе, анын алдын алууга болот. Табигый кырсыктан улам маалымат борборунун инфраструктурасына олуттуу зыян келтирүү же имараттарды жана курулуштарды бузуу учурлары гана өзгөчөлүктөргө кирет. Бул чындап форс-мажордук жагдайлар жана башка бардык көйгөйлөр компьютер менен отургучтун ортосундагы прокладкадан келип чыгат - балким, бул кандайдыр бир татаал системанын эң ишенимсиз бөлүгү.
Source: www.habr.com