Агар як рӯзи хуби тобистон маркази додаҳо бо таҷҳизоти шумо чунин бошад, шумо чӣ ҳис мекардед?
Салом ба ҳама! Номи ман Дмитрий Самсонов, ман ҳамчун мудири пешбари система дар "" Дар акс яке аз чаҳор маркази додаҳо нишон дода шудааст, ки дар он таҷҳизоти хидматрасонии лоиҳаи мо насб карда шудааст. Дар паси ин деворҳо тақрибан 4 ҳазор адад таҷҳизот: серверҳо, системаҳои нигоҳдории маълумот, таҷҳизоти шабакавӣ ва ғайра мавҷуданд. — кариб нисфи тамоми техникам мо.
Аксарияти серверҳо Linux мебошанд. Дар Windows (MS SQL) низ якчанд даҳҳо серверҳо мавҷуданд - мероси мо, ки мо солҳои зиёд онро мунтазам тарк кардаем.
Ҳамин тавр, 5 июни соли 2019 соати 14:35 муҳандисони яке аз марказҳои маълумотии мо дар бораи оташсӯзӣ хабар доданд.
Дин
14:45. Ҳодисаҳои хурди дуд дар марказҳои додаҳо назар ба он ки шумо фикр мекунед, бештар маъмуланд. Нишондиҳандаҳо дар дохили толорҳо муқаррарӣ буданд, бинобар ин вокуниши аввалини мо нисбатан ором буд: онҳо манъи кор бо истеҳсолот, яъне ҳама гуна тағироти конфигуратсия, паҳн кардани версияҳои нав ва ғайраро ҷорӣ карданд, ба истиснои корҳое, ки бо ислоҳи чизе алоқаманданд.
Хашмгин
Оё шумо боре кӯшиш кардаед, ки аз сӯхторнишонон маҳз дар куҷо сар задани сӯхтор дар бом фаҳмед ё худатон ба болои боми сӯзон баромада, вазъиятро арзёбӣ кунед? Дараҷаи эътимод ба маълумоти тавассути панҷ нафар гирифташуда чӣ гуна хоҳад буд?
14: 50. Маълумоте гирифта шудааст, ки оташ ба системаи хунуккунӣ наздик мешавад. Аммо он меояд? Администратори навбатдор трафики берунаро аз пеши ин маркази додаҳо хориҷ мекунад.
Дар айни замон, ҷабҳаҳои ҳамаи хидматҳои мо дар се маркази додаҳо такрор карда мешаванд, мувозинат дар сатҳи DNS истифода мешавад, ки ба мо имкон медиҳад суроғаҳои як маркази додаҳоро аз DNS хориҷ кунем ва ба ин васила корбаронро аз мушкилоти эҳтимолии дастрасӣ ба хидматҳо муҳофизат кунем. . Агар дар маркази додаҳо мушкилот аллакай рух дода бошад, он гардишро ба таври худкор тарк мекунад. Шумо метавонед бештар дар ин ҷо бихонед:
Сӯхтор ба мо то ҳол ба ҳеҷ ваҷҳ таъсир накардааст - на истифодабарандагон ва на таҷҳизот осеб дидаанд. Оё ин садама аст? Фасли якуми ҳуҷҷат «Нақшаи чорабиниҳои садама» мафҳуми «фалокат»-ро муайян мекунад ва боб ба таври зайл анҷом меёбад:
«Агар шубхае бошад, ки садама руй додааст ё не, пас ин садама аст!»
14:53. Ҳамоҳангсози ҳолати фавқулодда таъин карда мешавад.
Ҳамоҳангсоз шахсе мебошад, ки робитаи байни ҳамаи иштирокчиёнро назорат мекунад, миқёси садамаро арзёбӣ мекунад, Нақшаи чорабиниҳои фавқулоддаро истифода мебарад, кадрҳои заруриро ҷалб мекунад, ба анҷом расидани таъмир назорат мекунад ва аз ҳама муҳимаш ҳама гуна вазифаҳоро вогузор мекунад. Ба ибораи дигар, ин шахсест, ки тамоми раванди вокуниш ба ҳолати фавқулоддаро идора мекунад.
Таблиғот
15:01. Мо ба хомӯш кардани серверҳое шурӯъ мекунем, ки ба истеҳсолот алоқаманд нестанд.
15:03. Мо ҳама хидматҳои ҳифзшударо дуруст хомӯш мекунем.
Ин на танҳо фронтҳо (ки аз ҷониби корбарон дигар дастрас нестанд) ва хидматҳои ёрирасони онҳо (мантиқи тиҷорат, кэшҳо ва ғ.), балки инчунин базаҳои гуногун бо омили такрории 2 ё бештар (, , , ғайра).
15: 06. Маълумот гирифта шудааст, ки сӯхтор ба яке аз толорҳои маркази маълумот таҳдид мекунад. Мо дар ин ҳуҷра таҷҳизот надорем, аммо он, ки оташ метавонад аз бом ба толорҳо паҳн шавад, манзараи рӯйдодҳоро хеле тағйир медиҳад.
(Баъдтар маълум шуд, ки ба толор ягон хатари ҷисмонӣ вуҷуд надорад, зеро он аз бом ба таври герметикӣ маҳкам карда шудааст. Таҳдид танҳо ба системаи хунуккунии ин толор будааст).
15:07. Мо ба иҷрои фармонҳо дар серверҳо дар реҷаи тезонидашуда бидуни санҷишҳои иловагӣ иҷозат медиҳем ().
15:08. Ҳарорат дар толорҳо дар ҳудуди муқаррарӣ аст.
15: 12. Дар залхо баланд шудани харорат ба кайд гирифта шуд.
15:13. Зиёда аз нисфи серверҳои маркази додаҳо хомӯш карда шудаанд. Биёед идома диҳем.
15:16. Карор кабул шуд, ки тамоми тачхизот хомуш карда шавад.
15:21. Мо бе қатъ кардани дурусти барнома ва системаи оператсионӣ ба хомӯш кардани қувваи серверҳои бидуни шаҳрвандӣ шурӯъ мекунем.
15:23. Як гурӯҳи одамоне, ки барои MS SQL масъуланд, ҷудо карда шудаанд (онҳо каманд, вобастагии хидматҳо аз онҳо зиёд нест, аммо тартиби барқарорсозии функсияҳо назар ба, масалан, Кассандра дарозтар ва мураккабтар аст).
Департамент
15: 25. Аз 16 толор дар чор толор (No6, 7, 8, 9) дар бораи хомӯш кардани барқ маълумот гирифта шуд. Таҷҳизоти мо дар толорҳои 7 ва 8 ҷойгир аст. Дар бораи ду зали мо (ракамхои 1 ва 3) маълумот нест.
Одатан, хангоми сухтор кувваи электр фавран хомуш карда мешавад, вале дар ин маврид ба туфайли кори мураттабонаи сухторхомушку-нандагон ва коркунони техникии марказ на дар хама чо ва на дархол, балки ба таври зарурй хомуш карда шуд.
(Баъдтар маълум шуд, ки дар залхои 8 ва 9 кувваи электр хомуш карда нашудааст).
15:28. Мо ба ҷойгиркунии пойгоҳи додаҳои MS SQL аз нусхаҳои эҳтиётӣ дар дигар марказҳои додаҳо шурӯъ мекунем.
Ин чӣ қадар вақт мегирад? Оё иқтидори шабака барои тамоми масир кофӣ аст?
15: 37. Қатъи баъзе қисматҳои шабака сабт шудааст.
Рохбарй ва сети истехсолй аз хамдигар чисман ало-каанд. Агар шабакаи истеҳсолӣ мавҷуд бошад, шумо метавонед ба сервер равед, барномаро қатъ кунед ва ОС-ро хомӯш кунед. Агар он дастрас набошад, шумо метавонед тавассути IPMI ворид шавед, барномаро қатъ кунед ва ОС-ро хомӯш кунед. Агар ягон шабака вуҷуд надошта бошад, шумо ҳеҷ кор карда наметавонед. «Ташаккур, кап!», шумо фикр мекунед.
"Ва умуман, нооромиҳо зиёданд", шумо низ шояд фикр кунед.
Гап дар он аст, ки серверҳо, ҳатто бе оташ, миқдори зиёди гармиро тавлид мекунанд. Аниқтараш, ҳангоми хунуккунӣ онҳо гармӣ тавлид мекунанд ва ҳангоми хунуккунӣ дӯзахи дӯзахӣ эҷод мекунанд, ки дар беҳтарин ҳолат як қисми таҷҳизотро об карда, қисми дигарро хомӯш мекунад ва бадтаринаш... оташ дар дохили толор, ки қариб кафолат дода мешавад, ки ҳама чизро несту нобуд мекунад.
15:39. Мо мушкилотро бо пойгоҳи додаҳои conf ислоҳ мекунем.
Пойгоҳи махзани conf барои хидмати як ном аст, ки онро ҳама барномаҳои истеҳсолӣ барои зуд тағир додани танзимот истифода мебаранд. Бе ин база мо кори порталро назорат карда наметавонем, аммо худи портал метавонад кор кунад.
15:41. Сенсорҳои ҳарорат дар таҷҳизоти шабакавии Core хонишҳоро ба ҳадди иҷозатдодашуда наздик сабт мекунанд. Ин қуттӣест, ки тамоми рахро ишғол мекунад ва кори тамоми шабакаҳоро дар дохили маркази додаҳо таъмин мекунад.
15:42. Назоратчии масъала ва вики дастнорасанд, ба ҳолати интизорӣ гузаред.
Ин истеҳсолот нест, аммо дар сурати садама, мавҷудияти ҳама гуна пойгоҳи дониш метавонад муҳим бошад.
15:50. Яке аз системаҳои назорат хомӯш карда шудааст.
Якчанд онҳо вуҷуд доранд ва онҳо барои ҷанбаҳои гуногуни хидматҳо масъуланд. Баъзеи онҳо конфигуратсия карда шудаанд, ки дар дохили ҳар як маркази додаҳо мустақилона кор кунанд (яъне онҳо танҳо маркази додаҳои худро назорат мекунанд), дигарон аз ҷузъҳои тақсимшуда иборатанд, ки аз талафоти ҳама гуна маркази додаҳо шаффоф наҷот меёбанд.
Дар ин ҳолат он аз кор монд , ки дар ре-жими интизорй кор мекунад. Ба интизорӣ гузаштанд.
Қабули
15:51. Ҳама серверҳо ба истиснои MS SQL тавассути IPMI бидуни қатъи дуруст хомӯш карда шуданд.
Оё шумо барои идоракунии азими сервер тавассути IPMI омодаед?
Маҳз лаҳзае, ки наҷотдиҳии таҷҳизот дар маркази додаҳо дар ин марҳила ба итмом мерасад. Хамаи он чи ки метавонист ичро шуд. Баъзе ҳамкорон метавонанд истироҳат кунанд.
16: 13. Маълумот гирифта шудааст, ки қубурҳои фреон аз кондитсионерҳо дар бом даридаанд - ин ба кор андохтани маркази маълумот пас аз бартараф кардани сӯхтор ба таъхир меафтад.
16:19. Мувофики маълумотхое, ки аз коркунони техникии маркази маълумотхо расидаанд, афзоиши харорат дар залхо катъ шудааст.
17:10. Махзани маълумоти conf барқарор карда шуд. Акнун мо метавонем танзимоти барномаро тағир диҳем.
Чаро ин хеле муҳим аст, агар ҳама чиз ба хатогиҳо таҳаммулпазир бошад ва ҳатто бидуни як маркази маълумот кор кунад?
Аввалан, на ҳама чиз ба хато таҳаммулпазир аст. Хидматҳои гуногуни дуюмдараҷа мавҷуданд, ки ҳанӯз аз шикасти маркази додаҳо ба қадри кофӣ наҷот наёфтаанд ва пойгоҳи додаҳо дар реҷаи интизорӣ вуҷуд доранд. Қобилияти идоракунии танзимот ба шумо имкон медиҳад, ки ҳама кори заруриро барои кам кардани таъсири оқибатҳои садама ба корбарон ҳатто дар шароити душвор анҷом диҳед.
Сониян, маълум шуд, ки кори маркази додаҳо дар соатҳои наздик пурра барқарор нахоҳад шуд, аз ин рӯ, чораҳо андешидан лозим буд, ки дастрасии дарозмуддати репликаҳо ба мушкилоти иловагӣ, аз қабили дискҳои пур дар марказҳои боқимондаи маълумот.
17:29. Вақти пицца! Мо одамонро кор мекунем, на роботҳо.
Барқарорсозӣ
18:02. Дар залхои раками 8 (мо), 9, 10 ва 11 харорат муътадил шуд. Яке аз онҳое, ки офлайн боқӣ мемонад (№ 7) таҷҳизоти моро ҷойгир мекунад ва ҳарорат дар он ҷо боло меравад.
18:31. Онхо барои ба кор андохтани тачхизот дар залхои раками 1 ва 3 ичозат доданд — ин залхо аз сухтор осеб надидаанд.
Айни замон серверҳо дар толорҳои №1, 3, 8 оғоз шуда, аз муҳимтарин толорҳо оғоз мешаванд. Фаъолияти дурусти тамоми хидматҳои иҷрошаванда тафтиш карда мешавад. Дар толори рақами 7 то ҳол мушкилот вуҷуд дорад.
18:44. Кормандони техникии маркази маълумот муайян карданд, ки дар ҳуҷраи № 7 (дар он ҷо танҳо дастгоҳҳои мо ҷойгиранд) серверҳои зиёде хомӯш карда нашудаанд. Тибқи маълумоти мо, дар он ҷо 26 сервер онлайн боқӣ мемонад. Пас аз санҷиши дуюм, мо 58 серверро пайдо мекунем.
20:18. Техникони маркази маълумот ҳаворо тавассути як ҳуҷраи кондитсионер тавассути каналҳои мобилӣ, ки аз долонҳо мегузарад, мезананд.
23:08. Аввалин админ ба хона фиристода шуд. Касе бояд шаб хоб кунад, то фардо корро давом дихад. Минбаъд, мо боз чанд маъмур ва таҳиягаронро озод хоҳем кард.
02:56. Мо ҳама чизеро, ки ба кор андохтан мумкин буд, оғоз кардем. Мо бо истифода аз санҷишҳои автоматӣ тамоми хидматҳоро тафтиш мекунем.
03:02. Кондиционер дар зали охирин, 7-ум баркарор карда шуд.
03:36. Мо фронтҳоро дар маркази додаҳо ба гардиш дар DNS овардем. Аз ин лаҳза трафики корбарон ворид шуданро оғоз мекунад.
Мо аксарияти дастаи маъмуриро ба хона мефиристем. Вале мо чанд касро дар паси худ мегузорем.
Саволҳои хурд:
Савол: Аз соати 18:31 то 02:56 чӣ шуд?
Ҷавоб: Дар пайи «Нақшаи амал оид ба офатҳои табиӣ» мо тамоми хадамотро оғоз мекунем, аз ҳама муҳимтарин. Дар ин ҳолат, координатор дар чат хидматро ба мудири ройгон медиҳад, ки оё ОС ва барнома оғоз шудааст, хатогиҳо вуҷуд доранд ва ё муқаррарӣ будани нишондиҳандаҳоро тафтиш мекунад. Пас аз анҷоми оғоз, ӯ ба чат хабар медиҳад, ки озод аст ва аз ҳамоҳангсоз хидмати нав мегирад.
Раванд аз ҷониби сахтафзори ноком боз ҳам суст мешавад. Ҳатто агар қатъ кардани ОС ва қатъ кардани серверҳо дуруст иҷро шуда бошад ҳам, баъзе серверҳо аз сабаби нокомии ногаҳонии дискҳо, хотира ва шасси барнамегарданд. Вақте ки қувваи барқ аз даст меравад, сатҳи нокомӣ меафзояд.
Савол: Чаро шумо наметавонед ҳама чизро якбора иҷро кунед ва он чизеро, ки дар мониторинг пайдо мешавад, ислоҳ кунед?
Ҷавоб: Ҳама чиз бояд тадриҷан анҷом дода шавад, зеро байни хидматҳо вобастагӣ вуҷуд дорад. Ва ҳама чиз бояд фавран тафтиш карда шавад, бе интизории мониторинг - зеро беҳтар аст, ки мушкилотро фавран, бидуни мунтазири бад шудани онҳо ҳал кунед.
7:40. Администратори охирин (ҳамоҳангсоз) ба хоб рафт. Кори рузи якум ба охир расид.
8:09. Аввалин таҳиягарон, муҳандисони маркази додаҳо ва маъмурон (аз ҷумла ҳамоҳангсози нав) ба корҳои барқарорсозӣ шурӯъ карданд.
09:37. Мо ба баланд бардоштани зали раками 7 (охирин).
Ҳамзамон, мо барқарор кардани он чизеро, ки дар утоқҳои дигар ислоҳ нашуда буданд, идома медиҳем: иваз кардани дискҳо/хотира/серверҳо, ислоҳ кардани ҳама чизҳое, ки дар мониторинг “сӯхта мешаванд”, иваз кардани нақшҳо дар схемаҳои устои интизорӣ ва дигар чизҳои хурде, ки аз онҳо вуҷуд доранд. бо вуҷуди ин хеле зиёд.
17:08. Мо ба хамаи кори доимй бо истехсолот рох медихем.
21:45. Кори рузи дуюм ба охир расид.
09:45. Имрӯз ҷумъа аст. Дар мониторинг ҳанӯз як қатор мушкилоти хурд вуҷуд доранд. Рӯзи истироҳат дар пеш аст, ҳама мехоҳанд истироҳат кунанд. Мо ҳама чизро ба таври оммавӣ таъмир карданро идома медиҳем. Вазифаҳои муқаррарии маъмурие, ки метавонистанд мавқуф гузошта шаванд, ба таъхир афтоданд. Ҳамоҳангсоз нав аст.
15:40. Ногаҳон нисфи стеки таҷҳизоти шабакавии аслӣ дар ДИГАР маркази додаҳо аз нав оғоз шуд. Барои кам кардани хатарҳо фронтҳо аз гардиш бароварда шуданд. Барои истифодабарандагон ҳеҷ гуна таъсир вуҷуд надорад. Баъдтар маълум шуд, ки ин шасси вайрон аст. Координатор дар як вакт ду ходисаро таъмир карда истодааст.
17:17. Фаъолияти шабака дар маркази додаҳои дигар барқарор карда шуд, ҳама чиз тафтиш карда шуд. Маркази маълумот ба ротатсия гузошта шудааст.
18:29. Кори рузи сеюм ва умуман баркароркунии баъди фалокат анчом ёфт.
Пас аз он
04.04.2013 , "Ҳамсинфон" — се рӯз портал пурра ё қисман дастрас набуд. Дар тӯли тамоми вақт, зиёда аз 100 нафар аз шаҳрҳои гуногун, аз ширкатҳои гуногун (боз ташаккури зиёд!), аз фосилаи дур ва бевосита дар марказҳои додаҳо, дастӣ ва автоматӣ ҳазорҳо серверҳоро таъмир карданд.
Мо хуло-сахо баровардем. Барои такрор нашудани ин ҳодиса мо то имрӯз корҳои зиёдеро анҷом додем ва идома медиҳем.
Фарқиятҳои асосии байни садамаи кунунӣ ва 404 чист?
- Мо «Нақшаи чорабиниҳои садама» дорем. Мо дар як семоҳа як маротиба машқҳо мегузаронем - мо як ҳолати фавқулоддаро нақш мебошем, ки як гурӯҳи маъмурон (ҳама дар навбати худ) бояд бо истифода аз «Нақшаи чорабиниҳои фавқулодда» бартараф кунанд. Маъмурони пешбари система бо навбат нақши ҳамоҳангсозро мебозанд.
- Ҳар семоҳа, дар реҷаи санҷиш, мо марказҳои маълумотро (ҳама дар навбати худ) тавассути шабакаҳои LAN ва WAN ҷудо мекунем, ки ин ба мо имкон медиҳад, ки монеаҳоро сари вақт муайян кунем.
- Камтар дискҳои шикаста, зеро мо стандартҳоро сахттар кардем: соатҳои камтари корӣ, ҳадди сахттар барои SMART,
- Мо аз BerkeleyDB, махзани кӯҳна ва ноустувор, ки барои барқарор кардани пас аз бозоғозкунии сервер вақти зиёдро талаб мекард, комилан тарк кардем.
- Мо шумораи серверҳоро бо MS SQL кам кардем ва вобастагиро аз серверҳои боқимонда кам кардем.
- Мо худамонро дорем , ки дар он ҷо мо ду сол боз ҳама хидматҳоро фаъолона интиқол медиҳем. Абр тамоми давраи кор бо барномаро хеле осон мекунад ва дар ҳолати садама чунин асбобҳои беназирро пешкаш мекунад:
- қатъи дурусти ҳамаи барномаҳо дар як клик;
- интиқоли осони барномаҳо аз серверҳои ноком;
- ба таври автоматӣ гурӯҳбандӣ (бо тартиби афзалияти хизматрасонӣ) ба кор андохтани тамоми маркази додаҳо.
Ҳодисае, ки дар ин мақола тасвир шудааст, бузургтарин аз рӯзи 404-ум буд. Албатта, на хама чиз муътадил гузашт. Масалан, ҳангоми мавҷуд набудани маркази маълумотҳои аз сӯхтор осебдида дар маркази дигари додаҳо, диски яке аз серверҳо аз кор баромад, яъне танҳо яке аз се реплика дар кластери Кассандра дастрас боқӣ монд, аз ин рӯ 4,2% дастгоҳҳои мобилӣ. корбарони барнома натавонистанд ворид шаванд. Дар айни замон, корбарони аллакай пайвастшуда корро идома доданд. Дар маҷмӯъ, дар натиҷаи садама беш аз 30 мушкилот муайян карда шуданд - аз хатогиҳои баналӣ то камбудиҳо дар меъмории хидмат.
Аммо муҳимтарин фарқи байни садамаи ҳозира ва 404-ум дар он аст, ки дар ҳоле ки мо оқибатҳои сӯхторро бартараф мекардем, корбарон ҳамчунон паёмнависӣ мекарданд ва зангҳои видеоӣ мекарданд. , бозй мекарданд, мусикй мешунаванд, ба хамдигар тухфахо медоданд, видеохо, сериалхо ва каналхои телевизиониро тамошо мекарданд , ва инчунин ҷараён гирифт .
Садамаҳои шумо чӣ гуна мегузарад?
Манбаъ: will.com