{"id":84108,"date":"2020-06-05T07:42:44","date_gmt":"2020-06-05T05:42:44","guid":{"rendered":"https:\/\/prohoster.info\/blog\/administrirovanie\/tushit-li-servera-esli-zagorelsya-smouk-test-dataczentra"},"modified":"2020-06-05T07:42:44","modified_gmt":"2020-06-05T05:42:44","slug":"tushit-li-servera-esli-zagorelsya-smouk-test-dataczentra","status":"publish","type":"post","link":"https:\/\/prohoster.info\/hu\/blog\/administrirovanie\/tushit-li-servera-esli-zagorelsya-smouk-test-dataczentra","title":{"rendered":"Le kell-e \u00e1ll\u00edtani a szervereket, ha a d\u00e1tacenter f\u00fcsttesztje \"l\u00e1ngra kap\"?","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

Hogyan \u00e9rezn\u00e9 mag\u00e1t, ha egy sz\u00e9p ny\u00e1ri napon az adatk\u00f6zpont, ahol az \u00f6n berendez\u00e9sei tal\u00e1lhat\u00f3k, \u00edgy n\u00e9zne ki?<\/p>\n

\"Le
\n
\nHell\u00f3 mindenkinek! A nevem Dmitrij Samsonov, vezet\u0151 rendszergazdak\u00e9nt dolgozom a \"Odnoklassnikin<\/a><\/noindex>\" c\u00e9gn\u00e9l. A f\u00e9nyk\u00e9pen az egyik n\u00e9gy adatk\u00f6zpontunk l\u00e1that\u00f3, ahol a projekt\u00fcnket szolg\u00e1l\u00f3 berendez\u00e9sek tal\u00e1lhat\u00f3k. Ezek m\u00f6g\u00f6tt a falak m\u00f6g\u00f6tt k\u00f6r\u00fclbel\u00fcl 4000 k\u00fcl\u00f6nb\u00f6z\u0151 eszk\u00f6z van: szerverek, adatt\u00e1rol\u00f3 rendszerek, h\u00e1l\u00f3zati berendez\u00e9sek stb. \u2014 majdnem a teljes berendez\u00e9s\u00fcnk egyharmada.
\nA szerverek t\u00f6bbs\u00e9ge Linux-alap\u00fa. Van n\u00e9h\u00e1ny tucat Windows szerver\u00fcnk (MS SQL) is \u2014 ez a hagyat\u00e9kunk, amelyr\u0151l az \u00e9vek sor\u00e1n fokozatosan lemondunk.
\nTeh\u00e1t 2019. j\u00fanius 5-\u00e9n, 14:35-kor az egyik adatk\u00f6zpontunk m\u00e9rn\u00f6kei t\u0171zriad\u00f3t jelentettek.
\n<\/a><\/noindex><\/p>\n

Tagad\u00e1s<\/h4>\n

\n14:45. A f\u00fcsttel kapcsolatos kisebb incidensek az adatk\u00f6zpontokban gyakrabban fordulnak el\u0151, mint gondoln\u00e1nk. A termek bels\u0151 mutat\u00f3i norm\u00e1lisak voltak, ez\u00e9rt az els\u0151 reakci\u00f3nk viszonylag nyugodt volt: megtiltottuk a produkci\u00f3val kapcsolatos munk\u00e1kat, azaz minden konfigur\u00e1ci\u00f3s v\u00e1ltoz\u00e1st, \u00faj verzi\u00f3k kiad\u00e1s\u00e1t stb., kiv\u00e9ve a jav\u00edt\u00e1ssal kapcsolatos munk\u00e1kat.<\/p>\n

Harag<\/h4>\n

\nPr\u00f3b\u00e1lt m\u00e1r valaha t\u0171zolt\u00f3kt\u00f3l megtudni, hogy pontosan hol t\u00f6rt\u00e9nt a t\u0171z a tet\u0151n, vagy megpr\u00f3b\u00e1lt felmenni a l\u00e1ngol\u00f3 tet\u0151re, hogy felm\u00e9rje a helyzetet? Mekkora a bizalom az \u00f6t emberen kereszt\u00fcl megszerzett inform\u00e1ci\u00f3ban?<\/p>\n

14:50. Inform\u00e1ci\u00f3 \u00e9rkezett, hogy a t\u0171z k\u00f6zel\u00edt a h\u0171t\u0151rendszerhez<\/b>. De eljut-e? A szolg\u00e1latban l\u00e9v\u0151 rendszergazda k\u00fcls\u0151 forgalmat ir\u00e1ny\u00edt az adatk\u00f6zpont frontjair\u00f3l.<\/p>\n

Jelenleg minden szolg\u00e1ltat\u00e1sunk frontj\u00e1t h\u00e1rom adatk\u00f6zpontban t\u00fckr\u00f6zz\u00fck, DNS szint\u0171 terhel\u00e9seloszt\u00e1st haszn\u00e1lunk, ami lehet\u0151v\u00e9 teszi, hogy egy adatk\u00f6zpont c\u00edm\u00e9t elt\u00e1vol\u00edtsuk a DNS-b\u0151l, \u00edgy meg\u00f3vva a felhaszn\u00e1l\u00f3kat a potenci\u00e1lis probl\u00e9m\u00e1kt\u00f3l a szolg\u00e1ltat\u00e1sok el\u00e9r\u00e9s\u00e9ben. Abban az esetben, ha az adatk\u00f6zpontban m\u00e1r t\u00f6rt\u00e9nt probl\u00e9ma, automatikusan ki ker\u00fcl a rot\u00e1ci\u00f3b\u00f3l. Tov\u00e1bbi r\u00e9szleteket itt olvashat: Terhel\u00e9seloszt\u00e1s \u00e9s hibat\u0171r\u00e9s az \"Odnoklassniki\"-n.<\/a><\/noindex><\/p><\/blockquote>\n

\nA t\u0171z eddig r\u00e1nk n\u00e9zve semmilyen hat\u00e1ssal nem volt \u2014 sem a felhaszn\u00e1l\u00f3k, sem a berendez\u00e9sek nem szenvedtek. Ez baleset? Az els\u0151 szakasz a \"Baleseti cselekv\u00e9si terv\" dokumentumban meghat\u00e1rozza a \"baleset\" fogalm\u00e1t, \u00e9s a szakasz \u00edgy z\u00e1rul:
\n\u00abHa k\u00e9ts\u00e9gek mer\u00fclnek fel, hogy baleset vagy sem, akkor ez baleset!<\/u>\u00bb<\/b><\/p>\n

14:53. Katasztr\u00f3fa koordin\u00e1tor kijel\u00f6l\u00e9se.<\/p>\n

A koordin\u00e1tor az a szem\u00e9ly, aki figyelemmel k\u00eds\u00e9ri a kommunik\u00e1ci\u00f3t minden r\u00e9sztvev\u0151 k\u00f6z\u00f6tt, \u00e9rt\u00e9keli a katasztr\u00f3fa m\u00e9rt\u00e9k\u00e9t, alkalmazza a \"Katasztr\u00f3fa Akci\u00f3tervet\", bevonja a sz\u00fcks\u00e9ges szem\u00e9lyzetet, ellen\u0151rzi a helyre\u00e1ll\u00edt\u00e1s befejez\u00e9s\u00e9t, \u00e9s ami a legfontosabb, deleg\u00e1lja a feladatokat. M\u00e1s szavakkal, \u0151 az, aki ir\u00e1ny\u00edtja a katasztr\u00f3fa felsz\u00e1mol\u00e1s\u00e1nak eg\u00e9sz folyamat\u00e1t.<\/p><\/blockquote>\n

<\/p>\n

Aj\u00e1nlat<\/h4>\n

\n15:01. Elkezdj\u00fck kikapcsolni a szervereket, amelyek nincsenek \u00f6sszekapcsolva a produkci\u00f3val.
\n15:03. Helyesen kapcsoljuk ki az \u00f6sszes fenntartott szolg\u00e1ltat\u00e1st.
\nIde tartoznak nemcsak a frontok (amelyekre a felhaszn\u00e1l\u00f3k m\u00e1r nem l\u00e1togatnak el ekkor) \u00e9s azok kieg\u00e9sz\u00edt\u0151 szolg\u00e1ltat\u00e1sai (\u00fczleti logika, cache-ek stb.), hanem a k\u00fcl\u00f6nb\u00f6z\u0151 adatb\u00e1zisok is, amelyek replik\u00e1ci\u00f3s faktora 2 vagy t\u00f6bb (Cassandra<\/a><\/noindex>, binaris adatok t\u00e1rol\u00e1sa<\/a><\/noindex>, hideg t\u00e1rol\u00e1s<\/a><\/noindex>, NewSQL<\/a><\/noindex> stb.).
\n15:06. Inform\u00e1ci\u00f3 \u00e9rkezett, hogy t\u0171z fenyeget egy adatk\u00f6zpont egyik term\u00e9t.<\/b> Ebben a teremben nincs felszerel\u00e9s\u00fcnk, de az, hogy a t\u0171z \u00e1tterjedhet a tet\u0151r\u0151l a termekre, jelent\u0151sen megv\u00e1ltoztatja a helyzetet.
\n(K\u00e9s\u0151bb kider\u00fclt, hogy fizikai fenyeget\u00e9s nem volt a teremben, mivel az hermetikusan el van szigetelve a tet\u0151t\u0151l. A fenyeget\u00e9s csak a terem h\u0171t\u0151rendszer\u00e9re vonatkozott.)
\n15:07. Enged\u00e9lyezz\u00fck a parancsok v\u00e9grehajt\u00e1s\u00e1t a szervereken gyors\u00edtott \u00fctemben, tov\u00e1bbi ellen\u0151rz\u00e9sek n\u00e9lk\u00fcl (kedvenc kalkul\u00e1torunk n\u00e9lk\u00fcl<\/a><\/noindex>).
\n15:08. A terem h\u0151m\u00e9rs\u00e9klete norm\u00e1l hat\u00e1rokon bel\u00fcl van.
\n15:12. H\u0151m\u00e9rs\u00e9klet-emelked\u00e9s \u00e9szlelve a termekben.<\/b>
\n15:13. Az adatk\u00f6zpontban l\u00e9v\u0151 szerverek t\u00f6bb mint fele ki van kapcsolva. Folytatjuk.
\n15:16. D\u00f6nt\u00e9s sz\u00fcletett az \u00f6sszes felszerel\u00e9s kikapcsol\u00e1s\u00e1r\u00f3l.
\n15:21. Elkezdj\u00fck az \u00e1ramell\u00e1t\u00e1st kikapcsolni a stateless szervereken, az alkalmaz\u00e1s \u00e9s az oper\u00e1ci\u00f3s rendszer megfelel\u0151 le\u00e1ll\u00edt\u00e1sa n\u00e9lk\u00fcl.
\n15:23. Csoportot jel\u00f6l\u00fcnk ki az MS SQL feladatok\u00e9rt (kev\u00e9s van bel\u0151l\u00fck, a szolg\u00e1ltat\u00e1sokt\u00f3l val\u00f3 f\u00fcgg\u0151s\u00e9g\u00fck nem nagy, de a m\u0171k\u00f6d\u0151k\u00e9pess\u00e9g helyre\u00e1ll\u00edt\u00e1si folyamata hosszabb id\u0151t vesz ig\u00e9nybe, \u00e9s bonyolultabb, mint p\u00e9ld\u00e1ul a Cassandra eset\u00e9ben).<\/p>\n

Depresszi\u00f3<\/h4>\n

\n15:25. Inform\u00e1ci\u00f3 \u00e9rkezett n\u00e9gy terem \u00e1ramell\u00e1t\u00e1s\u00e1nak kikapcsol\u00e1s\u00e1r\u00f3l a 16-b\u00f3l (6, 7, 8, 9 sz\u00e1m\u00fa).<\/b> A 7-es \u00e9s 8-as termekben a mi felszerel\u00e9s\u00fcnk tal\u00e1lhat\u00f3. M\u00e9g k\u00e9t term\u00fcnkr\u0151l (1-es \u00e9s 3-as sz\u00e1m\u00fa) nincs inform\u00e1ci\u00f3nk.
\nRitk\u00e1n, amikor t\u0171zesetek vannak, az \u00e1ramell\u00e1t\u00e1st azonnal kikapcsolj\u00e1k, de ebben az esetben, a t\u0171zolt\u00f3k \u00e9s az adatk\u00f6zpont technikai szem\u00e9lyzet\u00e9nek koordin\u00e1lt munk\u00e1j\u00e1nak k\u00f6sz\u00f6nhet\u0151en, nem mindenhol \u00e9s nem azonnal, hanem sz\u00fcks\u00e9g szerint kapcsolt\u00e1k ki.
\n(K\u00e9s\u0151bb kider\u00fclt, hogy a 8-as \u00e9s 9-es termek \u00e1ramell\u00e1t\u00e1sa nem lett lekapcsolva.)
\n15:28. Kezdj\u00fck el a MS SQL adatb\u00e1zisok helyre\u00e1ll\u00edt\u00e1s\u00e1t m\u00e1s adatk\u00f6zpontokb\u00f3l k\u00e9sz\u00fclt biztons\u00e1gi ment\u00e9sekb\u0151l.
\nMennyi id\u0151t fog ez ig\u00e9nybe venni? El\u00e9g lesz a s\u00e1vsz\u00e9less\u00e9g az eg\u00e9sz \u00fatvonalon?
\n15:37. N\u00e9h\u00e1ny h\u00e1l\u00f3zati szakasz lekapcsol\u00e1sra ker\u00fclt.<\/b>
\nA menedzsment \u00e9s a produkci\u00f3s h\u00e1l\u00f3zat fizikailag elszigetelt egym\u00e1st\u00f3l. Ha a produkci\u00f3s h\u00e1l\u00f3zat el\u00e9rhet\u0151, akkor be tud l\u00e9pni a szerverre, le tudja \u00e1ll\u00edtani az alkalmaz\u00e1st \u00e9s kikapcsolhatja az oper\u00e1ci\u00f3s rendszert. Ha ez nem el\u00e9rhet\u0151, akkor az IPMI-\u00e9n kereszt\u00fcl be tud l\u00e9pni, le tudja \u00e1ll\u00edtani az alkalmaz\u00e1st \u00e9s kikapcsolhatja az OS-t. Ha egyik h\u00e1l\u00f3zat sincs el\u00e9rhet\u0151, akkor semmit sem tud tenni. \u201eK\u00f6sz\u00f6n\u00f6m, kapit\u00e1ny!\u201d, - gondolhatja.
\n\u201e\u00c9s egy\u00e9bk\u00e9nt is, t\u00fal sok a z\u0171rzavar\u201d, - gondolhatja \u00d6n is.
\nAz a helyzet, hogy a szerverek m\u00e9g t\u0171z n\u00e9lk\u00fcl is hatalmas mennyis\u00e9g\u0171 h\u0151t termelnek. Pontosabban, amikor van h\u0171t\u00e9s, akkor h\u0151t termelnek, amikor pedig nincs, akkor pokoli forr\u00f3s\u00e1got gener\u00e1lnak, ami a legjobb esetben megolvaszt n\u00e9h\u00e1ny berendez\u00e9st \u00e9s lekapcsolja a t\u00f6bbit, a legrosszabb esetben... t\u00fczet okoz a teremben, ami majdnem garant\u00e1ltan mindent megsemmis\u00edt.<\/p>\n

\"Le
\n
\n15:39. Probl\u00e9m\u00e1t \u00e9szlel\u00fcnk a conf adatb\u00e1zissal.<\/p>\n

A conf adatb\u00e1zis a nev\u00e9t visel\u0151 szolg\u00e1ltat\u00e1s h\u00e1tt\u00e9ralkalmaz\u00e1sa, amelyet minden produkci\u00f3s alkalmaz\u00e1s a be\u00e1ll\u00edt\u00e1sok val\u00f3s idej\u0171 m\u00f3dos\u00edt\u00e1s\u00e1ra haszn\u00e1l. E n\u00e9lk\u00fcl az adatb\u00e1zis n\u00e9lk\u00fcl nem tudjuk ir\u00e1ny\u00edtani a port\u00e1l m\u0171k\u00f6d\u00e9s\u00e9t, de a port\u00e1l maga ett\u0151l f\u00fcggetlen\u00fcl m\u0171k\u00f6dhet.<\/p><\/blockquote>\n

\n15:41. A Core h\u00e1l\u00f3zati berendez\u00e9seken l\u00e9v\u0151 h\u0151m\u00e9rs\u00e9klet-\u00e9rz\u00e9kel\u0151k a megengedett hat\u00e1r\u00e9rt\u00e9khez k\u00f6zeli \u00e9rt\u00e9keket r\u00f6gz\u00edtenek. Ez egy doboz, amely egy teljes \u00e1llv\u00e1nyt foglal el \u00e9s biztos\u00edtja az \u00f6sszes h\u00e1l\u00f3zat m\u0171k\u00f6d\u00e9s\u00e9t az adatk\u00f6zponton bel\u00fcl.<\/p>\n

\"Le
\n
\n15:42. Az issue tracker \u00e9s a wiki nem el\u00e9rhet\u0151, \u00e1tkapcsolunk standby m\u00f3dba.
\nEz nem produkci\u00f3, de v\u00e9szhelyzet eset\u00e9n b\u00e1rmely tud\u00e1sb\u00e1zis el\u00e9rhet\u0151s\u00e9ge kritikus lehet.
\n15:50. Az egyik monitoring rendszer kiemelkedett.
\nT\u00f6bb van bel\u0151l\u00fck, \u00e9s k\u00fcl\u00f6nb\u00f6z\u0151 szolg\u00e1ltat\u00e1sok m\u0171k\u00f6d\u00e9s\u00e9nek ellen\u0151rz\u00e9s\u00e9\u00e9rt felelnek. N\u00e9h\u00e1nyuk az egyes adatk\u00f6zpontok bels\u0151 auton\u00f3m m\u0171k\u00f6d\u00e9s\u00e9re van be\u00e1ll\u00edtva (azaz csak a saj\u00e1t adatk\u00f6zpontjukat monitorozz\u00e1k), m\u00edg m\u00e1sok elosztott \u00f6sszetev\u0151kb\u0151l \u00e1llnak, amelyek \u00e1tmeneti m\u00f3don elviselik az adatk\u00f6zpontok b\u00e1rmelyik\u00e9nek elveszt\u00e9s\u00e9t.
\nEbben az esetben nem m\u0171k\u00f6d\u00f6tt az \u00fczleti logika anom\u00e1li\u00e1inak \u00e9szlel\u00e9s\u00e9re szolg\u00e1l\u00f3 rendszer<\/a><\/noindex>, amely master-standby m\u00f3dban m\u0171k\u00f6dik. \u00c1tkapcsoltunk standby m\u00f3dra.<\/p>\n

Elfogad\u00e1s<\/h4>\n

\n15:51. Az IPMI-n kereszt\u00fcl minden szervert kikapcsoltunk helyes befejez\u00e9s n\u00e9lk\u00fcl, kiv\u00e9ve a MS SQL-t.
\nK\u00e9szen \u00e1ll arra, hogy sz\u00fcks\u00e9g eset\u00e9n t\u00f6megesen kezelje a szervereket IPMI-n kereszt\u00fcl?<\/p>\n

El\u00e9rkezett a pillanat, amikor a felszerel\u00e9s megment\u00e9se az adatk\u00f6zpontban ezen a szakaszon befejez\u0151d\u00f6tt. Minden, amit lehetett, megtett\u00fcnk. N\u00e9h\u00e1ny koll\u00e9ga pihenhet.<\/i>
\n16:13. Inform\u00e1ci\u00f3 \u00e9rkezett arr\u00f3l, hogy a tet\u0151n megrepedtek a h\u0171t\u0151cs\u00f6vek \u2014 ez k\u00e9slelteti az adatk\u00f6zpont \u00fczembe helyez\u00e9s\u00e9t a t\u0171z elh\u00e1r\u00edt\u00e1sa ut\u00e1n.<\/b>
\n16:19. A datacenter m\u0171szaki szem\u00e9lyzet\u00e9t\u0151l kapott adatok szerint meg\u00e1llt a h\u0151m\u00e9rs\u00e9klet emelked\u00e9se a termekben.
\n17:10. Vissza\u00e1ll\u00edtottuk a conf adatb\u00e1zis m\u0171k\u00f6d\u00e9s\u00e9t. Most m\u00f3dos\u00edthatjuk az alkalmaz\u00e1sok be\u00e1ll\u00edt\u00e1saikat.
\nMi\u00e9rt olyan fontos ez, ha minden hibamentesen m\u0171k\u00f6dik m\u00e9g egy adatk\u00f6zpont n\u00e9lk\u00fcl is?
\nEl\u0151sz\u00f6r is, nem minden r\u00e9sze rendszernek hibamentes. Vannak k\u00fcl\u00f6nb\u00f6z\u0151 m\u00e1sodlagos szolg\u00e1ltat\u00e1sok, amelyek m\u00e9g nem b\u00edrj\u00e1k j\u00f3l az adatk\u00f6zpont le\u00e1ll\u00e1s\u00e1t, \u00e9s l\u00e9teznek master-standby \u00fczemm\u00f3dban l\u00e9v\u0151 adatb\u00e1zisok. A be\u00e1ll\u00edt\u00e1sok kezel\u00e9si lehet\u0151s\u00e9ge lehet\u0151v\u00e9 teszi, hogy minden sz\u00fcks\u00e9ges int\u00e9zked\u00e9st megtegy\u00fcnk, hogy m\u00e9g \u00f6sszetett k\u00f6r\u00fclm\u00e9nyek k\u00f6z\u00f6tt is minimaliz\u00e1ljuk a baleset k\u00f6vetkezm\u00e9nyeinek hat\u00e1s\u00e1t a felhaszn\u00e1l\u00f3kra.
\nM\u00e1sodszor, vil\u00e1goss\u00e1 v\u00e1lt, hogy az adatk\u00f6zpont m\u0171k\u00f6d\u00e9se a k\u00f6vetkez\u0151 \u00f3r\u00e1kban teljesen nem \u00e1ll helyre, ez\u00e9rt int\u00e9zked\u00e9seket kellett hozni, hogy a replik\u00e1k hossz\u00fa t\u00e1v\u00fa el\u00e9rhetetlens\u00e9ge ne okozzon tov\u00e1bbi kellemetlens\u00e9geket, mint p\u00e9ld\u00e1ul a lemezek t\u00falterhel\u0151d\u00e9se a fennmarad\u00f3 adatk\u00f6zpontokban.
\n17:29. Pizza id\u0151! N\u00e1lunk emberek dolgoznak, nem robotok.<\/p>\n

\"Le
\n<\/p>\n

Rehabilit\u00e1ci\u00f3<\/h4>\n

\n18:02. A 8-as (mi\u00e9nk), 9-es, 10-es \u00e9s 11-es termekben stabiliz\u00e1l\u00f3dott a h\u0151m\u00e9rs\u00e9klet. Az egyik olyan teremben, amely m\u00e9g mindig ki van kapcsolva (7-es), a mi felszerel\u00e9s\u00fcnk tal\u00e1lhat\u00f3, \u00e9s ott a h\u0151m\u00e9rs\u00e9klet tov\u00e1bbra is emelkedik.
\n18:31. Enged\u00e9lyt kaptunk a 1-es \u00e9s 3-as termek felszerel\u00e9s\u00e9nek \u00fczembe helyez\u00e9s\u00e9re \u2014 ezeket a termeket nem \u00e9rintette a t\u0171z.<\/p>\n

Jelenleg a 1-es, 3-as \u00e9s 8-as termek szervereinek \u00fczembe helyez\u00e9se zajlik, a legkritikusabbakkal kezdve. Minden elind\u00edtott szolg\u00e1ltat\u00e1s m\u0171k\u00f6d\u00e9s\u00e9nek ellen\u0151rz\u00e9se folyamatban van. A 7-es term\u00e9vel tov\u00e1bbra is probl\u00e9m\u00e1k vannak.<\/i><\/p>\n

18:44. Az adatk\u00f6zpont technikai szem\u00e9lyzete felfedezte, hogy a 7-es teremben (ahol csak a mi felszerel\u00e9s\u00fcnk van) sok szerver nincs kikapcsolva. Adataink szerint 26 szerver maradt bekapcsolva. A m\u00e1sodik ellen\u0151rz\u00e9s ut\u00e1n 58 szervert tal\u00e1lunk.
\n20:18. Az adatk\u00f6zpont technikai szem\u00e9lyzete leveg\u0151t f\u00faj a kl\u00edma n\u00e9lk\u00fcli teremben mobil l\u00e9gcsatorn\u00e1kon kereszt\u00fcl, amelyek a folyos\u00f3kon kereszt\u00fcl vannak elhelyezve.
\n23:08. Az els\u0151 adminot hazaengedt\u00fck. Valakinek aludnia kell \u00e9jjel, hogy holnap folytathassuk a munk\u00e1t. Ezut\u00e1n m\u00e9g n\u00e9h\u00e1ny adminisztr\u00e1tort \u00e9s fejleszt\u0151t is elenged\u00fcnk.
\n02:56. Elind\u00edtottunk mindent, amit csak lehetett. Nagy ellen\u0151rz\u00e9st v\u00e9gz\u00fcnk minden szolg\u00e1ltat\u00e1son automatiz\u00e1lt tesztekkel.<\/p>\n

\"Le
\n
\n03:02. Az utols\u00f3, 7. terem kl\u00edmatiz\u00e1l\u00e1sa helyre\u00e1llt.
\n03:36. A frontokat a DNS-be rot\u00e1ltuk a datacenterben. Ett\u0151l a pillanatt\u00f3l kezdve megkezdi a felhaszn\u00e1l\u00f3i forgalom \u00e9rkez\u00e9s\u00e9t.
\nA csapat nagy r\u00e9sz\u00e9t hazak\u00fcldj\u00fck adminisztr\u00e1torokb\u00f3l. De n\u00e9h\u00e1ny embert itt hagyunk.<\/p>\n

Kis GYIK:
\nK: Mi t\u00f6rt\u00e9nt 18:31 \u00e9s 02:56 k\u00f6z\u00f6tt?
\nV: Az \"Ir\u00e1nyelvek v\u00e9szhelyzet eset\u00e9n\" szerint elind\u00edtjuk az \u00f6sszes szolg\u00e1ltat\u00e1st, kezdve a legfontosabbakkal. A koordin\u00e1tor a cseveg\u00e9sben kiadja a szolg\u00e1ltat\u00e1st a szabad adminisztr\u00e1tornak, aki ellen\u0151rzi, hogy elindultak-e az oper\u00e1ci\u00f3s rendszerek \u00e9s az alkalmaz\u00e1s, nincsenek hib\u00e1k, \u00e9s a mutat\u00f3k rendben vannak-e. A folyamat befejezt\u00e9vel \u00e9rtes\u00edti a cseveg\u00e9st, hogy szabad, \u00e9s \u00faj szolg\u00e1ltat\u00e1st kap a koordin\u00e1tort\u00f3l.
\nA folyamatot az elromlott hardver is lass\u00edtja. M\u00e9g ha az oper\u00e1ci\u00f3s rendszerek le\u00e1ll\u00edt\u00e1sa \u00e9s a szerverek kikapcsol\u00e1sa helyesen is t\u00f6rt\u00e9nt, egyes szerverek nem t\u00e9rnek vissza a v\u00e1ratlanul meghib\u00e1sodott lemezek, mem\u00f3ria vagy chassik miatt. \u00c1ramkimarad\u00e1s eset\u00e9n a hib\u00e1k ar\u00e1nya n\u0151.
\nK: Mi\u00e9rt nem lehet egyszerre mindent elind\u00edtani, majd jav\u00edtani azt, ami a megfigyel\u00e9s sor\u00e1n felmer\u00fcl?
\nV: Minden l\u00e9p\u00e9st fokozatosan kell v\u00e9grehajtani, mert a szolg\u00e1ltat\u00e1sok k\u00f6z\u00f6tt f\u00fcgg\u0151s\u00e9gek vannak. Azt is azonnal ellen\u0151rizni kell, nem v\u00e1rva meg a monitoroz\u00e1st \u2014 mert a probl\u00e9m\u00e1kat jobb azonnal megoldani, nem v\u00e1rni, hogy s\u00falyosabb\u00e1 v\u00e1ljanak.<\/p><\/blockquote>\n

\n7:40. Az utols\u00f3 admin (koordin\u00e1tor) elment aludni. Az els\u0151 nap munk\u00e1ja befejez\u0151d\u00f6tt.
\n8:09. Az els\u0151 fejleszt\u0151k, m\u00e9rn\u00f6k\u00f6k a datacenterekben \u00e9s adminisztr\u00e1torok (bele\u00e9rtve az \u00faj koordin\u00e1tort) megkezdt\u00e9k a helyre\u00e1ll\u00edt\u00e1si munk\u00e1latokat.
\n09:37. Megkezdt\u00fck a 7-es terem (utols\u00f3) felemel\u00e9s\u00e9t.
\nP\u00e1rhuzamosan folytatjuk a helyre\u00e1ll\u00edt\u00e1st azokon a ter\u00fcleteken, amelyeket nem fejezt\u00fcnk be m\u00e1s termekben: lemezek\/mem\u00f3ria\/szerverek cser\u00e9je, a monitoroz\u00e1s sor\u00e1n \"\u00e9get\u0151\" probl\u00e9m\u00e1k jav\u00edt\u00e1sa, a szerepek visszacsatol\u00e1sa a master-standby s\u00e9m\u00e1kban \u00e9s egy\u00e9b apr\u00f3s\u00e1gok, amelyekb\u0151l azonban el\u00e9g sok van.
\n17:08. Minden norm\u00e1l munka enged\u00e9lyezve van a produkci\u00f3n.
\n21:45. A m\u00e1sodik napi munk\u00e1k befejez\u0151dtek.
\n09:45. Ma p\u00e9ntek van. A monitoringban tov\u00e1bbra is sok apr\u00f3 probl\u00e9ma van. K\u00f6zeledik a h\u00e9tv\u00e9ge, mindenki pihenni szeretne. Tov\u00e1bbra is t\u00f6megesen jav\u00edtunk mindent, amit csak lehet. Az adminisztrat\u00edv feladatok, amelyeket el lehetett halasztani, el lettek halasztva. Az \u00faj koordin\u00e1tor.
\n15:40. Hirtelen \u00fajraindult a h\u00e1l\u00f3zati eszk\u00f6z\u00f6k Core fel\u00e9nek stackje egy M\u00c1S adatk\u00f6zpontban. Kiiktattuk a frontokat a kock\u00e1zatok minimaliz\u00e1l\u00e1sa \u00e9rdek\u00e9ben. A felhaszn\u00e1l\u00f3k sz\u00e1m\u00e1ra nincs hat\u00e1sa. K\u00e9s\u0151bb kider\u00fclt, hogy ez egy hib\u00e1s chas\u00eds volt. A koordin\u00e1tor azonnal a k\u00e9t hiba jav\u00edt\u00e1s\u00e1n dolgozik.
\n17:17. A m\u00e1sik adatk\u00f6zpont h\u00e1l\u00f3zati m\u0171k\u00f6d\u00e9se helyre\u00e1llt, minden ellen\u0151rizve. Az adatk\u00f6zpont visszaker\u00fclt a rot\u00e1ci\u00f3ba.
\n18:29. A harmadik napon elv\u00e9gzett munk\u00e1k, valamint az \u00e1ltal\u00e1nos helyre\u00e1ll\u00edt\u00e1s baleset ut\u00e1n befejez\u0151dtek.<\/p>\n

Ut\u00f3sz\u00f3<\/h4>\n

\n2013.04.04. a 404-es hiba napj\u00e1n<\/a><\/noindex>, \"Odnoklassniki\" \u00e1t\u00e9lte a legnagyobb balesetet<\/a><\/noindex> \u2014 h\u00e1rom napon kereszt\u00fcl a port\u00e1l teljesen vagy r\u00e9szben el\u00e9rhetetlen volt. Ez id\u0151 alatt t\u00f6bb mint 100 ember k\u00fcl\u00f6nb\u00f6z\u0151 v\u00e1rosokb\u00f3l, k\u00fcl\u00f6nb\u00f6z\u0151 c\u00e9gekb\u0151l (m\u00e9g egyszer k\u00f6sz\u00f6nj\u00fck!), t\u00e1volr\u00f3l \u00e9s k\u00f6zvetlen\u00fcl az adatk\u00f6zpontokban, manu\u00e1lisan \u00e9s automatikusan t\u00f6bb ezer szervert jav\u00edtott.
\nLevontuk a k\u00f6vetkeztet\u00e9seket. Annak \u00e9rdek\u00e9ben, hogy hasonl\u00f3 ne fordulhasson el\u0151, sz\u00e9lesk\u00f6r\u0171 munk\u00e1t v\u00e9gezt\u00fcnk \u00e9s tov\u00e1bbra is folytatunk.<\/p>\n

Mik a f\u0151bb k\u00fcl\u00f6nbs\u00e9gek a jelenlegi baleset \u00e9s a 404 k\u00f6z\u00f6tt?<\/p>\n