Ciamar a bhiodh tu a’ faireachdainn nam biodh aon latha math samhraidh air an ionad dàta leis an uidheamachd agad a’ coimhead mar seo?
Hi uile! Is e m’ ainm Dmitry Samsonov, tha mi ag obair mar phrìomh rianadair siostam aig “" Tha an dealbh a’ sealltainn aon de na ceithir ionadan dàta far a bheil an uidheamachd a tha a’ frithealadh ar pròiseact air a chuir a-steach. Air cùlaibh nam ballachan sin tha timcheall air 4 mìle pìos uidheamachd: frithealaichean, siostaman stòraidh dàta, uidheamachd lìonra, msaa. - cha mhòr ⅓ den uidheamachd againn gu lèir.
'S e Linux a th' anns a' mhòr-chuid de na frithealaichean. Tha grunn dhusan seirbheisiche ann cuideachd air Windows (MS SQL) - ar dualchas, a tha sinn air a bhith a’ trèigsinn gu riaghailteach airson grunn bhliadhnaichean.
Mar sin, air 5 Ògmhios, 2019 aig 14:35, thug innleadairean aig aon de na h-ionadan dàta againn cunntas air inneal-rabhaidh teine.
Negation
14:45. Tha tachartasan beaga ceò ann an ionadan dàta nas cumanta na tha thu a’ smaoineachadh. Bha na comharran taobh a-staigh nan tallachan àbhaisteach, agus mar sin bha a 'chiad fhreagairt againn gu math socair: thug iad a-steach casg air obair le cinneasachadh, is e sin, air atharrachaidhean rèiteachaidh sam bith, air dreachan ùra a sgaoileadh, msaa, ach a-mhàin obair co-cheangailte ri rudeigin a rèiteachadh.
Brath
An do dh’ fheuch thu a-riamh ri faighinn a-mach bho luchd-smàlaidh càite dìreach a thachair an teine air a’ mhullach, no faighinn air mullach losgaidh thu fhèin gus an suidheachadh a mheasadh? Dè an ìre earbsa a bhios ann am fiosrachadh a gheibhear tro chòignear?
14: 50. Thàinig fios gu bheil an teine a' tighinn faisg air an t-siostam fuarachaidh. Ach an tig? Bidh rianadair an t-siostaim a tha air dleasdanas a’ toirt air falbh trafaic bhon taobh a-muigh bho aghaidh an ionaid dàta seo.
Aig an àm seo, tha aghaidh ar seirbheisean uile air an dùblachadh ann an trì ionadan dàta, thathas a’ cleachdadh cothromachadh aig ìre DNS, a leigeas leinn seòlaidhean aon ionad dàta a thoirt air falbh bhon DNS, agus mar sin a’ dìon luchd-cleachdaidh bho dhuilgheadasan a dh’ fhaodadh a bhith ann le ruigsinneachd air seirbheisean . Ma tha duilgheadasan air tachairt mar-thà anns an ionad dàta, fàgaidh e an cuairteachadh gu fèin-ghluasadach. Faodaidh tu barrachd a leughadh an seo:
Cha tug an teine buaidh oirnn ann an dòigh sam bith fhathast - cha deach luchd-cleachdaidh no uidheamachd a mhilleadh. An e tubaist a tha seo? Tha a’ chiad earrann den sgrìobhainn “Plana Gnìomh Tubaist” a’ mìneachadh bun-bheachd “Tubaist”, agus tha an earrann a’ crìochnachadh mar seo:
«Ma tha teagamh sam bith ann a bheil tubaist ann no nach eil, is e tubaist a th’ ann!»
14:53. Tha co-òrdanaiche èiginn air a chur an dreuchd.
Is e an co-òrdanaiche an neach a bhios a’ cumail smachd air conaltradh eadar a h-uile com-pàirtiche, a’ measadh meud an tubaist, a’ cleachdadh a’ Phlana Gnìomh Èiginn, a’ tàladh an luchd-obrach riatanach, a’ cumail sùil air crìochnachadh obair càraidh, agus as cudromaiche buileach, a’ riochdachadh gnìomhan sam bith. Ann am faclan eile, is e seo an neach a bhios a’ riaghladh a’ phròiseas freagairt èiginn gu lèir.
Bargaining
15:01. Bidh sinn a’ tòiseachadh a’ cuir à comas frithealaichean nach eil co-cheangailte ri cinneasachadh.
15:03. Bidh sinn gu ceart a’ tionndadh a h-uile seirbheis glèidhte.
Tha seo a’ toirt a-steach chan e a-mhàin aghaidhean (nach eil cothrom aig luchd-cleachdaidh aig an ìre seo) agus na seirbheisean taice aca (loidsig gnìomhachais, caches, msaa), ach cuideachd grunn stòran-dàta le factar ath-riochdachadh 2 no barrachd (, , , msaa).
15: 06. Tha fiosrachadh air fhaighinn gu bheil teine ann an aon de na tallaichean ionad dàta. Chan eil uidheamachd againn san t-seòmar seo, ach tha an fhìrinn gum faod an teine sgaoileadh bhon mhullach gu na tallaichean ag atharrachadh gu mòr an dealbh de na tha a’ tachairt.
(Thionndaidh e a-mach às deidh sin nach robh cunnart corporra sam bith ann don talla, leis gu robh e air a seuladh gu dlùth bhon mhullach. Cha robh an cunnart ach do shiostam fuarachaidh an talla seo.)
15:07. Leigidh sinn le coileanadh òrdughan air frithealaichean ann am modh luathaichte gun sgrùdaidhean a bharrachd ().
15:08. Tha an teòthachd anns na tallaichean taobh a-staigh crìochan àbhaisteach.
15: 12. Chaidh àrdachadh ann an teòthachd anns na tallaichean a chlàradh.
15:13. Tha còrr air leth de na frithealaichean san ionad dàta air an tionndadh dheth. Leanainn oirnn.
15:16. Chaidh co-dhùnadh an uidheamachd gu lèir a chuir dheth.
15:21. Tòisichidh sinn a’ tionndadh cumhachd gu frithealaichean gun stàit gun a bhith a’ dùnadh sìos an aplacaid agus an siostam-obrachaidh gu ceart.
15:23. Tha buidheann de dhaoine le uallach airson MS SQL air an riarachadh (chan eil mòran dhiubh ann, chan eil an eisimeileachd air seirbheisean gu math mòr, ach tha an dòigh-obrach airson gnìomhachd ath-nuadhachadh a 'toirt nas fhaide agus nas iom-fhillte na, mar eisimpleir, Cassandra).
Deamocrasaidh
15: 25. Chaidh fiosrachadh fhaighinn mu chumhachd ga chur dheth ann an ceithir tallaichean a-mach à 16 (Àir. 6, 7, 8, 9). Tha an uidheamachd againn suidhichte ann an tallaichean 7 agus 8. Chan eil fiosrachadh sam bith mun dà thalla againn (Àireamh 1 agus 3).
Mar as trice, rè teintean, thèid an solar cumhachd a chuir dheth sa bhad, ach anns a ’chùis seo, le taing do obair cho-òrdanaichte luchd-smàlaidh agus luchd-obrach teicnigeach an ionaid dàta, cha deach a chuir dheth anns a h-uile àite agus chan ann sa bhad, ach mar a dh’ fheumar.
(Chaidh a lorg nas fhaide air adhart nach deach an cumhachd a chuir dheth ann an tallaichean 8 agus 9.)
15:28. Tha sinn a’ tòiseachadh a’ cleachdadh stòran-dàta MS SQL bho chùl-taic ann an ionadan dàta eile.
Dè cho fada ’s a bheir e? A bheil comas lìonra gu leòr ann airson an t-slighe gu lèir?
15: 37. Chaidh dùnadh cuid de phàirtean den lìonra a chlàradh.
Tha riaghladh agus an lìonra toraidh air an dealachadh gu corporra bho chèile. Ma tha an lìonra riochdachaidh ri fhaighinn, faodaidh tu a dhol chun t-seirbheisiche, stad an tagradh agus cuir dheth an OS. Mura h-eil e ri fhaighinn, faodaidh tu logadh a-steach tro IPMI, stad an tagradh agus cuir dheth an OS. Mura h-eil gin de na lìonraidhean ann, chan urrainn dhut dad a dhèanamh. “Tapadh leibh, a Chap!”, smaoinichidh tu.
“Agus san fharsaingeachd, tha tòrr buaireadh ann,” is dòcha gu bheil thu a’ smaoineachadh cuideachd.
Is e an rud gu bheil luchd-frithealaidh, eadhon às aonais teine, a 'gineadh tòrr teas. Nas mionaidiche, nuair a tha fuarachadh ann, bidh iad a 'gineadh teas, agus nuair nach eil fuarachadh ann, bidh iad a' cruthachadh inferno ifrinn, a bhios, aig a 'char as fheàrr, a' leaghadh pàirt den uidheamachd agus a 'tionndadh pàirt eile dheth, agus aig a' char as miosa ... ag adhbhrachadh a teine taobh a-staigh an talla, a tha cha mhòr cinnteach gun sgrios e a h-uile càil.
15:39. Ceartaichidh sinn duilgheadasan leis an stòr-dàta conf.
Is e an stòr-dàta conf an cùl-taic airson seirbheis den aon ainm, a tha air a chleachdadh leis a h-uile tagradh toraidh gus roghainnean atharrachadh gu sgiobalta. Às aonais a ’bhunait seo, chan urrainn dhuinn smachd a chumail air gnìomhachd a’ phort, ach faodaidh am portal fhèin obrachadh.
15:41. Bidh mothachairean teodhachd air uidheamachd lìonra bunaiteach a’ clàradh leughaidhean faisg air an ìre as àirde a tha ceadaichte. Is e seo bogsa a tha ann an raca slàn agus a nì cinnteach gu bheil gach lìonra ag obair taobh a-staigh an ionad dàta.
15:42. Chan eil rianadair cùise agus wiki rim faighinn, gluais gu cùl-taic.
Chan e cinneasachadh a tha seo, ach ma thachras tubaist, faodaidh cothrom air bunait eòlais a bhith deatamach.
15:50. Tha aon de na siostaman sgrùdaidh air a chuir dheth.
Tha grunn dhiubh ann, agus tha iad an urra ri diofar thaobhan de na seirbheisean. Tha cuid dhiubh air an rèiteachadh gus obrachadh gu neo-eisimeileach taobh a-staigh gach ionad dàta (is e sin, bidh iad a 'cumail sùil air an ionad dàta aca fhèin a-mhàin), tha cuid eile a' gabhail a-steach co-phàirtean sgaoilte a mhaireas gu follaiseach air call ionad dàta sam bith.
Anns a 'chùis seo, stad e ag obair , a tha ag obair ann am modh master-standby. Tionndaidh gu cùl-taic.
Glacadh
15:51. Chaidh a h-uile frithealaiche ach MS SQL a chuir dheth tro IPMI gun a bhith a’ dùnadh sìos gu ceart.
A bheil thu deiseil airson riaghladh frithealaiche mòr tro IPMI ma tha sin riatanach?
An dearbh mhionaid nuair a thèid sàbhaladh uidheamachd san ionad dàta a chrìochnachadh aig an ìre seo. Tha a h-uile dad a ghabhadh dèanamh air a dhèanamh. Faodaidh cuid de cho-obraichean fois a ghabhail.
16: 13. Tha fiosrachadh air fhaighinn gu bheil pìoban freon bho innealan-adhair a’ spreadhadh air a’ mhullach - cuiridh seo dàil air cur air bhog an ionad dàta às deidh an teine a chuir às.
16:19. A rèir dàta a fhuaireadh bho luchd-obrach teicnigeach an ionaid dàta, tha an àrdachadh ann an teòthachd anns na tallaichean air stad.
17:10. Chaidh an stòr-dàta conf ath-nuadhachadh. A-nis is urrainn dhuinn roghainnean tagraidh atharrachadh.
Carson a tha seo cho cudromach ma tha a h-uile dad a’ fulang le lochdan agus ag obair eadhon às aonais aon ionad dàta?
An toiseach, chan eil a h-uile dad a 'fulang le lochdan. Tha grunn sheirbheisean àrd-sgoile ann nach eil fhathast air a bhith beò le fàilligeadh ionad dàta math gu leòr, agus tha stòran-dàta ann am modh prìomh-dhreuchd. Leigidh an comas suidheachaidhean a riaghladh leat a h-uile dad a tha riatanach a dhèanamh gus a’ bhuaidh a bheir tubaist air luchd-cleachdaidh a lughdachadh, eadhon ann an suidheachaidhean duilich.
San dàrna h-àite, dh'fhàs e soilleir nach deidheadh obair an ionaid dàta ath-nuadhachadh gu h-iomlan anns na h-uairean a tha romhainn, agus mar sin bha e riatanach ceumannan a ghabhail gus dèanamh cinnteach nach toireadh dìth mac-samhail san fhad-ùine gu duilgheadasan a bharrachd leithid làn dhioscaichean ann an na h-ionadan dàta a tha air fhàgail.
17:29. Am piotsa! Bidh sinn a’ fastadh dhaoine, chan e robots.
Ath-ghnàthachadh
18:02. Ann an tallaichean Àir. 8 (sinn), 9, 10 agus 11 tha an teòthachd air socrachadh. Is e aon den fheadhainn a tha air fhàgail far loidhne (Àireamh 7) an uidheamachd againn, agus tha an teòthachd an sin fhathast ag èirigh.
18:31. Thug iad cead an uidheamachd a thòiseachadh ann an tallaichean Àir. 1 agus 3 - cha tug an teine buaidh air na tallaichean sin.
An-dràsta, thathas a’ cur air bhog frithealaichean ann an tallaichean Àir. 1, 3, 8, a’ tòiseachadh leis an fheadhainn as deatamaich. Thathas a’ sgrùdadh obrachadh ceart a h-uile seirbheis ruith. Tha duilgheadasan ann fhathast le talla Àir 7.
18:44. Lorg luchd-obrach teignigeach an ionaid dàta nach eil mòran de luchd-frithealaidh ann an seòmar Àir. 7 (far nach eil ach an uidheamachd againn suidhichte). A rèir an dàta againn, tha 26 frithealaichean fhathast air-loidhne an sin. Às deidh dàrna sgrùdadh, lorg sinn 58 frithealaiche.
20:18. Bidh teicneòlaichean ionadan dàta a’ sèideadh èadhar tro rùm gun àile tro phìoban gluasadach a’ ruith tro na tallachan.
23:08. Chaidh a’ chiad rianaire a chuir dhachaigh. Feumaidh cuideigin cadal air an oidhche gus leantainn air adhart leis an obair a-màireach. An uairsin, leigidh sinn a-mach barrachd luchd-rianachd agus luchd-leasachaidh.
02:56. Chuir sinn air bhog a h-uile dad a ghabhadh a chuir air bhog. Bidh sinn a’ dèanamh tòrr sgrùdadh air a h-uile seirbheis a’ cleachdadh deuchainnean fèin-ghluasadach.
03:02. Chaidh fionnarachadh-àile anns an talla mu dheireadh, 7mh ath-nuadhachadh.
03:36. Thug sinn na h-aghaidhean san ionad dàta gu cuairteachadh ann an DNS. Bhon mhionaid seo bidh trafaic luchd-cleachdaidh a’ tòiseachadh a ’ruighinn.
Tha sinn a’ cur a’ mhòr-chuid den sgioba rianachd dhachaigh. Ach fàgaidh sinn beagan dhaoine air dheireadh.
Ceistean Cumanta beaga:
Q: Dè thachair bho 18:31 gu 02:56?
F: Às deidh “Plana Gnìomh Tubaist”, bidh sinn a’ cur air bhog a h-uile seirbheis, a’ tòiseachadh leis an fheadhainn as cudromaiche. Anns a 'chùis seo, bidh an co-òrdanaiche sa chat a' toirt seachad an t-seirbheis do rianadair an-asgaidh, a nì sgrùdadh a bheil an OS agus an tagradh air tòiseachadh, a bheil mearachdan sam bith ann, agus a bheil na comharran àbhaisteach. Às deidh an fhoillseachadh a chrìochnachadh, bidh e ag aithris don chat gu bheil e an-asgaidh agus gum faigh e seirbheis ùr bhon cho-òrdanaiche.
Tha am pròiseas air a lughdachadh nas motha le bathar-cruaidh a dh’ fhàillig. Eadhon ged a chaidh stad a chuir air an OS agus dùnadh sìos na frithealaichean gu ceart, cha bhith cuid de luchd-frithealaidh a’ tilleadh air ais air sgàth fàilligeadh gu h-obann ann an diosgan, cuimhne, agus chassis. Nuair a thèid cumhachd a chall, bidh an ìre fàilligeadh ag àrdachadh.
C: Carson nach urrainn dhut dìreach a h-uile càil a ruith aig an aon àm, agus an uairsin na tha ri thighinn ann an sgrùdadh a chàradh?
F: Feumar a h-uile càil a dhèanamh mean air mhean, oir tha eisimeileachd eadar seirbheisean. Agus bu chòir a h-uile dad a bhith air a sgrùdadh sa bhad, gun a bhith a 'feitheamh ri sgrùdadh - oir tha e nas fheàrr dèiligeadh ri duilgheadasan sa bhad, gun a bhith a' feitheamh riutha a dhol nas miosa.
7:40. Chaidh an rianaire mu dheireadh (co-òrdanaiche) dhan leabaidh. Tha obair a’ chiad latha air a chrìochnachadh.
8:09. Thòisich a’ chiad luchd-leasachaidh, innleadairean ionadan dàta agus luchd-rianachd (a’ gabhail a-steach an co-òrdanaiche ùr) air obair ath-nuadhachaidh.
09:37. Thòisich sinn air talla Àir 7 (am fear mu dheireadh) a thogail.
Aig an aon àm, tha sinn a’ leantainn air adhart a’ toirt air ais na rudan nach deach a shuidheachadh ann an seòmraichean eile: ag ath-nuadhachadh diosgan / cuimhne / frithealaichean, a’ càradh a h-uile càil a tha “a’ losgadh ”ann an sgrùdadh, ag atharrachadh dhreuchdan air ais ann an sgeamaichean cùl-taic agus rudan beaga eile, agus tha iad sin ann. a dh’ aindeoin sin tòrr.
17:08. Leigidh sinn le gach obair cunbhalach le cinneasachadh.
21:45. Tha obair an dàrna latha deiseil.
09:45. 'S e Dihaoine a th' ann an-diugh. Tha cuid de dhuilgheadasan beaga ann fhathast ann an sgrùdadh. Tha an deireadh-sheachdain air thoiseach, tha a h-uile duine airson fois a ghabhail. Bidh sinn a’ cumail oirnn a’ càradh a h-uile rud as urrainn dhuinn gu mòr. Chaidh gnìomhan rianachd cunbhalach a dh’ fhaodadh a bhith air an cur dheth a chuir dheth. Tha an co-òrdanaiche ùr.
15:40. Gu h-obann thòisich leth de chruach uidheamachd lìonra Core ann an ionad dàta EILE ath-thòiseachadh. Chaidh aghaidhean a thoirt a-mach à cuairteachadh gus cunnartan a lughdachadh. Chan eil buaidh sam bith ann airson luchd-cleachdaidh. Thàinig e a-mach às deidh sin gur e chassis lochtach a bh’ ann. Tha an co-òrdanaiche ag obair air dà thubaist a chàradh aig an aon àm.
17:17. Chaidh gnìomhachd lìonra ann an ionad dàta eile ath-nuadhachadh, chaidh a h-uile càil a sgrùdadh. Tha an ionad dàta air a chuir ann an cuairteachadh.
18:29. Obair an treas latha agus, san fharsaingeachd, ath-nuadhachadh an dèidh an tubaist a bhith deiseil.
Post-d gu caraid
04.04.2013 , "co-oileanaich" - airson trì latha cha robh am portal ri fhaighinn gu tur no ann am pàirt. Tron ùine seo, rinn còrr air 100 neach bho bhailtean-mòra eadar-dhealaichte, bho chompanaidhean eadar-dhealaichte (mòran taing a-rithist!), Air astar agus gu dìreach ann an ionadan dàta, le làimh agus gu fèin-ghluasadach, na mìltean de luchd-frithealaidh a chàradh.
Tha sinn air co-dhùnaidhean a tharraing. Gus nach tachair seo a-rithist, tha sinn air obair fharsaing a dhèanamh agus a leantainn chun an latha an-diugh.
Dè na prìomh eadar-dhealachaidhean eadar an tubaist làithreach agus 404?
- Tha “Plana Gnìomh Tubaistean” againn. Aon uair sa cheathramh, bidh sinn a’ dèanamh eacarsaichean - bidh sinn a’ cluich pàirt ann an suidheachadh èiginneach, a dh’ fheumas buidheann de luchd-rianachd (uile an uair sin) cuir às le bhith a’ cleachdadh am “Plana Gnìomh Èiginn”. Bidh prìomh luchd-rianachd an t-siostaim a’ gabhail cothrom mu seach a’ cluich pàirt a’ cho-òrdanaiche.
- Gach ràithe, ann am modh deuchainn, bidh sinn a’ dealachadh ionadan dàta (uile an uair sin) tro lìonraidhean LAN agus WAN, a leigeas leinn botail a chomharrachadh ann an deagh àm.
- Nas lugha de dhioscaichean briste, leis gu bheil sinn air na h-inbhean a theannachadh: nas lugha de dh'uairean obrach, stairsnich nas cruaidhe airson SMART,
- Trèig sinn BerkeleyDB gu tur, seann stòr-dàta neo-sheasmhach a dh’ fheumadh tòrr ùine fhaighinn air ais às deidh do fhrithealaiche ath-thòiseachadh.
- Lùghdaich sinn an àireamh de luchd-frithealaidh le MS SQL agus lughdaich sinn eisimeileachd air an fheadhainn a bha air fhàgail.
- Tha ar n-aonar againn , far a bheil sinn gu gnìomhach air a bhith ag imrich a h-uile seirbheis airson dà bhliadhna a-nis. Bidh an sgòth gu mòr a ’sìmpleachadh a’ chearcall iomlan de bhith ag obair leis an tagradh, agus ma thachras tubaist tha e a ’toirt seachad innealan sònraichte mar:
- stad ceart air a h-uile tagradh ann an aon bhriogadh;
- gluasad furasta de thagraidhean bho luchd-frithealaidh air fàiligeadh;
- air a rangachadh gu fèin-ghluasadach (ann an òrdugh prìomhachais sheirbheisean) ionad dàta iomlan a chuir air bhog.
Bha an tubaist a tha air a mhìneachadh san artaigil seo aig an ìre as motha bhon 404mh latha. Gu dearbh, cha deach a h-uile càil gu rèidh. Mar eisimpleir, nuair nach robh ionad dàta air a mhilleadh le teine ann an ionad dàta eile, dh’ fhàillig diosc air aon de na frithealaichean, is e sin, cha robh ach aon de na trì mac-samhail ann an cruinneachadh Cassandra fhathast ruigsinneach, agus is e sin as coireach gu robh 4,2% de fhònaichean-làimhe rim faighinn. cha b' urrainn do luchd-cleachdaidh an aplacaid logadh a-steach . Aig an aon àm, lean luchd-cleachdaidh ceangailte mar-thà ag obair. Gu h-iomlan, mar thoradh air an tubaist, chaidh barrachd air duilgheadasan 30 a chomharrachadh - bho bhiteagan banal gu easbhaidhean ann an ailtireachd seirbheis.
Ach is e an eadar-dhealachadh as cudromaiche eadar an tubaist làithreach agus an 404mh, ged a bha sinn a 'cur às do bhuaidhean an teine, bha luchd-cleachdaidh fhathast a' teacsadh agus a 'dèanamh gairmean bhidio gu , chluich e geamannan, ag èisteachd ri ceòl, a’ toirt tiodhlacan dha chèile, a’ coimhead bhideothan, sreathan Tbh agus seanalan Tbh , agus cuideachd air sruthadh a-steach .
Ciamar a thèid na tubaistean agad?
Source: www.habr.com