Ahoana no mety ho tsapanao raha toa ka toy izao ny ivon-toeram-baovao miaraka amin'ny fitaovanao indray andro any?
Salama daholo! Dmitry Samsonov no anarako, miasa amin'ny maha mpitantana ny rafitra aho ao amin'ny "" Ny sary dia mampiseho ny iray amin'ireo foibe data efatra izay ametrahana ny fitaovana manompo ny tetikasantsika. Ao ambadik'ireo rindrina ireo dia misy fitaovana 4 arivo eo ho eo: mpizara, rafitra fitahirizana data, fitaovana tambajotra, sns. - saika ny ⅓ amin'ny fitaovantsika rehetra.
Ny ankamaroan'ny mpizara dia Linux. Misy lohamilina am-polony ihany koa ao amin'ny Windows (MS SQL) - ny lovantsika, izay nafoinay nandritra ny taona maro.
Noho izany, tamin'ny 5 jona 2019 tamin'ny 14:35, dia nitatitra fanairana afo ny injeniera ao amin'ny iray amin'ireo tobim-pamokaranay.
Negation
14:45. Ny trangan-tsetroka madinidinika ao amin'ny foibe angona dia mahazatra kokoa noho ny eritreretinao. Ara-dalàna ny tondro ao anatin'ny efitrano, ka somary tony ny fanehoan-kevitray voalohany: nampidirin'izy ireo ny fandrarana ny asa miaraka amin'ny famokarana, izany hoe, amin'ny fanovana fanovana rehetra, amin'ny famoahana dikan-teny vaovao, sns., afa-tsy ny asa mifandraika amin'ny fanamboarana zavatra.
fahatezerana
Efa nanandrana nikaroka avy amin'ny mpamono afo ve ianao hoe taiza marina no nisehoan'ny afo teo amin'ny tafo, na niditra teo amin'ny tafo mirehitra mba hanombanana ny zava-misy? Hanao ahoana ny fitokisana amin'ny vaovao azo avy amin'ny olona dimy?
14: 50. Nahazo ny vaovao fa efa manatona ny rafitra fampangatsiahana ny afo. Ho avy ve anefa izany? Ny mpitantana ny rafitra miasa dia manaisotra ny fifamoivoizana ivelany eo anoloan'ity foibe data ity.
Amin'izao fotoana izao, ny lohan'ny serivisy rehetra dia adika amin'ny foibe data telo, ny fifandanjana dia ampiasaina amin'ny haavon'ny DNS, izay ahafahantsika manaisotra ny adiresin'ny foibe data iray amin'ny DNS, ka miaro ny mpampiasa amin'ny olana mety hitranga amin'ny fidirana amin'ny serivisy. . Raha toa ka efa nisy olana teo amin'ny foibe data, dia miala ho azy ny fihodinana. Afaka mamaky bebe kokoa ianao eto:
Mbola tsy nisy fiantraikany taminay ny afo - tsy mbola nisy fahasimbana na ny mpampiasa na ny fitaovana. Loza ve izany? Ny fizarana voalohany amin'ny antontan-taratasy "Drafi-hetsika momba ny lozam-pifamoivoizana" dia mamaritra ny foto-kevitry ny "Accident", ary mifarana toy izao ny fizarana:
«Raha misy fisalasalana na misy loza na tsia dia loza izany!»
14:53. Voatendry ny mpandrindra ny vonjy taitra.
Ny mpandrindra dia ilay olona manara-maso ny fifandraisana eo amin'ny mpandray anjara rehetra, manombana ny haavon'ny loza, mampiasa ny Drafitr'asa vonjy maika, misarika ny mpiasa ilaina, manara-maso ny fahavitan'ny fanamboarana, ary indrindra indrindra, manolotra ny asa rehetra. Raha lazaina amin'ny teny hafa, io no olona mitantana ny fizotran'ny famaliana vonjy maika.
Miady varotra
15:01. Manomboka manafoana ireo mpizara tsy mifandray amin'ny famokarana izahay.
15:03. Vononay tsara ny serivisy voatokana rehetra.
Tafiditra ao anatin'izany ny fronts (izay tsy idiran'ny mpampiasa intsony amin'izao fotoana izao) sy ny serivisy fanampiny (lojikan'ny fandraharahana, caches, sns.), fa koa ny angon-drakitra isan-karazany misy replication factor 2 na mihoatra (, , , sns.).
15: 06. Nisy ny vaovao azo fa misy afo mandrahona ny iray amin’ireo trano fonenan’ny data. Tsy manana fitaovana izahay ao amin'ity efitrano ity, fa ny fiparitahan'ny afo avy any amin'ny tafo mankany amin'ny efitrano dia manova be ny sarin'ny zava-mitranga.
(Tatỳ aoriana, dia hita fa tsy nisy fandrahonana ara-batana ny efitrano, satria voaisy tombo-kase avy amin’ny tafon-trano izy io.
15:07. Avelantsika ny famonoana baiko amin'ny mpizara amin'ny fomba haingana tsy misy fanamarinana fanampiny ().
15:08. Ao anatin'ny fetra ara-dalàna ny maripana ao amin'ny efitrano.
15: 12. Voarakitra an-tsoratra ny fiakaran’ny maripana tao amin’ireo efitrano.
15:13. Maherin'ny antsasaky ny mpizara ao amin'ny foibe angona no maty. Andeha isika hanohy.
15:16. Nanapa-kevitra ny hamono ny fitaovana rehetra.
15:21. Manomboka mamono ny herinaratra ho an'ireo mpizara tsy misy fanjakana izahay nefa tsy manidy tsara ny fampiharana sy ny rafitra fiasana.
15:23. Vondron'olona tompon'andraikitra amin'ny MS SQL no omena (misy vitsy amin'izy ireo, ny fiankinan'ny serivisy amin'izy ireo dia tsy dia lehibe, fa ny fomba famerenana amin'ny laoniny dia maharitra kokoa ary sarotra kokoa noho ny, ohatra, Cassandra).
fahaketrahana
15: 25. Nisy ny vaovao voaray momba ny fahatapahan’ny herinaratra amin’ny efitrano efatra amin’ny 16 (No. 6, 7, 8, 9). Eo amin’ny efitrano faha-7 sy faha-8 ny fitaovantsika. Tsy misy vaovao momba ny efitranontsika roa (No. 1 sy 3).
Matetika, mandritra ny afo dia tapaka avy hatrany ny famatsiana herinaratra, fa amin'ity tranga ity, noho ny asa narindran'ny mpamono afo sy ny mpiasa ara-teknika ao amin'ny foibe data, dia tsy tapaka na aiza na aiza ary tsy avy hatrany, fa raha ilaina.
(Taty aoriana dia hita fa tsy tapaka ny herinaratra tao amin'ny efitrano faha-8 sy faha-9.)
15:28. Manomboka mametraka angon-drakitra MS SQL avy amin'ny backups any amin'ny foibe data hafa izahay.
Haharitra hafiriana izany? Ampy ve ny fahafahan'ny tambajotra ho an'ny lalana manontolo?
15: 37. Nisy fanakatonana ny ampahany sasany amin'ny tambajotra voarakitra.
Mitokana ara-batana ny fitantanana sy ny tambajotra famokarana. Raha misy ny tambajotra famokarana dia afaka mandeha any amin'ny mpizara ianao, atsaharo ny fampiharana ary vonoy ny OS. Raha tsy misy izany dia afaka miditra amin'ny IPMI ianao, atsaharo ny fampiharana ary vonoy ny OS. Raha tsy misy ny tambajotra dia tsy afaka manao na inona na inona ianao. “Misaotra, Cap!”, hoy ianao.
"Ary amin'ny ankapobeny, be dia be ny korontana", mety hieritreritra koa ianao.
Ny zava-misy dia ny mpizara, na dia tsy misy afo aza, dia miteraka hafanana be. Ny marimarina kokoa, rehefa misy ny fampangatsiahana dia miteraka hafanana, ary rehefa tsy misy fampangatsiahana dia mamorona inferno helo, izay tsara indrindra handrendrika ny ampahany amin'ny fitaovana ary hamono ny ampahany hafa, ary ny ratsy indrindra ... miteraka afo ao anatiny. ny efitrano, izay saika azo antoka handrava ny zava-drehetra.
15:39. Mamaha olana amin'ny angon-drakitra conf izahay.
Ny angon-drakitra conf no backend ho an'ny serivisy mitovy anarana, izay ampiasain'ny rindranasa famokarana rehetra hanova haingana ny toe-javatra. Raha tsy misy io fototra io dia tsy afaka mifehy ny fiasan'ny vavahadin-tserasera isika, fa ny vavahadin-tserasera mihitsy no afaka miasa.
15:41. Famaritana ny mari-pana ao amin'ny fitaovan'ny tambajotra Core dia mirakitra ny famakiam-boky manakaiky ny faran'izay azo ekena. Ity dia boaty iray izay mibodo trano iray manontolo ary miantoka ny fiasan'ny tambajotra rehetra ao anatin'ny foibe data.
15:42. Tsy misy ny mpanaraka ny olana sy ny wiki, midira amin'ny standby.
Tsy famokarana izany, fa raha misy lozam-pifamoivoizana, ny fisian'ny fototry ny fahalalana rehetra dia mety ho fanakianana.
15:50. Ny iray amin'ireo rafitra fanaraha-maso dia tapaka.
Misy maromaro amin'izy ireo, ary izy ireo no tompon'andraikitra amin'ny lafiny samihafa amin'ny serivisy. Ny sasany amin'izy ireo dia namboarina mba hiasa tsy miankina ao anatin'ny foibe data tsirairay (izany hoe, manara-maso ny foibeny manokana ihany izy ireo), ny hafa dia misy singa zaraina izay mivelona amin'ny mangarahara amin'ny fahaverezan'ny foibe data.
Amin'ity tranga ity dia nijanona tsy niasa , izay miasa amin'ny maodely master-standby. Hiverina any amin'ny standby.
fananganana
15:51. Ny lohamilina rehetra afa-tsy MS SQL dia nesorina tamin'ny alàlan'ny IPMI nefa tsy nakatona tsara.
Vonona ve ianao amin'ny fitantanana mpizara faobe amin'ny alàlan'ny IPMI raha ilaina?
Ny fotoana tena hahavitan'ny famonjena ny fitaovana ao amin'ny foibe data amin'ity dingana ity. Efa vita daholo izay azo atao. Afaka miala sasatra ny mpiara-miasa sasany.
16: 13. Nisy ny vaovao voaray fa nipoaka teo amin'ny tafo ny fantson'ny freon avy amin'ny fampangatsiahana rivotra - izany dia hanemotra ny fandefasana ny ivontoerana data aorian'ny famonoana ny afo.
16:19. Araka ny angom-baovao voaray avy amin’ireo mpiasa ara-teknika ao amin’ny ivon-toeram-baovao dia nitsahatra ny fiakaran’ny maripana ao amin’ireo efitrano.
17:10. Naverina tamin'ny laoniny ny angon-drakitra conf. Ankehitriny dia afaka manova ny toe-javatra fampiharana.
Nahoana no zava-dehibe izany raha toa ka mandefitra amin'ny fahadisoana ny zava-drehetra ary miasa na dia tsy misy foibe angon-drakitra iray aza?
Voalohany, tsy ny zava-drehetra dia mandefitra amin'ny fahadisoana. Misy serivisy faharoa isan-karazany izay mbola tsy tafavoaka tamin'ny tsy fahombiazan'ny foibe data, ary misy angona ao amin'ny maodely master-standby. Ny fahaizana mitantana ny toe-javatra dia ahafahanao manao izay rehetra ilaina mba hampihenana ny fiantraikan'ny lozam-pifamoivoizana amin'ny mpampiasa na dia ao anatin'ny toe-javatra sarotra aza.
Faharoa, niharihary fa tsy haverina amin'ny laoniny amin'ny ora ho avy ny fiasan'ny foibe data, noho izany dia ilaina ny mandray fepetra mba hahazoana antoka fa ny tsy fisian'ny kopia maharitra dia tsy miteraka olana fanampiny toy ny kapila feno amin'ny ny ivontoerana angona sisa.
17:29. Fotoana pizza! Mampiasa olona izahay fa tsy robot.
fanarenana
18:02. Ao amin'ny efitrano faha-8 (ntsika), 9, 10 ary 11 dia niorina ny mari-pana. Ny iray amin'ireo mijanona ivelan'ny Internet (No. 7) dia mametraka ny fitaovantsika, ary tsy mitsaha-miakatra ny maripana any.
18:31. Nomen’izy ireo ny zotram-pamokarana ny fitaovana ao amin’ny efitrano laharana faha-1 sy faha-3 – tsy niharan’ny hain-trano ireo efitrano ireo.
Amin'izao fotoana izao dia atomboka ao amin'ny efitrano N°1, 3, 8 ireo mpizara, manomboka amin'ireo tena mitsikera indrindra. Voamarina ny fampandehanana marina ny tolotra mandeha rehetra. Mbola misy olana amin’ny efitrano laharana faha-7.
18:44. Ny mpiasa ara-teknika ao amin'ny foibe data dia nahita fa ao amin'ny efitrano laharana faha-7 (izay tsy misy afa-tsy ny fitaovantsika) dia maro ny mpizara tsy tapaka. Araka ny angonay, mpizara 26 no mijanona an-tserasera ao. Aorian'ny fisavana faharoa dia mahita mpizara 58 izahay.
20:18. Mitsoka rivotra amin'ny efitrano tsy misy rivotra amin'ny alalan'ny lakandrano finday mandeha amin'ny lalantsara ireo teknisianina foibe data.
23:08. Nalefa nody ny admin voalohany. Misy olona mila matory amin'ny alina mba hanohy ny asany rahampitso. Manaraka izany dia hamoaka mpandrindra sy mpandrindra bebe kokoa izahay.
02:56. Navoakanay izay rehetra azo natomboka. Manao fanamarinana be dia be ny serivisy rehetra amin'ny alàlan'ny fitsapana mandeha ho azy.
03:02. Naverina tamin’ny laoniny ny “climate” tao amin’ny efitrano faha-7 farany.
03:36. Nentinay tamin'ny fihodinana ao amin'ny DNS ny fronts ao amin'ny foibe data. Manomboka izao dia manomboka tonga ny fifamoivoizana mpampiasa.
Mandefa mody ny ankamaroan'ny ekipa mpitantana. Saingy namela olona vitsivitsy izahay.
FAQ kely:
F: Inona no nitranga tamin'ny 18:31 hatramin'ny 02:56?
A: Manaraka ny "Drafitra hetsika momba ny loza", dia manomboka ny serivisy rehetra, manomboka amin'ny lehibe indrindra. Amin'ity tranga ity, ny mpandrindra ao amin'ny chat dia mamoaka ny serivisy amin'ny mpitantana maimaim-poana, izay manamarina raha nanomboka ny OS sy ny fampiharana, na misy lesoka, ary raha ara-dalàna ny famantarana. Rehefa vita ny fandefasana dia mitatitra amin'ny chat izy fa afaka ary mahazo serivisy vaovao avy amin'ny mpandrindra.
Mihamalemy kokoa ny fizotran'ny fitaovana tsy nahomby. Na dia nandeha tsara aza ny fampiatoana ny OS sy ny fanakatonana ireo mpizara, ny mpizara sasany dia tsy miverina noho ny tsy fahombiazan'ny kapila, ny fitadidiana ary ny chassis. Rehefa very ny herinaratra dia mitombo ny tahan'ny tsy fahombiazana.
F: Nahoana ianao no tsy afaka mampandeha ny zava-drehetra indray mandeha, ary avy eo amboary izay mitranga amin'ny fanaraha-maso?
A: Tsy maintsy atao tsikelikely ny zava-drehetra, satria misy fiankinan-doha eo amin'ny serivisy. Ary tokony hojerenao avy hatrany ny zava-drehetra, tsy miandry ny fanaraha-maso - satria tsara kokoa ny miatrika olana avy hatrany, tsy miandry azy ireo hiharatsy.
7:40. Natory ny admin farany (mpandrindra). Vita ny asa andro voalohany.
8:09. Nanomboka ny asa famerenana amin'ny laoniny ireo mpamorona voalohany, injeniera foibe ary mpitantana (anisan'izany ny mpandrindra vaovao).
09:37. Nanomboka nanangana efitrano laharana faha-7 izahay (ilay farany).
Mandritra izany fotoana izany, manohy mamerina ny tsy raikitra ao amin'ny efitrano hafa izahay: manolo ny kapila / fitadidiana / server, manamboatra izay rehetra "mirehitra" amin'ny fanaraha-maso, mamerina ny andraikitra amin'ny rafitra master-standby ary zavatra kely hafa, izay misy tena betsaka anefa.
17:08. Avelantsika ny asa tsy tapaka rehetra miaraka amin'ny famokarana.
21:45. Vita ny asa amin’ny andro faharoa.
09:45. Zoma androany. Mbola betsaka ny olana kely amin’ny fanaraha-maso. Efa mialoha ny faran’ny herinandro, samy te hiala sasatra. Manohy manamboatra faobe izay rehetra azonay atao izahay. Nahemotra ny asa admin mahazatra izay mety nahemotra. Vaovao ny mpandrindra.
15:40. Tampoka teo dia natomboka indray ny antsasaky ny fitaovan'ny tambajotra Core ao amin'ny foibe data ANOTHER. Ny fronts dia nesorina tamin'ny fihodinana mba hampihenana ny risika. Tsy misy fiantraikany amin'ny mpampiasa. Taty aoriana dia hita fa chassis diso. Ny mpandrindra dia miasa amin'ny fanamboarana ny loza roa miaraka.
17:17. Naverina tamin'ny laoniny ny fiasan'ny tambajotra ao amin'ny foibe data iray hafa, voamarina ny zava-drehetra. Ny foibe data dia apetraka amin'ny fihodinana.
18:29. Ny asa amin'ny andro fahatelo ary, amin'ny ankapobeny, ny famerenana amin'ny laoniny aorian'ny loza dia vita.
afterword
04.04.2013 , "Mpiara-mianatra" - nandritra ny telo andro dia tsy nisy na ampahany ny vavahadin-tserasera. Nandritra izany fotoana izany, olona maherin'ny 100 avy amin'ny tanàna samihafa, avy amin'ny orinasa samihafa (misaotra betsaka indray!), avy lavitra sy mivantana any amin'ny foibe data, tanana sy mandeha ho azy, no nanamboatra lohamilina an'arivony.
Nanatsoaka hevitra izahay. Mba tsy hiverenan’izany indray dia efa nanao sy manohy ny asa goavana izahay hatramin’izao.
Inona no fahasamihafana lehibe eo amin'ny lozam-pifamoivoizana ankehitriny sy ny 404?
- Manana "Drafitra hetsika momba ny lozam-pifamoivoizana" izahay. Indray mandeha isan-telovolana, manao fanazaran-tena izahay - milalao ny toe-javatra maika, izay tsy maintsy esorina ny vondrona mpitantana (izy rehetra) amin'ny fampiasana ny "Drafitra hetsika maika". Mifandimby mitana ny andraikitry ny mpandrindra ny mpitantana ny rafitra.
- Isan-telo taona, amin'ny fomba fitsapana, dia mitoka-monina ny foibe angon-drakitra (mifandimby) amin'ny alàlan'ny tambajotra LAN sy WAN, izay ahafahantsika mamantatra ny bottlenecks ara-potoana.
- Vitsy kokoa ny kapila simba, satria nohamafisintsika ny fenitra: vitsy kokoa ny ora fiasana, sanda henjana kokoa ho an'ny S.M.A.R.T.,
- Nandao tanteraka ny BerkeleyDB izahay, angona tranainy sy tsy miorina izay nitaky fotoana betsaka hamerenana indray aorian'ny fanombohana ny server.
- Nahenanay ny isan'ny mpizara miaraka amin'ny MS SQL ary nahena ny fiankinan-doha amin'ireo sisa.
- Manana ny anay izahay , izay nifindranay tamim-pahavitrihana ny serivisy rehetra nandritra ny roa taona izao. Ny rahona dia manatsotra tanteraka ny tsingerin'ny fiasana manontolo amin'ny fampiharana, ary raha misy lozam-pifamoivoizana dia manome fitaovana miavaka toy ny:
- fijanonana marina ny fampiharana rehetra amin'ny tsindry iray;
- mora fifindran'ny fampiharana avy amin'ny lohamilina tsy nahomby;
- laharana mandeha ho azy (arakaraka ny laharam-pahamehana amin'ny serivisy) fanombohana foibe data iray manontolo.
Ny loza voalaza ato amin'ity lahatsoratra ity no lehibe indrindra hatramin'ny andro faha-404. Mazava ho azy fa tsy nandeha tsara ny zava-drehetra. Ohatra, nandritra ny tsy fisian'ny foibe angon-drakitra simba tamin'ny afo tao amin'ny foibe data iray hafa dia tsy nahomby ny kapila iray amin'ny iray amin'ireo mpizara, izany hoe ny iray amin'ireo kopia telo ao amin'ny cluster Cassandra ihany no mbola azo idirana, ka izany no mahatonga ny 4,2% amin'ny finday. tsy afaka niditra ny mpampiasa fampiharana. Nandritra izany fotoana izany, ireo mpampiasa efa mifandray dia nanohy niasa. Amin'ny fitambarany, vokatry ny lozam-pifamoivoizana dia nisy olana 30 mahery hita - avy amin'ny bibikely banal ka hatramin'ny lesoka amin'ny rafitra serivisy.
Saingy ny fahasamihafana lehibe indrindra eo amin'ny lozam-pifamoivoizana amin'izao fotoana izao sy ny faha-404 dia ny fanafoanana ny vokatry ny afo, mbola nandefa SMS sy nanao antso an-tsary ny mpampiasa. , nilalao, nihaino mozika, nifanome fanomezana, nijery horonan-tsary, andian-tantara sy fantsona fahitalavitra tao , ary nikoriana koa .
Manao ahoana ny lozam-pifamoivoizanao?
Source: www.habr.com