Bonjou, lektè Habr! Nan dènye atik la, nou te pale sou yon senp mwayen pou rekiperasyon dezas nan sistèm depo AERODISK ENGINE - replikasyon. Nan atik sa a, nou pral plonje nan yon sijè ki pi konplèks e ki pi enteresan - metrocluster la, se sa ki, yon mwayen pou pwoteksyon otomatik katastwòf pou de sant done, ki pèmèt sant done yo opere nan mòd aktif-aktif. Nou pral di w, montre w, kraze li epi ranje li.
Kòm dabitid, teyori an premye
Yon metrocluster se yon gwoup ki gaye sou plizyè sit nan yon vil oswa yon rejyon. Mo "gwoup la" klèman sijesyon pou nou ke konplèks la se otomatize, se sa ki, chanje nœuds gwoup nan ka ta gen echèk rive otomatikman.
Sa a se kote diferans prensipal la ant yon metrocluster ak replikasyon regilye manti. Otomatik operasyon yo. Sa vle di, nan evènman an nan sèten ensidan (echèk sant done, chanèl kase, elatriye), sistèm nan depo pral poukont fè aksyon ki nesesè yo nan lòd kenbe disponiblite done yo. Lè w ap itilize kopi regilye, administratè a fè aksyon sa yo antyèman oswa pasyèlman manyèlman.
Ki sa sa fè?
Objektif prensipal kliyan yo pouswiv lè yo itilize sèten aplikasyon metrocluster se pou minimize RTO (Recovery Time Objective). Sa vle di, pou misyon pou minimize tan rekiperasyon sèvis IT apre yon echèk. Si ou itilize replikasyon regilye, tan rekiperasyon an ap toujou pi long pase tan rekiperasyon an ak yon metrocluster. Poukisa? Trè senp. Administratè a dwe nan biwo li epi chanje replikasyon manyèlman, epi metrocluster la fè sa otomatikman.
Si ou pa gen yon administratè devwe nan sèvis ki pa dòmi, ki pa manje, ki pa fimen oswa ki malad, epi ki gade eta a nan sistèm nan depo 24 èdtan pa jou, Lè sa a, pa gen okenn fason yo garanti ke administratè a pral dwe disponib pou chanje manyèl pandan yon echèk.
An konsekans, RTO nan absans yon metrocluster oswa yon admin imòtèl nan nivo 99yèm nan sèvis administratè devwa a pral egal a sòm total la nan tan an chanje nan tout sistèm yo ak peryòd la maksimòm de tan apre ki administratè a garanti kòmanse travay. ak sistèm depo ak sistèm ki gen rapò.
Se konsa, nou rive nan konklizyon evidan ke metrocluster la ta dwe itilize si kondisyon an pou RTO se minit, pa èdtan oswa jou.Sa vle di, lè nan evènman an nan pi move echèk nan sant done, depatman IT dwe bay biznis la ak tan. retabli aksè a IT -services nan minit, oswa menm segonn.
Kouman li travay?
Nan nivo ki pi ba a, metrocluster la sèvi ak yon mekanis pou replikasyon done synchrone, ke nou te dekri nan atik anvan an (gade. ). Piske replikasyon se synchrone, kondisyon pou li koresponn, oswa pito:
- fib optik kòm fizik, 10 gigabit Ethernet (oswa pi wo);
- distans ki genyen ant sant done yo pa plis pase 40 kilomèt;
- delè chanèl optik ant sant done (ant sistèm depo) se jiska 5 milisgond (optimalman 2).
Tout kondisyon sa yo se konsiltatif nan lanati, se sa ki, metrocluster la ap travay menm si kondisyon sa yo pa satisfè, men nou dwe konprann ke konsekans yo nan non-konfòmite ak kondisyon sa yo egal a yon ralentissement nan operasyon an nan tou de sistèm depo nan metrocluster la.
Se konsa, yo itilize yon kopi synchrone pou transfere done ant sistèm depo, epi ki jan kopi otomatikman chanje epi, sa ki pi enpòtan, ki jan pou fè pou evite fann-sèvo? Pou fè sa, nan yon nivo ki pi wo, yo itilize yon antite adisyonèl - yon abit.
Ki jan yon abit travay ak ki travay li?
Abit la se yon ti machin vityèl oswa yon gwoup pyès ki nan konpitè ki dwe lanse sou yon twazyèm sit (pa egzanp, nan yon biwo) epi bay aksè nan sistèm depo a atravè ICMP ak SSH. Apre lansman, abit la ta dwe mete IP a, ak Lè sa a, soti nan bò depo endike adrès li yo, plis adrès yo nan contrôleur aleka ki patisipe nan metrocluster la. Apre sa, abit la pare pou travay.
Abit la toujou ap kontwole tout sistèm depo nan metrocluster la epi si yon sistèm depo patikilye pa disponib, apre li fin konfime indisponibilite yon lòt manm nan gwoup la (youn nan sistèm depo "viv" yo), li deside lanse pwosedi pou chanje règ replikasyon. ak kat.
Yon pwen trè enpòtan. Abit la dwe toujou chita sou yon sit ki diferan de sa yo kote sistèm depo yo ye, sa vle di, ni nan sant done 1, kote sistèm depo 1 enstale, ni nan sant done 2, kote sistèm depo 2 enstale.
Poukisa? Paske sa a se sèl fason yon abit, avèk èd nan youn nan sistèm depo ki siviv yo, ka detèmine san anbigwite ak presizyon tonbe nan nenpòt nan de sit yo kote sistèm depo yo enstale. Nenpòt lòt metòd pou mete yon abit ka lakòz yon sèvo fann.
Koulye a, kite a plonje nan detay yo nan travay abit la.
Abit la kouri plizyè sèvis ki toujou ap sondaj tout kontwolè depo. Si rezilta biwo vòt la diferan de ansyen an (disponib/disponib), Lè sa a, li anrejistre nan yon ti baz done, ki travay tou sou abit la.
Ann gade nan lojik travay abit la an plis detay.
Etap 1: Detèmine indisponibilité. Yon evènman echèk sistèm depo se absans ping nan tou de kontwolè nan menm sistèm depo a nan 5 segonn.
Etap 2. Kòmanse pwosedi a chanje. Apre abit la te reyalize ke youn nan sistèm depo yo pa disponib, li voye yon demann nan sistèm depo "viv" la pou asire w ke sistèm depo "mouri" a vrèman mouri.
Apre li fin resevwa kòmandman sa a nan men abit la, dezyèm (viv) sistèm depo anplis tcheke disponiblite premye sistèm depo ki tonbe a epi, si li pa la, voye konfimasyon bay abit devine li. Sistèm depo a tout bon pa disponib.
Apre li fin resevwa konfimasyon sa a, abit la lanse yon pwosedi aleka pou chanje replikasyon ak ogmante kat sou kopi sa yo ki te aktif (prensipal) sou sistèm depo ki tonbe a, epi voye yon lòd bay dezyèm sistèm depo a pou chanje kopi sa yo soti nan segondè a prensipal ak ogmante kat. Oke, dezyèm sistèm depo a, kòmsadwa, fè pwosedi sa yo, ak Lè sa a, bay aksè a LUN yo pèdi soti nan tèt li.
Poukisa yo bezwen verifikasyon adisyonèl? Pou kowòm. Sa vle di, yon majorite kantite total enpè (3) manm gwoup la dwe konfime tonbe youn nan nœuds gwoup yo. Se sèlman lè sa a desizyon sa a pral definitivman kòrèk. Sa a se nesesè yo nan lòd pou fè pou evite erè chanje ak, kòmsadwa, fann-sèvo.
Tan etap 2 pran apeprè 5 - 10 segonn, kidonk, pran an kont tan ki nesesè pou detèmine indisponibilite (5 segonn), nan 10 - 15 segonn apre aksidan an fèt la, LUN ki soti nan sistèm nan depo tonbe yo pral otomatikman disponib nan travay ak ap viv la. sistèm depo.
Li klè ke yo nan lòd pou fè pou evite pèdi koneksyon ak gen tout pouvwa a, ou bezwen tou pran swen yo kòrèkteman configured timeouts sou gen tout pouvwa a. Delè a rekòmande se omwen 30 segonn. Sa a pral anpeche lame a koupe koneksyon an nan sistèm depo a pandan chanjman chaj nan ka ta gen yon dezas epi li ka asire ke pa gen okenn entèripsyon I/O.
Tann yon segond, li sanble ke si tout bagay tèlman bon ak metrocluster la, poukisa nou bezwen replikasyon regilye nan tout?
An reyalite, tout bagay se pa tèlman senp.
Ann konsidere avantaj ak dezavantaj metrocluster la
Se konsa, nou reyalize ke avantaj evidan nan metrocluster la konpare ak replikasyon konvansyonèl yo se:
- Otomatik konplè, asire tan rekiperasyon minimòm nan ka ta gen yon dezas;
- Se tout :-).
Epi, koulye a, atansyon, dezavantaj yo:
- Pri solisyon. Malgre ke metrocluster la nan sistèm Aerodisk pa mande pou lisans adisyonèl (yo itilize menm lisans lan kòm pou kopi a), pri a nan solisyon an ap toujou pi wo pase lè l sèvi avèk replikasyon synchrone. W ap bezwen aplike tout egzijans pou yon kopi synchrone, plis kondisyon pou metrocluster ki asosye ak chanjman adisyonèl ak sit adisyonèl (gade planifikasyon metrocluster);
- Konpleksite nan solisyon an. Metrocluster la pi konplèks pase yon kopi regilye, epi li mande plis atansyon ak efò pou planifikasyon, konfigirasyon ak dokimantasyon.
Evantyèlman. Metrocluster se sètènman yon solisyon trè teknoloji avanse ak bon lè ou reyèlman bezwen bay RTO nan segonn oswa minit. Men, si pa gen okenn travay sa yo, ak RTO nan èdtan se OK pou biznis, Lè sa a, pa gen okenn pwen nan tire ti zwazo soti nan yon kanon. Replikasyon abityèl travayè-peyizan an sifizan, paske yon gwoup métro pral lakòz lòt depans ak konplikasyon nan enfrastrikti IT la.
Planifikasyon Metrocluster
Seksyon sa a pa pretann li se yon gid konplè sou konsepsyon metrocluster, men sèlman montre direksyon prensipal yo ta dwe travay deyò si ou deside bati yon sistèm konsa. Se poutèt sa, lè aktyèlman aplike yon metrocluster, asire w ke ou enplike manifakti a sistèm depo (ki vle di, nou) ak lòt sistèm ki gen rapò pou konsiltasyon.
Avni
Jan sa di pi wo a, yon metrocluster mande pou yon minimòm de twa sit. De sant done kote sistèm depo ak sistèm ki gen rapò pral opere, osi byen ke yon twazyèm sit kote abit la pral travay.
Distans rekòmande ant sant done yo pa plis pase 40 kilomèt. Yon distans ki pi gwo gen anpil chans pou lakòz plis reta, ki nan ka yon metrocluster yo trè endezirab. Se pou nou raple ou ke reta yo ta dwe jiska 5 milisgond, byenke li rekòmande kenbe yo nan 2.
Li rekòmande pou tcheke reta tou pandan pwosesis planifikasyon an. Nenpòt founisè plis oswa mwens matirite ki bay fib optik ant sant done ka òganize yon chèk kalite byen vit.
Kòm pou reta anvan abit la (ki se, ant twazyèm sit la ak de premye yo), papòt reta rekòmande a se jiska 200 milisgond, se sa ki, yon koneksyon regilye vpn antrepriz sou entènèt la apwopriye.
Chanje ak rezo
Kontrèman ak konplo replikasyon an, kote li ase pou konekte sistèm depo ki soti nan diferan sit, konplo a metrocluster mande pou konekte lame ak tou de sistèm depo nan diferan sit. Pou fè li pi klè ki diferans lan, tou de rapid yo montre anba a.
Jan yo ka wè nan dyagram nan, sit 1 lame nou yo gade tou de sistèm depo 1 ak sistèm depo 2. Epitou, okontrè, lame sit 2 gade tou de sistèm depo 2 ak sistèm depo 1. Sa vle di, chak lame wè tou de sistèm depo. Sa a se yon avantou pou operasyon an nan metrocluster la.
Natirèlman, pa gen okenn bezwen konekte chak lame ak yon kòd optik nan yon lòt sant done; pa gen okenn pò oswa kòd yo pral ase. Tout koneksyon sa yo dwe fèt atravè switch Ethernet 10G+ oswa FibreChannel 8G+ (FC se sèlman pou konekte lame ak sistèm depo pou IO, chanèl replikasyon an disponib sèlman atravè IP (Ethernet 10G+).
Koulye a, kèk mo sou topoloji rezo a. Yon pwen enpòtan se konfigirasyon ki kòrèk la nan subnets. Li nesesè imedyatman defini plizyè subnet pou kalite trafik sa yo:
- Sourezo replikasyon sou ki done yo pral senkronize ant sistèm depo yo. Ka gen plizyè nan yo, nan ka sa a pa gen pwoblèm, li tout depann sou aktyèl la (deja aplike) topoloji rezo a. Si gen de nan yo, Lè sa a, evidamman routage dwe configuré ant yo;
- Sou-rezo depo kote lame yo pral jwenn aksè nan resous depo (si se iSCSI). Ta dwe gen yon sèl sous-rezo sa yo nan chak sant done;
- Kontwòl subnets, se sa ki, twa sousnet routable sou twa sit ki soti nan ki sistèm depo yo jere, epi abit la tou sitiye la.
Nou pa konsidere sous-rezo pou jwenn aksè nan resous lame isit la, paske yo depann anpil sou travay yo.
Separe trafik diferan nan sous-rezo diferan trè enpòtan (li espesyalman enpòtan pou separe kopi a ak I/O a), paske si ou melanje tout trafik la nan yon sèl "epè" sous-rezo, Lè sa a, trafik sa a ap enposib jere, ak nan kondisyon yo nan de sant done sa a ka toujou lakòz opsyon kolizyon rezo diferan. Nou pa pral fouye pwofondman nan pwoblèm sa a nan kad atik sa a, depi ou ka li sou planifikasyon yon rezo lonje ant sant done sou resous yo nan manifaktirè ekipman rezo, kote sa a se dekri an detay.
Konfigirasyon abit
Abit la dwe bay aksè a tout interfaces jesyon nan sistèm depo a atravè pwotokòl ICMP ak SSH. Ou ta dwe reflechi tou sou failsafe nan abit la. Gen yon nuans isit la.
Fayit abit se trè dezirab, men li pa obligatwa. Kisa k ap pase si abit la fè aksidan nan move moman?
- Operasyon an nan metrocluster la nan mòd nòmal pa pral chanje, paske arbtir pa gen okenn efè sou operasyon metrocluster la nan mòd nòmal (travay li se chanje chaj la ant sant done nan yon fason apwopriye)
- Anplis, si abit la pou yon rezon oswa yon lòt tonbe epi "dòmi nan" yon aksidan nan sant done a, Lè sa a, pa gen okenn chanjman ki pral rive, paske pa pral gen moun ki bay kòmandman ki nesesè yo chanje epi òganize yon kowòm. Nan ka sa a, metrocluster la pral tounen yon konplo regilye ak replikasyon, ki pral oblije chanje manyèlman pandan yon dezas, ki pral afekte RTO la.
Ki sa ki soti nan sa a? Si ou reyèlman bezwen asire yon RTO minimòm, ou bezwen asire abit la toleran fòt. Gen de opsyon pou sa:
- Lanse yon machin vityèl ak yon abit sou yon hypervisor ki toleran fay, erezman tout hypervisors granmoun sipòte tolerans fay;
- Si nan twazyèm sit la (nan yon biwo konvansyonèl) ou twò parese enstale yon grap nòmal epi pa gen okenn gwoup hypervozor ki egziste deja, Lè sa a, nou te bay yon vèsyon pyès ki nan konpitè nan abit la, ki se te fè nan yon bwat 2U nan ki de òdinè. Serveurs x-86 travay epi ki ka siviv yon echèk lokal yo.
Nou rekòmande fòtman asire tolerans fay abit la, malgre lefèt ke metrocluster la pa bezwen li nan mòd nòmal. Men, jan tou de teyori ak pratik montre, si ou bati yon enfrastrikti vrèman serye pou prèv katastwòf, Lè sa a, li pi bon jwe li an sekirite. Li pi bon pou pwoteje tèt ou ak biznis ou kont "lwa mechanste la", se sa ki, kont echèk tou de abit la ak youn nan sit kote sistèm depo a sitiye.
Achitekti solisyon
Lè nou konsidere kondisyon ki anwo yo, nou jwenn achitekti solisyon jeneral sa yo.
LUN yo ta dwe distribye egalman sou de sit pou evite surcharge grav. An menm tan an, lè gwosè nan tou de sant done, ou ta dwe gen ladan pa sèlman volim doub (ki se nesesè yo estoke done ansanm sou de sistèm depo), men tou, doub pèfòmans nan IOPS ak MB / s yo nan lòd yo anpeche degradasyon aplikasyon nan. evènman an nan yon echèk nan youn nan sant done yo.
Separeman, nou sonje ke ak apwòch apwopriye pou dimensionnement (sa vle di, depi nou te bay limit siperyè apwopriye IOPS ak MB/s, osi byen ke resous CPU ak RAM ki nesesè yo), si youn nan sistèm depo nan grap metro echwe, pa pral gen yon gout grav nan pèfòmans nan kondisyon travay tanporè sou yon sistèm depo.
Sa a se eksplike pa lefèt ke lè de sit ap opere ansanm, replikasyon synchrone "manje" mwatye nan pèfòmans nan ekri, depi chak tranzaksyon yo dwe ekri nan de sistèm depo (menm jan ak RAID-1/10). Se konsa, si youn nan sistèm depo yo echwe, enfliyans nan replikasyon tanporèman (jiskaske sistèm nan depo echwe refè) disparèt, epi nou jwenn yon ogmantasyon de fwa nan pèfòmans ekri. Apre LUN yo nan sistèm nan depo ki echwe yo rekòmanse sou sistèm nan depo k ap travay, ogmantasyon de fwa sa a disparèt akòz lefèt ke chaj parèt nan LUN yo nan lòt sistèm depo a, epi nou retounen nan menm nivo pèfòmans nou te genyen anvan an. "tonbe", men sèlman nan kad yon sit.
Avèk èd nan dimensionnement konpetan, ou ka asire kondisyon nan ki itilizatè yo pa pral santi echèk nan yon sistèm depo tout antye ditou. Men, nou repete yon lòt fwa ankò, sa mande anpil atansyon dimensionnement, pou ki, nan chemen an, ou ka kontakte nou gratis :-).
Mete kanpe yon metrocluster
Mete kanpe yon metrocluster se trè menm jan ak mete kanpe replikasyon regilye, ke nou dekri nan . Se poutèt sa, an n konsantre sèlman sou diferans ki genyen. Nou mete yon ban nan laboratwa ki baze sou achitekti ki anwo a, sèlman nan yon vèsyon minim: de sistèm depo ki konekte atravè Ethernet 10G, de switch 10G ak yon lame ki gade nan switch yo nan tou de sistèm depo ak pò 10G. Abit la kouri sou yon machin vityèl.
Lè w ap konfigirasyon IP vityèl (VIP) pou yon kopi, ou ta dwe chwazi kalite VIP - pou metrocluster.
Nou te kreye de lyen replikasyon pou de LUN epi distribye yo atravè de sistèm depo: LUN TEST Prensipal sou sistèm depo 1 (METRO lyen), LUN TEST2 Prensipal pou sistèm depo 2 (METRO2 lyen).
Pou yo, nou configured de sib ki idantik (nan ka nou an iSCSI, men FC sipòte tou, lojik konfigirasyon an se menm bagay la).
Sistèm depo 1:
Sistèm depo 2:
Pou koneksyon replikasyon, yo te fè kat sou chak sistèm depo.
Sistèm depo 1:
Sistèm depo 2:
Nou mete multipath epi prezante li bay lame a.
Mete kanpe yon abit
Ou pa bezwen fè anyen espesyal ak abit nan tèt li; ou jis bezwen pèmèt li sou twazyèm sit la, ba li yon IP ak konfigirasyon aksè a li atravè ICMP ak SSH. Se konfigirasyon nan tèt li fèt nan sistèm depo yo tèt yo. Nan ka sa a, li ase pou konfigirasyon abit la yon fwa sou nenpòt nan kontwolè depo nan metrocluster la; paramèt sa yo pral distribye nan tout kontwolè otomatikman.
Nan seksyon Replication Remote >> Metrocluster (sou nenpòt kontwolè) >> bouton "Konfigure".
Nou antre IP abit la, osi byen ke interfaces kontwòl de contrôleur depo aleka.
Apre sa, ou bezwen pèmèt tout sèvis yo (bouton "Rekòmanse tout bagay"). Si yo rekonfigire nan lavni an, sèvis yo dwe rekòmanse pou anviwònman yo pran efè.
Nou tcheke si tout sèvis yo ap fonksyone.
Sa a konplete konfigirasyon metrocluster la.
Tès aksidan
Tès aksidan an nan ka nou an pral byen senp epi rapid, depi fonksyonalite replikasyon an (chanjman, konsistans, elatriye) te diskite nan . Se poutèt sa, teste fyab la nan metrocluster la, li ase pou nou tcheke automatisation nan deteksyon echèk, chanje ak absans la nan pèt anrejistreman (I / O sispann).
Pou fè sa, nou imite yon echèk konplè nan youn nan sistèm depo yo pa fizikman fèmen tou de nan kontwolè li yo, li te premye kòmanse kopye yon gwo dosye nan LUN la, ki dwe aktive sou lòt sistèm nan depo.
Enfim yon sistèm depo. Sou sistèm nan dezyèm depo nou wè alèt ak mesaj nan mòso bwa yo ke koneksyon an ak sistèm vwazen an te pèdi. Si notifikasyon atravè siveyans SMTP oswa SNMP yo configuré, administratè a ap resevwa notifikasyon ki koresponn lan.
Egzakteman 10 segonn pita (vizib nan tou de Ekran), koneksyon an replikasyon METRO (sa ki te Prensipal sou sistèm nan depo echwe) otomatikman te vin Prensipal sou sistèm nan depo k ap travay. Sèvi ak kat ki deja egziste a, LUN TEST rete disponib nan lame a, anrejistreman an tranpe yon ti kras (nan 10 pousan te pwomèt la), men li pa te entèwonp.
Tès la fini avèk siksè.
Adisyone moute
Aplikasyon aktyèl metrocluster la nan sistèm depo AERODISK Engine N-seri pèmèt konplètman rezoud pwoblèm kote li nesesè pou elimine oswa minimize tan D 'pou sèvis IT epi asire operasyon yo 24/7/365 ak depans travay minimòm.
Nou ka di, nan kou, ke tout sa a se teyori, kondisyon ideyal laboratwa, ak sou sa... MEN nou gen yon kantite pwojè aplike nan ki nou te aplike fonksyonalite dezas-rezistans, ak sistèm yo travay parfe. Youn nan kliyan jistis byen li te ye nou yo, ki itilize jis de sistèm depo nan yon konfigirasyon prèv dezas, te deja dakò pibliye enfòmasyon sou pwojè a, kidonk nan pwochen pati a nou pral pale sou aplikasyon an konba.
Mèsi, nou espere yon diskisyon pwodiktif.
Sous: www.habr.com