Bonjou, lektè Habr! Sijè atik sa a pral aplikasyon zouti rekiperasyon pou katastwòf nan sistèm depo motè AERODISK. Okòmansman, nou te vle ekri nan yon sèl atik sou tou de zouti: replikasyon ak metrocluster, men, malerezman, atik la te tounen twò long, kidonk nou divize atik la an de pati. Ann ale soti nan senp nan konplèks. Nan atik sa a, nou pral mete kanpe epi teste replikasyon synchrone - nou pral lage yon sant done, epi tou kraze kanal kominikasyon ant sant done yo epi wè sa k ap pase.
Kliyan nou yo souvan poze nou plizyè kesyon sou repwodiksyon, kidonk anvan ou ale nan mete kanpe ak tès aplikasyon an nan kopi, nou pral di w yon ti kras sou sa ki replikasyon nan depo.
Yon ti jan nan teyori
Replikasyon nan sistèm depo se yon pwosesis kontinyèl pou asire idantite done sou plizyè sistèm depo ansanm. Teknikman, replikasyon akonpli nan de fason.
Replikasyon synchrone – sa a se kopye done ki soti nan sistèm depo prensipal la nan yon sèl la backup, ki te swiv pa konfimasyon obligatwa nan tou de sistèm depo ke done yo te anrejistre ak konfime. Li se apre konfimasyon sou tou de bò (tou de sistèm depo) ke done yo konsidere kòm anrejistre epi yo ka travay avèk yo. Sa a asire idantite done garanti sou tout sistèm depo k ap patisipe nan kopi a.
Avantaj ki genyen nan metòd sa a:
- Done yo toujou idantik sou tout sistèm depo
Kont:
- Segondè pri nan solisyon an (chanèl kominikasyon vit, fib optik chè, transceivers long-onn, elatriye)
- Distans restriksyon (nan plizyè dizèn de kilomèt)
- Pa gen okenn pwoteksyon kont koripsyon done ki lojik (si done yo pèvèti (espre oswa aksidantèlman) sou sistèm depo prensipal la, li pral otomatikman ak imedyatman vin pèvèti sou yon sèl la backup, paske done yo toujou idantik (sa a se paradoks la)
Replikasyon asynchrone – sa a se tou kopye done ki soti nan sistèm nan depo prensipal nan yon sèl la backup, men ak yon reta sèten epi san yo pa bezwen konfime ekri a sou lòt bò a. Ou ka travay ak done imedyatman apre yo fin anrejistre li nan sistèm depo prensipal la, ak sou sistèm nan depo backup done yo ap disponib apre kèk tan. Idantite done yo nan ka sa a, nan kou, pa asire nan tout. Done yo sou sistèm depo backup la toujou yon ti kras "nan tan lontan an."
Avantaj nan replikasyon asynchrone:
- Solisyon pri ki ba (nenpòt chanèl kominikasyon, optik si ou vle)
- Pa gen restriksyon sou distans
- Sou sistèm depo backup la, done yo pa deteryore si yo domaje sou prensipal la (omwen pou kèk tan); si done yo vin pèvèti, ou ka toujou sispann kopi a pou anpeche koripsyon done sou sistèm depo backup la.
Kont:
- Done nan diferan sant done yo toujou pa idantik
Kidonk, chwa nan mòd replikasyon depann sou objektif biznis. Si li enpòtan pou ou ke sant done backup la gen egzakteman menm done ak sant done prensipal la (sa vle di, kondisyon biznis pou RPO = 0), Lè sa a, w ap oblije fouchèt lajan kach la epi mete kanpe ak limit yo nan yon synchrone. kopi. Men, si reta a nan eta a done se akseptab oswa tou senpleman pa gen okenn lajan, Lè sa a, ou definitivman bezwen sèvi ak metòd la asynchrone.
Se pou nou tou separeman mete aksan sou yon mòd konsa (plis jisteman, yon topoloji) kòm yon metrocluster. Nan mòd metrocluster, yo itilize replikasyon synchrone, men, kontrèman ak yon kopi regilye, yon metrocluster pèmèt tou de sistèm depo yo opere nan mòd aktif. Moun sa yo. ou pa gen yon separasyon ant aktif ak sibstiti done sant. Aplikasyon yo travay ansanm ak de sistèm depo, ki fizikman sitiye nan sant done diferan. Dènye pandan aksidan nan yon topoloji sa yo piti anpil (RTO, anjeneral minit). Nan atik sa a nou pa pral konsidere aplikasyon nou an nan metrocluster la, paske sa a se yon sijè trè gwo ak gwo anpil, kidonk nou pral konsakre yon atik separe, pwochen nan li, nan kontinyasyon sa a.
Epitou, trè souvan, lè nou pale sou replikasyon lè l sèvi avèk sistèm depo, anpil moun gen yon kesyon rezonab: > "Anpil aplikasyon gen pwòp zouti replikasyon, poukisa itilize replikasyon sou sistèm depo? Èske li pi bon oswa pi mal?
Pa gen yon repons klè isit la, kidonk isit la se agiman pou ak dezavantaj:
Agiman pou replikasyon depo:
- Senplisite nan solisyon an. Avèk yon sèl zouti, ou ka repwodui tout seri done ou a, kèlkeswa kalite chaj ak aplikasyon an. Si w itilize yon kopi aplikasyon yo, w ap oblije configured chak aplikasyon separeman. Si gen plis pase 2 nan yo, Lè sa a, sa a se trè travayè-entansif ak chè (replikasyon aplikasyon anjeneral mande pou yon lisans separe epi yo pa gratis pou chak aplikasyon. Men, plis sou sa ki anba a).
- Ou ka repwodui anyen - nenpòt aplikasyon, nenpòt done - epi li pral toujou konsistan. Anpil (pifò) aplikasyon pa gen kapasite replikasyon, epi kopi nan sistèm depo a se sèl fason pou bay pwoteksyon kont katastwòf.
- Pa gen okenn nesesite pou peye anplis pou fonksyonalite replikasyon aplikasyon an. Kòm yon règ, li pa bon mache, menm jan ak lisans pou yon kopi sistèm depo. Men, ou dwe peye pou yon lisans pou replikasyon depo yon fwa, epi yo dwe achte yon lisans pou kopi aplikasyon pou chak aplikasyon separeman. Si gen yon anpil nan aplikasyon sa yo, Lè sa a, li koute yon santim bèl ak pri a nan lisans pou replikasyon depo vin tounen yon gout nan oseyan an.
Agiman kont replikasyon depo:
- Replike atravè aplikasyon yo gen plis fonksyonalite nan pwen de vi aplikasyon yo tèt yo, aplikasyon an konnen done li yo pi byen (evidamman), kidonk gen plis opsyon pou travay avèk yo.
- Konpayi fabrikasyon kèk aplikasyon pa garanti konsistans done yo si yo fè replikasyon ak zouti twazyèm pati. *
* - tèz kontwovèsyal. Pou egzanp, yon manifakti DBMS byen koni te deklare ofisyèlman pou yon tan trè lontan ke DBMS yo ka sèlman repwodui nòmalman lè l sèvi avèk mwayen yo, ak rès la nan replikasyon an (ki gen ladan sistèm depo) se "pa vre." Men, lavi a montre ke sa a se pa konsa. Gen plis chans (men sa a pa sèten) sa a se tou senpleman pa tantativ ki pi onèt pou vann plis lisans bay kliyan yo.
Kòm yon rezilta, nan pifò ka yo, replikasyon nan sistèm nan depo se pi bon, paske Sa a se yon opsyon ki pi senp ak mwens chè, men gen ka konplèks lè yo bezwen fonksyonalite aplikasyon espesifik, epi li nesesè pou travay ak replikasyon nan nivo aplikasyon an.
Fè ak teyori, kounye a pratike
Nou pral konfigirasyon kopi a nan laboratwa nou an. Nan kondisyon laboratwa, nou imite de sant done (an reyalite, de etajè adjasan ki te sanble yo sitiye nan bilding diferan). Kanpe a konsiste de de sistèm depo Engine N2, ki konekte youn ak lòt pa câbles optik. Yon sèvè fizik ki kouri Windows Server 2016 konekte ak tou de sistèm depo lè l sèvi avèk 10Gb Ethernet. Kanpe a se byen senp, men sa a pa chanje sans nan.
Schematikman li sanble sa a:
Lojikman, replikasyon an òganize jan sa a:
Koulye a, kite a gade nan fonksyonalite replikasyon ke nou genyen kounye a.
De mòd yo sipòte: asynchrone ak synchrone. Li lojik ke mòd nan synchrone limite pa distans ak kanal kominikasyon. An patikilye, mòd synchrone mande pou itilize fib kòm fizik la ak 10 Gigabit Ethernet (oswa pi wo).
Distans sipòte pou replikasyon synchrone se 40 kilomèt, valè reta nan chanèl optik ant sant done se jiska 2 milisgond. An jeneral, li pral travay ak gwo reta, men Lè sa a, pral gen gwo ralantisman pandan anrejistreman (ki se tou ki lojik), kidonk si w ap planifye replikasyon synchrone ant sant done, ou ta dwe tcheke bon jan kalite a nan optik yo ak reta yo.
Kondisyon yo pou replikasyon asynchrone yo pa tèlman grav. Plis jisteman, yo pa la ditou. Nenpòt koneksyon Ethernet k ap travay pral fè.
Kounye a, sistèm depo AERODISK ENGINE a sipòte replikasyon pou aparèy blòk (LUN) atravè pwotokòl Ethernet (sou kwiv oswa optik). Pou pwojè kote replikasyon nan yon twal SAN sou Fibre Channel obligatwa, kounye a nou ap ajoute yon solisyon apwopriye, men li poko pare, kidonk nan ka nou an, sèlman Ethernet.
Replikasyon ka travay ant nenpòt sistèm depo seri ENGINE (N1, N2, N4) soti nan sistèm jinyò ak pi gran yo ak vis vèrsa.
Fonksyonalite tou de mòd replikasyon yo konplètman idantik. Anba a gen plis detay sou sa ki disponib:
- Replikasyon "yonn a youn" oswa "yon a youn", se sa ki, vèsyon an klasik ak de sant done, prensipal la ak backup la
- Replikasyon se "yonn pou anpil" oswa "yonn pou anpil", i.e. yon sèl LUN ka repwodui nan plizyè sistèm depo alafwa
- Aktive, dezaktive, ak "anvèse" replikasyon, respektivman, pou pèmèt, enfim oswa chanje direksyon replikasyon an.
- Replikasyon disponib pou pisin RDG (Raid Distributed Group) ak pisin DDP (Dynamic Disk Pool). Sepandan, LUN nan yon pisin RDG kapab sèlman repwodui nan yon lòt RDG. Menm jan ak DDP.
Gen anpil plis ti karakteristik, men pa gen okenn pwen patikilye nan lis yo; nou pral mansyone yo jan nou mete kanpe.
Mete kanpe replikasyon
Pwosesis konfigirasyon an se byen senp epi li konsiste de twa etap.
- Rezo konfigirasyon
- Depo konfigirasyon
- Mete kanpe règ (koneksyon) ak kat
Yon pwen enpòtan nan mete kanpe replikasyon se ke de premye etap yo ta dwe repete sou sistèm nan depo aleka, twazyèm etap la - sèlman sou youn prensipal la.
Mete kanpe resous rezo yo
Premye etap la se konfigirasyon pò rezo yo atravè ki trafik replikasyon yo pral transmèt. Pou fè sa, ou bezwen pèmèt pò yo epi mete adrès IP yo nan seksyon adaptè Front-end.
Apre sa, nou bezwen kreye yon pisin (nan ka nou an RDG) ak yon IP vityèl pou replikasyon (VIP). VIP se yon adrès IP k ap flote ki mare ak de adrès "fizik" nan kontwolè depo (pò yo ke nou jis konfigirasyon). Sa a pral koòdone replikasyon prensipal la. Ou ka opere tou pa ak yon VIP, men ak yon VLAN, si ou bezwen travay ak trafik tag.
Pwosesis pou kreye yon VIP pou yon kopi pa diferan anpil de kreye yon VIP pou I/O (NFS, SMB, iSCSI). Nan ka sa a, nou kreye yon VIP regilye (san VLAN), men asire w ke ou endike ke li se pou replikasyon (san konsèy sa a nou pa yo pral kapab ajoute VIP nan règ la nan pwochen etap la).
VIP a dwe nan menm subnet ak pò IP ki genyen ant li flote.
Nou repete anviwònman sa yo sou yon sistèm depo aleka, ak yon IP diferan, nan kou.
VIP ki soti nan sistèm depo diferan yo ka nan sous-rés diferan, bagay prensipal la se ke gen routage ant yo. Nan ka nou an, egzanp sa a montre egzakteman (192.168.3.XX ak 192.168.2.XX)
Sa a konplete preparasyon pati rezo a.
Mete kanpe depo
Mete kanpe depo pou yon kopi diferan de nòmal sèlman nan ke nou fè kat la atravè yon meni espesyal "Replication Mapping". Sinon, tout bagay se menm jan ak konfigirasyon nòmal la. Koulye a, nan lòd.
Nan pisin R02 ki te kreye deja, ou bezwen kreye yon LUN. Ann kreye li epi rele li LUN1.
Nou bezwen tou kreye menm LUN sou yon sistèm depo aleka ki gen menm gwosè. Nou kreye. Pou evite konfizyon, ann rele aleka LUN LUN1R la
Si nou te bezwen pran yon LUN ki deja egziste, Lè sa a, pandan y ap mete kanpe kopi a, nou ta bezwen demonte LUN pwodiktif sa a soti nan lame a, epi tou senpleman kreye yon LUN vid ki gen menm gwosè sou sistèm nan depo aleka.
Konfigirasyon depo a fini, ann ale nan kreye yon règ replikasyon.
Mete kanpe règ replikasyon oswa lyen replikasyon
Apre nou fin kreye LUN sou sistèm depo a, ki pral prensipal la nan moman sa a, nou konfigure règ replikasyon LUN1 sou sistèm depo 1 a LUN1R sou sistèm depo 2.
Se anviwònman an fè nan meni "Remote replication".
Ann kreye yon règ. Pou fè sa, ou bezwen presize moun k ap resevwa kopi a. Se la nou tou mete non koneksyon an ak kalite replikasyon (synchrone oswa asynchrone).
Nan jaden an "sistèm aleka" nou ajoute sistèm depo nou an2. Pou ajoute, ou bezwen sèvi ak jesyon sistèm depo IP (MGR) ak non LUN aleka kote nou pral fè replikasyon (nan ka nou an, LUN1R). Kontwòl IP yo bezwen sèlman nan etap nan ajoute yon koneksyon; trafik replikasyon yo pa pral transmèt atravè yo; VIP nan konfigirasyon anvan yo pral itilize pou sa.
Deja nan etap sa a nou ka ajoute plis pase yon sistèm aleka pou topoloji "yon sèl pou anpil": klike sou bouton "ajoute ne", tankou nan figi ki anba a.
Nan ka nou an, gen yon sèl sistèm aleka, kidonk nou limite tèt nou nan sa a.
Règ la pare. Tanpri sonje ke li ajoute otomatikman sou tout patisipan replikasyon yo (nan ka nou an gen de nan yo). Ou ka kreye anpil règ sa yo jan ou vle, pou nenpòt ki kantite LUN ak nan nenpòt direksyon. Pou egzanp, balanse chaj la, nou ka repwodui yon pati nan LUN yo soti nan sistèm depo 1 nan sistèm depo 2, ak lòt pati a, okontrè, soti nan sistèm depo 2 nan sistèm depo 1.
Sistèm depo 1. Touswit apre kreyasyon an, senkronizasyon te kòmanse.
Sistèm depo 2. Nou wè menm règ la, men senkronizasyon deja fini.
LUN1 sou sistèm depo 1 se nan wòl Prensipal la, se sa ki aktif. LUN1R sou sistèm depo 2 se nan wòl segondè, se sa ki, li se sou sibstiti nan ka sistèm depo 1 echwe.
Koulye a, nou ka konekte LUN nou an ak lame a.
Nou pral konekte atravè iSCSI, byenke li ka fè tou atravè FC. Mete kanpe kat atravè iSCSI LUN nan yon kopi pratikman pa diferan de senaryo abityèl la, kidonk nou pa pral konsidere sa a an detay isit la. Si yon bagay, pwosesis sa a dekri nan atik la "'.
Sèl diferans lan se ke nou kreye kat nan meni "Replication Mapping".
Nou mete kat jeyografik epi nou bay lame a LUN. Animatè a te wè LUN la.
Nou fòma li nan yon sistèm dosye lokal.
Sa a se li, konfigirasyon an konplè. Tès yo ap vini apre.
Tès
Nou pral teste twa senaryo prensipal yo.
- Chanje wòl regilye Segondè > Prensipal. Chanjman wòl regilye nesesè nan ka, pou egzanp, nou bezwen fè kèk operasyon prevantif nan sant done prensipal la ak pandan tan sa a, yo nan lòd pou done yo dwe disponib, nou transfere chaj la nan sant done backup la.
- Chanje wòl ijans Segondè > Prensipal (echèk sant done). Sa a se senaryo prensipal pou ki replikasyon ki egziste, ki ka ede siviv yon echèk konplè sant done san yo pa sispann konpayi an pou yon peryòd pwolonje.
- Pann nan chanèl kominikasyon ant sant done yo. Tcheke konpòtman kòrèk de sistèm depo nan kondisyon kote pou kèk rezon chanèl kominikasyon ant sant done yo pa disponib (pa egzanp, yon ekskavatè fouye nan move kote epi li kraze optik nwa yo).
Premyèman, nou pral kòmanse ekri done nan LUN nou an (ekri fichye ak done o aza). Nou imedyatman wè ke kanal kominikasyon ant sistèm depo yo ap itilize. Sa a se fasil pou konprann si ou louvri siveyans chaj la nan pò yo ki responsab pou replikasyon.
Tou de sistèm depo kounye a gen done "itil", nou ka kòmanse tès la.
Jis nan ka, ann gade nan sòm yo hash nan youn nan dosye yo epi ekri yo.
Chanjman wòl regilye
Operasyon pou chanje wòl (chanje direksyon replikasyon) ka fèt ak nenpòt sistèm depo, men w ap toujou bezwen ale nan tou de, paske w ap bezwen enfim kat sou Prensipal, epi aktive li sou Segondè (ki pral vin Prensipal. ).
Petèt yon kesyon rezonab rive kounye a: poukisa yo pa otomatize sa a? Repons lan se: li senp, replikasyon se yon mwayen senp pou rezistans nan katastwòf, ki baze sèlman sou operasyon manyèl. Pou otomatize operasyon sa yo, gen yon mòd metrocluster; li konplètman otomatize, men konfigirasyon li yo pi konplike. Nou pral ekri sou mete kanpe yon metrocluster nan pwochen atik la.
Sou sistèm depo prensipal la, nou enfim kat pou asire ke anrejistreman sispann.
Lè sa a, sou youn nan sistèm depo yo (li pa enpòtan, sou prensipal la oswa backup) nan meni "Remote replication", chwazi koneksyon nou an REPL1 epi klike sou "Chanje wòl".
Apre kèk segonn, LUN1R (sistèm depo sovgad) vin Prensipal.
Nou kat LUN1R ak depo system2.
Apre sa, E: kondwi nou an otomatikman tache ak lame a, sèlman fwa sa a li "rive" soti nan LUN1R.
Jis nan ka, nou konpare sòm yo hash.
Idantikman. Tès pase.
Failover. Echèk sant done
Nan moman sa a, sistèm depo prensipal la apre chanjman regilye se sistèm depo 2 ak LUN1R, respektivman. Pou imite yon aksidan, nou pral fèmen pouvwa a sou tou de contrôleur depo2.
Pa gen plis aksè a li.
Ann wè sa k ap pase sou sistèm depo 1 (yon sèl la backup nan moman sa a).
Nou wè LUN prensipal la (LUN1R) pa disponib. Yon mesaj erè parèt nan mòso bwa yo, nan panèl enfòmasyon an, epi tou nan règ replikasyon an tèt li. An konsekans, done ki soti nan lame a pa disponib kounye a.
Chanje wòl LUN1 nan Prensipal.
M ap fè kat pou lame a.
Asire w ke kondwi E parèt sou lame a.
Nou tcheke hash la.
Tout bagay anfòm. Sistèm nan depo avèk siksè siviv sezon otòn la nan sant done a, ki te aktif. Tan apwoksimatif nou te pase konekte "ranvèse" replikasyon an ak konekte LUN nan sant done backup la te apeprè 3 minit. Li klè ke nan pwodiksyon reyèl tout bagay se pi plis konplike, ak nan adisyon a aksyon ak sistèm depo, ou bezwen fè anpil plis operasyon sou rezo a, sou tout pouvwa a, nan aplikasyon yo. Ak nan lavi peryòd tan sa a pral pi lontan ankò.
Isit la mwen ta renmen ekri ke tout bagay, tès la te konplete avèk siksè, men se pou nou pa prese. Sistèm depo prensipal la se "manti", nou konnen ke lè li "tonbe", li te nan wòl Prensipal la. Kisa k ap pase si li toudenkou limen? Pral gen de wòl Prensipal, ki egal a koripsyon done? Ann tcheke li kounye a.
An nou toudenkou vire sou sistèm nan depo kache.
Li chaje pou kèk minit ak Lè sa a, retounen nan sèvis apre yon senkronizasyon kout, men nan wòl nan segondè.
Tout OK. Split-sèvo pa t rive. Nou te reflechi sou sa, epi toujou apre yon tonbe sistèm depo a leve nan wòl segondè, kèlkeswa wòl li te genyen nan "pandan lavi." Koulye a, nou ka di pou asire w ke tès la echèk sant done te reyisi.
Echèk nan chanèl kominikasyon ant sant done yo
Travay prensipal la nan tès sa a se asire w ke sistèm nan depo pa kòmanse aji etranj si li tanporèman pèdi chanèl kominikasyon ant de sistèm depo ak Lè sa a, parèt ankò.
Se konsa. Nou dekonekte fil ki genyen ant sistèm depo yo (an nou imajine ke yo te fouye pa yon ekskavatè).
Sou Primè nou wè pa gen okenn koneksyon ak Segondè.
Sou Segondè nou wè pa gen okenn koneksyon ak Primè.
Tout bagay ap travay byen, epi nou kontinye ekri done nan sistèm depo prensipal la, se sa ki garanti yo diferan de youn nan backup, se sa ki, yo te "separe".
Nan kèk minit nou "repare" chanèl kominikasyon an. Le pli vit ke sistèm depo yo wè youn ak lòt, senkronizasyon done otomatikman aktive. Pa gen anyen ki obligatwa nan men administratè a isit la.
Apre kèk tan, senkronizasyon fini.
Koneksyon an te retabli, pèt chanèl kominikasyon yo pa t lakòz okenn sitiyasyon ijan, epi apre yo fin limen, senkronizasyon te pran plas otomatikman.
Jwenn
Nou analize teyori a - ki sa ki nesesè ak poukisa, ki kote avantaj yo ak kote dezavantaj yo. Lè sa a, nou mete kanpe replikasyon synchrone ant de sistèm depo.
Apre sa, tès debaz yo te pote soti pou chanje nòmal, echèk sant done ak echèk chanèl kominikasyon. Nan tout ka, sistèm depo a te travay byen. Pa gen okenn pèt done ak operasyon administratif yo kenbe nan yon minimòm pou yon senaryo manyèl.
Pwochenn fwa nou pral konplike sitiyasyon an epi montre kouman tout lojik sa a ap travay nan yon metrocluster otomatik nan mòd aktif-aktif, se sa ki, lè tou de sistèm depo yo prensipal, ak konpòtman an ka ta gen echèk sistèm depo se konplètman otomatize.
Tanpri ekri kòmantè, nou pral kontan resevwa bon kritik ak konsèy pratik.
Jiska pwochen fwa.
Sous: www.habr.com