Halo, para pembaca Habr! Topik artikel iki bakal dadi implementasi alat pemulihan bencana ing sistem panyimpenan AERODISK Engine. Kaping pisanan, kita pengin nulis ing siji artikel babagan alat kasebut: replikasi lan metrocluster, nanging, sayangé, artikel kasebut dadi dawa banget, mula artikel kasebut dibagi dadi rong bagéan. Ayo dadi saka prasaja kanggo Komplek. Ing artikel iki, kita bakal nyiyapake lan nyoba replikasi sinkron - kita bakal nyelehake siji pusat data, lan uga ngilangi saluran komunikasi antarane pusat data lan ndeleng apa sing kedadeyan.
Pelanggan asring takon macem-macem pitakonan babagan replikasi, mula sadurunge nerusake nyiyapake lan nguji implementasi replika, kita bakal ngandhani sethithik babagan apa replikasi ing panyimpenan.
Minangka teori
Replikasi ing sistem panyimpenan minangka proses terus-terusan kanggo njamin identitas data ing sawetara sistem panyimpenan bebarengan. Secara teknis, replikasi ditindakake kanthi rong cara.
Replikasi sinkron - iki nyalin data saka sistem panyimpenan utama menyang serep, banjur konfirmasi wajib saka sistem panyimpenan yen data wis direkam lan dikonfirmasi. Sawise konfirmasi ing loro-lorone (loro sistem panyimpenan) data kasebut dianggep direkam lan bisa digarap. Iki njamin identitas data sing dijamin ing kabeh sistem panyimpenan sing melu replika.
Keuntungan saka metode iki:
- Data tansah identik ing kabeh sistem panyimpenan
Cons:
- Biaya solusi sing dhuwur (saluran komunikasi cepet, serat optik sing larang, transceiver gelombang dawa, lsp.)
- Watesan jarak (ing sawetara puluhan kilometer)
- Ora ana pangayoman marang korupsi data logis (yen data rusak (sengaja utawa ora sengaja) ing sistem panyimpenan utama, bakal kanthi otomatis lan enggal dadi rusak ing serep, amarga data tansah identik (iku paradoks)
Replikasi asinkron - iki uga nyalin data saka sistem panyimpenan utama menyang serep, nanging kanthi wektu tundha tartamtu lan tanpa perlu konfirmasi nulis ing sisih liyane. Sampeyan bisa nggarap data sanalika sawise ngrekam menyang sistem panyimpenan utama, lan ing sistem panyimpenan serep data bakal kasedhiya sawise sawetara wektu. Identitas data ing kasus iki, mesthi, ora dijamin ing kabeh. Data ing sistem panyimpenan serep tansah rada "ing jaman kepungkur."
Pros saka replikasi asinkron:
- Solusi biaya murah (saluran komunikasi apa wae, optik opsional)
- Ora ana watesan jarak
- Ing sistem panyimpenan serep, data ora rusak yen rusak ing utama (paling ora sawetara wektu); yen data dadi rusak, sampeyan bisa tansah mungkasi replika kanggo nyegah korupsi data ing sistem panyimpenan serep
Cons:
- Data ing pusat data sing beda-beda mesthi ora padha
Mangkono, pilihan mode replikasi gumantung marang tujuan bisnis. Yen penting kanggo sampeyan manawa pusat data serep ngemot data sing padha karo pusat data utama (yaiku, syarat bisnis kanggo RPO = 0), mula sampeyan kudu mbuwang awis lan nyetel watesan sinkron. replika. Lan yen wektu tundha ing negara data bisa ditampa utawa mung ora ana dhuwit, mula sampeyan kudu nggunakake metode asinkron.
Ayo kita uga nyorot mode kasebut (luwih tepat, topologi) minangka metrocluster. Ing mode metrocluster, replikasi sinkron digunakake, nanging, ora kaya replika biasa, metrocluster ngidini loro sistem panyimpenan bisa digunakake ing mode aktif. Sing. sampeyan ora duwe pamisahan antarane pusat data aktif lan siyaga. Aplikasi bisa bebarengan karo rong sistem panyimpenan, kang fisik dumunung ing pusat data beda. Downtimes sak kacilakan ing topologi kuwi cilik banget (RTO, biasane menit). Ing artikel iki, kita ora bakal nganggep implementasine metrocluster, amarga iki minangka topik sing gedhe banget lan jembar, mula kita bakal nyawisake artikel sing kapisah, sabanjure, minangka lanjutan saka iki.
Uga, asring banget, nalika kita ngomong babagan replikasi nggunakake sistem panyimpenan, akeh wong duwe pitakonan sing cukup: > "Akeh aplikasi duwe alat replikasi dhewe, kenapa nggunakake replikasi ing sistem panyimpenan? Apa luwih apik utawa luwih elek?
Ora ana jawaban sing jelas ing kene, mula ana argumen FOR lan CONS:
Argumen kanggo replikasi panyimpenan:
- Kesederhanaan solusi. Kanthi siji alat, sampeyan bisa niru kabeh set data, preduli saka jinis mbukak lan aplikasi. Yen sampeyan nggunakake replika saka aplikasi, sampeyan kudu ngatur saben aplikasi kanthi kapisah. Yen ana luwih saka 2, mula iki arang banget tenaga kerja lan larang (replikasi aplikasi biasane mbutuhake lisensi sing kapisah lan ora gratis kanggo saben aplikasi. Nanging luwih akeh ing ngisor iki).
- Sampeyan bisa niru apa wae - aplikasi apa wae, data apa wae - lan mesthi konsisten. Akeh (paling) aplikasi ora duwe kemampuan replikasi, lan replika saka sistem panyimpenan minangka cara mung kanggo menehi perlindungan saka bencana.
- Ora perlu overpay kanggo fungsi replikasi aplikasi. Minangka aturan, ora murah, kaya lisensi kanggo replika sistem panyimpenan. Nanging sampeyan kudu mbayar lisensi kanggo replikasi panyimpenan sapisan, lan lisensi kanggo replika aplikasi kudu dituku kanggo saben aplikasi kanthi kapisah. Yen ana akeh aplikasi kasebut, mula regane cukup sen lan biaya lisensi kanggo replikasi panyimpenan dadi gulung ing ember.
Argumen AGAINST panyimpenan replikasi:
- Replika liwat aplikasi nduweni fungsi luwih saka sudut pandang aplikasi kasebut dhewe, aplikasi kasebut luwih ngerti data kasebut (jelas), saengga ana luwih akeh pilihan kanggo nggarap.
- Produsen sawetara aplikasi ora njamin konsistensi data kasebut yen replikasi ditindakake nggunakake alat pihak katelu. *
* - tesis kontrovèrsial. Contone, pabrikan DBMS sing kondhang wis resmi ngumumake yen DBMS mung bisa ditiru kanthi normal kanthi nggunakake sarana, lan replikasi liyane (kalebu sistem panyimpenan) "ora bener." Nanging urip wis nuduhake yen ora kaya ngono. Paling kamungkinan (nanging iki ora tartamtu) iki mung ora nyoba paling jujur kanggo ngedol liyane lisensi kanggo pelanggan.
Akibaté, ing paling kasus, replikasi saka sistem panyimpenan luwih apik, amarga Iki minangka pilihan sing luwih prasaja lan luwih murah, nanging ana kasus sing rumit nalika fungsionalitas aplikasi tartamtu dibutuhake, lan kudu digarap replikasi tingkat aplikasi.
Rampung karo teori, saiki praktek
Kita bakal ngatur replika ing lab kita. Ing kahanan laboratorium, kita niru loro pusat data (nyatane, rong rak jejer sing katon ing bangunan sing beda-beda). Stand kasusun saka rong sistem panyimpenan Engine N2, sing disambungake karo kabel optik. Server fisik sing nganggo Windows Server 2016 disambungake menyang loro sistem panyimpenan nggunakake 10Gb Ethernet. Stand cukup prasaja, nanging iki ora ngganti inti.
Skema katon kaya iki:
Secara logis, replikasi diatur kaya ing ngisor iki:
Saiki ayo goleki fungsi replikasi sing saiki ana.
Rong mode didhukung: asinkron lan sinkron. Iku logis yen mode sinkron diwatesi dening jarak lan saluran komunikasi. Utamane, mode sinkron mbutuhake panggunaan serat minangka fisika lan 10 Gigabit Ethernet (utawa luwih dhuwur).
Jarak sing didhukung kanggo replikasi sinkron yaiku 40 kilometer, nilai tundha saluran optik antarane pusat data nganti 2 milidetik. Umumé, bakal bisa karo wektu tundha gedhe, nanging banjur bakal ana slowdowns kuwat sak ngrekam (sing uga logis), supaya yen sampeyan planning replikasi sinkron antarane pusat data, sampeyan kudu mriksa kualitas optik lan telat.
Syarat kanggo replikasi asinkron ora patiya serius. Luwih tepate, dheweke ora ana ing kono. Sembarang sambungan Ethernet bisa digunakake.
Saiki, sistem panyimpenan AERODISK ENGINE ndhukung replikasi kanggo piranti pamblokiran (LUNs) liwat protokol Ethernet (liwat tembaga utawa optik). Kanggo proyek sing mbutuhake replikasi liwat kain SAN liwat Fiber Channel, saiki kita nambah solusi sing cocog, nanging durung siap, mula mung Ethernet.
Replikasi bisa digunakake ing antarane sistem panyimpenan seri ENGINE (N1, N2, N4) saka sistem junior nganti sing lawas lan kosok balene.
Fungsi saka loro mode replikasi temen identik. Ing ngisor iki rincian liyane babagan apa sing kasedhiya:
- Replikasi "siji-siji" utawa "siji-siji", yaiku versi klasik kanthi rong pusat data, utama lan serep.
- Replikasi iku "siji kanggo akeh" utawa "siji kanggo akeh", i.e. siji LUN bisa replikasi kanggo sawetara sistem panyimpenan bebarengan
- Aktifake, mateni, lan "malik" replikasi, mungguh, kanggo ngaktifake, mateni, utawa ngganti arah replikasi
- Replikasi kasedhiya kanggo loro RDG (Raid Distributed Group) lan DDP (Dynamic Disk Pool) pools. Nanging, LUN saka blumbang RDG mung bisa ditiru menyang RDG liyane. Padha karo DDP.
Ana akeh fitur cilik liyane, nanging ora ana titik tartamtu kanggo nyathet; kita bakal nyebutake nalika kita nyiyapake.
Nyetel replikasi
Proses persiyapan cukup prasaja lan kasusun saka telung tahap.
- Konfigurasi jaringan
- Persiyapan panyimpenan
- Nyetel aturan (sambungan) lan pemetaan
Titik penting ing nyetel replikasi yaiku yen rong tahap pisanan kudu diulang ing sistem panyimpenan remot, tahap katelu - mung ing sing utama.
Nyetel sumber daya jaringan
Langkah pisanan yaiku ngatur port jaringan sing bakal dikirimake lalu lintas replikasi. Kanggo nindakake iki, sampeyan kudu ngaktifake port lan nyetel alamat IP ing bagean Adaptor ngarep.
Sawise iki, kita kudu nggawe blumbang (ing kasus RDG) lan IP virtual kanggo replikasi (VIP). VIP minangka alamat IP ngambang sing disambungake menyang rong alamat "fisik" saka pengontrol panyimpenan (port sing mung dikonfigurasi). Iki bakal dadi antarmuka replikasi utama. Sampeyan uga bisa operate ora karo VIP, nanging karo VLAN, yen sampeyan kudu bisa karo lalu lintas diwenehi tag.
Proses nggawe VIP kanggo tiron ora akeh beda saka nggawe VIP kanggo I / O (NFS, SMB, iSCSI). Ing kasus iki, kita nggawe VIP biasa (tanpa VLAN), nanging manawa kanggo nunjukaké sing kanggo réplikasi (tanpa pitunjuk iki kita ora bakal bisa kanggo nambah VIP kanggo aturan ing langkah sabanjure).
VIP kudu ana ing subnet sing padha karo port IP ing antarane sing ngambang.
Kita mbaleni setelan kasebut ing sistem panyimpenan remot, kanthi IP sing beda, mesthi.
VIP saka sistem panyimpenan sing beda-beda bisa ana ing subnet sing beda, sing utama yaiku ana rute ing antarane. Ing kasus kita, conto iki persis ditampilake (192.168.3.XX lan 192.168.2.XX)
Iki ngrampungake persiapan bagean jaringan.
Nyetel panyimpenan
Nyiyapake panyimpenan kanggo replika beda-beda saka biasane mung amarga kita nindakake pemetaan liwat menu khusus "Pemetaan Replikasi". Yen ora, kabeh padha karo persiyapan normal. Saiki, supaya.
Ing blumbang R02 sing sadurunge digawe, sampeyan kudu nggawe LUN. Ayo nggawe lan nyebataken LUN1.
Kita uga kudu nggawe LUN sing padha ing sistem panyimpenan remot kanthi ukuran sing padha. Kita nggawe. Supaya ora bingung, ayo nelpon remote LUN LUN1R
Yen kita kudu njupuk LUN sing wis ana, banjur nalika nyetel replika, kita kudu nyopot LUN produktif iki saka host, lan mung nggawe LUN kosong ukuran sing padha ing sistem panyimpenan remot.
Persiyapan panyimpenan wis rampung, ayo pindhah menyang nggawe aturan replikasi.
Nyetel aturan replikasi utawa pranala replikasi
Sawise nggawe LUN ing sistem panyimpenan, sing bakal dadi sing utama saiki, kita ngatur aturan replikasi LUN1 ing sistem panyimpenan 1 dadi LUN1R ing sistem panyimpenan 2.
Setelan digawe ing menu "Replikasi remot".
Ayo nggawe aturan. Kanggo nindakake iki, sampeyan kudu nemtokake panampa replika. Ing kana kita uga nyetel jeneng sambungan lan jinis replikasi (sinkron utawa asinkron).
Ing lapangan "sistem remot" kita nambah sistem panyimpenan kita2. Kanggo nambah, sampeyan kudu nggunakake sistem panyimpenan IP manajemen (MGR) lan jeneng LUN remot sing bakal ditindakake replikasi (ing kasus kita, LUN1R). IP Kontrol dibutuhake mung ing tataran nambah sambungan; lalu lintas replikasi ora bakal dikirim liwat; VIP sing wis dikonfigurasi sadurunge bakal digunakake kanggo iki.
Wis ing tahap iki, kita bisa nambah luwih saka siji sistem remot kanggo topologi "siji nganti akeh": klik tombol "nambah simpul", kaya ing gambar ing ngisor iki.
Ing kasus kita, mung ana siji sistem remot, mula kita mbatesi awake dhewe.
Aturan wis siyap. Elinga yen ditambahake kanthi otomatis ing kabeh peserta replikasi (ing kasus kita ana loro). Sampeyan bisa nggawe akeh aturan kaya sing disenengi, kanggo nomer LUN lan arah apa wae. Contone, kanggo ngimbangi beban, kita bisa niru bagean saka LUN saka sistem panyimpenan 1 menyang sistem panyimpenan 2, lan sisih liyane, saka sistem panyimpenan 2 menyang sistem panyimpenan 1.
Sistem panyimpenan 1. Sanalika sawise nggawe, sinkronisasi diwiwiti.
Sistem panyimpenan 2. Kita ndeleng aturan sing padha, nanging sinkronisasi wis rampung.
LUN1 ing sistem panyimpenan 1 ana ing peran Utama, yaiku, aktif. LUN1R ing sistem panyimpenan 2 ana ing peran Sekunder, yaiku, siaga yen sistem panyimpenan 1 gagal.
Saiki kita bisa nyambungake LUN kita menyang host.
Kita bakal nyambung liwat iSCSI, sanajan uga bisa ditindakake liwat FC. Nyetel pemetaan liwat iSCSI LUN ing tiron meh ora beda karo skenario biasa, mula kita ora bakal nimbang kanthi rinci ing kene. Yen ana, proses iki diterangake ing artikel "".
Bentenipun mung kita nggawe pemetaan ing menu "Replication Mapping".
Kita nyiyapake pemetaan lan menehi LUN menyang host. Tuan rumah weruh LUN.
Kita format menyang sistem file lokal.
Mekaten, persiyapan rampung. Tes bakal teka sabanjure.
Tes
Kita bakal nyoba telung skenario utama.
- Ngalih peran reguler Sekunder > Utama. Ngoper peran reguler dibutuhake yen, contone, kita kudu nindakake sawetara operasi pencegahan ing pusat data utama lan ing wektu iki, supaya data kasedhiya, kita nransfer beban menyang pusat data serep.
- Ngalih peran darurat Sekunder > Utama (gagal pusat data). Iki minangka skenario utama sing ana replikasi, sing bisa mbantu ngatasi kegagalan pusat data lengkap tanpa mandhegake perusahaan kanggo wektu sing suwe.
- Pecah saluran komunikasi antarane pusat data. Priksa prilaku sing bener saka rong sistem panyimpenan ing kahanan sing sakperangan alesan saluran komunikasi antarane pusat data ora kasedhiya (contone, excavator ndudhuk ing panggonan salah lan nyuwil optik peteng).
Kaping pisanan, kita bakal miwiti nulis data menyang LUN (nulis file kanthi data acak). Kita langsung weruh manawa saluran komunikasi ing antarane sistem panyimpenan digunakake. Iki gampang dingerteni yen sampeyan mbukak ngawasi beban port sing tanggung jawab kanggo replikasi.
Loro sistem panyimpenan saiki duwe data "migunani", kita bisa miwiti tes kasebut.
Yen ngono, ayo deleng jumlah hash saka salah sawijining file lan tulisake.
Ngalih peran biasa
Operasi ngoper peran (ngganti arah replikasi) bisa ditindakake kanthi sistem panyimpenan apa wae, nanging sampeyan isih kudu pindhah menyang loro, amarga sampeyan kudu mateni pemetaan ing Primer, lan ngaktifake ing Secondary (sing bakal dadi Primary). ).
Mungkin saiki ana pitakonan sing cukup: kenapa ora ngotomatisasi iki? Jawaban iki: iku prasaja, replikasi minangka sarana prasaja kanggo tahan bencana, mung adhedhasar operasi manual. Kanggo ngotomatisasi operasi kasebut, ana mode metrocluster, kanthi otomatis, nanging konfigurasi luwih rumit. Kita bakal nulis babagan nyetel metrocluster ing artikel sabanjure.
Ing sistem panyimpenan utama, kita mateni pemetaan kanggo mesthekake yen rekaman mandheg.
Banjur ing salah siji saka sistem panyimpenan (ora Matter, ing utama utawa serep) ing menu "Replikasi Remote", pilih sambungan REPL1 kita lan klik "Ganti peran".
Sawise sawetara detik, LUN1R (sistem panyimpenan serep) dadi Utama.
We map LUN1R karo sistem panyimpenan 2.
Sawise iki, drive E: otomatis dipasang ing host, mung wektu iki "teka" saka LUN1R.
Ing kasus, kita mbandhingake jumlah hash.
Identik. Test lulus.
Failover. Gagal pusat data
Saiki, sistem panyimpenan utama sawise ngoper biasa yaiku sistem panyimpenan 2 lan LUN1R, masing-masing. Kanggo niru kacilakan, kita bakal mateni daya ing loro pengontrol panyimpenan2.
Ora ana akses maneh.
Ayo ndeleng apa sing kedadeyan ing sistem panyimpenan 1 (sing serep saiki).
Kita weruh manawa LUN Utama (LUN1R) ora kasedhiya. Pesen kesalahan katon ing log, ing panel informasi, lan uga ing aturan replikasi dhewe. Dadi, data saka host saiki ora kasedhiya.
Ngganti peran LUN1 menyang Utama.
Aku nggawe pemetaan menyang host.
Priksa manawa drive E katon ing host.
Kita mriksa hash.
Kabeh apik. Sistem panyimpenan kasil slamet saka tiba saka pusat data, kang aktif. Wektu kira-kira sing kita gunakake kanggo nyambungake replikasi "pembalikan" lan nyambungake LUN saka pusat data serep kira-kira 3 menit. Cetha yen ing produksi nyata kabeh luwih rumit, lan saliyane tumindak karo sistem panyimpenan, sampeyan kudu nindakake luwih akeh operasi ing jaringan, ing host, ing aplikasi. Lan ing urip, wektu iki bakal luwih suwe.
Ing kene aku pengin nulis yen kabeh, tes wis rampung kanthi sukses, nanging aja cepet-cepet. Sistem panyimpenan utama "ngapusi", kita ngerti yen nalika "ambruk", ana ing peran Utama. Apa sing kedadeyan yen dumadakan nguripake? Bakal ana rong peran Utama, sing padha karo korupsi data? Ayo dipriksa saiki.
Ayo dumadakan nguripake sistem panyimpenan dhasar.
Dimuat sawetara menit banjur bali menyang layanan sawise sinkronisasi cendhak, nanging ing peran Secondary.
Kabeh OK. Pisah-otak ora kelakon. We panginten babagan iki, lan tansah sawise tiba sistem panyimpenan munggah menyang peran Secondary, preduli saka apa peran iku ing "sajrone urip." Saiki kita bisa ngomong manawa tes kegagalan pusat data sukses.
Gagal saluran komunikasi antarane pusat data
Tugas utama tes iki yaiku kanggo mesthekake yen sistem panyimpenan ora wiwit tumindak aneh yen ilang saluran komunikasi ing antarane rong sistem panyimpenan lan banjur katon maneh.
Dadi. Kita medhot kabel antarane sistem panyimpenan (ayo mbayangno sing padha digali dening excavator).
Ing Primary kita weruh yen ora ana hubungane karo Secondary.
Ing Secondary kita weruh yen ora ana hubungane karo Primary.
Kabeh kerjane apik, lan kita terus nulis data menyang sistem panyimpenan utama, yaiku, dijamin beda karo sing serep, yaiku, "dipisahake".
Ing sawetara menit kita "ndandani" saluran komunikasi. Sanalika sistem panyimpenan bisa ndeleng siji liyane, sinkronisasi data diaktifake kanthi otomatis. Ora ana sing dibutuhake saka administrator ing kene.
Sawise sawetara wektu, sinkronisasi wis rampung.
Sambungan kasebut dibalekake, saluran komunikasi ilang ora nyebabake kahanan darurat, lan sawise diuripake, sinkronisasi ditindakake kanthi otomatis.
temonan
Kita nganalisa teori - apa sing dibutuhake lan kenapa, ing endi pro lan endi sing kontra. Banjur kita nyiyapake replikasi sinkron ing antarane rong sistem panyimpenan.
Sabanjure, tes dhasar ditindakake kanggo ngoper normal, gagal pusat data lan gagal saluran komunikasi. Ing kabeh kasus, sistem panyimpenan bisa digunakake kanthi apik. Ora ana mundhut data lan operasi administratif tetep minimal kanggo skenario manual.
Sabanjure kita bakal complicate kahanan lan nuduhake carane kabeh logika iki bisa digunakake ing metrocluster otomatis ing mode aktif-aktif, sing, nalika loro sistem panyimpenan utami, lan prilaku ing cilik saka sistem panyimpenan wis kebak otomatis.
Mangga nulis komentar, kita bakal seneng nampa kritik swara lan saran praktis.
Sampai ketemu maneh.
Source: www.habr.com