Klién Turki kami naroskeun kami pikeun leres ngonpigurasikeun cadangan pikeun pusat datana. Kami ngalakukeun proyék anu sami di Rusia, tapi di dieu caritana langkung seueur ngeunaan nalungtik kumaha cara anu pangsaéna pikeun ngalakukeunana.
Dibikeun: aya gudang S3 lokal, aya Veritas NetBackup, nu geus kaala fungsionalitas dimekarkeun anyar pikeun mindahkeun data ka gudang obyék, ayeuna kalayan rojongan pikeun deduplication, tur aya masalah jeung spasi bébas dina gudang lokal ieu.
Tugas: sangkan sagalana sangkan prosés nyimpen salinan cadangan gancang tur murah.
Sabenerna, sateuacan ieu, sagalana dina S3 ngan saukur file, sarta ieu casts lengkep mesin kritis puseur data. Nyaéta, éta henteu dioptimalkeun pisan, tapi sadayana damel di mimiti. Ayeuna waktuna pikeun terang éta sareng ngalakukeun éta leres.
Gambar nunjukkeun naon anu urang sumping ka:
Sakumaha anjeun tiasa tingali, cadangan kahiji dijieun lalaunan (70 Mb / s), sarta cadangan saterusna tina sistem anu sarua éta leuwih gancang.
Sabenerna, salajengna aya sababaraha langkung rinci ngeunaan fitur naon anu aya.
Log cadangan pikeun jalma anu siap maca satengah halaman dumpPinuh ku rescan
Dec 18, 2018 12:09:43 PM — Info bpbkar (pid=4452) akselerator dikirim 14883996160 bait tina 14883994624 bait ka server, optimasi 0.0%
Désémber 18, 2018 12:10:07 - Info NBCC (pid = 23002) StorageServer = PureDisk_rhceph_rawd: s3.cloud.ngn.com.tr; Laporan = PDDO Stats (multi-threaded stream dipaké) pikeun (NBCC): discan: 14570817 KB, CR dikirim: 1760761 KB, CR dikirim ngaliwatan FC: 0 KB, dedup: 87.9%, cache ditumpurkeun
pinuh
Dec 18, 2018 12:13:18 PM — Info bpbkar (pid=2864) akselerator dikirim 181675008 bait tina 14884060160 bait ka server, optimasi 98.8%
Désémber 18, 2018 12:13:40 - Info NBCC (pid = 23527) StorageServer = PureDisk_rhceph_rawd: s3.cloud.ngn.com.tr; Laporan = PDDO Stats pikeun (NBCC): discan: 14569706 KB, CR dikirim: 45145 KB, CR dikirim ngaliwatan FC: 0 KB, dedup: 99.7%, cache ditumpurkeun
Incremental
Dec 18, 2018 12:15:32 PM — Info bpbkar (pid=792) akselerator dikirim 9970688 bait tina 14726108160 bait ka server, optimasi 99.9%
Désémber 18, 2018 12:15:53 - Info NBCC (pid = 23656) StorageServer = PureDisk_rhceph_rawd: s3.cloud.ngn.com.tr; Laporan = PDDO Stats pikeun (NBCC): discan: 14383788 KB, CR dikirim: 15700 KB, CR dikirim ngaliwatan FC: 0 KB, dedup: 99.9%, cache ditumpurkeun
pinuh
Dec 18, 2018 12:18:02 PM — Info bpbkar (pid=3496) akselerator dikirim 171746816 bait tina 14884093952 bait ka server, optimasi 98.8%
Désémber 18, 2018 12:18:24 - Info NBCC (pid = 23878) StorageServer = PureDisk_rhceph_rawd: s3.cloud.ngn.com.tr; Laporan = PDDO Stats pikeun (NBCC): discan: 14569739 KB, CR dikirim: 34120 KB, CR dikirim ngaliwatan FC: 0 KB, dedup: 99.8%, cache ditumpurkeun
Naon masalahna
Konsumén hoyong ngadamel cadangan sering-gancang sareng nyimpen éta samurah-gancang. Hadé pisan mun éta nyimpen éta murah di gudang obyék kayaning S3, sabab éta cheapest di ongkos jasa per Megabyte ti mana anjeun bisa gulung cadangan deui dina waktu nu lumrah. Nalika aya seueur cadangan, éta janten henteu murah pisan, sabab kalolobaan panyimpen dijajah ku salinan data anu sami. Dina kasus HaaS kolega Turki, gudang tiasa dipadatkan ku sakitar 80-90%. Ieu jelas yén ieu patali husus ka specifics maranéhna, tapi pasti bakal cacah dina sahanteuna 50% akina.
Pikeun ngajawab masalah, nu ngical paralatan utama geus lila nyieun gateways ka Amazon S3. Sadaya metodeu cocog sareng S3 lokal salami aranjeunna ngadukung API Amazon. Di puseur data Turki, cadangan dijieun pikeun S3 urang, kitu ogé dina T-III "Compressor" di Rusia, sabab skéma gawé ieu geus digawé ogé pikeun urang.
Sareng S3 kami sapinuhna cocog sareng metode cadangan Amazon S3. Nyaéta, sadaya alat cadangan anu ngadukung metode ieu ngamungkinkeun anjeun nyalin sadayana kana panyimpenan sapertos "out of the box".
Veritas NetBackup nambihan fitur CloudCatalyst:
Nyaéta, antara mesin anu kedah dicadangkeun sareng gateway, aya server Linux perantara anu ngalangkungan lalu lintas cadangan ti agén SRK sareng di-deduplicated dina laleur sateuacan mindahkeun ka S3. Upami baheula aya 30 cadangan 20 GB kalayan komprési, ayeuna (kusabab kasaruaan mesin) volumena janten 90% langkung alit. Mesin deduplikasi dianggo sami sareng nalika nyimpen dina disk biasa nganggo Netbackup.
Ieu naon anu lumangsung sateuacan server perantara:
Kami nguji sareng nyimpulkeun yén nalika dilaksanakeun di pusat data kami, ieu ngahémat rohangan dina panyimpenan S3 pikeun kami sareng pikeun konsumén. Salaku nu boga puseur data komérsial, tangtosna, urang ngecas nurutkeun volume nempatan, tapi masih pohara nguntungkeun pikeun urang teuing - sabab urang ngamimitian nyieun duit dina tempat nu leuwih scalable dina software, sarta teu on renting hardware. Nya, sareng ieu mangrupikeun pangurangan biaya internal.
Log228 Pakasaban (0 Ngantri 0 Aktif 0 Ngadagoan Cobian deui 0 Ditunda 0 Teu Rengse 228 Rengse — 13 Dipilih)
(Saringan Dilarapkeun [13])
Id Pakasaban Tipe Propinsi Rincian Status Status Kabijakan Pakasaban Jadwal Pakasaban Klien Media Server Mimitian Waktos Waktos Tungtung Waktos Unit Panyimpenan Usaha Operasi Kilobytes Files Pathname % Rengse (Estimasi) Pamilik PID Proyék Salin Indungna Proyék ID KB/Sec Aktif Mimitian Aktif Kaliwat Robot Kolong Propil Sidang ID Media pikeun Ngaluarkeun Gerakan Data Pareum-Host Tipe Master Prioritas Deduplikasi Laju Angkutan Akselerator Optimasi Instance atanapi Database Bagikeun Host
— 1358 Snapshot Rengse 0 VMware — NGNCloudADC NBCC Dec 18, 2018 12:16:19 PM 00:02:18 Dec 18, 2018 12:18:37 PM STU_DP_S3_**** cadangan 1 100% root 1358 Dec 18 :2018:12 PM 16:27:00 Instant Recovery Disk Standard WIN-********** 02
1360 Nyadangkeun Rengse 0 VMware Full NGNCloudADC NBCC 18 Desember 2018 12:16:48 00:01:39 Désémber 18, 2018 12:18:27 STU_DP_S3_**** cadangan 1 14,535,248 149654 100 23858 root 1358 Désémber 335,098, 18 2018:12:16 PM 48:00:01 Instan Pamulihan Disk Standar WIN-************ 39 0% 99.8%
1352 Snapshot Réngsé 0 VMware - NGNCloudADC NBCC 18 Désémber 2018 12:14:04 00:02:01 18 Désémber 2018 12:16:05 STU_DP_S3_**** cadangan 1 100% akar 1352 18 Dec 2018 12:14 PM 14:00:01 Instan Recovery Disk Standar WIN-********** 51
1354 Nyadangkeun Rengse 0 VMware Incremental NGNCloudADC NBCC 18 Desember 2018 12:14:34 00:01:21 18 Desember 2018 12:15:55 STU_DP_S3_**** cadangan 1 14,380,965 147 100 23617 root 1352 Désémber 500,817, 18 2018:12:14 PM 34:00:01 Instan Pamulihan Disk Standar WIN-************ 21 0% 99.9%
1347 Snapshot Réngsé 0 VMware - NGNCloudADC NBCC 18 Désémber 2018 12:11:45 00:02:08 18 Désémber 2018 12:13:53 STU_DP_S3_**** cadangan 1 100% akar 1347 18 Dec 2018 12:11 PM 45:00:02 Instan Recovery Disk Standar WIN-********** 08
1349 Nyadangkeun Rengse 0 VMware Full NGNCloudADC NBCC 18 Desember 2018 12:12:02 00:01:41 Désémber 18, 2018 12:13:43 STU_DP_S3_**** cadangan 1 14,535,215 149653 100 23508 root 1347 Désémber 316,319, 18 2018:12:12 PM 02:00:01 Instan Pamulihan Disk Standar WIN-************ 41 0% 99.7%
1341 Snapshot Réngsé 0 VMware - NGNCloudADC NBCC 18 Désémber 2018 12:05:28 00:04:53 18 Désémber 2018 12:10:21 STU_DP_S3_**** cadangan 1 100% akar 1341 18 Dec 2018 12:05 PM 28:00:04 Instan Recovery Disk Standar WIN-********** 53
1342 Nyadangkeun Rengse 0 VMware Full_Rescan NGNCloudADC NBCC 18 Desember 2018 12:05:47 00:04:24 18 Desember 2018 12:10:11 STU_DP_S3_**** cadangan 1 14,535,151 149653 100 22999 1341 70,380 18 Désémber 2018, 12 05:47:00 PM 04:24:0 Instan Pamulihan Disk Standar WIN-************ 87.9 0% XNUMX%
1339 Snapshot Réngsé 150 VMware - NGNCloudADC NBCC 18 Désémber 2018 11:05:46 00:00:53 Désémber 18, 2018 11:06:39 STU_DP_S3_**** cadangan 1 100% akar 1339 Dec. 18:2018 AM 11:05:46 Instan Recovery Disk Standar WIN-********** 00
1327 Snapshot Réngsé 0 VMware - *******.********.cloud NBCC 17 Désémber 2018 12:54:42 05:51:38 17 Désémber 2018 6:46:20 STU_DP_S3_**** cadangan 1 100% root 1327 Dec 17, 2018 12:54:42 PM 05:51:38 Instan Pamulihan disk Standar WIN-********** 0
1328 Nyadangkeun Rengse 0 VMware Pinuh *******.********.cloud NBCC 17 Desember 2018 12:55:10 05:29:21 17 Desember 2018 6:24:31 STU_DP_S3_**** cadangan 1 222,602,719 258932 100% 12856 akar 1327 11,326 Désémber 17, 2018 12:55:10 05:29:21 Instan Pamulihan disk Standar WIN-*********** 0% WIN-*********** 87.9%
1136 Snapshot Réngsé 0 VMware - *******.********.cloud NBCC 14 Désémber 2018 4:48:22 04:05:16 14 Désémber 2018 8:53:38 STU_DP_S3_**** cadangan 1 100% root 1136 Dec 14, 2018 4:48:22 PM 04:05:16 Instan Pamulihan disk Standar WIN-********** 0
1140 Nyadangkeun Rengse 0 VMware Full_Scan *******.********.cloud NBCC 14 Desember 2018 4:49:14 03:49:58 14 Desember 2018 8:39:12 STU_DP_S3_**** cadangan 1 217,631,332 255465 100% 26438 akar 1136 15,963 Désémber 14, 2018 4:49:14 03:49:58 Instan Pamulihan Disk Standar% WIN-************* 0%
Akselerator ngidinan Anjeun pikeun ngurangan lalulintas ti agén, sabab Ngan parobahan data anu dikirimkeun, nyaeta, sanajan cadangan pinuh teu diunggah sagemblengna, saprak server media ngumpulkeun cadangan pinuh saterusna tina cadangan incremental.
The server panengah boga gudang sorangan, dimana eta nyerat "cache" data jeung mertahankeun database pikeun deduplication.
Arsitéktur lengkep sapertos kieu:
- Master server ngatur konfigurasi, apdet, jeung sajabana sarta perenahna di awan.
- Pangladén média (panengah *mesin nix) kedah ayana pangdeukeutna ka sistem anu kaleuleuwihan dina hal aksésibilitas jaringan. Di dieu, deduplikasi cadangan tina sadaya mesin anu dicadangkeun parantos dilakukeun.
- Dina mesin anu dicadangkeun aya agén anu umumna ngirimkeun ka server média ngan ukur anu henteu aya dina panyimpenanna.
Éta sadayana dimimitian ku scan pinuh - ieu mangrupikeun cadangan lengkep. Dina titik ieu, server media nyokot sagalana, deduplicates sarta mindahkeun ka S3. Laju ka pangladén média rendah, tapi tina éta langkung luhur. Watesan utama nyaéta kakuatan komputasi server.
Cadangan di handap ieu dilakukeun lengkep tina sudut pandang sadaya sistem, tapi kanyataanana aranjeunna sapertos cadangan pinuh sintétik. Nyaéta, transfer sareng ngarékam saleresna ka pangladén média ngan ukur aya tina blok data anu henteu acan kapendak dina cadangan VM sateuacana. Sareng ngan ukur blok data anu hash henteu aya dina pangkalan data deduplikasi pangladén média anu ditransfer sareng dirékam dina S3. Dina kecap anu langkung saderhana, ieu mangrupikeun hal anu teu acan kantos katingal dina cadangan VM tunggal sateuacanna.
Salila malikkeun, server média menta objék deduplicated perlu ti S3, rehydrates aranjeunna sarta mindahkeun ka agén IRB, i.e. perlu tumut kana akun volume lalulintas salila malikkeun, nu bakal sarua jeung volume sabenerna data keur disimpen.
Kieu rupana:
Sareng ieu sapotong log anu sanés169 Pakasaban (0 Ngantri 0 Aktif 0 Ngadagoan Cobian deui 0 Ditunda 0 Teu Rengse 169 Rengse — 1 Dipilih)
Id Pakasaban Tipe Propinsi Rincian Status Status Kabijakan Pakasaban Jadwal Pakasaban Klien Media Server Mimitian Waktos Waktos Tungtung Waktos Unit Panyimpenan Usaha Operasi Kilobytes Files Pathname % Rengse (Estimasi) Pamilik PID Proyék Salin Indungna Proyék ID KB/Sec Aktif Mimitian Aktif Kaliwat Robot Kolong Propil Sidang ID Media pikeun Ngaluarkeun Gerakan Data Pareum-Host Tipe Master Prioritas Deduplikasi Laju Angkutan Akselerator Optimasi Instance atanapi Database Bagikeun Host
— 1372 Mulangkeun Réngsé 0 nbpr01 NBCC 19 Désémber 2018 1:05:58 00:04:32 Désémber 19, 2018 1:10:30 1 14,380,577 1 100% 8548 akar 1372 70,567 19 Dec PM 2018:1:06 WIN-************** 00
Integritas data dipastikeun ku panangtayungan S3 sorangan - aya redundansi anu saé pikeun ngajagaan tina kagagalan hardware sapertos spindle hard drive anu maot.
Pangladén média peryogi 4 TB cache - ieu mangrupikeun rekomendasi ukuran minimum Veritas. Langkung langkung saé, tapi éta anu urang laksanakeun.
hasil
Nalika pasangan threw 3 GB kana S20 kami, kami disimpen 60 GB, sabab kami nyadiakeun triple geo-reservations data. Ayeuna aya langkung seueur lalulintas, anu saé pikeun saluran sareng tarif neundeun.
Dina hal ieu, ruteu ditutup ngaliwatan "Internet badag", tapi anjeun bisa ngajalankeun lalulintas ngaliwatan VPN L2 ngaliwatan Internet, tapi leuwih hade masang server media saméméh lawang panyadia.
Upami anjeun resep diajar ngeunaan fitur ieu di pusat data Rusia kami atanapi gaduh patarosan ngeunaan palaksanaan di bumi, tanyakeun dina koméntar atanapi ku email. [email dijaga].
sumber: www.habr.com