Klien Turki njaluk supaya ngatur serep kanthi bener kanggo pusat data. Kita nindakake proyek sing padha ing Rusia, nanging ing kene critane luwih akeh babagan riset babagan cara paling apik kanggo nindakake.
Given: ana panyimpenan S3 lokal, ana Veritas NetBackup, sing wis entuk fungsi ditambahi anyar kanggo mindhah data kanggo panyimpenan obyek, saiki karo support kanggo deduplication, lan ana masalah karo papan free ing panyimpenan lokal iki.
Tugas: nggawe kabeh supaya proses nyimpen salinan serep cepet lan murah.
Bener, sadurunge iki, kabeh ing S3 mung file, lan iki minangka cast lengkap saka mesin kritis pusat data. Sing, iku ora banget optimized, nanging kabeh bisa ing wiwitan. Saiki wektune kanggo ngerteni lan nindakake kanthi bener.
Gambar nuduhake apa sing kita teka:
Nalika sampeyan bisa ndeleng, serep pisanan digawe alon (70 Mb / s), lan serep sakteruse saka sistem padha luwih cepet.
Bener, luwih akeh rincian liyane babagan fitur sing ana.
Log serep kanggo wong-wong sing wis siyap maca setengah kaca dumpLengkap karo rescan
18 Desember 2018 12:09:43 PM β Info bpbkar (pid=4452) akselerator dikirim 14883996160 bita saka 14883994624 bita menyang server, optimasi 0.0%
18 Desember 2018 12:10:07 - Info NBCC (pid = 23002) StorageServer = PureDisk_rhceph_rawd: s3.cloud.ngn.com.tr; Report = PDDO Stats (multi-threaded stream digunakake) kanggo (NBCC): mentas: 14570817 KB, CR dikirim: 1760761 KB, CR dikirim liwat FC: 0 KB, dedup: 87.9%, cache dipatèni
Full
18 Desember 2018 12:13:18 PM β Info bpbkar (pid=2864) akselerator dikirim 181675008 bita saka 14884060160 bita menyang server, optimasi 98.8%
18 Desember 2018 12:13:40 - Info NBCC (pid=23527) StorageServer=PureDisk_rhceph_rawd:s3.cloud.ngn.com.tr; Laporan = Statistik PDDO kanggo (NBCC): dipindai: 14569706 KB, CR dikirim: 45145 KB, CR dikirim liwat FC: 0 KB, dedup: 99.7%, cache dipateni
Incremental
18 Desember 2018 12:15:32 PM β Info bpbkar (pid=792) akselerator dikirim 9970688 bita saka 14726108160 bita menyang server, optimasi 99.9%
18 Desember 2018 12:15:53 - Info NBCC (pid=23656) StorageServer=PureDisk_rhceph_rawd:s3.cloud.ngn.com.tr; Laporan = Statistik PDDO kanggo (NBCC): dipindai: 14383788 KB, CR dikirim: 15700 KB, CR dikirim liwat FC: 0 KB, dedup: 99.9%, cache dipateni
Full
18 Desember 2018 12:18:02 PM β Info bpbkar (pid=3496) akselerator dikirim 171746816 bita saka 14884093952 bita menyang server, optimasi 98.8%
18 Desember 2018 12:18:24 - Info NBCC (pid=23878) StorageServer=PureDisk_rhceph_rawd:s3.cloud.ngn.com.tr; Laporan = Statistik PDDO kanggo (NBCC): dipindai: 14569739 KB, CR dikirim: 34120 KB, CR dikirim liwat FC: 0 KB, dedup: 99.8%, cache dipateni
Apa masalahe
Pelanggan pengin nggawe serep sabisa-bisa lan nyimpen kanthi murah. Paling apik kanggo nyimpen kanthi murah ing panyimpenan obyek kayata S3, amarga paling murah kanthi biaya layanan saben Megabyte saka ngendi sampeyan bisa muter serep ing wektu sing cukup. Nalika ana akeh serep, dadi ora murah banget, amarga umume panyimpenan dikuwasani dening salinan data sing padha. Ing kasus HaaS saka kolega Turki, panyimpenan bisa dipadhetke kira-kira 80-90%. Cetha sing iki hubungane khusus kanggo spesifik, nanging aku mesthi bakal Count ing paling 50% mbah.
Kanggo ngatasi masalah kasebut, vendor utama wis suwe nggawe gateway menyang Amazon S3. Kabeh cara sing kompatibel karo S3 lokal anggere padha ndhukung API Amazon. Ing pusat data Turki, serep digawe kanggo S3 kita, uga ing "Kompresor" T-III ing Rusia, amarga skema karya iki wis apik kanggo kita.
Lan S3 kita kompatibel karo cara serep Amazon S3. Yaiku, kabeh alat serep sing ndhukung metode kasebut ngidini sampeyan nyalin kabeh menyang panyimpenan kasebut "metu saka kothak."
Veritas NetBackup nambahake fitur CloudCatalyst:
Yaiku, ing antarane mesin sing kudu digawe serep lan gateway, ana server Linux penengah liwat lalu lintas serep saka agen SRK lan deduplicated ing fly sadurunge nransfer menyang S3. Yen sadurunge ana 30 serep 20 GB kanthi kompresi, saiki (amarga mesin sing padha) volume dadi 90% luwih cilik. Mesin deduplikasi digunakake padha karo nalika nyimpen ing disk biasa nggunakake Netbackup.
Mangkene kedadeyan sadurunge server penengah:
Kita dites lan teka menyang kesimpulan yen dileksanakake ing pusat data kita, iki ngirit papan ing panyimpenan S3 kanggo kita lan kanggo pelanggan. Minangka pemilik saka pusat data komersial, mesthi, kita ngisi miturut volume dikuwasani, nanging isih banget duwe bathi kanggo kita banget - amarga kita miwiti nggawe dhuwit ing panggonan liyane keukur ing piranti lunak, lan ora ing nyewakake hardware. Inggih, lan iki nyuda biaya internal.
Log228 Proyek (0 Antri 0 Aktif 0 Nunggu Coba maneh 0 Ditunda 0 Ora Rampung 228 Rampung β 13 dipilih)
(Saringan Ditrapake [13])
Jinis Id Proyek Negara Rincian Negara Status Kabijakan Proyek Jadwal Proyek Server Media Klien Wektu Miwiti Wektu Kasedhiya Wektu Pungkasan Wektu Unit Panyimpenan Nyoba Operasi Kilobita File Jeneng Jalur % Rampung (Estimasi) Pemilik PID Proyek Nyalin ID Proyek Induk KB/detik Aktif Mulai Aktif Sesi Profil Robot Vault ID Media kanggo Ngeculake Gerakan Data Off-Host Tipe Master Prioritas Deduplikasi Tingkat Transportasi Akselerator Optimization Instance utawa Database Share Host
β 1358 Snapshot Rampung 0 VMware β NGNCloudADC NBCC 18 Desember 2018 12:16:19 00:02:18 18 Desember 2018 12:18:37 STU_DP_S3_**** serep 1 100 1358 Desember 18% ROOT :2018:12 PM 16:27:00 Instant Recovery Disk Standard WIN-********** 02
1360 Gawe serep Rampung 0 VMware Full NGNCloudADC NBCC 18 Desember 2018 12:16:48 00:01:39 18 Desember 2018 12:18:27 STU_DP_S3_**** serep 1 14,535,248 149654 100 23858 1358% 335,098 18 Dhésèmber , 2018 12:16:48 PM 00:01:39 Instant Recovery Disk Standard WIN-********** 0 99.8% 99%
1352 Gambar Rampung 0 VMware - NGNCloudADC NBCC 18 Desember 2018 12:14:04 00:02:01 18 Desember 2018 12:16:05 STU_DP_S3_**** serep 1 100% root 1352 Desember 18 2018:12 PM 14:14:00 Instant Recovery Disk Standard WIN-********** 01
1354 Gawe serep Rampung 0 VMware Incremental NGNCloudADC NBCC 18 Desember 2018 12:14:34 00:01:21 18 Desember 2018 12:15:55 STU_DP_S3_**** serep 1 14,380,965 147 100 23617 1352 Desember , 500,817 18:2018:12 PM 14:34:00 Instan Recovery Disk Standard WIN-********** 01 21% 0%
1347 Gambar Rampung 0 VMware - NGNCloudADC NBCC 18 Desember 2018 12:11:45 00:02:08 18 Desember 2018 12:13:53 STU_DP_S3_**** serep 1 100% root 1347 Desember 18 2018:12 PM 11:45:00 Instant Recovery Disk Standard WIN-********** 02
1349 Gawe serep Rampung 0 VMware Full NGNCloudADC NBCC 18 Desember 2018 12:12:02 00:01:41 18 Desember 2018 12:13:43 STU_DP_S3_**** serep 1 14,535,215 149653 100 23508 1347% 316,319 18 Dhésèmber , 2018 12:12:02 PM 00:01:41 Instant Recovery Disk Standard WIN-********** 0 99.7% 99%
1341 Gambar Rampung 0 VMware - NGNCloudADC NBCC 18 Desember 2018 12:05:28 00:04:53 18 Desember 2018 12:10:21 STU_DP_S3_**** serep 1 100% root 1341 Desember 18 2018:12 PM 05:28:00 Instant Recovery Disk Standard WIN-********** 04
1342 Gawe serep Rampung 0 VMware Full_Rescan NGNCloudADC NBCC 18 Desember 2018 12:05:47 00:04:24 18 Desember 2018 12:10:11 STU_DP_S3_**** serep 1 14,535,151 149653 100 22999% root 1341 70,380 Dhésèmber 18, 2018 12:05:47 00:04:24 Standar Disk Recovery Cepet WIN-************ 0 87.9% 0%
1339 Snapshot Rampung 150 VMware - NGNCloudADC NBCC 18 Desember 2018 11:05:46 00:00:53 18 Desember 2018 11:06:39 STU_DP_S3_**** serep 1 100% 1339 Desember, 18 Desember 2018 serep 11:05 AM 46:00:00 Instant Recovery Disk Standard WIN-********** 53
1327 Gambar Rampung 0 VMware - *******.********.cloud NBCC 17 Desember 2018 12:54:42 05:51:38 17 Desember 2018 6:46:20 STU_DP_S3_**** serep 1 100% root 1327 17 Desember 2018 12:54:42 05:51:38 Instant Recovery Disk Standard WIN-********** 0
1328 Gawe serep Rampung 0 VMware Lengkap *******.********.cloud NBCC 17 Desember 2018 12:55:10 05:29:21 17 Desember 2018 6:24:31 STU_DP_S3_**** serep 1 222,602,719 258932 100% 12856 ROOT 1327 11,326 17 Desember 2018 12:55:10 PM 05:29:21 Instan Recovery Disk Standard WIN-********** 0% WIN-*********** 87.9%
1136 Gambar Rampung 0 VMware - *******.********.cloud NBCC 14 Desember 2018 4:48:22 04:05:16 14 Desember 2018 8:53:38 STU_DP_S3_**** serep 1 100% root 1136 14 Desember 2018 4:48:22 04:05:16 Instant Recovery Disk Standard WIN-********** 0
1140 Gawe serep Rampung 0 VMware Full_Scan *******.********.cloud NBCC 14 Desember 2018 4:49:14 03:49:58 14 Desember 2018 8:39:12 STU_DP_S3_**** serep 1 217,631,332 255465 100% 26438 ROOT 1136 15,963 Desember 14, 2018 4:49:14 03:49:58 Instan Recovery Disk Standar% WIN-********** 0 45.2%
Akselerator ngidini sampeyan nyuda lalu lintas saka agen, amarga Mung owah-owahan data sing ditularakΓ©, sing, malah serep lengkap ora diunggah kabeh, amarga server media ngumpulake serep lengkap sakteruse saka serep tambahan.
Server penengah nduweni panyimpenan dhewe, ing ngendi dheweke nulis "cache" data lan njaga database kanggo deduplikasi.
Arsitektur lengkap katon kaya iki:
- Server master ngatur konfigurasi, nganyari, lan liya-liyane lan dumunung ing mΓ©ga.
- Server media (mesin *nix penengah) kudu paling cedhak karo sistem sing keluwih saka segi aksesibilitas jaringan. Ing kene, deduplikasi serep saka kabeh mesin sing dilindhungi wis rampung.
- Ing mesin sing digawe serep ana agen sing umume ngirim menyang server media mung sing ora ana ing panyimpenan.
Kabeh diwiwiti kanthi scan lengkap - iki minangka serep lengkap lengkap. Ing titik iki, server media njupuk kabeh, deduplicate lan transfer menyang S3. Kacepetan menyang server media kurang, nanging saka iku luwih dhuwur. Watesan utama yaiku daya komputasi server.
Serep ing ngisor iki digawe lengkap saka sudut pandang kabeh sistem, nanging nyatane kaya serep lengkap sintetik. Tegese, transfer lan rekaman nyata menyang server media mung dumadi saka pamblokiran data sing durung ditemoni ing serep VM sadurunge. Lan mung pamblokiran data sing hash ora ana ing database deduplikasi server media sing ditransfer lan direkam ing S3. Ing tembung sing luwih prasaja, iki minangka sing durung nate katon ing serep VM siji sadurunge.
Sajrone mulihake, server media njaluk obyek deduplicated perlu saka S3, rehydrates lan transfer menyang agen IRB, i.e. iku perlu kanggo njupuk menyang akun volume lalu lintas sak mulihake, kang bakal padha karo volume nyata saka data dibalèkaké.
Punika ingkang sepertos:
Lan ing kene ana potongan log liyane169 Proyek (0 Antri 0 Aktif 0 Nunggu Coba maneh 0 Ditunda 0 Ora Rampung 169 Rampung β 1 dipilih)
Jinis Id Proyek Negara Rincian Negara Status Kabijakan Proyek Jadwal Proyek Server Media Klien Wektu Miwiti Wektu Kasedhiya Wektu Pungkasan Wektu Unit Panyimpenan Nyoba Operasi Kilobita File Jeneng Jalur % Rampung (Estimasi) Pemilik PID Proyek Nyalin ID Proyek Induk KB/detik Aktif Mulai Aktif Sesi Profil Robot Vault ID Media kanggo Ngeculake Gerakan Data Off-Host Tipe Master Prioritas Deduplikasi Tingkat Transportasi Akselerator Optimization Instance utawa Database Share Host
-. :1372 PM 0:01:19 MENANG-********** 2018
Integritas data dijamin dening pangayoman saka S3 dhewe - ana redundansi apik ana kanggo nglindhungi saka Gagal hardware kayata mati hard drive kumparan.
Server media mbutuhake cache 4 TB - iki minangka rekomendasi ukuran minimal Veritas. Luwih luwih apik, nanging sing ditindakake.
Asile
Nalika partner mbuwang 3 GB menyang S20 kita, kita disimpen 60 GB, amarga kita nyedhiyani telung geo-reservasi data. Saiki ana kurang lalu lintas, sing apik kanggo saluran lan kanggo tarif panyimpenan.
Ing kasus iki, rute ditutup liwat "Internet amba", nanging sampeyan bisa nyopir lalu lintas liwat VPN L2 liwat Internet, nanging luwih apik kanggo nginstal server media sadurunge mlebu panyedhiya.
Yen sampeyan kepengin sinau babagan fitur kasebut ing pusat data Rusia utawa duwe pitakon babagan implementasine ing omah, takon ing komentar utawa email. [email dilindhungi].
Source: www.habr.com