Pelanggan Turki kami meminta kami mengkonfigurasi sandaran dengan betul untuk pusat data mereka. Kami sedang melakukan projek serupa di Rusia, tetapi di sini ceritanya lebih lanjut mengenai penyelidikan cara terbaik untuk melakukannya.
Memandangkan: terdapat storan S3 tempatan, terdapat Veritas NetBackup, yang telah memperoleh fungsi diperluaskan baharu untuk mengalihkan data ke storan objek, kini dengan sokongan untuk penyahduplikasian, dan terdapat masalah dengan ruang kosong dalam storan tempatan ini.
Tugas: untuk membuat segala-galanya supaya proses menyimpan salinan sandaran adalah cepat dan murah.
Sebenarnya, sebelum ini, segala-galanya dalam S3 hanyalah fail, dan ini adalah lakonan lengkap mesin kritikal pusat data. Iaitu, ia tidak begitu dioptimumkan, tetapi semuanya berfungsi pada permulaannya. Kini tiba masanya untuk memikirkannya dan melakukannya dengan betul.
Gambar menunjukkan apa yang kami datangi:
Seperti yang anda lihat, sandaran pertama dibuat perlahan-lahan (70 Mb/s), dan sandaran seterusnya bagi sistem yang sama adalah lebih pantas.
Sebenarnya, lebih lanjut terdapat sedikit lagi butiran tentang ciri-ciri yang ada.
Log sandaran untuk mereka yang bersedia membaca separuh halaman dumpPenuh dengan imbasan semula
18 Dis 2018 12:09:43 PTG β Pemecut maklumat bpbkar (pid=4452) menghantar 14883996160 bait daripada 14883994624 bait ke pelayan, pengoptimuman 0.0%
18 Dis 2018 12:10:07 PTG - Maklumat NBCC (pid=23002) StorageServer=PureDisk_rhceph_rawd:s3.cloud.ngn.com.tr; Laporan=Statistik PDDO (strim berbilang benang digunakan) untuk (NBCC): diimbas: 14570817 KB, CR dihantar: 1760761 KB, CR dihantar melalui FC: 0 KB, deup: 87.9%, cache dilumpuhkan
Penuh
18 Dis 2018 12:13:18 PTG β Pemecut maklumat bpbkar (pid=2864) menghantar 181675008 bait daripada 14884060160 bait ke pelayan, pengoptimuman 98.8%
18 Dis 2018 12:13:40 PTG - Maklumat NBCC (pid=23527) StorageServer=PureDisk_rhceph_rawd:s3.cloud.ngn.com.tr; Report=PDDO Stats for (NBCC): diimbas: 14569706 KB, CR dihantar: 45145 KB, CR dihantar melalui FC: 0 KB, deup: 99.7%, cache dilumpuhkan
Tambahan
18 Dis 2018 12:15:32 PTG β Pemecut maklumat bpbkar (pid=792) menghantar 9970688 bait daripada 14726108160 bait ke pelayan, pengoptimuman 99.9%
18 Dis 2018 12:15:53 PTG - Maklumat NBCC (pid=23656) StorageServer=PureDisk_rhceph_rawd:s3.cloud.ngn.com.tr; Report=PDDO Stats for (NBCC): diimbas: 14383788 KB, CR dihantar: 15700 KB, CR dihantar melalui FC: 0 KB, deup: 99.9%, cache dilumpuhkan
Penuh
18 Dis 2018 12:18:02 PTG β Pemecut maklumat bpbkar (pid=3496) menghantar 171746816 bait daripada 14884093952 bait ke pelayan, pengoptimuman 98.8%
18 Dis 2018 12:18:24 PTG - Maklumat NBCC (pid=23878) StorageServer=PureDisk_rhceph_rawd:s3.cloud.ngn.com.tr; Report=PDDO Stats for (NBCC): diimbas: 14569739 KB, CR dihantar: 34120 KB, CR dihantar melalui FC: 0 KB, deup: 99.8%, cache dilumpuhkan
Apa masalahnya
Pelanggan ingin membuat sandaran sekerap mungkin dan menyimpannya semurah mungkin. Adalah lebih baik untuk menyimpannya dengan murah dalam storan objek seperti S3, kerana ia adalah yang paling murah pada kos perkhidmatan setiap Megabait dari mana anda boleh melancarkan sandaran semula dalam masa yang munasabah. Apabila terdapat banyak sandaran, ia menjadi tidak begitu murah, kerana kebanyakan storan diduduki oleh salinan data yang sama. Dalam kes HaaS rakan sekerja Turki, storan boleh dipadatkan kira-kira 80-90%. Sudah jelas bahawa ini berkaitan secara khusus dengan spesifik mereka, tetapi saya pasti akan bergantung pada sekurang-kurangnya 50% datuk.
Untuk menyelesaikan masalah, vendor utama telah lama membuat pintu masuk ke Amazon S3. Semua kaedah mereka serasi dengan S3 tempatan selagi ia menyokong API Amazon. Di pusat data Turki, sandaran dibuat ke S3 kami, serta dalam "Pemampat" T-III di Rusia, kerana skema kerja ini telah berfungsi dengan baik untuk kami.
Dan S3 kami serasi sepenuhnya dengan kaedah sandaran Amazon S3. Iaitu, semua alat sandaran yang menyokong kaedah ini membolehkan anda menyalin segala-galanya ke storan sedemikian "di luar kotak."
Veritas NetBackup menambah ciri CloudCatalyst:
Iaitu, antara mesin yang perlu disandarkan dan pintu masuk, terdapat pelayan Linux perantaraan yang melaluinya trafik sandaran daripada ejen SRK dan dinyahduplikasi dengan segera sebelum memindahkannya ke S3. Jika sebelum ini terdapat 30 sandaran 20 GB dengan pemampatan, kini (disebabkan persamaan mesin) volum mereka telah menjadi 90% lebih kecil. Enjin deduplikasi digunakan sama seperti semasa menyimpan pada cakera biasa menggunakan Netbackup.
Inilah yang berlaku sebelum pelayan perantaraan:
Kami menguji dan membuat kesimpulan bahawa apabila dilaksanakan di pusat data kami, ini menjimatkan ruang dalam storan S3 untuk kami dan untuk pelanggan. Sebagai pemilik pusat data komersial, sudah tentu, kami mengenakan bayaran mengikut jumlah yang diduduki, tetapi ia masih sangat menguntungkan untuk kami juga - kerana kami mula menjana wang di tempat yang lebih berskala dalam perisian, dan bukan pada menyewa perkakasan. Nah, dan ini adalah pengurangan kos dalaman.
Log228 Kerja (0 Beratur 0 Aktif 0 Menunggu Cuba Semula 0 Digantung 0 Tidak Selesai 228 Selesai β 13 dipilih)
(Penapis Digunakan [13])
Jenis Id Kerja Keadaan Negeri Butiran Status Dasar Kerja Jadual Kerja Pelayan Media Pelanggan Masa Mula Masa Berlalu Masa Tamat Masa Penyimpanan Unit Percubaan Operasi Kilobait Fail Nama Laluan % Selesai (Anggaran) Pemilik PID Kerja Salin ID Kerja Ibu Bapa KB/Saat Mula Aktif Sesi Profil Bilik Kebal Robot Berlalu Aktif ID Media untuk Mengeluarkan Pergerakan Data Di Luar Hos Jenis Keutamaan Induk Kadar Penyahduplikasi Pengangkutan Pemecut Pengoptimuman Contoh atau Hos Kongsi Pangkalan Data
β 1358 Syot Kilat Selesai 0 VMware β NGNCloudADC NBCC 18 Dis 2018 12:16:19 PTG 00:02:18 18 Dis 2018 12:18:37 PTG STU_DP_S3_****sandaran 1 100% 1358 Dis 18, 2018% akar 12 :16:27 PTG 00:02:10 Piawaian Cakera Pemulihan Segera WIN-********** 0
1360 Sandaran Selesai 0 VMware Penuh NGNCloudADC NBCC 18 Dis 2018 12:16:48 PTG 00:01:39 18 Dis 2018 12:18:27 PTG STU_DP_S3_****sandaran 1 14,535,248 149654 100 23858 1358 root 335,098 18 Dis , 2018 12:16:48 PM 00:01:39 Piawaian Cakera Pemulihan Segera WIN-********** 0 99.8% 99%
1352 Syot Kilat Selesai 0 VMware - NGNCloudADC NBCC 18 Dis 2018 12:14:04 PTG 00:02:01 18 Dis 2018 12:16:05 PTG STU_DP_S3_****sandaran 1 100% 1352 Dis 18: akar 2018 12:14 PM 14:00:01 Standard Cakera Pemulihan Segera WIN-********** 51
1354 Sandaran Selesai 0 VMware Incremental NGNCloudADC NBCC 18 Dis 2018 12:14:34 PTG 00:01:21 18 Dis 2018 12:15:55 PTG STU_DP_S3_****sandaran 1 14,380,965 147 100 23617 1352 Dis , 500,817 18:2018:12 PTG 14:34:00 Piawaian Cakera Pemulihan Segera WIN-********** 01 21% 0%
1347 Syot Kilat Selesai 0 VMware - NGNCloudADC NBCC 18 Dis 2018 12:11:45 PTG 00:02:08 18 Dis 2018 12:13:53 PTG STU_DP_S3_****sandaran 1 100% 1347 Dis 18: akar 2018 12:11 PM 45:00:02 Standard Cakera Pemulihan Segera WIN-********** 08
1349 Sandaran Selesai 0 VMware Penuh NGNCloudADC NBCC 18 Dis 2018 12:12:02 PTG 00:01:41 18 Dis 2018 12:13:43 PTG STU_DP_S3_****sandaran 1 14,535,215 149653 100 23508 1347 root 316,319 18 Dis , 2018 12:12:02 PM 00:01:41 Piawaian Cakera Pemulihan Segera WIN-********** 0 99.7% 99%
1341 Syot Kilat Selesai 0 VMware - NGNCloudADC NBCC 18 Dis 2018 12:05:28 PTG 00:04:53 18 Dis 2018 12:10:21 PTG STU_DP_S3_****sandaran 1 100% 1341 Dis 18: akar 2018 12:05 PM 28:00:04 Standard Cakera Pemulihan Segera WIN-********** 53
1342 Sandaran Selesai 0 VMware Full_Rescan NGNCloudADC NBCC 18 Dis 2018 12:05:47 PTG 00:04:24 18 Dis 2018 12:10:11 PTG STU_DP_S3_****sandaran 1 14,535,151 , 149653 100 Dis 22999 , 1341 70,380:18:2018 PTG 12:05:47 Piawaian Cakera Pemulihan Segera WIN-************ 00 04% 24%
1339 Syot Kilat Selesai 150 VMware - NGNCloudADC NBCC 18 Dis 2018 11:05:46 PG 00:00:53 18 Dis 2018 11:06:39 PG STU_DP_S3_****sandaran 1 100% 1339 Dis: sandaran 18 2018% 11 Dis 05:46 PG 00:00:53 Piawaian Cakera Pemulihan Segera WIN-********** 0
1327 Syot Kilat Selesai 0 VMware - *******.********.cloud NBCC 17 Dis 2018 12:54:42 PTG 05:51:38 17 Dis 2018 6:46:20 PTG STU_DP_S3_****sandaran 1 100% akar 1327 17 Dis 2018 12:54:42 PTG 05:51:38 Piawaian Cakera Pemulihan Segera WIN-********** 0
1328 Sandaran Selesai 0 VMware Penuh *******.********.cloud NBCC 17 Dis 2018 12:55:10 PTG 05:29:21 17 Dis 2018 6:24:31 PTG STU_DP_S3_****sandaran 1 222,602,719 258932 100% 12856 akar 1327 11,326 17 Dis 2018 12:55:10 PTG 05:29:21 Piawaian Cakera Pemulihan Segera 0 WIN-*********** 87.9%
1136 Syot Kilat Selesai 0 VMware - *******.********.cloud NBCC 14 Dis 2018 4:48:22 PTG 04:05:16 14 Dis 2018 8:53:38 PTG STU_DP_S3_****sandaran 1 100% akar 1136 14 Dis 2018 4:48:22 PTG 04:05:16 Piawaian Cakera Pemulihan Segera WIN-********** 0
1140 Sandaran Selesai 0 VMware Full_Scan *******.********.cloud NBCC 14 Dis 2018 4:49:14 PTG 03:49:58 14 Dis 2018 8:39:12 PTG STU_DP_S3_****sandaran 1 217,631,332 255465 100% 26438 akar 1136 15,963 Dis 14, 2018 4:49:14 PTG 03:49:58 Piawaian Cakera Pemulihan Segera % WIN-********** 0 45.2%
Pemecut membolehkan anda mengurangkan trafik daripada ejen, kerana Hanya perubahan data dihantar, iaitu, malah sandaran penuh tidak dimuat naik sepenuhnya, kerana pelayan media mengumpul sandaran penuh berikutnya daripada sandaran tambahan.
Pelayan perantaraan mempunyai storan sendiri, di mana ia menulis "cache" data dan mengekalkan pangkalan data untuk penyahduplikasian.
Seni bina lengkap kelihatan seperti ini:
- Pelayan induk menguruskan konfigurasi, kemas kini, dsb. dan terletak di awan.
- Pelayan media (mesin *nix perantaraan) hendaklah terletak paling hampir dengan sistem berlebihan dari segi kebolehcapaian rangkaian. Di sini, penyahduplikasian sandaran daripada semua mesin tersimpan dilakukan.
- Pada mesin yang disandarkan terdapat ejen yang biasanya menghantar kepada pelayan media hanya apa yang tiada dalam storannya.
Semuanya bermula dengan imbasan penuh - ini adalah sandaran penuh sepenuhnya. Pada ketika ini, pelayan media mengambil segala-galanya, menyahgandakannya dan memindahkannya ke S3. Kelajuan ke pelayan media adalah rendah, tetapi daripadanya ia lebih tinggi. Had utama ialah kuasa pengkomputeran pelayan.
Sandaran berikut dibuat lengkap dari sudut pandangan semua sistem, tetapi sebenarnya ia adalah seperti sandaran penuh sintetik. Iaitu, pemindahan dan rakaman sebenar ke pelayan media hanya berlaku pada blok data yang belum ditemui dalam sandaran VM sebelum ini. Dan hanya blok data yang cincangnya tiada dalam pangkalan data deduplikasi pelayan media dipindahkan dan direkodkan dalam S3. Dalam kata yang lebih mudah, ini adalah sesuatu yang tidak pernah dilihat dalam mana-mana sandaran VM tunggal sebelum ini.
Semasa memulihkan, pelayan media meminta objek pendua yang diperlukan daripada S3, menghidrat semula dan memindahkannya kepada ejen LHDN, i.e. adalah perlu untuk mengambil kira jumlah trafik semasa pemulihan, yang akan sama dengan jumlah sebenar data yang dipulihkan.
Inilah yang kelihatan seperti:
Dan inilah sekeping lagi kayu balak169 Kerja (0 Beratur 0 Aktif 0 Menunggu Cuba Semula 0 Digantung 0 Tidak Selesai 169 Selesai β 1 dipilih)
Jenis Id Kerja Keadaan Negeri Butiran Status Dasar Kerja Jadual Kerja Pelayan Media Pelanggan Masa Mula Masa Berlalu Masa Tamat Masa Penyimpanan Unit Percubaan Operasi Kilobait Fail Nama Laluan % Selesai (Anggaran) Pemilik PID Kerja Salin ID Kerja Ibu Bapa KB/Saat Mula Aktif Sesi Profil Bilik Kebal Robot Berlalu Aktif ID Media untuk Mengeluarkan Pergerakan Data Di Luar Hos Jenis Keutamaan Induk Kadar Penyahduplikasi Pengangkutan Pemecut Pengoptimuman Contoh atau Hos Kongsi Pangkalan Data
- 1372 Pemulihan Selesai 0 NBPR01 NBCC 19 Dis 2018 1:05:58 PTG 00:04:32 Dis 19, 2018 1:10:30 PTG 1 14,380,577 1 100% 8548 1372 70,567 19 Dis 2018 :1 PTG 06:00:00 MENANG-********** 04
Integriti data dipastikan oleh perlindungan S3 itu sendiri - terdapat lebihan yang baik di sana untuk melindungi daripada kegagalan perkakasan seperti gelendong pemacu keras yang mati.
Pelayan media memerlukan 4 TB cache - ini adalah pengesyoran saiz minimum Veritas. Lebih banyak adalah lebih baik, tetapi itulah yang kami lakukan.
Jumlah
Apabila rakan kongsi memasukkan 3 GB ke dalam S20 kami, kami menyimpan 60 GB, kerana kami menyediakan tiga geo-tempahan data. Sekarang terdapat lebih sedikit trafik, yang baik untuk saluran dan untuk tarif penyimpanan.
Dalam kes ini, laluan ditutup melepasi "Internet besar", tetapi anda boleh memandu trafik melalui VPN L2 melalui Internet, tetapi lebih baik memasang pelayan media sebelum pintu masuk penyedia.
Jika anda berminat untuk mengetahui tentang ciri ini di pusat data Rusia kami atau mempunyai soalan tentang pelaksanaan di rumah, tanya dalam ulasan atau melalui e-mel [e-mel dilindungi].
Sumber: www.habr.com