Türkiyəli müştərilərimiz bizdən öz məlumat mərkəzi üçün ehtiyat nüsxəsini düzgün konfiqurasiya etməyimizi xahiş etdilər. Biz Rusiyada analoji layihələr həyata keçiririk, lakin burada hekayə daha çox bunu necə yaxşı edəcəyimizi araşdırmaqdan gedirdi.
Nəzərə alsaq: yerli S3 yaddaşı var, verilənlərin obyekt yaddaşına köçürülməsi üçün yeni genişləndirilmiş funksionallıq əldə etmiş Veritas NetBackup var, indi təkmilləşdirmə dəstəyi ilə və bu yerli yaddaşda boş yer problemi var.
Tapşırıq: ehtiyat nüsxələrin saxlanması prosesinin sürətli və ucuz olması üçün hər şeyi etmək.
Əslində, bundan əvvəl S3-də hər şey sadəcə fayllar idi və bunlar məlumat mərkəzinin kritik maşınlarının tam buraxılışları idi. Yəni, çox optimallaşdırılmayıb, amma hər şey başlanğıcda işlədi. İndi bunu anlamaq və düzgün etmək vaxtıdır.
Şəkil nəyə gəldiyimizi göstərir:
Gördüyünüz kimi, ilk ehtiyat nüsxə yavaş-yavaş (70 Mb/s) edildi və eyni sistemlərin sonrakı ehtiyat nüsxələri daha sürətli oldu.
Əslində, daha sonra hansı xüsusiyyətlər haqqında bir az daha ətraflı məlumat var.
Yarım səhifə zibil oxumağa hazır olanlar üçün qeydlərin ehtiyat nüsxəsiYenidən tarama ilə dolu
18 dekabr 2018-ci il 12:09:43 — Məlumat bpbkar (pid=4452) sürətləndiricisi serverə 14883996160 bayt göndərdi, optimallaşdırma 14883994624%
18 dekabr 2018-ci il 12:10:07 - Məlumat NBCC (pid=23002) StorageServer=PureDisk_rhceph_rawd:s3.cloud.ngn.com.tr; Hesabat=PDDO Statistikası (NBCC) üçün (çox axınlı axın istifadə olunub): skan edilib: 14570817 KB, CR göndərilib: 1760761 KB, FC üzərindən göndərilən CR: 0 KB, silinmə: 87.9%, keş deaktiv edilib
Full
18 dekabr 2018-ci il 12:13:18 — Məlumat bpbkar (pid=2864) sürətləndiricisi serverə 181675008 bayt göndərdi, optimallaşdırma 14884060160%
18 dekabr 2018-ci il 12:13:40 - Məlumat NBCC (pid=23527) StorageServer=PureDisk_rhceph_rawd:s3.cloud.ngn.com.tr; Hesabat=PDDO Statistikası (NBCC): skan edilib: 14569706 KB, CR göndərilib: 45145 KB, FC üzərindən göndərilən CR: 0 KB, silinmə: 99.7%, keş deaktiv edilib
Artımlı
18 dekabr 2018-ci il 12:15:32 — Məlumat bpbkar (pid=792) sürətləndiricisi serverə 9970688 bayt göndərdi, optimallaşdırma 14726108160%
18 dekabr 2018-ci il 12:15:53 - Məlumat NBCC (pid=23656) StorageServer=PureDisk_rhceph_rawd:s3.cloud.ngn.com.tr; Hesabat=PDDO Statistikası (NBCC): skan edilib: 14383788 KB, CR göndərilib: 15700 KB, FC üzərindən göndərilən CR: 0 KB, silinmə: 99.9%, keş deaktiv edilib
Full
18 dekabr 2018-ci il 12:18:02 — Məlumat bpbkar (pid=3496) sürətləndiricisi serverə 171746816 bayt göndərdi, optimallaşdırma 14884093952%
18 dekabr 2018-ci il 12:18:24 - Məlumat NBCC (pid=23878) StorageServer=PureDisk_rhceph_rawd:s3.cloud.ngn.com.tr; Hesabat=PDDO Statistikası (NBCC): skan edilib: 14569739 KB, CR göndərilib: 34120 KB, FC üzərindən göndərilən CR: 0 KB, silinmə: 99.8%, keş deaktiv edilib
Problem nədir
Müştərilər ehtiyat nüsxələrini mümkün qədər tez-tez etmək və onları mümkün qədər ucuz saxlamaq istəyirlər. Ən yaxşısı onları S3 kimi obyekt anbarlarında ucuz qiymətə saxlamaqdır, çünki onlar meqabayt üçün xidmət dəyərinə görə ən ucuzdur, buradan ehtiyat nüsxəsini ağlabatan müddətdə geri qaytara bilərsiniz. Çox ehtiyat nüsxəsi olduqda, çox ucuzlaşmır, çünki yaddaşın çox hissəsini eyni məlumatların nüsxələri tutur. Türk həmkarlarının HaaS vəziyyətində, saxlama təxminən 80-90% sıxlaşdırıla bilər. Bunun konkret olaraq onların xüsusiyyətlərinə aid olduğu aydındır, amma mən mütləq ən azı 50% babaya güvənərdim.
Problemi həll etmək üçün əsas satıcılar çoxdan Amazon S3-ə şlüzlər hazırlayıblar. Onların bütün üsulları Amazon API-ni dəstəklədiyi müddətcə yerli S3 ilə uyğun gəlir. Türk məlumat mərkəzində ehtiyat nüsxə bizim S3-də, eləcə də Rusiyadakı T-III "Kompressor"-da aparılır, çünki bu iş sxemi bizim üçün yaxşı işləmişdir.
Və bizim S3 Amazon S3 ehtiyat üsulları ilə tam uyğun gəlir. Yəni, bu üsulları dəstəkləyən bütün ehtiyat nüsxə alətləri hər şeyi "qutudan kənarda" belə yaddaşa köçürməyə imkan verir.
Veritas NetBackup CloudCatalyst xüsusiyyətini əlavə etdi:
Yəni, ehtiyat nüsxəsini çıxarmaq lazım olan maşınlar və şlüz arasında aralıq Linux serveri var ki, onun vasitəsilə SRK agentlərindən ehtiyat trafik keçib, onu S3-ə ötürməzdən əvvəl təkmilləşdirilir. Əgər əvvəllər sıxılma ilə 30 GB-lıq 20 ehtiyat nüsxə var idisə, indi (maşınların oxşarlığına görə) onların həcmi 90% azalıb. Təkmilləşdirmə mühərriki Netbackup istifadə edərək adi disklərdə saxlanarkən olduğu kimi istifadə olunur.
Aralıq serverdən əvvəl baş verənlər:
Biz sınaqdan keçirdik və belə nəticəyə gəldik ki, məlumat mərkəzlərimizdə tətbiq edildikdə, bu, bizim və müştərilər üçün S3 yaddaşında yerə qənaət edir. Kommersiya məlumat mərkəzlərinin sahibi olaraq, əlbəttə ki, biz işğal etdiyimiz həcmə görə ödəniş edirik, lakin bu, bizim üçün də çox sərfəlidir - çünki biz aparatların icarəsi ilə deyil, proqram təminatının daha genişlənən yerlərində pul qazanmağa başlayırıq. Yaxşı və bu daxili xərclərin azalmasıdır.
Qeydlər228 İş (0 Növbədə 0 Aktiv 0 Yenidən Yoxlama Gözləyir 0 Dayandırılıb 0 Natamam 228 Bitdi — 13 seçildi)
(Tətbiq olunan filtr [13])
İş İd Növü Dövlət Dövlət Təfərrüatları Status İş Siyasəti İş Cədvəli Müştəri Media Server Başlama Vaxtı Keçən Vaxt Bitmə Vaxtı Yaddaş Vahidi Cəhd Əməliyyat Kilobayt Fayllar Yolun Adı % Tamamlanmış (Təxmini) İş PID Sahibi Kopya Ana İş İD KB/Saniyə Aktiv Başlanğıc Aktiv Keçən Robot Vault Məlumat Hərəkətini Çıxarmaq üçün İD Mediası Hostdankənar Tip Master Prioritet Təkmilləşdirmə Dərəcəsi Nəqliyyat Sürətləndiricisi Optimizasiyası Nümunəsi və ya Verilənlər Bazasının Paylaşım Hostu
— 1358 Snapshot Tamamlandı 0 VMware — NGNCloudADC NBCC 18 dekabr 2018-ci il 12:16:19 00:02:18 18 dekabr 2018-ci il 12:18:37 STU_DP_S3_**** ehtiyat nüsxəsi 1 100 Dekabr 1358, :18:2018 PM 12:16:27 Ani Bərpa Diski Standart WIN-*********** 00
1360 Yedəkləmə Tamamlandı 0 VMware Tam NGNCloudADC NBCC 18 dekabr 2018-ci il 12:16:48 00:01:39 18 dekabr 2018-ci il 12:18:27 STU_DP_S3_**** ehtiyat nüsxə 1 14,535,248 kök 149654 100 23858, 1358 335,098 18 dekabr 2018 , 12 16:48:00 01:39:0 Ani Bərpa Diski Standart WIN-************ 99.8 99% XNUMX%
1352 Snapshot Done 0 VMware - NGNCloudADC NBCC 18 dekabr 2018-ci il 12:14:04 00:02:01 18 dekabr 2018-ci il 12:16:05 STU_DP_S3_**** ehtiyat nüsxə 1 100% kök 1352 18:2018 12:14 PM 14:00:01 Ani Bərpa Diski Standart WIN-************** 51
1354 Yedəkləmə Bitdi 0 VMware Artan NGNCloudADC NBCC 18 dekabr 2018-ci il 12:14:34 00:01:21 18 dekabr 2018-ci il 12:15:55 STU_DP_S3_**** ehtiyat nüsxəsi 1 14,380,965 147, 100, 23617 1352 500,817 dekabr 18 , 2018 12:14:34 00:01:21 Ani Bərpa Diski Standart WIN-************ 0 99.9% 100%
1347 Snapshot Done 0 VMware - NGNCloudADC NBCC 18 dekabr 2018-ci il 12:11:45 00:02:08 18 dekabr 2018-ci il 12:13:53 STU_DP_S3_**** ehtiyat nüsxə 1 100% kök 1347 18:2018 12:11 PM 45:00:02 Ani Bərpa Diski Standart WIN-************** 08
1349 Yedəkləmə Tamamlandı 0 VMware Tam NGNCloudADC NBCC 18 dekabr 2018-ci il 12:12:02 00:01:41 18 dekabr 2018-ci il 12:13:43 STU_DP_S3_**** ehtiyat nüsxə 1 14,535,215 kök 149653 100 23508, 1347 316,319 18 dekabr 2018 , 12 12:02:00 01:41:0 Ani Bərpa Diski Standart WIN-************ 99.7 99% XNUMX%
1341 Snapshot Done 0 VMware - NGNCloudADC NBCC 18 dekabr 2018-ci il 12:05:28 00:04:53 18 dekabr 2018-ci il 12:10:21 STU_DP_S3_**** ehtiyat nüsxə 1 100% kök 1341 18:2018 12:05 PM 28:00:04 Ani Bərpa Diski Standart WIN-************** 53
1342 Yedəkləmə Tamamlandı 0 VMware Full_Rescan NGNCloudADC NBCC 18 dekabr 2018-ci il 12:05:47 00:04:24 18 dekabr 2018-ci il 12:10:11 STU_DP_S3_**** ehtiyat nüsxə 1 14,535,151, 149653 100, 22999 kök 1341 70,380 18 dekabr 2018 , 12 05:47:00 04:24:0 Ani Bərpa Diski Standart WIN-************ 87.9 0% XNUMX%
1339 Snapshot Hazır 150 VMware - NGNCloudADC NBCC 18 dekabr 2018-ci il 11:05:46 00:00:53 18 dekabr 2018-ci il 11:06:39 STU_DP_S3_**** ehtiyat nüsxəsi 1 100 dekabr 1339-ci il 18:2018 AM 11:05:46 Ani Bərpa Diski Standart WIN-*********** 00
1327 Snapshot Bitdi 0 VMware - *******.********.cloud NBCC 17 dekabr 2018-ci il 12:54:42 05:51:38 17 dekabr 2018-ci il 6:46:20 STU_DP_S3_**** ehtiyat nüsxə 1 100% kök 1327 17 dekabr 2018-ci il 12:54:42 PM 05:51:38 Ani Bərpa Diski Standart WIN-************* 0
1328 Yedəkləmə Tamamlandı 0 VMware Tam *******.********.cloud NBCC 17 dekabr 2018-ci il 12:55:10 05:29:21 17 dekabr 2018-ci il 6:24:31 STU_DP_S3_****yedək 1 222,602,719 258932 100% 12856 kök 1327 11,326 17 dekabr 2018-ci il 12:55:10 05:29:21 Instant Recovery Disk ***** Standart WIN-*****0. 87.9%
1136 Snapshot Bitdi 0 VMware - *******.********.cloud NBCC 14 dekabr 2018-ci il 4:48:22 04:05:16 14 dekabr 2018-ci il 8:53:38 STU_DP_S3_**** ehtiyat nüsxə 1 100% kök 1136 14 dekabr 2018-ci il 4:48:22 PM 04:05:16 Ani Bərpa Diski Standart WIN-************* 0
1140 Yedəkləmə Bitdi 0 VMware Full_Scan *******.********.cloud NBCC 14 dekabr 2018-ci il 4:49:14 03:49:58 14 dekabr 2018-ci il 8:39:12 STU_DP_S3_**** ehtiyat nüsxə 1 217,631,332 255465 100% 26438 kök 1136 15,963 14 dekabr 2018-ci il 4:49:14 03:49:58 Instant Recovery Disk (Standart) *****0 *****45.2 WIN. 0%
Sürətləndirici agentlərdən gələn trafiki azaltmağa imkan verir, çünki Yalnız məlumat dəyişiklikləri ötürülür, yəni hətta tam ehtiyat nüsxələri də tam yüklənmir, çünki media server artan ehtiyat nüsxələrindən sonrakı tam ehtiyat nüsxələrini toplayır.
Aralıq serverin öz yaddaşı var, burada məlumatların “keş”ini yazır və təkmilləşdirmə üçün verilənlər bazası saxlayır.
Tam memarlıq belə görünür:
- Master server konfiqurasiyanı, yeniləmələri və s. idarə edir və buludda yerləşir.
- Media serveri (aralıq *nix maşını) şəbəkə əlçatanlığı baxımından lazımsız sistemlərə ən yaxın yerləşməlidir. Burada bütün qorunan maşınlardan ehtiyat nüsxələrin təkmilləşdirilməsi həyata keçirilir.
- Yedəklənmiş maşınlarda ümumiyyətlə media serverinə yalnız yaddaşında olmayanları göndərən agentlər var.
Hər şey tam skan ilə başlayır - bu tam hüquqlu tam ehtiyat nüsxəsidir. Bu zaman media server hər şeyi götürür, onu təkmilləşdirir və S3-ə köçürür. Media serverinin sürəti aşağıdır, lakin ondan daha yüksəkdir. Əsas məhdudiyyət serverin hesablama gücüdür.
Aşağıdakı ehtiyat nüsxələri bütün sistemlər baxımından tam hazırlanır, lakin əslində onlar sintetik tam ehtiyat nüsxələri kimi bir şeydir. Yəni media serverinə faktiki köçürmə və qeyd yalnız əvvəllər VM ehtiyat nüsxələrində rast gəlinməyən məlumat bloklarından baş verir. Və yalnız hash media serverinin təkmilləşdirmə verilənlər bazasında olmayan məlumat blokları S3-də ötürülür və qeyd olunur. Daha sadə sözlə, bu, əvvəllər tək bir VM-nin heç bir ehtiyat nüsxəsində görülməmiş bir şeydir.
Bərpa zamanı media server S3-dən lazımi təkmilləşdirilmiş obyektləri tələb edir, onları rehidratlaşdırır və IRB agentlərinə ötürür, yəni. bərpa zamanı trafikin həcmini nəzərə almaq lazımdır ki, bu da bərpa olunan məlumatların faktiki həcminə bərabər olacaqdır.
Göründüyü kimi:
Və burada daha bir log parçası var169 İş (0 Növbədə 0 Aktiv 0 Yenidən Yoxlama Gözləyir 0 Dayandırılıb 0 Natamam 169 Bitdi — 1 seçildi)
İş İd Növü Dövlət Dövlət Təfərrüatları Status İş Siyasəti İş Cədvəli Müştəri Media Server Başlama Vaxtı Keçən Vaxt Bitmə Vaxtı Yaddaş Vahidi Cəhd Əməliyyat Kilobayt Fayllar Yolun Adı % Tamamlanmış (Təxmini) İş PID Sahibi Kopya Ana İş İD KB/Saniyə Aktiv Başlanğıc Aktiv Keçən Robot Vault Məlumat Hərəkətini Çıxarmaq üçün İD Mediası Hostdankənar Tip Master Prioritet Təkmilləşdirmə Dərəcəsi Nəqliyyat Sürətləndiricisi Optimizasiyası Nümunəsi və ya Verilənlər Bazasının Paylaşım Hostu
- 1372 Bərpa tamamlandı 0 NBPR01 NBCC 19 dekabr 2018-ci il 1:05:58 00:04:32 19 dekabr 2018-ci il 1:10:30 1 14,380,577 1 100% Dekabr 8548, OT1372. 70,567 19:2018 :1 PM 06:00:00 QAZAN-************ 04
Məlumatların bütövlüyü S3-ün özünün mühafizəsi ilə təmin edilir - ölü sabit disk mili kimi hardware nasazlıqlarından qorunmaq üçün orada yaxşı ehtiyat var.
Media serverinə 4 TB keş lazımdır - bu, minimum həcm üçün Veritas tövsiyəsidir. Daha çoxu daha yaxşıdır, amma biz bunu etdik.
Ümumi
Tərəfdaş S3-ə 20 GB atdıqda, biz 60 GB saxladıq, çünki məlumatların üçqat geo rezervasiyasını təmin edirik. İndi daha az trafik var, bu həm kanal, həm də saxlama tarifləri üçün yaxşıdır.
Bu halda, marşrutlar "böyük İnternet" dən sonra bağlanır, ancaq İnternet üzərindən VPN L2 vasitəsilə trafik çəkə bilərsiniz, lakin provayderin girişindən əvvəl media serverini quraşdırmaq daha yaxşıdır.
Rusiya məlumat mərkəzlərimizdə bu funksiyalar haqqında öyrənmək istəyirsinizsə və ya evdə tətbiqlə bağlı suallarınız varsa, şərhlərdə və ya e-poçt vasitəsilə soruşun. [e-poçt qorunur].
Mənbə: www.habr.com