Türk müşterilerimiz veri merkezleri için yedeklemeyi doğru şekilde yapılandırmamızı istedi. Rusya'da da benzer projeler yapıyoruz ama buradaki hikaye daha çok bunun en iyi nasıl yapılabileceğini araştırmakla ilgiliydi.
Verilen: Yerel bir S3 depolama alanı var, verileri nesne depolamaya taşımak için yeni genişletilmiş işlevler elde eden, artık veri tekilleştirme desteğine sahip olan Veritas NetBackup var ve bu yerel depolamada boş alanla ilgili bir sorun var.
Görev: Yedek kopyaları saklama işleminin hızlı ve ucuz olması için her şeyi yapmak.
Aslında bundan önce S3'teki her şey basit dosyalardan ibaretti ve bunlar veri merkezinin kritik makinelerinin tam dökümleriydi. Yani pek optimize edilmedi ama başlangıçta her şey işe yaradı. Şimdi bunu anlamanın ve doğru şekilde yapmanın zamanı geldi.
Resim geldiğimiz noktayı gösteriyor:
Gördüğünüz gibi ilk yedekleme yavaş (70 Mb/s) yapıldı ve aynı sistemlerin sonraki yedeklemeleri çok daha hızlıydı.
Aslında ileride hangi özelliklerin olduğuna dair biraz daha ayrıntı var.
Yarım sayfalık dökümü okumaya hazır olanlar için yedekleme günlükleriYeniden tarama ile dolu
18 Ara 2018 12:09:43 — Bilgi bpbkar (pid=4452) hızlandırıcı 14883996160 bayttan 14883994624 baytını sunucuya gönderdi, optimizasyon %0.0
18 Aralık 2018 12:10:07 - Bilgi NBCC (pid=23002) StorageServer=PureDisk_rhceph_rawd:s3.cloud.ngn.com.tr; Rapor=(NBCC) için PDDO İstatistikleri (kullanılan çok iş parçacıklı akış): taranan: 14570817 KB, gönderilen CR: 1760761 KB, FC üzerinden gönderilen CR: 0 KB, tekilleştirme: %87.9, önbellek devre dışı
Her Şey Dahil
18 Ara 2018 12:13:18 — Bilgi bpbkar (pid=2864) hızlandırıcı 181675008 bayttan 14884060160 baytını sunucuya gönderdi, optimizasyon %98.8
18 Aralık 2018 12:13:40 - Bilgi NBCC (pid=23527) StorageServer=PureDisk_rhceph_rawd:s3.cloud.ngn.com.tr; Rapor=(NBCC) için PDDO İstatistikleri: taranan: 14569706 KB, gönderilen CR: 45145 KB, FC üzerinden gönderilen CR: 0 KB, tekilleştirme: %99.7, önbellek devre dışı
Artımlı
18 Ara 2018 12:15:32 — Bilgi bpbkar (pid=792) hızlandırıcı 9970688 bayttan 14726108160 baytını sunucuya gönderdi, optimizasyon %99.9
18 Aralık 2018 12:15:53 - Bilgi NBCC (pid=23656) StorageServer=PureDisk_rhceph_rawd:s3.cloud.ngn.com.tr; Rapor=(NBCC) için PDDO İstatistikleri: taranan: 14383788 KB, gönderilen CR: 15700 KB, FC üzerinden gönderilen CR: 0 KB, tekilleştirme: %99.9, önbellek devre dışı
Her Şey Dahil
18 Ara 2018 12:18:02 — Bilgi bpbkar (pid=3496) hızlandırıcı 171746816 bayttan 14884093952 baytını sunucuya gönderdi, optimizasyon %98.8
18 Aralık 2018 12:18:24 - Bilgi NBCC (pid=23878) StorageServer=PureDisk_rhceph_rawd:s3.cloud.ngn.com.tr; Rapor=(NBCC) için PDDO İstatistikleri: taranan: 14569739 KB, gönderilen CR: 34120 KB, FC üzerinden gönderilen CR: 0 KB, tekilleştirme: %99.8, önbellek devre dışı
Sorun nedir
Müşteriler mümkün olduğu kadar sık yedekleme yapmak ve bunları mümkün olduğunca ucuza depolamak ister. Bunları S3 gibi nesne depolarında ucuza depolamak en iyisidir, çünkü Megabayt başına hizmet maliyeti açısından en ucuzudurlar; buradan bir yedeği makul bir sürede geri alabilirsiniz. Çok fazla yedekleme olduğunda, depolamanın çoğu aynı verilerin kopyaları tarafından işgal edildiğinden, çok da ucuz olmaz. Türk meslektaşlarımızın HaaS durumunda depolama yaklaşık %80-90 oranında yoğunlaştırılabilmektedir. Bunun özellikle onların özellikleriyle ilgili olduğu açıktır, ancak kesinlikle en az% 50 büyükbabaya güvenirim.
Sorunu çözmek için ana satıcılar uzun süredir Amazon S3'e ağ geçitleri oluşturuyor. Amazon API'yi destekledikleri sürece tüm yöntemleri yerel S3 ile uyumludur. Türkiye veri merkezinde S3'ümüze ve Rusya'daki T-III “Kompresör”e yedekleme yapılıyor, çünkü bu çalışma planı bizim için iyi çalıştı.
Ve S3'ümüz Amazon S3 yedekleme yöntemleriyle tamamen uyumludur. Yani, bu yöntemleri destekleyen tüm yedekleme araçları, her şeyi bu tür bir depolama birimine "kutudan çıktığı gibi" kopyalamanıza olanak tanır.
Veritas NetBackup, CloudCatalyst özelliğini ekledi:
Yani, yedeklenmesi gereken makineler ile ağ geçidi arasında, SRK aracılarından gelen yedekleme trafiğinin geçtiği ve S3'e aktarılmadan önce anında tekilleştirildiği bir ara Linux sunucusu vardır. Daha önce sıkıştırmalı 30 GB'lık 20 yedek varsa, şimdi (makinelerin benzerliği nedeniyle) hacimleri% 90 daha küçük hale geldi. Tekilleştirme motoru, Netbackup kullanılarak normal disklerde depolamayla aynı şekilde kullanılır.
Ara sunucudan önce olanlar şöyle:
Test ettik ve veri merkezlerimizde uygulandığında bunun bizim ve müşterilerimiz için S3 depolama alanında yer tasarrufu sağladığı sonucuna vardık. Ticari veri merkezlerinin sahibi olarak elbette işgal edilen hacme göre ücret alıyoruz, ancak bu bizim için de çok karlı - çünkü donanım kiralamak yerine yazılımdaki daha ölçeklenebilir yerlerden para kazanmaya başlıyoruz. Bu, iç maliyetlerde bir azalmadır.
Kütükler228 İş (0 Sıraya Alındı 0 Etkin 0 Yeniden Denemeyi Bekliyor 0 Askıya Alındı 0 Tamamlanmadı 228 Bitti — 13 seçildi)
(Filtre Uygulandı [13])
İş Kimliği Türü Durum Durum Ayrıntıları Durum İş Politikası İş Planlama İstemci Medya Sunucusu Başlangıç Süresi Geçen Süre Bitiş Süresi Depolama Birimi İşlem Denemesi Kilobayt Dosyalar Yol Adı Tamamlanma Yüzdesi (Tahmini) İş PID Sahibi Kopyalama Ana İş Kimliği KB/Sn Aktif Başlatma Aktif Geçen Robot Kasası Profil Oturumu Veri Taşımayı Çıkaracak Kimlik Ortamı Ana Bilgisayar Dışı Tür Ana Öncelik Veri Tekilleştirme Oranı Aktarım Hızlandırıcı Optimizasyon Örneği veya Veritabanı Paylaşımı Ana Bilgisayarı
— 1358 Anlık Görüntü Tamamlandı 0 VMware — NGNCloudADC NBCC 18 Ara 2018 12:16:19 00:02:18 18 Ara 2018 12:18:37 STU_DP_S3_****backup 1 %100 root 1358 18 Ara 2018 12 :16:27 PM 00:02:10 Anında Kurtarma Diski Standart WIN-************ 0
1360 Yedekleme Yapıldı 0 VMware Tam NGNCloudADC NBCC 18 Aralık 2018 12:16:48 00:01:39 18 Aralık 2018 12:18:27 STU_DP_S3_****yedekleme 1 14,535,248 149654 %100 23858 kök 1358 335,098 18 2018 Aralık , 12 16:48:00 PM 01:39:0 Anında Kurtarma Diski Standart WIN-************ 99.8 %99 %XNUMX
1352 Anlık Görüntü Tamamlandı 0 VMware - NGNCloudADC NBCC 18 Aralık 2018 12:14:04 00:02:01 18 Aralık 2018 12:16:05 STU_DP_S3_****backup 1 %100 root 1352 18 Aralık 2018 12: 14:14 PM 00:01:51 Anında Kurtarma Diski Standart WIN-************ 0
1354 Yedekleme Yapıldı 0 VMware Artımlı NGNCloudADC NBCC 18 Aralık 2018 12:14:34 00:01:21 18 Aralık 2018 12:15:55 STU_DP_S3_****yedekleme 1 14,380,965 147 %100 23617 kök 1352 500,817 18 2018 Aralık , 12 14:34:00 01:21:0 Anında Kurtarma Diski Standart WIN-************ 99.9 %100 %XNUMX
1347 Anlık Görüntü Tamamlandı 0 VMware - NGNCloudADC NBCC 18 Aralık 2018 12:11:45 00:02:08 18 Aralık 2018 12:13:53 STU_DP_S3_****backup 1 %100 root 1347 18 Aralık 2018 12: 11:45 PM 00:02:08 Anında Kurtarma Diski Standart WIN-************ 0
1349 Yedekleme Yapıldı 0 VMware Tam NGNCloudADC NBCC 18 Aralık 2018 12:12:02 00:01:41 18 Aralık 2018 12:13:43 STU_DP_S3_****yedekleme 1 14,535,215 149653 %100 23508 kök 1347 316,319 18 2018 Aralık , 12 12:02:00 PM 01:41:0 Anında Kurtarma Diski Standart WIN-************ 99.7 %99 %XNUMX
1341 Anlık Görüntü Tamamlandı 0 VMware - NGNCloudADC NBCC 18 Aralık 2018 12:05:28 00:04:53 18 Aralık 2018 12:10:21 STU_DP_S3_****backup 1 %100 root 1341 18 Aralık 2018 12: 05:28 PM 00:04:53 Anında Kurtarma Diski Standart WIN-************ 0
1342 Yedekleme Yapıldı 0 VMware Full_Rescan NGNCloudADC NBCC 18 Aralık 2018 12:05:47 00:04:24 18 Aralık 2018 12:10:11 STU_DP_S3_****yedekleme 1 14,535,151 149653 %100 22999 kök 1341 70,380 18 2018 Aralık 12, 05 47:00:04 PM 24:0:87.9 Anında Kurtarma Diski Standart WIN-************ 0 %XNUMX %XNUMX
1339 Anlık Görüntü Tamamlandı 150 VMware - NGNCloudADC NBCC 18 Aralık 2018 11:05:46 00:00:53 18 Aralık 2018 11:06:39 STU_DP_S3_****yedekleme 1 %100 kök 1339 18 Aralık 2018 11: 05:46 AM 00:00:53 Anında Kurtarma Diski Standart WIN-************ 0
1327 Anlık Görüntü Tamamlandı 0 VMware - *******.********.cloud NBCC 17 Aralık 2018 12:54:42 05:51:38 17 Aralık 2018 6:46:20 STU_DP_S3_****yedekleme 1 %100 kök 1327 17 Aralık 2018 12:54:42 05:51:38 Anında Kurtarma Diski Standart WIN-************ 0
1328 Yedekleme Yapıldı 0 VMware Dolu *******.********.cloud NBCC 17 Aralık 2018 12:55:10 05 Aralık 29 21:17:2018 6 Aralık 24 31:3:1 STU_DP_S222,602,719_****yedekleme 258932 100 12856 %1327 11,326 kök 17 2018 12 Aralık 55 10:05:29 PM 21:0:87.9 Anında Kurtarma Diski Standardı WIN-********** 0 %XNUMX %XNUMX
1136 Anlık Görüntü Tamamlandı 0 VMware - *******.********.cloud NBCC 14 Aralık 2018 4:48:22 04:05:16 14 Aralık 2018 8:53:38 STU_DP_S3_****yedekleme 1 %100 kök 1136 14 Aralık 2018 4:48:22 04:05:16 Anında Kurtarma Diski Standart WIN-************ 0
1140 Yedekleme Yapıldı 0 VMware Full_Scan *****.********.cloud NBCC 14 Aralık 2018 4:49:14 03:49:58 14 Aralık 2018 8:39:12 STU_DP_S3_****yedekleme 1 217,631,332 255465 %100 26438 kök 1136 15,963 14 Aralık 2018 4:49:14 PM 03:49:58 Anında Kurtarma Diski Standardı WIN-************ 0 %45.2 %0
Hızlandırıcı, aracılardan gelen trafiği azaltmanıza olanak tanır, çünkü Medya sunucusu artımlı yedeklemelerden sonraki tam yedeklemeleri topladığından, yalnızca veri değişiklikleri iletilir, yani tam yedeklemeler bile tamamen yüklenmez.
Ara sunucunun, verilerin bir “önbelleğine” yazdığı ve veri tekilleştirme için bir veritabanını muhafaza ettiği kendi depolama alanı vardır.
Tam mimari şuna benzer:
- Ana sunucu yapılandırmayı, güncellemeleri vb. yönetir ve bulutta bulunur.
- Medya sunucusunun (ara *nix makinesi) ağ erişilebilirliği açısından yedekli sistemlere en yakın konumlandırılması gerekmektedir. Burada, ayrılmış tüm makinelerden alınan yedeklerin tekilleştirilmesi gerçekleştirilir.
- Yedeklenen makinelerde genellikle medya sunucusuna yalnızca kendi deposunda olmayanları gönderen aracılar bulunur.
Her şey tam taramayla başlar - bu tam teşekküllü bir tam yedeklemedir. Bu noktada medya sunucusu her şeyi alır, tekilleştirir ve S3'e aktarır. Medya sunucusuna giden hız düşüktür, ancak ondan daha yüksektir. Ana sınırlama, sunucunun bilgi işlem gücüdür.
Aşağıdaki yedeklemeler tüm sistemler açısından tam olarak yapılır, ancak gerçekte sentetik tam yedeklemeler gibi bir şeydir. Yani, medya sunucusuna gerçek aktarım ve kayıt yalnızca daha önce VM yedeklemelerinde karşılaşılmayan veri bloklarında gerçekleşir. Ve yalnızca karması medya sunucusunun veri tekilleştirme veritabanında bulunmayan veri blokları S3'e aktarılır ve kaydedilir. Daha basit bir ifadeyle bu, daha önce tek bir VM'nin yedeklemesinde görülmemiş bir şeydir.
Geri yükleme sırasında medya sunucusu, S3'ten gerekli tekilleştirilmiş nesneleri talep eder, bunları yeniden sulandırır ve bunları IRB aracılarına aktarır; geri yükleme sırasında, geri yüklenen gerçek veri hacmine eşit olacak trafik hacminin dikkate alınması gerekir.
İşte görünüyor nasıl:
Ve işte başka bir kütük parçası169 İş (0 Sıraya Alındı 0 Etkin 0 Yeniden Denemeyi Bekliyor 0 Askıya Alındı 0 Tamamlanmadı 169 Bitti — 1 seçildi)
İş Kimliği Türü Durum Durum Ayrıntıları Durum İş Politikası İş Planlama İstemci Medya Sunucusu Başlangıç Süresi Geçen Süre Bitiş Süresi Depolama Birimi İşlem Denemesi Kilobayt Dosyalar Yol Adı Tamamlanma Yüzdesi (Tahmini) İş PID Sahibi Kopyalama Ana İş Kimliği KB/Sn Aktif Başlatma Aktif Geçen Robot Kasası Profil Oturumu Veri Taşımayı Çıkaracak Kimlik Ortamı Ana Bilgisayar Dışı Tür Ana Öncelik Veri Tekilleştirme Oranı Aktarım Hızlandırıcı Optimizasyon Örneği veya Veritabanı Paylaşımı Ana Bilgisayarı
- 1372 Geri Yükleme Tamamlandı 0 NBPR01 NBCC 19 Aralık 2018 1:05:58 00:04:32 19 Aralık 2018 1:10:30 1 14,380,577 1 %100 8548 KÖK 1372 70,567 19 Aralık 2018 1:06 :00 PM 00:04:30 KAZANÇ-************ 90000
Veri bütünlüğü, S3'ün kendisinin korunmasıyla sağlanır; ölü sabit disk mili gibi donanım arızalarına karşı koruma sağlamak için burada iyi bir yedeklilik bulunur.
Medya sunucusunun 4 TB önbelleğe ihtiyacı var; bu, Veritas'ın minimum boyut önerisidir. Daha fazlası daha iyidir ama biz de öyle yaptık.
sonuç
Bir iş ortağı S3'ümüze 20 GB aktardığında, 60 GB depoladık çünkü verilerin üçlü coğrafi rezervasyonunu sağlıyoruz. Artık çok daha az trafik var ve bu hem kanal hem de depolama tarifeleri açısından iyi bir şey.
Bu durumda, "büyük İnternet" ötesindeki yollar kapatılır, ancak trafiği İnternet üzerinden VPN L2 üzerinden yönlendirebilirsiniz, ancak medya sunucusunu sağlayıcının girişinden önce kurmak daha iyidir.
Rus veri merkezlerimizdeki bu özellikler hakkında bilgi edinmek istiyorsanız veya evde uygulamaya ilişkin sorularınız varsa yorumlardan veya e-posta yoluyla sorun. [e-posta korumalı].
Kaynak: habr.com