Turkiyalik mijozlarimiz bizdan maʼlumotlar markazi uchun zaxira nusxasini toʻgʻri sozlashimizni soʻrashdi. Biz Rossiyada shunga o'xshash loyihalarni amalga oshirmoqdamiz, ammo bu erda hikoya ko'proq buni qanday qilish kerakligini o'rganish haqida edi.
Ma'lumotlarga ko'ra: mahalliy S3 xotirasi mavjud, Veritas NetBackup mavjud bo'lib, u ma'lumotlarni ob'ekt xotirasiga ko'chirish uchun yangi kengaytirilgan funksiyalarni qo'lga kiritdi, endi deuplikatsiyani qo'llab-quvvatlaydi va ushbu mahalliy xotirada bo'sh joy bilan bog'liq muammo mavjud.
Vazifa: zaxira nusxalarini saqlash jarayoni tez va arzon bo'lishi uchun hamma narsani qilish.
Aslida, bundan oldin S3-dagi hamma narsa oddiy fayllar edi va bu ma'lumotlar markazining muhim mashinalarining to'liq nusxalari edi. Ya'ni, u juda optimallashtirilmagan, lekin hamma narsa boshida ishlagan. Endi buni aniqlash va to'g'ri qilish vaqti keldi.
Rasmda biz nimaga kelganimizni ko'rsatadi:
Ko'rib turganingizdek, birinchi zaxiralash asta-sekin (70 Mb / s) amalga oshirildi va bir xil tizimlarning keyingi zaxira nusxalari ancha tezroq bo'ldi.
Aslida, bundan keyin qanday xususiyatlar borligi haqida biroz ko'proq ma'lumot mavjud.
Yarim sahifali dumpni o'qishga tayyor bo'lganlar uchun zaxira jurnallariQayta ko'rish bilan to'liq
18-yil 2018-dekabr 12:09:43 — Info bpbkar (pid=4452) tezlatkich serverga 14883996160 baytdan 14883994624 bayt yubordi, optimallashtirish 0.0%
18 yil 2018 dekabr 12:10:07 - Ma'lumot NBCC (pid=23002) StorageServer=PureDisk_rhceph_rawd:s3.cloud.ngn.com.tr; Hisobot=PDDO statistikasi (ko‘p tarmoqli oqim ishlatilgan) (NBCC): skanerlangan: 14570817 KB, CR yuborilgan: 1760761 KB, FC orqali yuborilgan CR: 0 KB, o‘chirilgan: 87.9%, kesh o‘chirilgan
to'liq
18-yil 2018-dekabr 12:13:18 — Info bpbkar (pid=2864) tezlatkich serverga 181675008 baytdan 14884060160 bayt yubordi, optimallashtirish 98.8%
18 yil 2018 dekabr 12:13:40 - Ma'lumot NBCC (pid=23527) StorageServer=PureDisk_rhceph_rawd:s3.cloud.ngn.com.tr; Hisobot=PDDO statistikasi (NBCC): skanerlangan: 14569706 KB, CR yuborilgan: 45145 KB, FC orqali yuborilgan CR: 0 KB, o‘chirilgan: 99.7%, kesh o‘chirilgan
Qo'shimcha
18-yil 2018-dekabr 12:15:32 — Info bpbkar (pid=792) tezlatkich serverga 9970688 baytdan 14726108160 bayt yubordi, optimallashtirish 99.9%
18 yil 2018 dekabr 12:15:53 - Ma'lumot NBCC (pid=23656) StorageServer=PureDisk_rhceph_rawd:s3.cloud.ngn.com.tr; Hisobot=PDDO statistikasi (NBCC): skanerlangan: 14383788 KB, CR yuborilgan: 15700 KB, FC orqali yuborilgan CR: 0 KB, o‘chirilgan: 99.9%, kesh o‘chirilgan
to'liq
18-yil 2018-dekabr 12:18:02 — Info bpbkar (pid=3496) tezlatkich serverga 171746816 baytdan 14884093952 bayt yubordi, optimallashtirish 98.8%
18 yil 2018 dekabr 12:18:24 - Ma'lumot NBCC (pid=23878) StorageServer=PureDisk_rhceph_rawd:s3.cloud.ngn.com.tr; Hisobot=PDDO statistikasi (NBCC): skanerlangan: 14569739 KB, CR yuborilgan: 34120 KB, FC orqali yuborilgan CR: 0 KB, o‘chirilgan: 99.8%, kesh o‘chirilgan
Muammo nimada
Mijozlar iloji boricha tez-tez zaxira nusxalarini yaratishni va ularni iloji boricha arzonroq saqlashni xohlashadi. Ularni S3 kabi ob'yektlar omborlarida arzon narxda saqlash yaxshidir, chunki ular megabayt uchun xizmat narxi bo'yicha eng arzon hisoblanadi, bu erda siz o'rtacha vaqt ichida zaxira nusxasini qaytarib olishingiz mumkin. Zaxira ko'p bo'lsa, u juda arzon bo'lmaydi, chunki saqlashning ko'p qismini bir xil ma'lumotlarning nusxalari egallaydi. Turk hamkasblarining HaaS holatida saqlashni taxminan 80-90% ga zichlashtirish mumkin. Bu ularning o'ziga xos xususiyatlari bilan bog'liqligi aniq, lekin men, albatta, kamida 50% boboga ishonaman.
Muammoni hal qilish uchun asosiy sotuvchilar uzoq vaqtdan beri Amazon S3 ga shlyuzlarni yaratdilar. Ularning barcha usullari Amazon API-ni qo'llab-quvvatlasa, mahalliy S3 bilan mos keladi. Turk ma'lumotlar markazida bizning S3-ga, shuningdek Rossiyadagi T-III "Kompressor" da zaxira nusxasi amalga oshiriladi, chunki bu ish sxemasi biz uchun yaxshi ishlagan.
Va bizning S3 Amazon S3 zaxira usullari bilan to'liq mos keladi. Ya'ni, ushbu usullarni qo'llab-quvvatlaydigan barcha zaxiralash vositalari sizga hamma narsani "qutidan tashqari" saqlashga nusxalash imkonini beradi.
Veritas NetBackup CloudCatalyst xususiyatini qo'shdi:
Ya'ni, zaxira nusxasini yaratish kerak bo'lgan mashinalar va shlyuz o'rtasida oraliq Linux serveri mavjud bo'lib, u orqali SRK agentlaridan zahiraviy trafik o'tadi va uni S3 ga o'tkazishdan oldin darhol nusxalanadi. Agar ilgari siqish bilan 30 GB hajmdagi 20 ta zaxira nusxasi mavjud bo'lsa, endi (mashinalarning o'xshashligi tufayli) ularning hajmi 90% ga qisqardi. Deuplikatsiya mexanizmi Netbackup yordamida oddiy disklarda saqlash bilan bir xil ishlatiladi.
Oraliq serverdan oldin nima sodir bo'ladi:
Biz sinovdan o'tkazdik va ma'lumotlar markazlarimizda joriy etilganda, bu biz va mijozlar uchun S3 xotirasida joyni tejaydi, degan xulosaga keldik. Tijorat ma'lumotlar markazlarining egasi sifatida, albatta, biz egallagan hajmga qarab haq olamiz, lekin bu biz uchun ham juda foydali - chunki biz apparatni ijaraga olishdan emas, balki dasturiy ta'minotning kengaytiriladigan joylaridan pul ishlashni boshlaymiz. Xo'sh, bu ichki xarajatlarning kamayishi.
Jurnallar228 ish (0 Navbatda 0 Faol 0 Qayta urinish kutilmoqda 0 Toʻxtatilgan 0 Tugallanmagan 228 Bajarildi — 13 ta tanlangan)
(Filtr qo'llanilgan [13])
Ish identifikatori turi Davlat holati tafsilotlari Holat Ish siyosati Ish jadvali Mijoz Media Server ishga tushirish vaqti O‘tgan vaqt tugash vaqti Saqlash birligi Urinish Operatsion Kilobaytlar Fayllar Yo‘l nomi % Tugallangan (taxminiy) Vazifa PID egasi Nusxa ko‘chirish Ota-ona ish identifikatori KB/Sek. Faol boshlash faol o‘tgan Robot Vault Maʼlumotlar harakatini chiqarish uchun identifikator muhiti xostdan tashqari turdagi asosiy ustuvorlikdagi takroriy takrorlash tezligini tashish tezlatgichini optimallashtirish misoli yoki maʼlumotlar bazasini almashish xostini
— 1358 Snapshot Bajarildi 0 VMware — NGNCloudADC NBCC 18-dekabr 2018-yil 12:16:19 00:02:18 18-yil 2018:12:18 STU_DP_S37_****zaxira 3 1 dekabr root 100 1358, :18:2018 PM 12:16:27 Instant Recovery Disk Standard WIN-*********** 00
1360 Zaxiralash Bajarildi 0 VMware Toʻliq NGNCloudADC NBCC 18-yil 2018-dekabr 12:16:48 00:01:39 18-yil 2018-dekabr 12:18:27 STU_DP_S3_****zaxira 1 14,535,248 root 149654 100, 23858 1358 335,098 18 dekabr , 2018 12:16:48 00:01:39 Instant Recovery Disk Standard WIN-************ 0 99.8% 99%
1352 Snapshot Bajarildi 0 VMware - NGNCloudADC NBCC 18-yil 2018-dekabr 12:14:04 00:02:01 18-yil 2018-dekabr 12:16:05 STU_DP_S3_****zaxira 1 100 dekabr root 1352 18: 2018:12 14:14:00 Instant Recovery Disk Standard WIN-************** 01
1354 Zaxiralash amalga oshirildi 0 VMware Incremental NGNCloudADC NBCC 18-yil 2018-dekabr 12:14:34 00:01:21 18-dekabr 2018-yil 12:15:55 STU_DP_S3_****zaxira 1 14,380,965 root 147, 100 23617 1352 500,817 dekabr , 18 2018:12:14 34:00:01 Instant Recovery Disk Standard WIN-************ 21 0% 99.9%
1347 Snapshot Bajarildi 0 VMware - NGNCloudADC NBCC 18-yil 2018-dekabr 12:11:45 00:02:08 18-yil 2018-dekabr 12:13:53 STU_DP_S3_****zaxira 1 100 dekabr root 1347 18: 2018:12 11:45:00 Instant Recovery Disk Standard WIN-************** 02
1349 Zaxiralash Bajarildi 0 VMware Toʻliq NGNCloudADC NBCC 18-yil 2018-dekabr 12:12:02 00:01:41 18-yil 2018-dekabr 12:13:43 STU_DP_S3_****zaxira 1 14,535,215 root 149653 100, 23508 1347 316,319 18 dekabr , 2018 12:12:02 00:01:41 Instant Recovery Disk Standard WIN-************ 0 99.7% 99%
1341 Snapshot Bajarildi 0 VMware - NGNCloudADC NBCC 18-yil 2018-dekabr 12:05:28 00:04:53 18-yil 2018-dekabr 12:10:21 STU_DP_S3_****zaxira 1 100 dekabr root 1341 18: 2018:12 05:28:00 Instant Recovery Disk Standard WIN-************** 04
1342 Zaxiralash tugallandi 0 VMware Full_Rescan NGNCloudADC NBCC 18-yil 2018-dekabr 12:05:47 00:04:24 18-dekabr 2018-yil 12:10:11 STU_DP_S3_****zaxira 1 14,535,151% 149653 100, 22999 ildiz 1341 70,380 18 2018 Dek 12, 05 47:00:04 24:0:87.9 Tezkor tiklash diski standart WIN-************ 0 XNUMX% XNUMX%
1339 Snapshot Bajarildi 150 VMware - NGNCloudADC NBCC 18-yil 2018-dekabr 11:05:46 00:00:53 18-dekabr 2018-yil 11:06:39 STU_DP_S3_****zaxira 1 100-dekabr rootc:1339 18:2018 AM 11:05:46 Instant Recovery Disk Standard WIN-*********** 00
1327 Snapshot Bajarildi 0 VMware - *******.********.cloud NBCC 17-yil 2018-dekabr 12:54:42 05:51:38 17-yil 2018-dekabr 6:46:20 STU_DP_S3_****zaxira 1 100% ildiz 1327 17-dekabr 2018-yil 12:54:42 05:51:38 Instant Recovery Disk Standard WIN-************* 0
1328 Zaxiralash amalga oshirildi 0 VMware Toʻliq *******.********.cloud NBCC 17-yil 2018-dekabr 12:55:10 05:29:21 17-yil 2018-dekabr 6:24:31 STU_DP_S3_****zaxira 1 222,602,719 258932 100% 12856 ildiz 1327 11,326 17-yil 2018-dekabr 12:55:10 05:29:21 Instant Recovery Disk-Standart W*****0 *****87.9. 0%
1136 Snapshot Bajarildi 0 VMware - *******.********.cloud NBCC 14-yil 2018-dekabr 4:48:22 04:05:16 14-yil 2018-dekabr 8:53:38 STU_DP_S3_****zaxira 1 100% ildiz 1136 14-dekabr 2018-yil 4:48:22 04:05:16 Instant Recovery Disk Standard WIN-************* 0
1140 Zaxiralash amalga oshirildi 0 VMware Full_Scan *******.********.cloud NBCC 14-yil 2018-dekabr 4:49:14 03:49:58 14-yil 2018-dekabr 8:39:12 STU_DP_S3_****zaxira 1 217,631,332 255465 100% 26438 ildiz 1136 15,963 14-yil 2018-dekabr 4:49:14 03:49:58 Instant Recovery Disk Standard W*****0 *****45.2%. 0%
Tezlatgich agentlardan keladigan trafikni kamaytirishga imkon beradi, chunki Faqat ma'lumotlar o'zgarishlari uzatiladi, ya'ni hatto to'liq zaxira nusxalari ham to'liq yuklanmaydi, chunki media server qo'shimcha zaxiralardan keyingi to'liq zaxiralarni to'playdi.
Oraliq server o'z xotirasiga ega, u erda ma'lumotlarning "keshini" yozadi va deuplikatsiya uchun ma'lumotlar bazasini saqlaydi.
To'liq arxitektura quyidagicha ko'rinadi:
- Asosiy server konfiguratsiya, yangilanishlar va hokazolarni boshqaradi va bulutda joylashgan.
- Media server (oraliq *nix mashinasi) tarmoqdan foydalanish imkoniyati bo'yicha ortiqcha tizimlarga eng yaqin joylashgan bo'lishi kerak. Bu erda barcha zahiralangan mashinalarning zaxira nusxalarini nusxalash amalga oshiriladi.
- Zaxiralangan mashinalarda odatda media serverga faqat uning xotirasida bo'lmagan narsalarni yuboradigan agentlar mavjud.
Hammasi to'liq skanerlashdan boshlanadi - bu to'liq huquqli to'liq zaxira. Bu vaqtda media-server hamma narsani oladi, uni deuplikatsiya qiladi va S3 ga o'tkazadi. Media server tezligi past, lekin undan yuqori. Asosiy cheklov serverning hisoblash quvvatidir.
Quyidagi zahiralar barcha tizimlar nuqtai nazaridan to'liq amalga oshiriladi, lekin aslida ular sintetik to'liq zaxiraga o'xshaydi. Ya'ni, media-serverga haqiqiy uzatish va yozib olish faqat ilgari VM zahiralarida uchramagan ma'lumotlar bloklarida sodir bo'ladi. Va faqat xeshi media-serverning deuplikatsiya ma'lumotlar bazasida bo'lmagan ma'lumotlar bloklari S3-ga uzatiladi va qayd etiladi. Oddiy so'zlar bilan aytganda, bu hech qachon bitta VMning zaxira nusxasida ko'rilmagan narsa.
Qayta tiklash vaqtida media-server S3 dan kerakli tekinlashtirilgan ob'ektlarni so'raydi, ularni regidratlanadi va IRB agentlariga o'tkazadi, ya'ni. qayta tiklash vaqtida trafik hajmini hisobga olish kerak, bu esa qayta tiklanadigan ma'lumotlarning haqiqiy hajmiga teng bo'ladi.
Bu qanday ko'rinadi:
Va bu erda yana bir jurnal bo'lagi169 ish (0 Navbatda 0 Faol 0 Qayta urinish kutilmoqda 0 Toʻxtatilgan 0 Tugallanmagan 169 Bajarildi — 1 ta tanlangan)
Ish identifikatori turi Davlat holati tafsilotlari Holat Ish siyosati Ish jadvali Mijoz Media Server ishga tushirish vaqti O‘tgan vaqt tugash vaqti Saqlash birligi Urinish Operatsion Kilobaytlar Fayllar Yo‘l nomi % Tugallangan (taxminiy) Vazifa PID egasi Nusxa ko‘chirish Ota-ona ish identifikatori KB/Sek. Faol boshlash faol o‘tgan Robot Vault Maʼlumotlar harakatini chiqarish uchun identifikator muhiti xostdan tashqari turdagi asosiy ustuvorlikdagi takroriy takrorlash tezligini tashish tezlatgichini optimallashtirish misoli yoki maʼlumotlar bazasini almashish xostini
- 1372 Qayta tiklash tugallandi 0 NBPR01 NBCC 19-dekabr 2018-yil 1:05:58 00:04:32 19-yil 2018-dekabr 1:10:30 1 14,380,577 1 100% OT8548, RO1372. 70,567 19:2018 : 1 PM 06: 00: 00 WIN-************ 04
Ma'lumotlarning yaxlitligi S3 ning o'zini himoya qilish bilan ta'minlanadi - u erda qattiq diskning o'lik mili kabi apparat nosozliklaridan himoya qilish uchun yaxshi zaxira mavjud.
Media serveriga 4 TB kesh kerak - bu Veritasning minimal o'lchamdagi tavsiyasi. Ko'proq yaxshi, lekin biz shunday qildik.
Xulosa
Hamkorimiz S3-ga 20 Gb ni tashlaganida, biz 60 Gb ni saqladik, chunki biz ma'lumotlarning uch marta geo-zahirasini ta'minlaymiz. Endi trafik kamroq, bu kanal uchun ham, saqlash tariflari uchun ham yaxshi.
Bunday holda, marshrutlar "katta Internet" dan o'tib yopiladi, lekin siz Internet orqali VPN L2 orqali trafikni boshqarishingiz mumkin, ammo provayder kirishidan oldin media serverni o'rnatish yaxshiroqdir.
Agar siz bizning rus ma'lumotlar markazlarimizda ushbu xususiyatlar haqida bilishni xohlasangiz yoki uyda amalga oshirish bo'yicha savollaringiz bo'lsa, sharhlar yoki elektron pochta orqali so'rang. [elektron pochta bilan himoyalangan].
Manba: www.habr.com