Մեր թուրք հաճախորդները խնդրեցին մեզ պատշաճ կերպով կարգավորել պահեստային պատճենը իրենց տվյալների կենտրոնի համար: Մենք նմանատիպ նախագծեր ենք իրականացնում Ռուսաստանում, բայց այստեղ պատմությունն ավելի շատ ուսումնասիրելու էր, թե ինչպես դա անել լավագույնս:
Հաշվի առնելով. կա տեղական S3 պահեստ, կա Veritas NetBackup, որը ձեռք է բերել նոր ընդլայնված գործառույթ՝ տվյալների օբյեկտների պահեստ տեղափոխելու համար, այժմ աջակցում է կրկնօրինակմանը, և այս տեղական պահեստում ազատ տարածության խնդիր կա:
Առաջադրանք. անել ամեն ինչ, որպեսզի կրկնօրինակների պահպանման գործընթացը լինի արագ և էժան:
Իրականում, մինչ այս S3-ում ամեն ինչ պարզապես ֆայլեր էին, և դրանք տվյալների կենտրոնի կրիտիկական մեքենաների ամբողջական նկարահանումներ էին: Այսինքն, դա այնքան էլ օպտիմիզացված չէ, բայց ամեն ինչ սկզբում աշխատեց: Հիմա ժամանակն է դա պարզել և ճիշտ անել:
Նկարը ցույց է տալիս, թե ինչի հասանք.
Ինչպես տեսնում եք, առաջին կրկնօրինակումն արվել է դանդաղ (70 Մբ/վ), և նույն համակարգերի հետագա կրկնօրինակումները շատ ավելի արագ են եղել։
Իրականում, հետագայում կան մի փոքր ավելի մանրամասն, թե ինչ հատկանիշներ կան:
Պահուստային տեղեկամատյաններ նրանց համար, ովքեր պատրաստ են կարդալ կիսատ էջԼրիվ վերասկանավորումով
Դեկ 18, 2018 12:09:43 — Info bpbkar (pid=4452) արագացուցիչը 14883996160 բայթ է ուղարկել սերվերին 14883994624 բայթից, օպտիմիզացում 0.0%
Դեկտեմբերի 18, 2018 12:10:07 - Info NBCC (pid=23002) StorageServer=PureDisk_rhceph_rawd:s3.cloud.ngn.com.tr; Հաշվետվություն=PDDO վիճակագրություն (օգտագործվում է բազմաշերտ հոսք) (NBCC) համար՝ սկանավորված՝ 14570817 ԿԲ, CR ուղարկված՝ 1760761 ԿԲ, CR ուղարկված FC՝ 0 ԿԲ, հեռացում՝ 87.9%, քեշն անջատված է։
Լրիվ
Դեկ 18, 2018 12:13:18 — Info bpbkar (pid=2864) արագացուցիչը 181675008 բայթ է ուղարկել սերվերին 14884060160 բայթից, օպտիմիզացում 98.8%
Դեկտեմբերի 18, 2018 12:13:40 - Info NBCC (pid=23527) StorageServer=PureDisk_rhceph_rawd:s3.cloud.ngn.com.tr; Հաշվետվություն=PDDO վիճակագրություն (NBCC) համար՝ սկանավորված՝ 14569706 ԿԲ, CR ուղարկված՝ 45145 ԿԲ, CR ուղարկված FC՝ 0 ԿԲ, հեռացում՝ 99.7%, քեշն անջատված է
Ավելացում
Դեկ 18, 2018 12:15:32 — Info bpbkar (pid=792) արագացուցիչը 9970688 բայթ է ուղարկել սերվերին 14726108160 բայթից, օպտիմիզացում 99.9%
Դեկտեմբերի 18, 2018 12:15:53 - Info NBCC (pid=23656) StorageServer=PureDisk_rhceph_rawd:s3.cloud.ngn.com.tr; Հաշվետվություն=PDDO վիճակագրություն (NBCC) համար՝ սկանավորված՝ 14383788 ԿԲ, CR ուղարկված՝ 15700 ԿԲ, CR ուղարկված FC՝ 0 ԿԲ, հեռացում՝ 99.9%, քեշն անջատված է
Լրիվ
Դեկ 18, 2018 12:18:02 — Info bpbkar (pid=3496) արագացուցիչը 171746816 բայթ է ուղարկել սերվերին 14884093952 բայթից, օպտիմիզացում 98.8%
Դեկտեմբերի 18, 2018 12:18:24 - Info NBCC (pid=23878) StorageServer=PureDisk_rhceph_rawd:s3.cloud.ngn.com.tr; Հաշվետվություն=PDDO վիճակագրություն (NBCC) համար՝ սկանավորված՝ 14569739 ԿԲ, CR ուղարկված՝ 34120 ԿԲ, CR ուղարկված FC՝ 0 ԿԲ, հեռացում՝ 99.8%, քեշն անջատված է
Ինչումն է խնդիրը
Հաճախորդները ցանկանում են հնարավորինս հաճախ կրկնօրինակումներ անել և հնարավորինս էժան պահել դրանք: Լավագույնն այն է, որ դրանք էժան պահվեն օբյեկտների պահեստներում, ինչպիսին է S3-ը, քանի որ դրանք ամենաէժանն են մեկ մեգաբայթի սպասարկման արժեքով, որտեղից կարող եք խելամիտ ժամկետում հետ ուղարկել պահեստային պատճենը: Երբ կրկնօրինակումը շատ է, այն դառնում է ոչ շատ էժան, քանի որ պահեստի մեծ մասը զբաղեցնում են նույն տվյալների պատճենները: Թուրք գործընկերների HaaS-ի դեպքում պահեստը կարող է խտանալ մոտավորապես 80-90%-ով: Հասկանալի է, որ դա վերաբերում է հատկապես նրանց առանձնահատկություններին, բայց ես անպայման կհաշվեի առնվազն 50% պապի վրա:
Խնդիրը լուծելու համար հիմնական վաճառողները երկար ժամանակ մուտք են գործել դեպի Amazon S3: Նրանց բոլոր մեթոդները համատեղելի են տեղական S3-ի հետ, քանի դեռ նրանք աջակցում են Amazon API-ին: Թուրքական տվյալների կենտրոնում կրկնօրինակում է արվում մեր S3-ում, ինչպես նաև Ռուսաստանում T-III «Կոմպրեսորում», քանի որ այս աշխատանքային սխեման լավ է աշխատել մեզ մոտ:
Իսկ մեր S3-ը լիովին համատեղելի է Amazon S3-ի կրկնօրինակման մեթոդների հետ: Այսինքն, բոլոր պահուստային գործիքները, որոնք աջակցում են այս մեթոդներին, թույլ են տալիս պատճենել ամեն ինչ նման պահեստում «արկղից դուրս»:
Veritas NetBackup-ը ավելացրել է CloudCatalyst հատկությունը.
Այսինքն՝ կրկնօրինակման կարիք ունեցող մեքենաների և gateway-ի միջև կա միջանկյալ Linux սերվեր, որի միջով անցնում է SRK գործակալների պահուստային տրաֆիկը և անմիջապես հեռացվում է այն S3-ին փոխանցելուց առաջ: Եթե նախկինում սեղմումով 30 ԳԲ-ի 20 կրկնօրինակում կար, ապա այժմ (հաստոցների նմանության պատճառով) դրանց ծավալը 90%-ով փոքրացել է։ Deduplication շարժիչը օգտագործվում է նույնը, ինչ Netbackup-ի միջոցով սովորական սկավառակների վրա պահելու ժամանակ:
Ահա թե ինչ է տեղի ունենում միջանկյալ սերվերից առաջ.
Մենք փորձարկեցինք և եկանք այն եզրակացության, որ երբ ներդրվում է մեր տվյալների կենտրոններում, դա խնայում է տարածք S3 պահեստում մեզ և հաճախորդների համար: Որպես առևտրային տվյալների կենտրոնների սեփականատեր, իհարկե, մենք գանձում ենք ըստ զբաղեցրած ծավալի, բայց դա դեռ շատ շահավետ է մեզ համար, քանի որ մենք սկսում ենք գումար վաստակել ծրագրային ապահովման ավելի լայնածավալ վայրերում, և ոչ թե սարքավորումներ վարձակալել: Դե, և սա ներքին ծախսերի կրճատում է:
Տեղեկամատյանները228 Աշխատանք (0 Հերթագրված 0 Ակտիվ 0 Սպասում է Կրկին Փորձի 0 Կասեցված 0 Անավարտ 228 Կատարված — 13 ընտրված)
(Զտիչը կիրառվել է [13])
Աշխատանքի նույնականացման տեսակը Պետական վիճակ Մանրամասներ Կարգավիճակ Աշխատանքային քաղաքականություն Աշխատանքի ժամանակացույց Հաճախորդ Մեդիա սերվերի մեկնարկի ժամանակը Անցած ժամանակը Ավարտի ժամանակ Պահպանման միավոր Փորձի գործառնություն Կիլոբայթ ֆայլերի ուղու անունը % Ավարտված է (գնահատված) Աշխատանքի PID սեփականատեր Պատճենել ծնող աշխատանքի ID KB/վրկ. ID մեդիա՝ տվյալների շարժման արտահոսքից դուրս հանելու համար Տիպը հիմնական առաջնահերթության կրկնօրինակման դրույքաչափը Տրանսպորտի արագացուցիչի օպտիմիզացման օրինակ կամ տվյալների բազայի համօգտագործման հոսթ
— 1358 Snapshot Կատարված 0 VMware — NGNCloudADC NBCC Դեկ 18, 2018 12:16:19 PM 00:02:18 Դեկտեմբեր 18, 2018 12:18:37 PM STU_DP_S3_****պահուստավորում STU_DP_S1_****100 կրկնօրինակում 1358%c 18 2018 :12:16 PM 27:00:02 Ակնթարթային վերականգնման սկավառակ Ստանդարտ WIN-************ 10
1360 Պահուստավորումը Կատարված է 0 VMware Full NGNCloudADC NBCC 18 դեկտ., 2018 12:16:48 PM 00:01:39 Դեկ 18, 2018 12:18:27 PM STU_DP_S3_****պահուստավորում 1 14,535,248 149654 100% 23858 1358 335,098 դեկտ , 18 2018:12:16 PM 48:00:01 Ակնթարթային վերականգնման սկավառակ Ստանդարտ WIN-*********** 39 0% 99.8%
1352 Snapshot Կատարված 0 VMware - NGNCloudADC NBCC 18 դեկտ., 2018 12:14:04 PM 00:02:01 Դեկ 18, 2018 12:16:05 PM STU_DP_S3_****պահուստավորում STU_DP_S1_****պահուստավորում 100 1352%c. 18:2018 PM 12:14:14 Ակնթարթային վերականգնման սկավառակ Ստանդարտ WIN-************ 00
1354 Պահուստավորումը Կատարված է 0 VMware Incremental NGNCloudADC NBCC 18 դեկտ., 2018 12:14:34 PM 00:01:21 Դեկ 18, 2018 12:15:55 PM STU_DP_S3_****պահուստավորում 1 14,380,965, 147% 100, 23617, 1352% 500,817, 18% 2018, 12% 14, 34, 00% 01, 21% 0, 99.9, 100% XNUMX XNUMX XNUMX դեկտ , XNUMX XNUMX:XNUMX:XNUMX PM XNUMX:XNUMX:XNUMX Ակնթարթային վերականգնման սկավառակ Ստանդարտ WIN-*********** XNUMX XNUMX% XNUMX%
1347 Snapshot Կատարված 0 VMware - NGNCloudADC NBCC 18 դեկտ., 2018 12:11:45 PM 00:02:08 Դեկ 18, 2018 12:13:53 PM STU_DP_S3_****պահուստավորում STU_DP_S1_****պահուստավորում 100 1347%c. 18:2018 PM 12:11:45 Ակնթարթային վերականգնման սկավառակ Ստանդարտ WIN-************ 00
1349 Պահուստավորումը Կատարված է 0 VMware Full NGNCloudADC NBCC 18 դեկտ., 2018 12:12:02 PM 00:01:41 Դեկ 18, 2018 12:13:43 PM STU_DP_S3_****պահուստավորում 1 14,535,215 149653 100% 23508 1347 316,319 դեկտ , 18 2018:12:12 PM 02:00:01 Ակնթարթային վերականգնման սկավառակ Ստանդարտ WIN-*********** 41 0% 99.7%
1341 Snapshot Կատարված 0 VMware - NGNCloudADC NBCC 18 դեկտ., 2018 12:05:28 PM 00:04:53 Դեկ 18, 2018 12:10:21 PM STU_DP_S3_****պահուստավորում STU_DP_S1_****պահուստավորում 100 1341%c. 18:2018 PM 12:05:28 Ակնթարթային վերականգնման սկավառակ Ստանդարտ WIN-************ 00
1342 Պահուստավորումը Կատարված է 0 VMware Full_Rescan NGNCloudADC NBCC 18 դեկտ., 2018 12:05:47 PM 00:04:24 Դեկտեմբեր 18, 2018 12:10:11 PM STU_DP_S3_****1% 14,535,151, 149653, 100, 22999:1341 70,380 արմատ 18 2018 12 Դեկ 05, 47 00:04:24 PM 0:87.9:0 Ակնթարթային վերականգնման սկավառակ Ստանդարտ WIN-*********** XNUMX XNUMX% XNUMX%
1339 Snapshot Կատարված է 150 VMware - NGNCloudADC NBCC Դեկ 18, 2018 11:05:46 AM 00:00:53 Դեկտեմբեր 18, 2018 11:06:39 AM STU_DP_S3_**** 1% 100, 1339:18:2018 AM STU_DP_S11_****05%46 Dec 00: 00:53 AM 0:XNUMX:XNUMX Ակնթարթային վերականգնման սկավառակ Ստանդարտ WIN-************ XNUMX
1327 Snapshot Կատարված 0 VMware - *******.********.cloud NBCC Դեկ 17, 2018 12:54:42 PM 05:51:38 Դեկ 17, 2018 6:46:20 STU_DP_S3_****պահուստավորում 1 100% արմատ 1327 Դեկ 17, 2018 12:54:42 PM 05:51:38 Ակնթարթային վերականգնման սկավառակ Ստանդարտ WIN-*********** 0
1328 Պահուստավորումը Կատարված է 0 VMware Full ********************.cloud NBCC 17 դեկ, 2018 12:55:10 PM 05:29:21 Դեկ 17, 2018 6:24:31 STU_DP_S3_****պահուստավորում 1 222,602,719 258932 100% 12856 արմատ 1327 11,326 Դեկ 17, 2018 12:55:10 PM 05:29:21 Ակնթարթային վերականգնման 0:87.9:0 ակնթարթային վերականգնում XNUMX IN-XNUMX Ստանդարտ ****XNUMX. XNUMX%
1136 Snapshot Կատարված 0 VMware - *******.********.cloud NBCC Դեկ 14, 2018 4:48:22 PM 04:05:16 Դեկ 14, 2018 8:53:38 STU_DP_S3_****պահուստավորում 1 100% արմատ 1136 Դեկ 14, 2018 4:48:22 PM 04:05:16 Ակնթարթային վերականգնման սկավառակ Ստանդարտ WIN-*********** 0
1140 Պահուստավորումը Կատարված է 0 VMware Full_Scan *******.********.cloud NBCC 14 դեկ, 2018 4:49:14 PM 03:49:58 Դեկ 14, 2018 8:39:12 STU_DP_S3_****պահուստավորում 1 217,631,332 255465 100% 26438 արմատ 1136 15,963 Դեկտեմբեր 14, 2018 4:49:14 PM 03:49:58 Ակնթարթային վերականգնում ***Ստանդարտ 0-45.2 Սկավառակ ****0 XNUMX%
Արագացուցիչը թույլ է տալիս նվազեցնել թրաֆիկը գործակալներից, քանի որ Փոխանցվում են միայն տվյալների փոփոխությունները, այսինքն, նույնիսկ ամբողջական կրկնօրինակները ամբողջությամբ չեն վերբեռնվում, քանի որ մեդիա սերվերը հավաքում է հետագա ամբողջական կրկնօրինակները լրացուցիչ կրկնօրինակներից:
Միջանկյալ սերվերն ունի իր սեփական պահեստը, որտեղ այն գրում է տվյալների «քեշ» և պահում է տվյալների բազա՝ կրկնօրինակման համար:
Ամբողջական ճարտարապետությունն ունի հետևյալ տեսքը.
- Հիմնական սերվերը կառավարում է կոնֆիգուրացիան, թարմացումները և այլն և գտնվում է ամպի մեջ:
- Մեդիա սերվերը (միջանկյալ *nix մեքենա) պետք է տեղակայվի ավելորդ համակարգերին ամենամոտ՝ ցանցի հասանելիության տեսանկյունից: Այստեղ կատարվում է կրկնօրինակների կրկնօրինակում բոլոր վերապահված մեքենաներից:
- Պահուստավորվող մեքենաների վրա կան գործակալներ, որոնք սովորաբար ուղարկում են մեդիա սերվեր միայն այն, ինչ դրա պահեստում չէ:
Ամեն ինչ սկսվում է ամբողջական սկանավորումից. սա լիարժեք ամբողջական կրկնօրինակում է: Այս պահին մեդիա սերվերը վերցնում է ամեն ինչ, վերացնում է այն և փոխանցում S3-ին: Մեդիա սերվերի արագությունը ցածր է, բայց դրանից ավելի բարձր է: Հիմնական սահմանափակումը սերվերի հաշվողական հզորությունն է:
Հետևյալ կրկնօրինակումներն ավարտված են բոլոր համակարգերի տեսանկյունից, բայց իրականում դրանք սինթետիկ ամբողջական կրկնօրինակների պես մի բան են։ Այսինքն, իրական փոխանցումը և ձայնագրումը մեդիա սերվերին տեղի է ունենում միայն այն տվյալների բլոկների համար, որոնք նախկինում դեռ չեն հանդիպել VM-ի կրկնօրինակում: Եվ միայն այն տվյալների բլոկները, որոնց հեշը չկա մեդիա սերվերի կրկնօրինակման տվյալների բազայում, փոխանցվում և գրանցվում են S3-ում: Ավելի պարզ խոսքերով, սա մի բան է, որը նախկինում երբեք չի տեսել մեկ VM-ի որևէ կրկնօրինակում:
Վերականգնման ընթացքում մեդիա սերվերը պահանջում է S3-ից անհրաժեշտ չկրկնվող օբյեկտները, դրանք ջրազրկում և փոխանցում IRB գործակալներին, այսինքն. Վերականգնման ժամանակ անհրաժեշտ է հաշվի առնել տրաֆիկի ծավալը, որը հավասար կլինի վերականգնվող տվյալների իրական ծավալին։
Ահա, թե ինչ տեսք ունի.
Եվ ահա ևս մեկ կտոր գերան169 Աշխատանք (0 Հերթագրված 0 Ակտիվ 0 Սպասում է Կրկին Փորձի 0 Կասեցված 0 Անավարտ 169 Կատարված — 1 ընտրված)
Աշխատանքի նույնականացման տեսակը Պետական վիճակ Մանրամասներ Կարգավիճակ Աշխատանքային քաղաքականություն Աշխատանքի ժամանակացույց Հաճախորդ Մեդիա սերվերի մեկնարկի ժամանակը Անցած ժամանակը Ավարտի ժամանակ Պահպանման միավոր Փորձի գործառնություն Կիլոբայթ ֆայլերի ուղու անունը % Ավարտված է (գնահատված) Աշխատանքի PID սեփականատեր Պատճենել ծնող աշխատանքի ID KB/վրկ. ID մեդիա՝ տվյալների շարժման արտահոսքից դուրս հանելու համար Տիպը հիմնական առաջնահերթության կրկնօրինակման դրույքաչափը Տրանսպորտի արագացուցիչի օպտիմիզացման օրինակ կամ տվյալների բազայի համօգտագործման հոսթ
- 1372 Վերականգնումը Կատարված է 0 NBPR01 NBCC Դեկ 19, 2018 1:05:58 PM 00:04:32 Դեկտեմբեր 19, 2018 1:10:30 PM 1 14,380,577 1 100% OT8548c 1372:70,567 :19 PM 2018:1:06 WIN-************ 00
Տվյալների ամբողջականությունն ապահովվում է հենց S3-ի պաշտպանությամբ. այնտեղ լավ ավելորդություն կա՝ ապարատային խափանումներից պաշտպանվելու համար, ինչպիսին է մեռած կոշտ սկավառակի spindle-ը:
Մեդիա սերվերին անհրաժեշտ է 4 ՏԲ քեշ. սա Veritas-ի նվազագույն չափի առաջարկությունն է: Ավելի լավ է, բայց դա այն է, ինչ մենք արեցինք:
Լրիվ
Երբ գործընկերը 3 ԳԲ գցեց մեր S20-ի մեջ, մենք պահեցինք 60 ԳԲ, քանի որ մենք տրամադրում ենք տվյալների եռակի աշխարհագրական ամրագրում: Հիմա շատ ավելի քիչ տրաֆիկ կա, ինչը լավ է և՛ ալիքի, և՛ պահեստավորման սակագների համար։
Այս դեպքում երթուղիները փակվում են «մեծ ինտերնետից», բայց դուք կարող եք երթևեկել VPN L2-ի միջոցով ինտերնետի միջոցով, բայց ավելի լավ է տեղադրել մեդիա սերվերը մինչև մատակարարի մուտքը:
Եթե դուք հետաքրքրված եք իմանալ այս հնարավորությունների մասին մեր ռուսական տվյալների կենտրոններում կամ ունեք հարցեր տանը իրականացման վերաբերյալ, հարցրեք մեկնաբանություններում կամ էլ. [էլեկտրոնային փոստով պաշտպանված].
Source: www.habr.com