Meie Türgi kliendid palusid meil nende andmekeskuse varukoopia õigesti konfigureerida. Teeme sarnaseid projekte Venemaal, aga siin oli jutt pigem uurimisest, kuidas seda kõige paremini teha.
Arvestades: seal on lokaalne S3 salvestusruum, on Veritas NetBackup, mis on omandanud uue laiendatud funktsionaalsuse andmete teisaldamiseks objektimälu, nüüd ka deduplikatsiooni toega ja selles lokaalses salvestusruumis on probleem vaba ruumiga.
Ülesanne: teha kõik nii, et varukoopiate salvestamise protsess oleks kiire ja odav.
Tegelikult oli enne seda kõik S3-s lihtsalt failid ja need olid andmekeskuse kriitiliste masinate täielikud vormingud. See tähendab, et see pole väga optimeeritud, kuid kõik töötas alguses. Nüüd on aeg see välja mõelda ja õigesti teha.
Pildil on näha, milleni me jõudsime:
Nagu näha, tehti esimene varukoopia aeglaselt (70 Mb/s) ja järgnevad samade süsteemide varukoopiad olid palju kiiremad.
Tegelikult on edaspidi veidi rohkem üksikasju selle kohta, millised funktsioonid on olemas.
Varulogid neile, kes on valmis lugema pool lehekülge prügimäedTäis uuesti skannimisega
18. detsember 2018 12:09:43 — Info bpbkar (pid=4452) kiirendi saatis serverisse 14883996160 baiti 14883994624 baidist, optimeerimine 0.0%
18. detsember 2018 12:10:07 – Info NBCC (pid=23002) StorageServer=PureDisk_rhceph_rawd:s3.cloud.ngn.com.tr; Report=PDDO statistika (kasutatakse mitme lõimega voogu) jaoks (NBCC): skannitud: 14570817 KB, CR saadetud: 1760761 KB, CR saadetud üle FC: 0 KB, dedup: 87.9%, vahemälu keelatud
Täis
18. detsember 2018 12:13:18 — Info bpbkar (pid=2864) kiirendi saatis serverisse 181675008 baiti 14884060160 baidist, optimeerimine 98.8%
18. detsember 2018 12:13:40 – Info NBCC (pid=23527) StorageServer=PureDisk_rhceph_rawd:s3.cloud.ngn.com.tr; Report=PDDO statistika (NBCC): skannitud: 14569706 KB, CR saadetud: 45145 KB, CR saadetud üle FC: 0 KB, dedup: 99.7%, vahemälu keelatud
Kasvav
18. detsember 2018 12:15:32 — Info bpbkar (pid=792) kiirendi saatis serverisse 9970688 baiti 14726108160 baidist, optimeerimine 99.9%
18. detsember 2018 12:15:53 – Info NBCC (pid=23656) StorageServer=PureDisk_rhceph_rawd:s3.cloud.ngn.com.tr; Report=PDDO statistika (NBCC): skannitud: 14383788 KB, CR saadetud: 15700 KB, CR saadetud üle FC: 0 KB, dedup: 99.9%, vahemälu keelatud
Täis
18. detsember 2018 12:18:02 — Info bpbkar (pid=3496) kiirendi saatis serverisse 171746816 baiti 14884093952 baidist, optimeerimine 98.8%
18. detsember 2018 12:18:24 – Info NBCC (pid=23878) StorageServer=PureDisk_rhceph_rawd:s3.cloud.ngn.com.tr; Report=PDDO statistika (NBCC): skannitud: 14569739 KB, CR saadetud: 34120 KB, CR saadetud üle FC: 0 KB, dedup: 99.8%, vahemälu keelatud
Milles on probleem
Kliendid soovivad teha varukoopiaid nii sageli kui võimalik ja hoida neid võimalikult odavalt. Parim on hoida neid odavalt objektihoidlates, näiteks S3, kuna need on megabaidi teenuse hinnaga kõige odavamad, kust saate mõistliku aja jooksul varukoopia tagasi kerida. Kui varukoopiaid on palju, ei muutu see eriti odavaks, sest suurema osa salvestusruumist hõivavad samade andmete koopiad. Türgi kolleegide HaaS-i puhul saab ladustamist tihendada ligikaudu 80-90%. On selge, et see puudutab konkreetselt nende eripära, kuid ma loodan kindlasti vähemalt 50% vanaisale.
Probleemi lahendamiseks on peamised müüjad juba pikka aega loonud lüüsi Amazon S3-le. Kõik nende meetodid ühilduvad kohaliku S3-ga seni, kuni nad toetavad Amazon API-t. Türgi andmekeskuses tehakse varukoopia meie S3-le, samuti Venemaal T-III “kompressorile”, kuna see tööskeem on meil hästi toiminud.
Ja meie S3 ühildub täielikult Amazon S3 varundusmeetoditega. See tähendab, et kõik neid meetodeid toetavad varundustööriistad võimaldavad teil kõik sellisesse salvestusruumi "karbist välja" kopeerida.
Veritas NetBackup lisas CloudCatalyst funktsiooni:
See tähendab, et varundamist vajavate masinate ja lüüsi vahel on vahepealne Linuxi server, mille kaudu liigub SRK agentide varukoopialiiklus ja see eemaldatakse enne selle ülekandmist S3-le. Kui varem oli kokkupakkimisega 30 GB varukoopiaid 20, siis nüüd on (masinate sarnasuse tõttu) nende maht 90% väiksemaks jäänud. Deduplikatsioonimootorit kasutatakse samamoodi nagu tavalistel ketastel salvestamisel Netbackupi abil.
Enne vaheserverit toimub järgmine:
Testisime ja jõudsime järeldusele, et meie andmekeskustes juurutades säästab see nii meie kui ka klientide jaoks S3 salvestusruumi ruumi. Kaubanduslike andmekeskuste omanikuna võtame loomulikult tasu vastavalt hõivatud mahule, kuid see on meilegi väga tulus - sest hakkame raha teenima skaleeritavamate kohtade pealt tarkvaras, mitte riistvara rentimisega. Noh, ja see on sisekulude vähendamine.
Palgid228 tööd (0 järjekorras 0 aktiivne 0 ootel uuesti proovimist 0 peatatud 0 mittetäielik 228 tehtud — 13 valitud)
(Filter on rakendatud [13])
Töö ID tüüp Olekoleku üksikasjad Olek Tööpoliitika Töö ajakava Kliendi meediaserver Algusaeg Kulunud aeg Lõpuaeg Salvestusüksus Katse Toiming Kilobaiti Failid Teenimi % Lõpetatud (hinnanguline) Töö PID omanik Kopeeri Ematöö ID KB/s Aktiivne Käivitamine Aktiivne Kulunud Robot Vaulti profiili seanss ID-meedium andmete liikumise väljutamiseks hostivälise tüübi peamise prioriteedi deduplikatsiooni määra transpordikiirendi optimeerimise eksemplar või andmebaasi jagamise host
— 1358 Snapshot Done 0 VMware — NGNCloudADC NBCC 18. detsember 2018 12:16:19 PM 00:02:18 18. detsember 2018 12:18:37 PM STU_DP_S3_****varukoopia %c juur 1 100, 1358 :18:2018 PM 12:16:27 Kiirtaasteketas standardne WIN-*********** 00
1360 varundamine tehtud 0 VMware Full NGNCloudADC NBCC 18. detsember 2018 12:16:48 PM 00:01:39 18. detsember 2018 12:18:27 PM STU_DP_S3_****varukoopia 1 14,535,248 % 149654 100, 23858 1358 335,098 18 2018 12 16 48 00 01. detsember , 39 0:99.8:99 PM XNUMX:XNUMX:XNUMX Instant Recovery Disk Standard WIN-*********** XNUMX XNUMX% XNUMX%
1352 Snapshot Done 0 VMware – NGNCloudADC NBCC 18. detsember 2018 12:14:04 PM 00:02:01 18. detsember 2018 12:16:05 PM STU_DP_S3_****varukoopia 1 100% de root 1352 18, 2018% 12 14:14 PM 00:01:51 Kiirtaasteketas standardne WIN-*********** 0
1354 Varundamine tehtud 0 VMware Inkrementaalne NGNCloudADC NBCC 18. detsember 2018 12:14:34 PM 00:01:21 18. detsember 2018 12:15:55 STU_DP_S3_****varukoopia 1 % 14,380,965 juur 147 100 23617 1352 500,817 18 2018. detsember , 12 14:34:00 PM 01:21:0 Instant Recovery Disk Standard WIN-************ 99.9 100% XNUMX%
1347 Snapshot Done 0 VMware – NGNCloudADC NBCC 18. detsember 2018 12:11:45 PM 00:02:08 18. detsember 2018 12:13:53 PM STU_DP_S3_****varukoopia 1 100% de root 1347 18, 2018% 12 11:45 PM 00:02:08 Kiirtaasteketas standardne WIN-*********** 0
1349 varundamine tehtud 0 VMware Full NGNCloudADC NBCC 18. detsember 2018 12:12:02 PM 00:01:41 18. detsember 2018 12:13:43 PM STU_DP_S3_****varukoopia 1 14,535,215 % 149653 100, 23508 1347 316,319 18 2018 12 12 02 00 01. detsember , 41 0:99.7:99 PM XNUMX:XNUMX:XNUMX Instant Recovery Disk Standard WIN-*********** XNUMX XNUMX% XNUMX%
1341 Snapshot Done 0 VMware – NGNCloudADC NBCC 18. detsember 2018 12:05:28 PM 00:04:53 18. detsember 2018 12:10:21 PM STU_DP_S3_****varukoopia 1 100% de root 1341 18, 2018% 12 05:28 PM 00:04:53 Kiirtaasteketas standardne WIN-*********** 0
1342 Varundamine tehtud 0 VMware Full_Rescan NGNCloudADC NBCC 18. detsember 2018 12:05:47 PM 00:04:24 18. detsember 2018 12:10:11 PM STU_DP_S3_****varundus 1 14,535,151% 149653 100 juur 22999 1341 70,380 18 dets 2018 , 12 05:47:00 PM 04:24:0 Instant Recovery Disk Standard WIN-*********** 87.9 0% XNUMX%
1339 Snapshot Done 150:18 AM 2018:11:05 Kiirtaasteketas standardne WIN-*********** 46
1327 Snapshot Done 0 VMware – *******.********.cloud NBCC 17. detsember 2018 12:54:42 05:51:38 17. detsember 2018 6:46:20 STU_DP_S3_****varukoopia 1 100% juur 1327 17. detsember 2018 12:54:42 PM 05:51:38 Instant Recovery Disk Standard WIN-************ 0
1328 Varundamine tehtud 0 VMware täis *******.********.cloud NBCC 17. detsember 2018 12:55:10 PM 05:29:21 17. detsember 2018 6:24:31 STU_DP_S3_****varukoopia 1 222,602,719 258932 100 12856 1327% 11,326 juur 17 2018 12 55. detsember 10 05:29:21 0:87.9:0 Instant Recovery Disk *** Standard XNUMXIN-XNUMX****. XNUMX%
1136 Snapshot Done 0 VMware – *******.********.cloud NBCC 14. detsember 2018 4:48:22 04:05:16 14. detsember 2018 8:53:38 STU_DP_S3_****varukoopia 1 100% juur 1136 14. detsember 2018 4:48:22 PM 04:05:16 Instant Recovery Disk Standard WIN-************ 0
1140 Varundamine tehtud 0 VMware Full_Scan *******.********.cloud NBCC 14. detsember 2018 4:49:14 PM 03:49:58 14. detsember 2018 8:39:12 STU_DP_S3_****varukoopia 1 217,631,332 255465 100 26438 1136% 15,963 juur 14 2018 4 49. detsember 14 03:49:58 0:45.2:0 Kiirtaasteketas*** Standardne XNUMX%XNUMX-XNUMX********. XNUMX%
Kiirendi võimaldab teil vähendada agentide liiklust, kuna Edastatakse ainult andmete muudatused, st isegi täielikke varukoopiaid ei laadita täielikult üles, kuna meediumiserver kogub järgnevad täielikud varukoopiad järkjärgulistest varukoopiatest.
Vaheserveril on oma salvestusruum, kuhu ta kirjutab andmete "vahemällu" ja haldab andmebaasi dubleerimiseks.
Täielik arhitektuur näeb välja selline:
- Peaserver haldab konfiguratsiooni, värskendusi jms ning asub pilves.
- Meediumiserver (vahepealne *nix-masin) peaks asuma võrgu juurdepääsetavuse mõttes üleliigsetele süsteemidele kõige lähemal. Siin tehakse kõigi reserveeritud masinate varukoopiate dubleerimine.
- Varundatud masinatel on agendid, mis saadavad meediumiserverisse tavaliselt ainult selle, mida selle mälus pole.
Kõik algab täielikust skannimisest – see on täieõiguslik täielik varukoopia. Sel hetkel võtab meediumiserver kõik, eemaldab selle ja edastab selle S3-le. Kiirus meediaserverisse on väike, kuid sealt on see suurem. Peamine piirang on serveri arvutusvõimsus.
Järgmised varukoopiad on tehtud kõigi süsteemide seisukohalt terviklikuks, kuid tegelikult on need midagi sünteetiliste täisvarukoopiate sarnast. See tähendab, et tegelik ülekandmine ja salvestamine meediumiserverisse toimub ainult nende andmeplokkide puhul, mida pole varem VM-i varukoopiates esinenud. Ja ainult need andmeplokid, mille räsi pole meediumiserveri deduplikatsiooni andmebaasis, edastatakse ja salvestatakse S3-sse. Lihtsamalt öeldes on see midagi, mida pole varem ühegi VM-i varukoopias nähtud.
Meediumiserver pärib taastamise käigus S3-lt vajalikud deduplikeeritud objektid, rehüdreerib need ja edastab IRB agentidele, s.t. taastamise ajal tuleb arvestada liikluse mahuga, mis võrdub taastatavate andmete tegeliku mahuga.
Siin näeb välja, kuidas:
Ja siin on veel üks tükk palgist169 tööd (0 järjekorras 0 aktiivne 0 ootel uuesti proovimist 0 peatatud 0 mittetäielik 169 tehtud — 1 valitud)
Töö ID tüüp Olekoleku üksikasjad Olek Tööpoliitika Töö ajakava Kliendi meediaserver Algusaeg Kulunud aeg Lõpuaeg Salvestusüksus Katse Toiming Kilobaiti Failid Teenimi % Lõpetatud (hinnanguline) Töö PID omanik Kopeeri Ematöö ID KB/s Aktiivne Käivitamine Aktiivne Kulunud Robot Vaulti profiili seanss ID-meedium andmete liikumise väljutamiseks hostivälise tüübi peamise prioriteedi deduplikatsiooni määra transpordikiirendi optimeerimise eksemplar või andmebaasi jagamise host
- 1372 Taastamine Valmis 0 NBPR01 NBCC 19. detsember 2018 1:05:58 PM 00:04:32 19. detsember 2018 1:10:30 1 14,380,577 1 100% detsember 8548, 1372 70,567 19:2018 :1 PM 06:00:00 VÕIT-************ 04
Andmete terviklikkuse tagab S3 enda kaitse – seal on hea liiasus, mis kaitseb riistvaratõrgete, näiteks surnud kõvaketta spindli eest.
Meediumiserver vajab 4 TB vahemälu – see on Veritase minimaalse suuruse soovitus. Rohkem on parem, aga nii me tegime.
Summaarne
Kui partner viskas meie S3-sse 20 GB, salvestasime 60 GB, kuna pakume andmete kolmekordset geograafilist reserveerimist. Nüüd on liiklust palju vähem, mis on hea nii kanali kui ka salvestustariifide jaoks.
Sel juhul on marsruudid „suurest Internetist“ mööda suletud, kuid VPN L2 kaudu saate liiklust juhtida Interneti kaudu, kuid parem on installida meediumiserver enne teenusepakkuja sissepääsu.
Kui olete huvitatud nende funktsioonide tundmaõppimisest meie Venemaa andmekeskustes või teil on kodus juurutamise kohta küsimusi, küsige kommentaarides või meili teel [meiliga kaitstud].
Allikas: www.habr.com