Kuidas tihendada varukoopiate salvestust objektide ladustamises kuni 90%

Meie Türgi kliendid palusid meil korralikult seadistada varukoopia andmekeskusele. Tegu on sarnaste projektidega Venemaal, kuid siin oli lugu peamiselt uurimisest, kuidas seda paremini teha.

Olukord: on kohalik S3-lao, on Veritas NetBackup, mis on saanud uue laiendatud funktsionaalsuse andmete liigutamiseks objektide ladustamisse, sealhulgas deduplikatsiooni toetusega, ja on probleem vaba ruumiga selles kohalikus ladustamises.

Ülesanne: teha nii, et varukoopiate salvestusprotsess oleks kiire ja odav.

Tegelikult eelnevalt ladustati S3-s lihtsalt failidena, olles täielikud koopiad kriitilistest andmekeskuse masinatest. See ei olnud kõige optimaalsem lahendus, kuid ometigi töötas kõik alguses. Nüüd on aeg seda õigesti korraldada.

Pildil on see, kuhu me jõudsime:

Nagu näha, tehti esimene varukoopia aeglaselt (70 MB/s), kuid samade süsteemide järgnevad varukoopiad olid oluliselt kiirem.

Edasi on natuke rohkem detaile selle kohta, millised seal on omadused.

Varukoopiate logid neile, kes on valmis lugema poole lehe pikkust dämptiTäielik koos uue skannimisega
18. detsember 2018 12:09:43 PM — Info bpbkar (pid=4452) kiirendi saatis 14883996160 baiti 14883994624 baitist serverisse, optimeerimine 0.0%
18. detsember 2018 12:10:07 PM — Info NBCC (pid=23002) StorageServer=PureDisk_rhceph_rawd:s3.cloud.ngn.com.tr; Aruanne=PDDO statistika (mitme lõime kasutamine) (NBCC) jaoks: skannitud: 14570817 KB, CR saadetud: 1760761 KB, CR saadetud üle FC: 0 KB, dedup: 87.9%, vahemälu keelatud

Täielik
18. detsember 2018 12:13:18 PM — Info bpbkar (pid=2864) kiirendi saatis 181675008 baiti 14884060160 baitist serverisse, optimeerimine 98.8%
18. detsember 2018 12:13:40 PM — Info NBCC (pid=23527) StorageServer=PureDisk_rhceph_rawd:s3.cloud.ngn.com.tr; Aruanne=PDDO statistika (NBCC) jaoks: skannitud: 14569706 KB, CR saadetud: 45145 KB, CR saadetud üle FC: 0 KB, dedup: 99.7%, vahemälu keelatud

Incrementaalne
18. detsember 2018 12:15:32 PM — Info bpbkar (pid=792) kiirendi saatis 9970688 baiti 14726108160 baitist serverisse, optimeerimine 99.9%
18. detsember 2018 12:15:53 PM — Info NBCC (pid=23656) StorageServer=PureDisk_rhceph_rawd:s3.cloud.ngn.com.tr; Aruanne=PDDO statistika (NBCC) jaoks: skannitud: 14383788 KB, CR saadetud: 15700 KB, CR saadetud üle FC: 0 KB, dedup: 99.9%, vahemälu keelatud

Täielik
18. detsember 2018 12:18:02 PM — Info bpbkar (pid=3496) kiirendi saatis 171746816 baiti 14884093952 baitist serverisse, optimeerimine 98.8%
18. detsember 2018 12:18:24 PM — Info NBCC (pid=23878) StorageServer=PureDisk_rhceph_rawd:s3.cloud.ngn.com.tr; Aruanne=PDDO statistika (NBCC) jaoks: skannitud: 14569739 KB, CR saadetud: 34120 KB, CR saadetud üle FC: 0 KB, dedup: 99.8%, vahemälu keelatud

Mis on probleem

Kliendid soovivad varukoopiate tegemist võimalikult tihedalt ning nende odavalt hoidmist. Odavalt hoidmiseks sobivad kõige paremini objektipankade tüübid nagu S3, kuna need on hindade poolest kõige soodsamad megabaidi osas, kust saab varukoopia tagasi taastada mõistlikus ajaraamis. Kui varukoopiaid on palju, muutub see vähem soodsaks, kuna suure osa salvestusest võtavad endaga kaasa sama andmete koopiad. Türklaste HaaS-i puhul saab salvestust umbes 80-90% võrra tihendada. Loomulikult kehtib see just nende spetsiifika kohta, kuid vähemalt 50% deduplikatsiooni võiks kindlasti eeldada.

Probleemi lahendamiseks on pea kõik peamised tarnijad juba ammu loonud Amazon S3 jaoks väravaid. Kõik nende meetodid on ühilduvad kohalike S3-dega, kui need toetavad Amazoni API-d. Türgi andmekeskuses tehakse varukoopia meie S3-sse, nagu ka Venemaal T-III 'Kompressor' puhul, kuna see tööskeem on meil hästi toiminud.

Meie S3 on täielikult ühilduv Amazon S3 varukoopiate meetoditega. See tähendab, et kõik varundusvahendid, mis toetavad neid meetodeid, võimaldavad kopeerida kõik sarnasesse salvestusse 'kastist välja'.

Veritas NetBackup on loonud funktsiooni CloudCatalyst:

See tähendab, et masinate vahel, mida tuleb varundada, ja värava vahel on vahe-Linux-server, mille kaudu läbib varukoopia liiklus SRK agentidelt ja toimub nende deduplication 'reisi käigus', enne kui need S3-sse edastatakse. Kui varem oli seal 30 varukoopiat 20 GB suurused koos tihendamisega, siis nüüd (masinate sarnasuse tõttu) on nende maht 90% väiksem. Deduplication mootor on sama, mis tavapäraste kettal olevate andmete hoidmise korral NetBackup'i vahenditega.

Siin, mis juhtub enne vaheserverit:

Me testisime ja jõudsime järeldusele, et meie andmekeskustes rakendamisel annab see S3 salvestustes ruumi kokkuhoidu meie ning klientide jaoks. Kommertsdokide omaniku tõttu tasustame loomulikult kinnipeetud mahuga, kuid see on siiski meie jaoks väga kasulik — sest me hakkame raha teenima rohkem skaleeritavatelt kohtadelt tarkvaras, mitte riistvara üürimisel. Ja see vähendab ka sisemisi kulusid.

Logid228 Tööd (0 Ootel 0 Aktiivset 0 Uue Ürituse Ootel 0 Peatatud 0 Ükski 228 Tehtud — 13 valitud)
(Kasutatud filter [13])

Töö ID Tüüp Oleku Oleku Detailid Staatus Töö Poliitika Töö Ajakava Klient Media Server Algus Aeg Möödunud Aeg Lõpp Aeg Salvestamise Üksus Katse Operatsioon Kilobait Files Failide Tee % Täidetud (Hinnanguline) Töö PID Omanik Koopia Vanem Töö ID KB/Sek Aktiivne Algus Aktiivne Möödunud Robot Vault Profiil Seansi ID Meedia, mis tuleb välja võtta Andmete liikumine Off-Host Tüüp Meister Prioriteet Deduplication Rate Transport Kiirendi Optimeerimise Instance või Andmebaasi Jagamine Host
— 1358 Snapshot Tehtud 0 VMware — NGNCloudADC NBCC 18. detsember 2018 12:16:19 PM 00:02:18 18. detsember 2018 12:18:37 PM STU_DP_S3_****backup 1 100% root 1358 18. detsember 2018 12:16:27 PM 00:02:10 Instant Recovery Disk Standard WIN-*********** 0
1360 Varundamine Tehtud 0 VMware Täis NGNCloudADC NBCC 18. detsember 2018 12:16:48 PM 00:01:39 18. detsember 2018 12:18:27 PM STU_DP_S3_****backup 1 14,535,248 149654 100% 23858 root 1358 335,098 18. detsember 2018 12:16:48 PM 00:01:39 Instant Recovery Disk Standard WIN-*********** 0 99.8% 99%
1352 Snapshot Tehtud 0 VMware — NGNCloudADC NBCC 18. detsember 2018 12:14:04 PM 00:02:01 18. detsember 2018 12:16:05 PM STU_DP_S3_****backup 1 100% root 1352 18. detsember 2018 12:14:14 PM 00:01:51 Instant Recovery Disk Standard WIN-*********** 0
1354 Varundamine Tehtud 0 VMware Suurendav NGNCloudADC NBCC 18. detsember 2018 12:14:34 PM 00:01:21 18. detsember 2018 12:15:55 PM STU_DP_S3_****backup 1 14,380,965 147 100% 23617 root 1352 500,817 18. detsember 2018 12:14:34 PM 00:01:21 Instant Recovery Disk Standard WIN-*********** 0 99.9% 100%
1347 Snapshot Tehtud 0 VMware — NGNCloudADC NBCC 18. detsember 2018 12:11:45 PM 00:02:08 18. detsember 2018 12:13:53 PM STU_DP_S3_****backup 1 100% root 1347 18. detsember 2018 12:11:45 PM 00:02:08 Instant Recovery Disk Standard WIN-*********** 0
1349 Varundamine Tehtud 0 VMware Täis NGNCloudADC NBCC 18. detsember 2018 12:12:02 PM 00:01:41 18. detsember 2018 12:13:43 PM STU_DP_S3_****backup 1 14,535,215 149653 100% 23508 root 1347 316,319 18. detsember 2018 12:12:02 PM 00:01:41 Instant Recovery Disk Standard WIN-*********** 0 99.7% 99%
1341 Snapshot Tehtud 0 VMware — NGNCloudADC NBCC 18. detsember 2018 12:05:28 PM 00:04:53 18. detsember 2018 12:10:21 PM STU_DP_S3_****backup 1 100% root 1341 18. detsember 2018 12:05:28 PM 00:04:53 Instant Recovery Disk Standard WIN-*********** 0
1342 Varundamine Tehtud 0 VMware Täis_Rescan NGNCloudADC NBCC 18. detsember 2018 12:05:47 PM 00:04:24 18. detsember 2018 12:10:11 PM STU_DP_S3_****backup 1 14,535,151 149653 100% 22999 root 1341 70,380 18. detsember 2018 12:05:47 PM 00:04:24 Instant Recovery Disk Standard WIN-*********** 0 87.9% 0%

1339 Snapshot Tehtud 150 VMware — NGNCloudADC NBCC 18. detsember 2018 11:05:46 AM 00:00:53 18. detsember 2018 11:06:39 AM STU_DP_S3_****backup 1 100% root 1339 18. detsember 2018 11:05:46 AM 00:00:53 Instant Recovery Disk Standard WIN-*********** 0
1327 Snapshot Tehtud 0 VMware — *******.********.cloud NBCC 17. detsember 2018 12:54:42 PM 05:51:38 17. detsember 2018 6:46:20 PM STU_DP_S3_****backup 1 100% root 1327 17. detsember 2018 12:54:42 PM 05:51:38 Instant Recovery Disk Standard WIN-*********** 0
1328 Varundamine Tehtud 0 VMware Täis *******.********.cloud NBCC 17. detsember 2018 12:55:10 PM 05:29:21 17. detsember 2018 6:24:31 PM STU_DP_S3_****backup 1 222,602,719 258932 100% 12856 root 1327 11,326 17. detsember 2018 12:55:10 PM 05:29:21 Instant Recovery Disk Standard WIN-*********** 0 87.9% 0%
1136 Snapshot Tehtud 0 VMware — *******.********.cloud NBCC 14. detsember 2018 4:48:22 PM 04:05:16 14. detsember 2018 8:53:38 PM STU_DP_S3_****backup 1 100% root 1136 14. detsember 2018 4:48:22 PM 04:05:16 Instant Recovery Disk Standard WIN-*********** 0
1140 Varundamine Tehtud 0 VMware Täis_Scan *******.********.cloud NBCC 14. detsember 2018 4:49:14 PM 03:49:58 14. detsember 2018 8:39:12 PM STU_DP_S3_****backup 1 217,631,332 255465 100% 26438 root 1136 15,963 14. detsember 2018 4:49:14 PM 03:49:58 Instant Recovery Disk Standard WIN-*********** 0 45.2% 0%

Akselerator võimaldab vähendada agentidelt saabuvat liiklust, kuna edastatakse ainult andmete muudatused, see tähendab, et isegi täielikke varukoopiaid ei edastata tervikuna, kuna meedia-server kogub hilisemad täielikud varukoopiad inkrementaalsetest varukoopiatest.

Vahe-serveril on oma salvestusruum, kuhu ta kirjutab andmete "vahevälja" ja hoiab deduplication'i andmebaasi.

Täielikus arhitektuuris näeb see välja järgmiselt:

1. Master-server haldab konfiguratsiooni, uuendusi ja muud ning asub pilves.
2. Meedia-server (vahe *nix-masin) peaks asuma võimalikult lähedal varukoostetavatele süsteemidele võrgu kättesaadavuse osas. Siin toimub kõigi varukoostetavate masinate varukoopiate deduplication.
3. Varukoostetavates masinates on agentid, kes üldjuhul edastavad meedia-serverile ainult seda, mida tema salvestusruumis pole.

Kõik algab täieliku skaneerimisega — see on täielik varukoopia. Sel hetkel kogub meedia-server kõik, teeb deduplication'i ja edastab S3-sse. Kiirus meedia-serverisse on madal, sealt on kõrgem. Peamine piirang on serveri arvutusvõime.

Järgmised varukoopiad tehakse kõigi süsteemide vaatepunktist täielikena, kuid tegelikult on need midagi sarnast sünteetilistele täielikele varukoopiatele. See tähendab, et meedia-serverisse edastatakse ja salvestatakse ainult need andmeplokid, mida pole varem VM-i varukoopiate seas nähtud. Ja SA3-sse toimub edastamine ja salvestamine ainult nende andmeplokkide puhul, mille hash'i pole meedia-serveri deduplication'i andmebaasis. Lihtsamalt öeldes — see, mida pole varem näinud ühegi VM-i varukoopias.

Taastamise korral küsib meedia-server vajalikke dedupliceeritud objekte S3-st, dehüdreerib need ja edastab need SRK agentidele, st taastamise ajal tuleb arvesse võtta liikluse mahtu, mis on võrdne tegeliku taastatava andmemahuga.

Nii see välja näeb:

Ja siin veel üks logide lõik169 Tööd (0 Ootel 0 Aktiivne 0 Ootab Uuendust 0 Peatatud 0 Täiendamata 169 Tehtud — 1 valitud)

Töö ID Tüüp Oleku Oleku Detailid Staatus Töö Poliitika Töö Ajakava Klient Media Server Algus Aeg Möödunud Aeg Lõpp Aeg Salvestamise Üksus Katse Operatsioon Kilobait Files Failide Tee % Täidetud (Hinnanguline) Töö PID Omanik Koopia Vanem Töö ID KB/Sek Aktiivne Algus Aktiivne Möödunud Robot Vault Profiil Seansi ID Meedia, mis tuleb välja võtta Andmete liikumine Off-Host Tüüp Meister Prioriteet Deduplication Rate Transport Kiirendi Optimeerimise Instance või Andmebaasi Jagamine Host
— 1372 Taastamine Tehtud 0 nbpr01 NBCC 19. detsember 2018 1:05:58 PM 00:04:32 19. detsember 2018 1:10:30 PM 1 14,380,577 1 100% 8548 root 1372 70,567 19. detsember 2018 1:06:00 PM 00:04:30 WIN-*********** 90000

Andmete terviklikkus tagatakse S3 enda kaitsega — seal on hea ülejääk, et kaitsta riistvaravead, nagu näiteks purunenud kõvaketta spindel.

Meedia-serveri on vajalik 4 TB vahemälu — see on Veritase soovitus minimaalne maht. Paremini, kui rohkem, kuid me tegime just nii.

Kokkuvõte

Kui partner laadis meie S3-sse 20 GB, hoidsime 60 GB, sest pakume kolmekordset geovarundust. Praegu on liiklus palju väiksem, mis on hea nii kanalile kui ka ladustamise tasu jaoks.

Antud juhul on marsruudid suletud „suure Interneti“ kaudu, kuid liiklust saab suunata ka läbi VPN L2 läbi Interneti, kuid parem on meedia-server paigaldada enne teenusepakkuja sisenemist.

Kui soovite nende funktsioonide kohta meie Venemaa andmekeskustes rohkem teada või teil on küsimusi rakendamise kohta oma juures – küsige kommentaarides või e-posti teel ekorotkikh@croc.ru.

Allikas: habr.com