Török ügyfeleink arra kértek minket, hogy megfelelően konfiguráljuk az adatközpontjuk biztonsági mentését. Hasonló projekteket végzünk Oroszországban, de itt a történet inkább arról szólt, hogy azt kutatjuk, hogyan lehet ezt a legjobban megtenni.
Adott: van helyi S3 tárhely, van Veritas NetBackup, amely új, kibővített funkcionalitást szerzett az adatok objektumtárolóba mozgatására, immár a deduplikáció támogatásával, és ezen a helyi tárhelyen van a szabad hely probléma.
Feladat: mindent úgy elkészíteni, hogy a biztonsági másolatok tárolásának folyamata gyors és olcsó legyen.
Valójában azelőtt az S3-ban minden egyszerűen fájl volt, és ezek az adatközpont kritikus gépeinek teljes öntvényei voltak. Vagyis nem nagyon van optimalizálva, de az elején minden működött. Itt az ideje, hogy kitaláljuk, és jól csináljuk.
A képen látható, hogy mire jutottunk:
Mint látható, az első biztonsági mentés lassan (70 Mb/s) készült, és ugyanazon rendszerek későbbi mentései sokkal gyorsabban mentek.
Valójában a továbbiakban egy kicsit több részletet olvashat arról, hogy milyen funkciók vannak.
Biztonsági naplók azok számára, akik készek elolvasni egy fél oldalas kiírástTele újraszkenneléssel
18. december 2018. 12:09:43 — Info bpbkar (pid=4452) gyorsító 14883996160 bájtot küldött a szervernek a 14883994624 bájtból, optimalizálás 0.0%
18. december 2018. 12:10:07 – Információ NBCC (pid=23002) StorageServer=PureDisk_rhceph_rawd:s3.cloud.ngn.com.tr; Report=PDDO Statisztika (többszálas adatfolyamot használva) a következőhöz: (NBCC): beolvasott: 14570817 KB, CR elküldve: 1760761 KB, CR elküldve FC-n keresztül: 0 KB, dedup: 87.9%, gyorsítótár letiltva
Tele
18. december 2018. 12:13:18 — Info bpbkar (pid=2864) gyorsító 181675008 bájtot küldött a szervernek a 14884060160 bájtból, optimalizálás 98.8%
18. december 2018. 12:13:40 – Információ NBCC (pid=23527) StorageServer=PureDisk_rhceph_rawd:s3.cloud.ngn.com.tr; Report=PDDO Statisztikák (NBCC): beolvasott: 14569706 KB, CR elküldve: 45145 KB, CR elküldve FC-n: 0 KB, dedup: 99.7%, gyorsítótár letiltva
Járulékos
18. december 2018. 12:15:32 — Info bpbkar (pid=792) gyorsító 9970688 bájtot küldött a szervernek a 14726108160 bájtból, optimalizálás 99.9%
18. december 2018. 12:15:53 – Információ NBCC (pid=23656) StorageServer=PureDisk_rhceph_rawd:s3.cloud.ngn.com.tr; Report=PDDO Statisztikák (NBCC): beolvasott: 14383788 KB, CR elküldve: 15700 KB, CR elküldve FC-n: 0 KB, dedup: 99.9%, gyorsítótár letiltva
Tele
18. december 2018. 12:18:02 — Info bpbkar (pid=3496) gyorsító 171746816 bájtot küldött a szervernek a 14884093952 bájtból, optimalizálás 98.8%
18. december 2018. 12:18:24 – Információ NBCC (pid=23878) StorageServer=PureDisk_rhceph_rawd:s3.cloud.ngn.com.tr; Report=PDDO Statisztikák (NBCC): beolvasott: 14569739 KB, CR elküldve: 34120 KB, CR elküldve FC-n: 0 KB, dedup: 99.8%, gyorsítótár letiltva
Mi a probléma
Az ügyfelek a lehető leggyakrabban szeretnének biztonsági másolatot készíteni, és a lehető legolcsóbban tárolni. A legjobb, ha olcsón olyan objektumtárolókban tárolod őket, mint például az S3, mert ezek a legolcsóbbak megabájtonkénti szolgáltatási áron, ahonnan ésszerű időn belül visszatekerheted a biztonsági másolatot. Ha sok a mentés, az nem lesz túl olcsó, mert a tárhely nagy részét ugyanazon adatok másolatai foglalják el. A török kollégák HaaS esetében a tárolás megközelítőleg 80-90%-kal sűríthető. Nyilvánvaló, hogy ez kifejezetten az ő sajátosságukra vonatkozik, de én mindenképpen legalább 50%-ban nagypapára számolnék.
A probléma megoldása érdekében a fő gyártók régóta átjárókat készítettek az Amazon S3-hoz. Mindegyik módszerük kompatibilis a helyi S3-mal, amennyiben támogatják az Amazon API-t. A török adatközpontban az S3-unkra, valamint az oroszországi T-III „Compressor”-ra készül a biztonsági mentés, mivel nálunk ez a munkaséma jól bevált.
Az S3-unk pedig teljes mértékben kompatibilis az Amazon S3 biztonsági mentési módszereivel. Ez azt jelenti, hogy minden biztonsági mentési eszköz, amely támogatja ezeket a módszereket, lehetővé teszi, hogy mindent átmásoljon egy ilyen tárhelyre „dobozból”.
A Veritas NetBackup hozzáadta a CloudCatalyst funkciót:
Ez azt jelenti, hogy a biztonsági mentésre szoruló gépek és az átjáró között van egy közbülső Linux-kiszolgáló, amelyen keresztül az SRK-ügynököktől származó biztonsági mentési forgalom áthalad, és menet közben deduplikálódik az S3-ba való átvitel előtt. Ha korábban 30 db 20 GB-os biztonsági mentés készült tömörítéssel, akkor mára (a gépek hasonlósága miatt) ezek mennyisége 90%-kal kisebb lett. A deduplikációs motor ugyanúgy használatos, mint a Netbackup használatával normál lemezeken történő tároláskor.
Íme, mi történik a köztes szerver előtt:
Teszteltük, és arra a következtetésre jutottunk, hogy adatközpontjainkban megvalósítva ez helyet takarít meg az S3 tárhelyen nekünk és ügyfeleinknek. Kereskedelmi adatközpontok tulajdonosaként természetesen az elfoglalt mennyiség szerint számolunk fel, de így is nagyon kifizetődő számunkra - ugyanis szoftveresen skálázhatóbb helyeken kezdünk el pénzt keresni, nem hardverbérléssel. Nos, és ez a belső költségek csökkentése.
Naplók228 feladat (0 sorba állított 0 aktív 0 újrapróbálkozásra vár 0 felfüggesztve 0 befejezetlen 228 kész – 13 kiválasztva)
(Szűrő alkalmazva [13])
Munkaazonosító típusa Állapot Részletek Állapot Munkaszabályzat Munkaütemezés Kliens Médiaszerver Kezdési idő Eltelt idő Befejezési Idő Tárolóegység Kísérlet Művelet Kilobájt Fájlok Elérési út % Befejezett (becsült) Munka PID Tulajdonos Másolás Szülő Munkaazonosító KB/s Aktív Kezdés Aktív Eltelt Robot Vault profil munkamenet Azonosító adathordozó az adatmozgatás kiadásához a gazdagépen kívüli típus fő prioritás deduplikációs rátája szállításgyorsító optimalizálási példány vagy adatbázis-megosztás gazdagép
— 1358 Snapshot Done 0 VMware — NGNCloudADC NBCC 18. december 2018. 12:16:19 PM 00:02:18 18. december 2018. 12:18:37 STU_DP_S3_****mentés %c 1 100, 1358 :18:2018 PM 12:16:27 Azonnali helyreállítási lemez szabványos WIN-*********** 00
1360 mentés kész 0 18 2018 december 12 , 16 48:00:01 PM 39:18:2018 Azonnali helyreállítási lemez szabványos WIN-*********** 12 18% 27%
1352 Pillanatkép kész 0 VMware – NGNCloudADC NBCC 18. december 2018. 12:14:04 PM 00:02:01 18. december 2018. 12:16:05 STU_DP_S3_****mentés 1 100, 1352% de root 18 2018, 12% 14:14 PM 00:01:51 Azonnali helyreállítási lemez szabványos WIN-*********** 0
1354 Biztonsági mentés kész 0 18 2018 december 12 , 14 34:00:01 PM 21:18:2018 Azonnali helyreállítási lemez szabványos WIN-************ 12 15% 55%
1347 Pillanatkép kész 0 VMware – NGNCloudADC NBCC 18. december 2018. 12:11:45 PM 00:02:08 18. december 2018. 12:13:53 STU_DP_S3_****mentés 1 100, 1347% de root 18 2018, 12% 11:45 PM 00:02:08 Azonnali helyreállítási lemez szabványos WIN-*********** 0
1349 mentés kész 0 18 2018 december 12 , 12 02:00:01 PM 41:18:2018 Azonnali helyreállítási lemez szabványos WIN-*********** 12 13% 43%
1341 Pillanatkép kész 0 VMware – NGNCloudADC NBCC 18. december 2018. 12:05:28 PM 00:04:53 18. december 2018. 12:10:21 STU_DP_S3_****mentés 1 100, 1341% de root 18 2018, 12% 05:28 PM 00:04:53 Azonnali helyreállítási lemez szabványos WIN-*********** 0
1342 Biztonsági mentés kész 0 VMware Full_Rescan NGNCloudADC NBCC 18. december 2018., 12:05:47 PM 00:04:24 18. december 2018. 12 gyökér 10 11 3 1 dec 14,535,151 , 149653 100:22999:1341 PM 70,380:18:2018 Azonnali helyreállítási lemez szabványos WIN-*********** 12 05% 47%
1339 Snapshot Kész 150:18 AM 2018:11:05 Azonnali helyreállítási lemez szabványos WIN-*********** 46
1327 Snapshot Done 0 VMware – *******.********.cloud NBCC 17. december 2018. 12:54:42 05:51:38 17. december 2018. 6:46:20 STU_DP_S3_****backup 1 100% root 1327 Dec 17, 2018 12:54:42 PM 05:51:38 Azonnali helyreállítási lemez szabvány WIN-************ 0
1328 Biztonsági mentés kész 0 VMware teljes *******.********.cloud NBCC 17. december 2018. 12:55:10 05:29:21 17. december 2018. 6:24:31 STU_DP_S3_****biztonsági mentés 1 222,602,719 258932 100 12856 1327% 11,326 gyökér 17 2018 12 55. december 10. 05:29:21 0:87.9:0 Azonnali helyreállítási lemez******* XNUMX% W-XNUMX. XNUMX%
1136 Snapshot Done 0 VMware – *******.********.cloud NBCC 14. december 2018. 4:48:22 04:05:16 14. december 2018. 8:53:38 STU_DP_S3_****backup 1 100% root 1136 Dec 14, 2018 4:48:22 PM 04:05:16 Azonnali helyreállítási lemez szabvány WIN-************ 0
1140 Biztonsági mentés kész STU_DP_S0_****biztonsági mentés 14 2018 4 49 14 03% 49 gyökér 58 14 2018 8. december 39. 12:3:1 217,631,332:255465:100 Azonnali helyreállítási lemez*** 26438% WIN-1136************. 15,963%
A gyorsító lehetővé teszi az ügynökök forgalmának csökkentését, mert Csak az adatok változásai kerülnek továbbításra, vagyis még a teljes biztonsági mentések sem kerülnek feltöltésre teljesen, mivel a médiaszerver a további teljes biztonsági mentéseket gyűjti össze a növekményes biztonsági mentésekből.
A közbenső szerver saját tárolóval rendelkezik, ahol „gyorsítótárat” ír az adatokból, és adatbázist tart fenn a deduplikációhoz.
A teljes architektúra így néz ki:
- A főkiszolgáló kezeli a konfigurációt, a frissítéseket stb., és a felhőben található.
- A médiaszervernek (köztes *nix gép) a hálózat elérhetősége szempontjából a redundáns rendszerekhez a legközelebb kell elhelyezkednie. Itt megtörténik az összes lefoglalt gépről készült biztonsági mentések duplikációjának megszüntetése.
- A mentett gépeken vannak olyan ügynökök, amelyek általában csak azt küldik a médiaszervernek, ami nincs a tárolójában.
Minden egy teljes vizsgálattal kezdődik - ez egy teljes értékű teljes biztonsági mentés. Ezen a ponton a médiaszerver mindent elvesz, deduplikálja és átadja az S3-nak. A médiaszerver sebessége kicsi, de onnan nagyobb. A fő korlát a szerver számítási teljesítménye.
A következő biztonsági mentések minden rendszer szempontjából teljesek, de valójában olyanok, mint a szintetikus teljes mentések. Vagyis a tényleges átvitel és rögzítés a médiakiszolgálóra csak azon adatblokkok esetében történik, amelyekkel korábban még nem találkoztak a virtuális gépek biztonsági mentései. És csak azok az adatblokkok kerülnek átvitelre és rögzítésre az S3-ban, amelyek hash-je nem szerepel a médiaszerver deduplikációs adatbázisában. Egyszerűbben fogalmazva, ez olyan dolog, ami még soha nem volt látható egyetlen virtuális gép biztonsági másolatában sem.
A visszaállítás során a médiaszerver lekéri a szükséges deduplikált objektumokat az S3-tól, újrahidratálja és átadja az IRB ügynököknek, azaz. a visszaállítás során figyelembe kell venni a forgalom mennyiségét, amely megegyezik a visszaállítandó adatok tényleges mennyiségével.
Így néz ki:
És itt van még egy darab rönk169 feladat (0 sorba állított 0 aktív 0 újrapróbálkozásra vár 0 felfüggesztve 0 befejezetlen 169 kész – 1 kiválasztva)
Munkaazonosító típusa Állapot Részletek Állapot Munkaszabályzat Munkaütemezés Kliens Médiaszerver Kezdési idő Eltelt idő Befejezési Idő Tárolóegység Kísérlet Művelet Kilobájt Fájlok Elérési út % Befejezett (becsült) Munka PID Tulajdonos Másolás Szülő Munkaazonosító KB/s Aktív Kezdés Aktív Eltelt Robot Vault profil munkamenet Azonosító adathordozó az adatmozgatás kiadásához a gazdagépen kívüli típus fő prioritás deduplikációs rátája szállításgyorsító optimalizálási példány vagy adatbázis-megosztás gazdagép
- 1372 Visszaállítás Kész 0 NBPR01 NBCC 19. december 2018. 1:05:58 PM 00:04:32 19. december 2018. 1:10:30 1 14,380,577 1 100% dec. 8548 1372:70,567 :19 PM 2018:1:06 WIN-************ 00
Az adatok integritását magának az S3-nak a védelme biztosítja – jó redundancia van a hardverhibák, például az elhalt merevlemez-orsó elleni védelem érdekében.
A médiaszervernek 4 TB gyorsítótárra van szüksége – ez a Veritas minimális mérete. A több jobb, de mi ezt tettük.
Teljes
Amikor egy partner 3 GB-ot dobott az S20-unkba, mi 60 GB-ot tároltunk, mivel hármas földrajzi foglalást biztosítunk az adatok számára. Most sokkal kisebb a forgalom, ami jó a csatorna és a tárolási tarifák szempontjából is.
Ebben az esetben az útvonalak a „nagy Internet” mellett le vannak zárva, de a VPN L2-n keresztül is lehet forgalmat vezetni az interneten keresztül, de jobb, ha a médiaszervert a szolgáltató bejárata előtt telepíti.
Ha szeretne többet megtudni ezekről a funkciókról orosz adatközpontjainkban, vagy kérdései vannak az otthoni megvalósítással kapcsolatban, kérdezze meg megjegyzésekben vagy e-mailben [e-mail védett].
Forrás: will.com