Turkkilaiset asiakkaamme pyysivät meitä määrittämään varmuuskopion oikein heidän datakeskuksensa. Teemme samanlaisia projekteja Venäjällä, mutta tässä tarinassa oli enemmänkin kyse siitä, miten se parhaiten voitaisiin tehdä.
Kun otetaan huomioon: olemassa on paikallinen S3-tallennustila, on Veritas NetBackup, joka on hankkinut uusia laajennettuja toimintoja tietojen siirtämiseksi objektitallennustilaan, nyt tuella duplikoinnin poistamiselle, ja tässä paikallisessa tallennustilassa on ongelma vapaan tilan kanssa.
Tehtävä: tehdä kaikki niin, että varmuuskopioiden tallentaminen on nopeaa ja halpaa.
Itse asiassa ennen tätä kaikki S3:ssa oli yksinkertaisesti tiedostoja, ja nämä olivat täydellisiä heittoja datakeskuksen kriittisistä koneista. Eli se ei ole kovin optimoitu, mutta kaikki toimi alussa. Nyt on aika selvittää se ja tehdä se oikein.
Kuvassa näkyy, mihin päädyimme:
Kuten näette, ensimmäinen varmuuskopiointi tehtiin hitaasti (70 Mb/s), ja myöhemmät samojen järjestelmien varmuuskopiot olivat paljon nopeampia.
Itse asiassa myöhemmin on hieman enemmän yksityiskohtia siitä, mitä ominaisuuksia siellä on.
Varmuuskopiot niille, jotka ovat valmiita lukemaan puoli sivua vedostaTäynnä uudelleenskannauksella
18 2018:12:09 PM — Info bpbkar (pid=43) -kiihdytin lähetti palvelimelle 4452 tavua 14883996160 tavusta, optimointi 14883994624 %
18. joulukuuta 2018 12:10:07 PM - Tiedot NBCC (pid=23002) StorageServer=PureDisk_rhceph_rawd:s3.cloud.ngn.com.tr; Report=PDDO-tilastot (käytetty monisäikeinen stream) kohteelle (NBCC): skannattu: 14570817 kt, CR lähetetty: 1760761 kt, CR lähetetty FC:n kautta: 0 kt, dedup: 87.9%, välimuisti pois käytöstä
Koko
18 2018:12:13 PM — Info bpbkar (pid=18) -kiihdytin lähetti palvelimelle 2864 tavua 181675008 tavusta, optimointi 14884060160 %
18. joulukuuta 2018 klo 12:13:40 - Tiedot NBCC (pid=23527) StorageServer=PureDisk_rhceph_rawd:s3.cloud.ngn.com.tr; Report=PDDO-tilastot kohteelle (NBCC): skannattu: 14569706 kt, CR lähetetty: 45145 kt, CR lähetetty FC:n kautta: 0 kt, dedup: 99.7%, välimuisti pois käytöstä
Inkrementaalinen
18 2018:12:15 PM — Info bpbkar (pid=32) -kiihdytin lähetti palvelimelle 792 tavua 9970688 tavusta, optimointi 14726108160 %
18. joulukuuta 2018 klo 12:15:53 - Tiedot NBCC (pid=23656) StorageServer=PureDisk_rhceph_rawd:s3.cloud.ngn.com.tr; Report=PDDO-tilastot kohteelle (NBCC): skannattu: 14383788 kt, CR lähetetty: 15700 kt, CR lähetetty FC:n kautta: 0 kt, dedup: 99.9%, välimuisti pois käytöstä
Koko
18 2018:12:18 PM — Info bpbkar (pid=02) -kiihdytin lähetti palvelimelle 3496 tavua 171746816 tavusta, optimointi 14884093952 %
18. joulukuuta 2018 klo 12:18:24 - Tiedot NBCC (pid=23878) StorageServer=PureDisk_rhceph_rawd:s3.cloud.ngn.com.tr; Report=PDDO-tilastot kohteelle (NBCC): skannattu: 14569739 kt, CR lähetetty: 34120 kt, CR lähetetty FC:n kautta: 0 kt, dedup: 99.8%, välimuisti pois käytöstä
Mikä on ongelma
Asiakkaat haluavat tehdä varmuuskopioita mahdollisimman usein ja tallentaa ne mahdollisimman halvalla. On parasta säilyttää ne edullisesti objektivarastoissa, kuten S3, koska ne ovat halvimpia megatavun palvelukustannuksilla, joista voit palauttaa varmuuskopion kohtuullisessa ajassa. Kun varmuuskopioita on paljon, se ei ole kovin halpaa, koska suurin osa tallennustilasta on samojen tietojen kopiot. Turkkilaisten kollegoiden HaaS:n tapauksessa varastointia voidaan tiivistää noin 80-90 %. On selvää, että tämä liittyy nimenomaan heidän erityispiirteisiinsä, mutta luottaisin ehdottomasti vähintään 50% isoisään.
Ongelman ratkaisemiseksi päätoimittajat ovat jo pitkään luoneet yhdyskäytäviä Amazon S3:een. Kaikki heidän menetelmänsä ovat yhteensopivia paikallisen S3:n kanssa, kunhan ne tukevat Amazon API:ta. Turkin konesalissa varmuuskopioidaan meidän S3:een sekä Venäjällä T-III “Compressoriin”, koska tämä työsuunnitelma on toiminut meillä hyvin.
Ja meidän S3 on täysin yhteensopiva Amazon S3 -varmuuskopiointimenetelmien kanssa. Eli kaikki varmuuskopiointityökalut, jotka tukevat näitä menetelmiä, antavat sinun kopioida kaiken tällaiseen tallennustilaan "pakkauksesta".
Veritas NetBackup lisäsi CloudCatalyst-ominaisuuden:
Toisin sanoen varmuuskopioitavien koneiden ja yhdyskäytävän välillä on välissä oleva Linux-palvelin, jonka kautta SRK-agenttien varmuuskopioliikenne kulkee ja joka poistetaan lennossa ennen sen siirtämistä S3:een. Jos aiemmin oli 30 20 Gt:n varmuuskopiota pakattuna, niin nyt (koneiden samankaltaisuuden vuoksi) niiden määrä on pienentynyt 90 %. Deduplikointimoottoria käytetään samalla tavalla kuin tallennettaessa tavallisille levyille Netbackupin avulla.
Tässä on mitä tapahtuu ennen välipalvelinta:
Testasimme ja tulimme siihen tulokseen, että palvelinkeskuksissamme tämä säästää tilaa S3-tallennustilassa meille ja asiakkaille. Kaupallisten palvelinkeskusten omistajana veloitamme tietysti käytössä olevan volyymin mukaan, mutta se on silti erittäin kannattavaa meillekin - koska alamme tienata ohjelmistojen skaalautuneemmista paikoista, emme laitteistovuokrauksesta. No, ja tämä on sisäisten kustannusten vähennys.
Lokit228 Työtä (0 Jonossa 0 Aktiivinen 0 Odottaa uudelleenyritystä 0 Keskeytetty 0 Keskeneräinen 228 Valmis — 13 valittu)
(Suodatin käytetty [13])
Työn tunnustyyppi Tilan tiedot Tila Työkäytäntö Työaikataulu Asiakasmediapalvelin Aloitusaika Kulunut aika Loppumisaika Tallennusyksikkö Yritys Toiminto Kilotavua Tiedostot Polkunimi % Valmis (arvioitu) Työn PID-omistaja Kopioi ylätyön tunnus KB/s Aktiivinen Aloitus Aktiivinen Kulunut Robot Vault -profiiliistunto ID-media poistettavan tiedonsiirron isäntäkoneen ulkopuolelta
— 1358 Snapshot Done 0 VMware — NGNCloudADC NBCC 18 2018:12:16 PM 19:00:02 Dec 18, 18 2018:12:18 PM STU_DP_S37_****varmuuskopio %c 3 1 100 :1358:18 PM 2018:12:16 Instant Recovery Disk Standard WIN-*********** 27
1360 Varmuuskopio tehty 0 VMware Full NGNCloudADC NBCC 18 2018:12:16 PM 48:00:01 Dec 39, 18 2018:12:18 PM STU_DP_S27_****varmuuskopio 3 1, 14,535,248 % 149654 100 23858 1358 335,098 18 2018. joulukuuta , 12 16:48:00 PM 01:39:0 Instant Recovery Disk Standard WIN-*********** 99.8 99 % XNUMX %
1352 Snapshot Done 0 VMware – NGNCloudADC NBCC 18 2018:12:14 PM 04:00:02 01 18:2018:12 PM STU_DP_S16_****Varmuuskopio 05 3 % 1 % 100:1352 18:2018 PM 12:14:14 Instant Recovery Disk Standard WIN-*********** 00
1354 Varmuuskopiointi valmis 0 VMware Incremental NGNCloudADC NBCC 18 2018:12:14 PM 34:00:01 21 18:2018:12 PM STU_DP_S15_****varmuuskopio 55 % 3 1 14,380,965 147 100 root 23617 1352 500,817 18. joulukuuta , 2018 12:14:34 PM 00:01:21 Instant Recovery Disk Standard WIN-************ 0 99.9 % 100 %
1347 Snapshot Done 0 VMware – NGNCloudADC NBCC 18 2018:12:11 PM 45:00:02 08 18:2018:12 PM STU_DP_S13_****Varmuuskopio 53 3 % 1 % 100:1347 18:2018 PM 12:11:45 Instant Recovery Disk Standard WIN-*********** 00
1349 Varmuuskopio tehty 0 VMware Full NGNCloudADC NBCC 18 2018:12:12 PM 02:00:01 Dec 41, 18 2018:12:13 PM STU_DP_S43_****varmuuskopio 3 1, 14,535,215 % 149653 100 23508 1347 316,319 18 2018. joulukuuta , 12 12:02:00 PM 01:41:0 Instant Recovery Disk Standard WIN-*********** 99.7 99 % XNUMX %
1341 Snapshot Done 0 VMware – NGNCloudADC NBCC 18 2018:12:05 PM 28:00:04 53 18:2018:12 PM STU_DP_S10_****Varmuuskopio 21 3 % 1 % 100:1341 18:2018 PM 12:05:28 Instant Recovery Disk Standard WIN-*********** 00
1342 Varmuuskopiointi valmis 0 VMware Full_Rescan NGNCloudADC NBCC 18 2018:12:05 PM 47:00:04 24 18:2018:12 PM STU_DP_S10_****Varmuuskopio 11 3 1 juuri 14,535,151 149653 100 22999 joulukuu 1341 , 70,380 18:2018:12 PM 05:47:00 Instant Recovery Disk Standard WIN-*********** 04 24 % 0 %
1339 Snapshot Done 150 VMware – NGNCloudADC NBCC 18 2018:11:05 46:00:00 53 18:2018:11 STU_DP_S06_****Varmuuskopio 39 3 % 1 %c root 100 1339, 18 2018:11 AM 05:46:00 Instant Recovery Disk Standard WIN-*********** 00
1327 Snapshot Done 0 VMware - *******.********.cloud NBCC 17. joulukuuta 2018 12:54:42 PM 05:51:38 17, 2018 6:46:20 STU_DP_S3_****varmuuskopio 1 100 % juuri 1327 17 2018:12:54 PM 42:05:51 Instant Recovery Disk Standard WIN-************ 38
1328 Varmuuskopiointi valmis 0 VMware täynnä *******.********.pilvi NBCC 17. joulukuuta 2018 12:55:10 PM 05:29:21 17, 2018 6:24:31 STU_DP_S3_****varmuuskopio 1 222,602,719 258932 100 12856 1327 % 11,326 juuri 17 2018 12 55. joulukuuta 10 05:29:21 PM 0:87.9:0 Instant Recovery Disk *** XNUMX% WIN-XNUMX****. XNUMX %
1136 Snapshot Done 0 VMware - *******.********.cloud NBCC 14. joulukuuta 2018 4:48:22 PM 04:05:16 14, 2018 8:53:38 STU_DP_S3_****varmuuskopio 1 100 % juuri 1136 14 2018:4:48 PM 22:04:05 Instant Recovery Disk Standard WIN-************ 16
1140 Varmuuskopiointi valmis 0 VMware Full_Scan *******.********.cloud NBCC 14 2018:4:49 14:03:49 58 14:2018:8 STU_DP_S39_****varmuuskopio 12 3 1 217,631,332 255465 100 26438 % 1136 juuri 15,963 14 2018 4. joulukuuta 49 14:03:49 PM 58:0:45.2 Instant Recovery Disk*** Vakio 0 %XNUMX-XNUMX****. XNUMX %
Kiihdyttimen avulla voit vähentää agenttien liikennettä, koska Vain tietojen muutokset välitetään, eli edes täydellisiä varmuuskopioita ei ladata kokonaan, koska mediapalvelin kerää seuraavat täydelliset varmuuskopiot inkrementaalisista varmuuskopioista.
Välipalvelimella on oma tallennustila, johon se kirjoittaa "välimuistin" tiedoista ja ylläpitää tietokantaa duplikoinnin poistamista varten.
Koko arkkitehtuuri näyttää tältä:
- Pääpalvelin hallitsee määrityksiä, päivityksiä jne. ja sijaitsee pilvessä.
- Mediapalvelimen (keskitason *nix-kone) tulisi sijaita lähimpänä redundantteja järjestelmiä verkon saavutettavuuden kannalta. Täällä poistetaan varmuuskopioiden kopiointi kaikista varatuista koneista.
- Varmuuskopioiduissa koneissa on agentteja, jotka yleensä lähettävät mediapalvelimelle vain sen, mitä sen tallennustilassa ei ole.
Kaikki alkaa täydestä skannauksesta - tämä on täysimittainen täysi varmuuskopio. Tässä vaiheessa mediapalvelin ottaa kaiken, poistaa sen ja siirtää sen S3:lle. Nopeus mediapalvelimelle on alhainen, mutta sieltä se on suurempi. Suurin rajoitus on palvelimen laskentateho.
Seuraavat varmuuskopiot on tehty valmiiksi kaikkien järjestelmien näkökulmasta, mutta todellisuudessa ne ovat kuin synteettisiä täydellisiä varmuuskopioita. Toisin sanoen varsinainen siirto ja tallennus mediapalvelimelle tapahtuu vain niistä tietolohkoista, joita ei ole vielä tavattu VM-varmuuskopioissa aiemmin. Ja vain ne tietolohkot, joiden hash ei ole mediapalvelimen duplikointitietokannassa, siirretään ja tallennetaan S3:een. Yksinkertaisemmin sanottuna tämä on jotain, mitä ei ole koskaan nähty yhden virtuaalikoneen varmuuskopioissa.
Palautuksen aikana mediapalvelin pyytää S3:lta tarvittavat deduplikoidut objektit, rehydratoi ne ja siirtää ne IRB-agenteille, ts. Palautuksen aikana on otettava huomioon liikenteen määrä, joka on yhtä suuri kuin palautettavien tietojen todellinen määrä.
Näyttää siltä, miltä se näyttää:
Ja tässä on toinen tukki169 Työtä (0 Jonossa 0 Aktiivinen 0 Odottaa uudelleenyritystä 0 Keskeytetty 0 Keskeneräinen 169 Valmis — 1 valittu)
Työn tunnustyyppi Tilan tiedot Tila Työkäytäntö Työaikataulu Asiakasmediapalvelin Aloitusaika Kulunut aika Loppumisaika Tallennusyksikkö Yritys Toiminto Kilotavua Tiedostot Polkunimi % Valmis (arvioitu) Työn PID-omistaja Kopioi ylätyön tunnus KB/s Aktiivinen Aloitus Aktiivinen Kulunut Robot Vault -profiiliistunto ID-media poistettavan tiedonsiirron isäntäkoneen ulkopuolelta
- 1372 Palautus Valmis 0 NBPR01 NBCC 19 2018:1:05 PM 58:00:04 32 19:2018:1 PM 10 30 1 14,380,577 % jo 1 100 8548:1372 :70,567 PM 19:2018:1 WIN-************ 06
Tietojen eheys varmistetaan itse S3:n suojauksella - siellä on hyvä redundanssi, joka suojaa laitteistovikoja, kuten kuollutta kiintolevyn karaa vastaan.
Mediapalvelin tarvitsee 4 Tt välimuistia - tämä on Veritaksen vähimmäiskokosuositus. Enemmän on parempi, mutta niin teimme.
Koko
Kun kumppani heitti 3 Gt S20:een, tallensimme 60 Gt, koska tarjoamme datan kolminkertaisen maantieteellisen varauksen. Nyt liikennettä on paljon vähemmän, mikä on hyvä sekä kanavalle että tallennustariffeille.
Tässä tapauksessa reitit suljetaan ”ison Internetin” ohi, mutta voit ohjata liikennettä VPN L2:n kautta Internetin kautta, mutta mediapalvelin on parempi asentaa ennen palveluntarjoajan sisäänkäyntiä.
Jos olet kiinnostunut oppimaan näistä ominaisuuksista Venäjän palvelinkeskuksissamme tai sinulla on kysyttävää käyttöönotosta kotona, kysy kommenteissa tai sähköpostitse [sähköposti suojattu].
Lähde: will.com