{"id":83100,"date":"2020-05-28T13:42:10","date_gmt":"2020-05-28T11:42:10","guid":{"rendered":"https:\/\/prohoster.info\/blog\/administrirovanie\/bekap-hranilishhe-dlya-tysyach-virtualnyh-mashin-svobodnymi-instrumentami"},"modified":"2020-05-28T13:42:10","modified_gmt":"2020-05-28T11:42:10","slug":"bekap-hranilishhe-dlya-tysyach-virtualnyh-mashin-svobodnymi-instrumentami","status":"publish","type":"post","link":"https:\/\/prohoster.info\/da\/blog\/administrirovanie\/bekap-hranilishhe-dlya-tysyach-virtualnyh-mashin-svobodnymi-instrumentami","title":{"rendered":"Backup-lager til tusindvis af virtuelle maskiner med gratis v\u00e6rkt\u00f8jer","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

\"Backup-lager<\/p>\n

<\/p>\n

Hej, for nylig st\u00f8dte jeg p\u00e5 en interessant opgave med at ops\u00e6tte lager til backup af et stort antal blokke enheder.<\/p>\n

<\/p>\n

Hver uge udf\u00f8rer vi backup af alle virtuelle maskiner i vores sky, og derfor skal vi kunne h\u00e5ndtere tusindvis af sikkerhedskopier og g\u00f8re det s\u00e5 hurtigt og effektivt som muligt.<\/p>\n

<\/p>\n

Desv\u00e6rre passer standardkonfigurationerne ikke i dette tilf\u00e6lde, RAID5<\/strong>, RAID6<\/strong> da genoprettelsesprocessen p\u00e5 s\u00e5 store diske som vores vil v\u00e6re ubarmhjertigt lang og sandsynligvis aldrig afsluttes.<\/p>\n

<\/p>\n

Lad os overveje, hvilke alternativer der findes:<\/p>\n

<\/p>\n

Erasure Coding<\/a><\/noindex><\/strong> \u2014 Analog til RAID5, RAID6, men med justerbar paritetsniveau. I dette tilf\u00e6lde udf\u00f8res redundans ikke blokvis, men for hvert objekt separat. Den nemmeste m\u00e5de at pr\u00f8ve erasure coding p\u00e5 er at implementere minio<\/a><\/noindex>.<\/p>\n

<\/p>\n

DRAID<\/a><\/noindex><\/strong> \u2014 det er i \u00f8jeblikket en endnu ikke frigivet mulighed i ZFS. I mods\u00e6tning til RAIDZ har DRAID en distribueret paritetsblok og involverer alle diske i arrayet under genopretning, hvilket g\u00f8r det bedre til at modst\u00e5 diskfejl og hurtigere at komme sig efter nedbrud. <\/p>\n

<\/a><\/noindex><\/p>\n

\"Backup-lager<\/p>\n

<\/p>\n

\"Backup-lager<\/p>\n

Vi har en server Fujitsu Primergy RX300 S7<\/strong> med processor Intel Xeon CPU E5-2650L 0 @ 1.80GHz<\/strong>, ni DIMM-moduler RAM Samsung DDR3-1333 8Gb PC3L-10600R ECC Registered (M393B1K70DH0-YH9)<\/strong>, et disk kabinet Supermicro SuperChassis 847E26-RJBOD1<\/strong>, tilsluttet via Dual LSI SAS2X36 Expander<\/strong> og 45 diske Seagate ST6000NM0115-1YZ110<\/strong> efter 6 TB<\/strong> hver.<\/p>\n

<\/p>\n

F\u00f8r vi beslutter os for noget, skal vi f\u00f8rst teste alt ordentligt.<\/p>\n

<\/p>\n

For dette forberedte jeg mig og gennemf\u00f8rte testning af forskellige konfigurationer. Jeg brugte minio, som fungerede som S3-backend og k\u00f8rte det i forskellige tilstande med et forskelligt antal targets.<\/p>\n

<\/p>\n

Prim\u00e6rt blev casen minio testet i erasure coding vs software raid med det samme antal diske og paritets diske, nemlig: RAID6, RAIDZ2 og DRAID2.<\/p>\n

<\/p>\n

Til reference: n\u00e5r du k\u00f8rer minio med kun \u00e9n target, fungerer minio i S3-gateway-tilstand og giver dit lokale filsystem som S3-lager. Hvis du derimod k\u00f8rer minio med angivelse af flere targets, aktiveres Erasure Coding-tilstand automatisk, som spreder data mellem dine targets med h\u00f8j tilg\u00e6ngelighed.<\/p>\n

Som standard opdeler minio m\u00e5l i grupper af 16 diske, hvor hver gruppe har 2 pariteter. Dvs. kan to diske samtidigt v\u00e6re defekte uden tab af data.<\/p><\/blockquote>\n

Til test af ydeevnen anvendte jeg 16 diske p\u00e5 hver 6TB og skrev sm\u00e5 objekter p\u00e5 1MB, da dette pr\u00e6cist beskrev vores fremtidige belastning, da alle moderne backupv\u00e6rkt\u00f8jer opdeler data i blokke p\u00e5 nogle megabyte og skriver dem p\u00e5 den m\u00e5de.<\/p>\n

<\/p>\n

Til benchmarket brugte jeg s3bench v\u00e6rkt\u00f8jet, som blev k\u00f8rt p\u00e5 en fjernserver og sendte titusindvis af s\u00e5danne objekter til minio i hundredvis af tr\u00e5de. Derefter fors\u00f8gte jeg p\u00e5 samme m\u00e5de at anmode om dem tilbage.<\/p>\n

<\/p>\n

Resultaterne af benchmarket er angivet i f\u00f8lgende tabel:<\/p>\n

<\/p>\n

\"Backup-lager<\/p>\n

<\/p>\n

Som vi kan se, fungerer minio i sin egen erasure coding-tilstand betydeligt d\u00e5rligere ved skrivning end minio, der k\u00f8rer p\u00e5 software RAID6, RAIDZ2 og DRAID2 i den samme konfiguration.<\/p>\n

<\/p>\n

Separat blev jeg bedt om<\/a><\/noindex> at teste minio p\u00e5 ext4 vs XFS. Overraskende nok viste XFS sig at v\u00e6re betydeligt langsommere end ext4 for min type belastning.<\/p>\n

<\/p>\n

I den f\u00f8rste test viste Mdadm overlegenhed over ZFS, men senere gmelikov<\/a><\/noindex> foreslog<\/a><\/noindex>, at man kan forbedre ydeevnen af ZFS ved at indstille f\u00f8lgende indstillinger:<\/p>\n

<\/p>\n

xattr=sa atime=off recordsize=1M<\/code><\/pre>\n
<\/p>\n
og efter dette blev testene med ZFS meget bedre.<\/p>\n
<\/p>\n
Det kan ogs\u00e5 bem\u00e6rkes, at DRAID ikke giver nogen v\u00e6sentlig fordel i ydeevne i forhold til RAIDZ, men i teorien burde det v\u00e6re meget sikrere.<\/p>\n
<\/p>\n
I de sidste to tests fors\u00f8gte jeg ogs\u00e5 at flytte metadata (special) og ZIL (log) til et spejl fra SSD. Men flytningen af metadata gav ikke nogen v\u00e6sentlig forbedring i skrivningshastigheden, og da ZIL blev flyttet, st\u00f8dte mine SSDSC2KI128G8<\/a><\/noindex> op mod loftet med 100% udnyttelse, s\u00e5 jeg betragter denne test som mislykket. Jeg udelukker ikke, at hvis jeg havde hurtigere SSD-diske, kunne dette have forbedret mine resultater betydeligt, men desv\u00e6rre havde jeg ikke nogen.<\/p>\n
<\/p>\n
Til sidst besluttede jeg at stoppe ved brugen af DRAID, og p\u00e5 trods af sin beta-status er det den hurtigste og mest effektive l\u00f8sning til opbevaring i vores tilf\u00e6lde.<\/p>\n
<\/p>\n
Jeg oprettede en simpel DRAID2 i konfigurationen med tre grupper og to distributed spares:<\/p>\n
<\/p>\n
# zpool status data\n  pool: data\n state: ONLINE\n  scan: none requested\nconfig:\n\n    NAME                 STATE     READ WRITE CKSUM\n    data                 ONLINE       0     0     0\n      draid2:3g:2s-0     ONLINE       0     0     0\n        sdy              ONLINE       0     0     0\n        sdam             ONLINE       0     0     0\n        sdf              ONLINE       0     0     0\n        sdau             ONLINE       0     0     0\n        sdab             ONLINE       0     0     0\n        sdo              ONLINE       0     0     0\n        sdw              ONLINE       0     0     0\n        sdak             ONLINE       0     0     0\n        sdd              ONLINE       0     0     0\n        sdas             ONLINE       0     0     0\n        sdm              ONLINE       0     0     0\n        sdu              ONLINE       0     0     0\n        sdai             ONLINE       0     0     0\n        sdaq             ONLINE       0     0     0\n        sdk              ONLINE       0     0     0\n        sds              ONLINE       0     0     0\n        sdag             ONLINE       0     0     0\n        sdi              ONLINE       0     0     0\n        sdq              ONLINE       0     0     0\n        sdae             ONLINE       0     0     0\n        sdz              ONLINE       0     0     0\n        sdan             ONLINE       0     0     0\n        sdg              ONLINE       0     0     0\n        sdac             ONLINE       0     0     0\n        sdx              ONLINE       0     0     0\n        sdal             ONLINE       0     0     0\n        sde              ONLINE       0     0     0\n        sdat             ONLINE       0     0     0\n        sdaa             ONLINE       0     0     0\n        sdn              ONLINE       0     0     0\n        sdv              ONLINE       0     0     0\n        sdaj             ONLINE       0     0     0\n        sdc              ONLINE       0     0     0\n        sdar             ONLINE       0     0     0\n        sdl              ONLINE       0     0     0\n        sdt              ONLINE       0     0     0\n        sdah             ONLINE       0     0     0\n        sdap             ONLINE       0     0     0\n        sdj              ONLINE       0     0     0\n        sdr              ONLINE       0     0     0\n        sdaf             ONLINE       0     0     0\n        sdao             ONLINE       0     0     0\n        sdh              ONLINE       0     0     0\n        sdp              ONLINE       0     0     0\n        sdad             ONLINE       0     0     0\n    spares\n      s0-draid2:3g:2s-0  AVAIL   \n      s1-draid2:3g:2s-0  AVAIL   \n\nerrors: No known data errors<\/code><\/pre>\n
Godt, vi har styr p\u00e5 opbevaringen, nu til hvad vi skal tage backup med. Her vil jeg straks n\u00e6vne tre l\u00f8sninger, som jeg har haft mulighed for at pr\u00f8ve, nemlig:<\/p>\n
<\/p>\n
Benji Backup<\/a><\/noindex><\/strong> \u2014 en fork Backy2<\/a><\/noindex>, specialiseret l\u00f8sning til backup af blokenheder, har t\u00e6t integration med Ceph. Kan hente differencer mellem snapshots og danne inkrementel backup ud af dem. Underst\u00f8tter et stort antal opbevaringsbackends, herunder b\u00e5de lokal og S3. Kr\u00e6ver en separat database til opbevaring af deduplication hash-tabeller. Ulemper: skrevet i Python, har en smule langsom CLI.<\/p>\n
<\/p>\n
Borg Backup<\/a><\/noindex><\/strong> \u2014 en fork Attic<\/a><\/noindex>, et l\u00e6nge kendt og afpr\u00f8vet v\u00e6rkt\u00f8j til backup, kan sikkerhedskopiere data og deduplicere dem effektivt. Kan gemme backups b\u00e5de lokalt og p\u00e5 en fjernserver via SCP. Kan sikkerhedskopiere bloklagringsenheder, hvis der k\u00f8res med flaget --special<\/code>, ulemper: ved oprettelse af en backup blokeres hele repositoryet, s\u00e5 der anbefales at oprette et separat repository for hver virtuel maskine, hvilket ikke er et problem, da de oprettes meget nemt.<\/p>\n
<\/p>\n
Restic<\/a><\/noindex><\/strong> \u2014 et aktivt udviklende projekt, skrevet i Go, temmelig hurtigt og underst\u00f8tter mange lagringsbackend, herunder b\u00e5de lokal lagring og SCP, S3 og meget mere. Jeg vil gerne fremh\u00e6ve, at der er en specielt designet rest-server<\/a><\/noindex> til restic, som muligg\u00f8r hurtigere eksport af lageret til brug eksternt. Af alle ovenn\u00e6vnte har jeg bedst kunne lide denne. Kan sikkerhedskopiere fra stdin. Har n\u00e6sten ingen m\u00e6rkbare ulemper, men der er nogle s\u00e6rlige forhold:<\/p>\n
<\/p>\n