{"id":83100,"date":"2020-05-28T13:42:10","date_gmt":"2020-05-28T11:42:10","guid":{"rendered":"https:\/\/prohoster.info\/blog\/administrirovanie\/bekap-hranilishhe-dlya-tysyach-virtualnyh-mashin-svobodnymi-instrumentami"},"modified":"2020-05-28T13:42:10","modified_gmt":"2020-05-28T11:42:10","slug":"bekap-hranilishhe-dlya-tysyach-virtualnyh-mashin-svobodnymi-instrumentami","status":"publish","type":"post","link":"https:\/\/prohoster.info\/et\/blog\/administrirovanie\/bekap-hranilishhe-dlya-tysyach-virtualnyh-mashin-svobodnymi-instrumentami","title":{"rendered":"Tagas\u00fcsteem tuhandete virtuaalmasinate jaoks tasuta t\u00f6\u00f6riistadega","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

\"Tagas\u00fcsteem<\/p>\n

<\/p>\n

Tere, hiljuti sattusin huvitavale \u00fclesandele seadistada salvestusruum suure hulga plokkseadmete varukoopiate jaoks.<\/p>\n

<\/p>\n

Igal n\u00e4dalal teeme varukoopiaid k\u00f5igist virtuaalmasinatest meie pilves, seega peab olema suutlik hallata tuhandeid varukoopiaid ja teha seda v\u00f5imalikult kiiresti ja t\u00f5husalt.<\/p>\n

<\/p>\n

Kahjuks ei sobi tavalised konfiguratsioonid RAID5<\/strong>, RAID6<\/strong> antud juhul meile ei sobi, kuna nende suurte ketaste nagu meie omad taastamisprotsess on vaevarikas ja t\u00f5en\u00e4oliselt ei l\u00f5pe kunagi.<\/p>\n

<\/p>\n

Vaatame, millised alternatiivid on:<\/p>\n

<\/p>\n

Erasure Coding<\/a><\/noindex><\/strong> \u2014 RAID5, RAID6 analoog, kuid konfigureeritava pariteedi tasemega. Varundamine toimub mitte plokkide kaupa, vaid iga objekti kaupa eraldi. Lihtsaim viis proovida erasure coding\u2019ut on k\u00e4ivitada minio<\/a><\/noindex>.<\/p>\n

<\/p>\n

DRAID<\/a><\/noindex><\/strong> \u2014 see on hetkel veel v\u00e4ljaandmata ZFS funktsioon. Erinevalt RAIDZ-st, DRAID-l on jaotatud pariteediblock ja taastamise ajal kaasab see kohe k\u00f5ik massiivi kettad, mis talub paremini kettaid\u00f5rkeid ja taastub kiiremini p\u00e4rast t\u00f5rke tekkimist. <\/p>\n

<\/a><\/noindex><\/p>\n

\"Tagas\u00fcsteem<\/p>\n

<\/p>\n

\"Tagas\u00fcsteem<\/p>\n

K\u00e4es on server Fujitsu Primergy RX300 S7<\/strong> Intel Xeon CPU E5-2650L 0 @ 1.80GHz protsessoriga , \u00fcheksa RAM-moodulit<\/strong>Samsung DDR3-1333 8Gb PC3L-10600R ECC registreeritud (M393B1K70DH0-YH9) , ketta riiul<\/strong>Supermicro SuperChassis 847E26-RJBOD1 , \u00fchendatud l\u00e4bi<\/strong>Dual LSI SAS2X36 laiendaja ja 45 ketast<\/strong> Seagate ST6000NM0115-1YZ110 iga\u00fcks<\/strong> 6TB iga\u00fche.<\/strong> Enne kui midagi otsustame, peame k\u00f5ik korralikult testima.<\/p>\n

<\/p>\n

Selleks olen valmistunud ja viinud l\u00e4bi erinevate konfiguratsioonide testimise. Selleks kasutasin minio\u2019t, mis toimis S3-tagasi\u00fchenduse jaoks ja k\u00e4ivitati erinevates re\u017eiimides erineva arvu sihtidega.<\/p>\n

<\/p>\n

Peamiselt testiti minio juhtumit erasure coding vs tarkvara RAID sama ketaste ja pariteedi ketaste arvu puhul, nimelt: RAID6, RAIDZ2 ja DRAID2.<\/p>\n

<\/p>\n

Teave: kui k\u00e4ivitate minio \u00fche ainsa sihtm\u00e4rgiga, t\u00f6\u00f6tab minio S3 v\u00e4ravana, andes teie kohaliku failis\u00fcsteemi S3-salvestusena. Kui aga k\u00e4ivitate minio mitme sihtm\u00e4rgiga, aktiveeritakse automaatselt Erasure Coding re\u017eiim, mis jaotab andmed teie sihtm\u00e4rkide vahel, tagades talitlush\u00e4irete taluvuse.<\/p>\n

<\/p>\n

Teadmiseks: kui k\u00e4ivitate minio vaid \u00fche sihtm\u00e4rgiga, t\u00f6\u00f6tab minio S3-l\u00e4bip\u00e4\u00e4su re\u017eiimis, andes teie kohaliku failis\u00fcsteemi S3-hoidina. Kuid juhul, kui k\u00e4ivitate minio mitme sihtm\u00e4rgiga, aktiveeritakse automaatselt Erasure Coding re\u017eiim, mis jaotab andmed teie sihtkohtade vahel, pakkudes talitlush\u00e4iret tolerantsust.<\/p>\n

Vaikimisi jagab minio sihtkohtadesse 16 ketta r\u00fchmadesse, kus igas grupis on 2 pariteeti. See t\u00e4hendab, et kaks ketast v\u00f5ivad korraga rikki minna ilma andmete kaotamata.<\/p><\/blockquote>\n

J\u00f5udluse testimiseks kasutasin 16 ketast, iga\u00fcks 6TB, ja kirjutasin neile v\u00e4ikeseid objekte, mille suurus oli 1MB, mis t\u00e4pselt kirjeldas meie tulevast koormust, kuna k\u00f5ik kaasaegsed varundust\u00f6\u00f6riistad jagavad andmeid mitme megabaidi suuruste plokkideks ja kirjutavad neid nii.<\/p>\n

<\/p>\n

B\u00e4n\u0161markimiseks kasutati t\u00f6\u00f6riista s3bench, mis k\u00e4ivitati eemalserveris ja saatis miniosse k\u00fcmneid tuhandeid selliseid objekte sada voogu. P\u00e4rast seda \u00fcritas ta neid samamoodi tagasi n\u00f5uda.<\/p>\n

<\/p>\n

B\u00e4n\u0161markimise tulemused on esitatud j\u00e4rgmises tabelis:<\/p>\n

<\/p>\n

\"Tagas\u00fcsteem<\/p>\n

<\/p>\n

N\u00e4eme, et minio oma erasure coding re\u017eiimis t\u00f6\u00f6tab kirjutamisel m\u00e4rkimisv\u00e4\u00e4rselt halvemini kui minio, mis on loodud tarkvara RAID6, RAIDZ2 ja DRAID2 peal sama konfiguratsiooni raames.<\/p>\n

<\/p>\n

Erakordselt paluti mind testida<\/a><\/noindex> miniot ext4 vs XFS. \u00dcllatavalt, kuid minu koormuse puhul osutus XFS oluliselt aeglasemaks kui ext4.<\/p>\n

<\/p>\n

Esimeses testierias n\u00e4itas Mdadm ZFS-i ees \u00fcletust, kuid hiljem gmelikov<\/a><\/noindex> soovis<\/a><\/noindex>, et ZFS-i j\u00f5udlust saaks parandada, seades j\u00e4rgmised valikud:<\/p>\n

<\/p>\n

xattr=sa atime=off recordsize=1M<\/code><\/pre>\n
<\/p>\n
ja p\u00e4rast seda paranesid ZFS-i testid oluliselt.<\/p>\n
<\/p>\n
Samuti v\u00f5ib t\u00e4heldada, et DRAID ei too eriti suurt j\u00f5udluse kasu RAIDZ ees, kuid teoorias peaks see olema palju turvalisem.<\/p>\n
<\/p>\n
Viimastes kahes testis p\u00fc\u00fcdsin samuti andmefailid (special) ja ZIL (log) tuua SSD peegeldusele. Kuid andmematerjalide \u00fclekanne ei toonud eriliselt kiiret kirjutamise kasu, kuid ZIL-i eemaldamisel SSDSC2KI128G8<\/a><\/noindex> silmusime 100% kasutuse piirides, nii et pean seda testi eba\u00f5nnestunuks. Ma ei v\u00e4lista, et kui mul oleks olnud kiiremaid SSD-d, oleks see minu tulemusi t\u00f5siselt parandanud, kuid kahjuks ei olnud neid mul.<\/p>\n
<\/p>\n
Kokkuv\u00f5ttes otsustasin j\u00e4\u00e4da DRAIDi kasutamisele ja hoolimata oma beetastaatusest on see meie jaoks k\u00f5ige kiirem ja t\u00f5husam lahendus andmete salvestamiseks.<\/p>\n
<\/p>\n
Loomisin lihtsa DRAID2 konfiguratsiooni koos kolme grupiga ja kahe jaotatud varu:<\/p>\n
<\/p>\n
# zpool status data\n  pool: data\n state: ONLINE\n  scan: none requested\nconfig:\n\n    NAME                 STATE     READ WRITE CKSUM\n    data                 ONLINE       0     0     0\n      draid2:3g:2s-0     ONLINE       0     0     0\n        sdy              ONLINE       0     0     0\n        sdam             ONLINE       0     0     0\n        sdf              ONLINE       0     0     0\n        sdau             ONLINE       0     0     0\n        sdab             ONLINE       0     0     0\n        sdo              ONLINE       0     0     0\n        sdw              ONLINE       0     0     0\n        sdak             ONLINE       0     0     0\n        sdd              ONLINE       0     0     0\n        sdas             ONLINE       0     0     0\n        sdm              ONLINE       0     0     0\n        sdu              ONLINE       0     0     0\n        sdai             ONLINE       0     0     0\n        sdaq             ONLINE       0     0     0\n        sdk              ONLINE       0     0     0\n        sds              ONLINE       0     0     0\n        sdag             ONLINE       0     0     0\n        sdi              ONLINE       0     0     0\n        sdq              ONLINE       0     0     0\n        sdae             ONLINE       0     0     0\n        sdz              ONLINE       0     0     0\n        sdan             ONLINE       0     0     0\n        sdg              ONLINE       0     0     0\n        sdac             ONLINE       0     0     0\n        sdx              ONLINE       0     0     0\n        sdal             ONLINE       0     0     0\n        sde              ONLINE       0     0     0\n        sdat             ONLINE       0     0     0\n        sdaa             ONLINE       0     0     0\n        sdn              ONLINE       0     0     0\n        sdv              ONLINE       0     0     0\n        sdaj             ONLINE       0     0     0\n        sdc              ONLINE       0     0     0\n        sdar             ONLINE       0     0     0\n        sdl              ONLINE       0     0     0\n        sdt              ONLINE       0     0     0\n        sdah             ONLINE       0     0     0\n        sdap             ONLINE       0     0     0\n        sdj              ONLINE       0     0     0\n        sdr              ONLINE       0     0     0\n        sdaf             ONLINE       0     0     0\n        sdao             ONLINE       0     0     0\n        sdh              ONLINE       0     0     0\n        sdp              ONLINE       0     0     0\n        sdad             ONLINE       0     0     0\n    spares\n      s0-draid2:3g:2s-0  AVAIL   \n      s1-draid2:3g:2s-0  AVAIL   \n\nerrors: No known data errors<\/code><\/pre>\n
Nii, n\u00fc\u00fcd oleme salvestamisega hakkama saanud, r\u00e4\u00e4gime, millega me varundame. Siin tahaks kohe r\u00e4\u00e4kida kolmest lahendusest, mida mul oli v\u00f5imalus proovida, nimelt:<\/p>\n
<\/p>\n
Benji Backup<\/a><\/noindex><\/strong> \u2014 fork Backy2<\/a><\/noindex>, spetsialiseeritud lahendus blokksalvestusseadmete varundamiseks, millel on tihe \u0438\u043d\u0442\u0435\u0433\u0440\u0430\u0446\u0438\u044f Cephiga. Suudab v\u00f5tta diff’e snapshotide vahel ja moodustada neist inkrementaalse varunduse. Toetab paljusid salvestusbackend'e, sealhulgas nii kohalikke kui ka S3. N\u00f5uab eraldi andmebaasi deduplikeerimise hash-tabeli salvestamiseks. Miinustena: kirjutatud Pythonis, on veidi mitte\u00fchtlane CLI.<\/p>\n
<\/p>\n
Borg Backup<\/a><\/noindex><\/strong> \u2014 fork Attic<\/a><\/noindex>, pikka aega tuntud ja t\u00f5estatud lahendus varundamiseks, suudab andmeid varundada ja h\u00e4sti deduplikerida. Suudab salvestada varukoopiad nii kohalikult kui ka kaugserverisse l\u00e4bi SCP. Suudab varundada plokkseadmeid, kui k\u00e4ivitada lippudega --special<\/code>, miinustest: varukoopia loomisel blokeerib repository t\u00e4ielikult, seet\u00f5ttu on soovitatav iga virtuaalmasina jaoks luua eraldi repository, see pole aga probleem, kuna need on v\u00e4ga kergesti loodud.<\/p>\n
<\/p>\n
Restic<\/a><\/noindex><\/strong> \u2014 aktiivselt arenev projekt, kirjutatud Go-s, piisavalt kiire ja toetab suurt hulka salvestusbackend'e, sealhulgas nii kohalikke salvestusi kui ka SCP, S3 ja palju muud. Eriti v\u00e4\u00e4rib mainimist, et on loodud rest-server<\/a><\/noindex> restic'i jaoks, mis v\u00f5imaldab k\u00f5ige kiiremini eksportida salvestust kaugkasutamiseks. K\u00f5igist \u00fclalkirjeldatutest meeldis see mulle k\u00f5ige rohkem. Suudab varundada stdin'ist. M\u00e4rkimisv\u00e4\u00e4rseid miinuseid peaaegu ei ole, kuid on mitmeid erip\u00e4rasid:<\/p>\n
<\/p>\n