{"id":83100,"date":"2020-05-28T13:42:10","date_gmt":"2020-05-28T11:42:10","guid":{"rendered":"https:\/\/prohoster.info\/blog\/administrirovanie\/bekap-hranilishhe-dlya-tysyach-virtualnyh-mashin-svobodnymi-instrumentami"},"modified":"2020-05-28T13:42:10","modified_gmt":"2020-05-28T11:42:10","slug":"bekap-hranilishhe-dlya-tysyach-virtualnyh-mashin-svobodnymi-instrumentami","status":"publish","type":"post","link":"https:\/\/prohoster.info\/hu\/blog\/administrirovanie\/bekap-hranilishhe-dlya-tysyach-virtualnyh-mashin-svobodnymi-instrumentami","title":{"rendered":"Biztons\u00e1gi ment\u00e9si t\u00e1rol\u00f3 ezer virtu\u00e1lis g\u00e9p sz\u00e1m\u00e1ra ingyenes eszk\u00f6z\u00f6kkel","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

\"Biztons\u00e1gi<\/p>\n

<\/p>\n

Hell\u00f3, nemr\u00e9g egy \u00e9rdekes feladatot kaptam, hogy be\u00e1ll\u00edtsak egy t\u00e1rol\u00f3t nagy mennyis\u00e9g\u0171 blokkos eszk\u00f6z\u00f6k ment\u00e9s\u00e9re.<\/p>\n

<\/p>\n

Minden h\u00e9ten elv\u00e9gezz\u00fck az \u00f6sszes virtu\u00e1lis g\u00e9p biztons\u00e1gi ment\u00e9s\u00e9t a felh\u0151nkben, \u00edgy k\u00e9pesnek kell lenn\u00fcnk ezer biztons\u00e1gi m\u00e1solat kezel\u00e9s\u00e9re, \u00e9s ezt a lehet\u0151 leggyorsabban \u00e9s a leghat\u00e9konyabban kell megtenn\u00fcnk.<\/p>\n

<\/p>\n

Sajnos a szabv\u00e1nyos konfigur\u00e1ci\u00f3k RAID5<\/strong>, RAID6<\/strong> ebben az esetben nem alkalmasak, mert a helyre\u00e1ll\u00edt\u00e1si folyamat olyan nagy lemezek eset\u00e9n, mint a mieink, k\u00ednosan hossz\u00fa lesz, \u00e9s val\u00f3sz\u00edn\u0171leg sosem \u00e9r v\u00e9get.<\/p>\n

<\/p>\n

N\u00e9zz\u00fck meg, milyen alternat\u00edv\u00e1k vannak:<\/p>\n

<\/p>\n

Erasure Coding<\/a><\/noindex><\/strong> \u2014 A RAID5, RAID6 anal\u00f3gja, de testreszabhat\u00f3 parit\u00e1sszinttel. Ezenk\u00edv\u00fcl a ment\u00e9s nem blokk alap\u00fa, hanem minden egyes objektumra vonatkozik. A legegyszer\u0171bb m\u00f3dja az erasure coding kipr\u00f3b\u00e1l\u00e1s\u00e1nak az, hogy telep\u00edtj\u00fck a minio-t<\/a><\/noindex>.<\/p>\n

<\/p>\n

DRAID<\/a><\/noindex><\/strong> \u2014 ez jelenleg m\u00e9g nem megval\u00f3s\u00edtott ZFS-funkci\u00f3. A RAIDZ-hez k\u00e9pest a DRAID elosztott parit\u00e1sblokkot haszn\u00e1l, \u00e9s a helyre\u00e1ll\u00edt\u00e1s sor\u00e1n az \u00f6sszes lemezt aktiv\u00e1lja a t\u00f6mbb\u0151l, \u00edgy jobban ellen\u00e1ll a lemezhib\u00e1knak, \u00e9s gyorsabban helyre\u00e1ll a hiba ut\u00e1n. <\/p>\n

<\/a><\/noindex><\/p>\n

\"Biztons\u00e1gi<\/p>\n

<\/p>\n

\"Biztons\u00e1gi<\/p>\n

Tiszt\u00e1ban vagyok egy szerverrel Fujitsu Primergy RX300 S7<\/strong> Intel Xeon CPU E5-2650L 0 @ 1.80GHz processzorral , kilenc DDR3 RAM-modullal<\/strong>Samsung DDR3-1333 8Gb PC3L-10600R ECC Registered (M393B1K70DH0-YH9) , egy lemezkioszt\u00f3val<\/strong>Supermicro SuperChassis 847E26-RJBOD1 , csatlakoztatva<\/strong>Dual LSI SAS2X36 Expander \u00e9s 45 lemezzel<\/strong> Seagage ST6000NM0115-1YZ110 6TB<\/strong> hogy mindegyik.<\/strong> Miel\u0151tt b\u00e1rmit eld\u00f6nten\u00e9k, el\u0151sz\u00f6r alaposan tesztelni kell mindent.<\/p>\n

<\/p>\n

Ehhez felk\u00e9sz\u00fcltem \u00e9s k\u00fcl\u00f6nf\u00e9le konfigur\u00e1ci\u00f3k tesztel\u00e9s\u00e9t v\u00e9geztem. Ehhez a minio-t haszn\u00e1ltam, amely S3 h\u00e1tt\u00e9rk\u00e9nt m\u0171k\u00f6d\u00f6tt, \u00e9s k\u00fcl\u00f6nb\u00f6z\u0151 m\u00f3dokban futtattam k\u00fcl\u00f6nb\u00f6z\u0151 sz\u00e1m\u00fa c\u00e9l\u00e1llom\u00e1ssal.<\/p>\n

<\/p>\n

F\u0151k\u00e9nt a minio erasure coding esete, a szoftveres RAID-hez hasonl\u00edtva, ugyanazzal a lemezk\u00e9szlettel \u00e9s parit\u00e1sos lemezekkel volt tesztelve, ezek: RAID6, RAIDZ2 \u00e9s DRAID2.<\/p>\n

<\/p>\n

A t\u00e1j\u00e9koztat\u00e1s kedv\u00e9\u00e9rt: amikor a minio-t egyetlen c\u00e9llal ind\u00edtja el, akkor a minio S3 \u00e1tj\u00e1r\u00f3 m\u00f3dban m\u0171k\u00f6dik, lehet\u0151v\u00e9 t\u00e9ve a helyi f\u00e1jlrendszer S3 t\u00e1rol\u00e1sk\u00e9nt t\u00f6rt\u00e9n\u0151 megjelen\u00edt\u00e9s\u00e9t. Ha azonban a minio-t t\u00f6bb c\u00e9l meghat\u00e1roz\u00e1s\u00e1val ind\u00edtja, automatikusan aktiv\u00e1l\u00f3dik az Erasure Coding m\u00f3d, amely a c\u00e9l \u00e1llom\u00e1sok k\u00f6z\u00f6tt elosztja az adatokat, biztos\u00edtva a hib\u00e1tlans\u00e1got.<\/p>\n

<\/p>\n

Inform\u00e1ci\u00f3k\u00e9nt: amikor a minio-t csak egy c\u00e9llal ind\u00edtja el, akkor a minio S3-h\u00edd \u00fczemm\u00f3dba l\u00e9p, \u00e9s a helyi f\u00e1jlrendszer\u00e9t S3-t\u00e1rhelyk\u00e9nt szolg\u00e1ltatja. Ha azonban a minio-t t\u00f6bb c\u00e9llal ind\u00edtja el, akkor automatikusan bekapcsol a Erasure Coding m\u00f3d, amely elosztja az adatokat a c\u00e9lszerverek k\u00f6z\u00f6tt az adott redundancia biztos\u00edt\u00e1sa \u00e9rdek\u00e9ben.<\/p>\n

Alap\u00e9rtelmezetten a Minio 16 lemezes csoportokra osztja a c\u00e9lokat, ahol minden csoporthoz 2 parit\u00e1s tartozik. Ez\u00e9rt egyszerre k\u00e9t lemez is meghib\u00e1sodhat adatveszt\u00e9s n\u00e9lk\u00fcl.<\/p><\/blockquote>\n

A teljes\u00edtm\u00e9ny tesztel\u00e9s\u00e9hez 16 darab 6 TB-os lemezt haszn\u00e1ltam, \u00e9s kis 1 MB-os objektumokat \u00edrtam r\u00e1juk, ami maxim\u00e1lisan pontosan t\u00fckr\u00f6zte a j\u00f6v\u0151beli terhel\u00e9s\u00fcnket, mivel minden modern biztons\u00e1gi ment\u00e9si eszk\u00f6z blokkra osztja az adatokat t\u00f6bb megab\u00e1jt m\u00e9retben, \u00e9s \u00edgy \u00edrja \u0151ket.<\/p>\n

<\/p>\n

A benchmark elv\u00e9gz\u00e9s\u00e9hez az s3bench seg\u00e9dprogramot haszn\u00e1ltuk, amelyet egy t\u00e1voli szerveren futtattunk, \u00e9s t\u00edzezernyi ilyen objektumot k\u00fcld\u00f6tt a Miniohoz sz\u00e1z sz\u00e1lban. Ezut\u00e1n ugyanilyen m\u00f3don pr\u00f3b\u00e1ltuk visszah\u00edvni \u0151ket.<\/p>\n

<\/p>\n

A benchmark eredm\u00e9nyeit az al\u00e1bbi t\u00e1bl\u00e1zat tartalmazza:<\/p>\n

<\/p>\n

\"Biztons\u00e1gi<\/p>\n

<\/p>\n

Ahogy l\u00e1tjuk, a Minio saj\u00e1t erasure coding \u00fczemm\u00f3dban jelent\u0151sen rosszabb \u00edr\u00e1si teljes\u00edtm\u00e9nyt ny\u00fajt, mint a Minio, amelyet szoftveres RAID6, RAIDZ2 \u00e9s DRAID2 felett futtatnak ugyanabban a konfigur\u00e1ci\u00f3ban.<\/p>\n

<\/p>\n

K\u00fcl\u00f6n megk\u00e9rtek arra, hogy teszteljem a Minio-t ext4 vs XFS. Meglep\u0151 m\u00f3don, de az \u00e9n terhel\u00e9sem t\u00edpus\u00e1hoz az XFS jelent\u0151sen lassabbnak bizonyult, mint az ext4.<\/a><\/noindex> Az els\u0151 tesztek sor\u00e1n az Mdadm f\u00f6l\u00e9nyben volt a ZFS-sel szemben, de k\u00e9s\u0151bb<\/p>\n

<\/p>\n

gmelikov javasolta,<\/a><\/noindex> hogy jav\u00edthat\u00f3 a ZFS teljes\u00edtm\u00e9nye a k\u00f6vetkez\u0151 opci\u00f3k telep\u00edt\u00e9s\u00e9vel:<\/a><\/noindex>xattr=sa atime=off recordsize=1M<\/p>\n

<\/p>\n

\u00e9s ezut\u00e1n a ZFS-tesztjeim l\u00e9nyegesen jobbak lettek.<\/code><\/pre>\n
<\/p>\n
Azt is \u00e9szrevehetj\u00fck, hogy a DRAID nem ad k\u00fcl\u00f6n\u00f6sebb el\u0151nyt a RAIDZ-hez k\u00e9pest, de elm\u00e9letileg sokkal biztons\u00e1gosabb kellene legyen.<\/p>\n
<\/p>\n
Az utols\u00f3 k\u00e9t tesztem sor\u00e1n megpr\u00f3b\u00e1ltam a metaadatokat (special) \u00e9s a ZIL-t (log) SSD t\u00fck\u00f6rbe helyezni. De a metaadatok kihelyez\u00e9se nem hozott k\u00fcl\u00f6n\u00f6sebb sebess\u00e9gel\u0151nyt, m\u00edg a ZIL kihelyez\u00e9s\u00e9n\u00e9l a<\/p>\n
<\/p>\n
SSDSC2KI128G8 bottleneckhez \u00e9rt, 100%-os kihaszn\u00e1lts\u00e1ggal, \u00edgy ezt a tesztet megbukottnak tartom. Nem z\u00e1rk\u00f3zom el att\u00f3l, hogy ha gyorsabb SSD-lemezeim lettek volna, ez jelent\u0151sen jav\u00edthatta volna az eredm\u00e9nyeimet, de sajnos nem voltak ilyenek.<\/a><\/noindex> V\u00e9g\u00fcl \u00fagy d\u00f6nt\u00f6ttem, hogy a DRAID haszn\u00e1lat\u00e1n\u00e1l maradok, \u00e9s a b\u00e9tast\u00e1tusza ellen\u00e9re ez a leggyorsabb \u00e9s leghat\u00e9konyabb megold\u00e1s a t\u00e1rol\u00e1sra az eset\u00fcnkh\u00f6z.<\/p>\n
<\/p>\n
Egyszer\u0171 DRAID2-t hoztam l\u00e9tre h\u00e1rom csoporttal \u00e9s k\u00e9t elosztott tartal\u00e9kkal:<\/p>\n
<\/p>\n
J\u00f3l van, a t\u00e1rol\u00e1ssal mindent tiszt\u00e1ztunk, most n\u00e9zz\u00fck, hogy mivel fogunk biztons\u00e1gi menteni. Itt h\u00e1rom megold\u00e1sr\u00f3l szeretn\u00e9k besz\u00e9lni, amelyeket siker\u00fclt kipr\u00f3b\u00e1lnom:<\/p>\n
<\/p>\n
# zpool status data\n  pool: data\n state: ONLINE\n  scan: none requested\nconfig:\n\n    NAME                 STATE     READ WRITE CKSUM\n    data                 ONLINE       0     0     0\n      draid2:3g:2s-0     ONLINE       0     0     0\n        sdy              ONLINE       0     0     0\n        sdam             ONLINE       0     0     0\n        sdf              ONLINE       0     0     0\n        sdau             ONLINE       0     0     0\n        sdab             ONLINE       0     0     0\n        sdo              ONLINE       0     0     0\n        sdw              ONLINE       0     0     0\n        sdak             ONLINE       0     0     0\n        sdd              ONLINE       0     0     0\n        sdas             ONLINE       0     0     0\n        sdm              ONLINE       0     0     0\n        sdu              ONLINE       0     0     0\n        sdai             ONLINE       0     0     0\n        sdaq             ONLINE       0     0     0\n        sdk              ONLINE       0     0     0\n        sds              ONLINE       0     0     0\n        sdag             ONLINE       0     0     0\n        sdi              ONLINE       0     0     0\n        sdq              ONLINE       0     0     0\n        sdae             ONLINE       0     0     0\n        sdz              ONLINE       0     0     0\n        sdan             ONLINE       0     0     0\n        sdg              ONLINE       0     0     0\n        sdac             ONLINE       0     0     0\n        sdx              ONLINE       0     0     0\n        sdal             ONLINE       0     0     0\n        sde              ONLINE       0     0     0\n        sdat             ONLINE       0     0     0\n        sdaa             ONLINE       0     0     0\n        sdn              ONLINE       0     0     0\n        sdv              ONLINE       0     0     0\n        sdaj             ONLINE       0     0     0\n        sdc              ONLINE       0     0     0\n        sdar             ONLINE       0     0     0\n        sdl              ONLINE       0     0     0\n        sdt              ONLINE       0     0     0\n        sdah             ONLINE       0     0     0\n        sdap             ONLINE       0     0     0\n        sdj              ONLINE       0     0     0\n        sdr              ONLINE       0     0     0\n        sdaf             ONLINE       0     0     0\n        sdao             ONLINE       0     0     0\n        sdh              ONLINE       0     0     0\n        sdp              ONLINE       0     0     0\n        sdad             ONLINE       0     0     0\n    spares\n      s0-draid2:3g:2s-0  AVAIL   \n      s1-draid2:3g:2s-0  AVAIL   \n\nerrors: No known data errors<\/code><\/pre>\n
Benji Backup<\/p>\n
<\/p>\n
\u2014 forkja<\/a><\/noindex><\/strong> a Backy2-nek. Backy2<\/a><\/noindex>, egy speci\u00e1lis megold\u00e1s blokkok biztons\u00e1gi ment\u00e9s\u00e9re, szoros integr\u00e1ci\u00f3val a Ceph-tel. K\u00e9pes a pillanatfelv\u00e9telek k\u00f6z\u00f6tti diff-eket begy\u0171jteni, \u00e9s azokat inkrement\u00e1lis biztons\u00e1gi ment\u00e9sk\u00e9nt form\u00e1lni. T\u00e1mogatja a t\u00e1rol\u00e1s sz\u00e1m\u00e1ra sz\u00e1mos backendot, amelyek k\u00f6z\u00f6tt megtal\u00e1lhat\u00f3 a helyi t\u00e1rol\u00e1s \u00e9s az S3. K\u00fcl\u00f6n adatb\u00e1zist ig\u00e9nyel a deduplik\u00e1ci\u00f3s hash-t\u00e1bl\u00e1k t\u00e1rol\u00e1s\u00e1ra. H\u00e1tr\u00e1nyai: Python-ra \u00edr\u00f3dott, \u00e9s valamivel lassabb a parancssori interf\u00e9sze.<\/p>\n
<\/p>\n
Borg Backup<\/a><\/noindex><\/strong> a Backy2-nek. Attic<\/a><\/noindex>, r\u00e9g\u00f3ta ismert \u00e9s bev\u00e1lt eszk\u00f6z az adatok biztons\u00e1gi ment\u00e9s\u00e9re, amely k\u00e9pes az adatok biztons\u00e1gi ment\u00e9s\u00e9re \u00e9s j\u00f3l deduplik\u00e1lja azokat. K\u00e9pes a biztons\u00e1gi m\u00e1solatokat helyben vagy t\u00e1voli szerverre m\u00e1solni SCP-n kereszt\u00fcl. Blokkszint\u0171 eszk\u00f6z\u00f6ket is k\u00e9pes biztons\u00e1gi m\u00e1solatba venni, ha az al\u00e1bbi flag-gel ind\u00edtj\u00e1k: --special<\/code>, h\u00e1tr\u00e1nya: a biztons\u00e1gi m\u00e1solat l\u00e9trehoz\u00e1sakor a repository teljesen le van z\u00e1rva, ez\u00e9rt minden virtu\u00e1lis g\u00e9phez aj\u00e1nlott k\u00fcl\u00f6n repository-t l\u00e9trehozni, ami nem jelent probl\u00e9m\u00e1t, mivel nagyon k\u00f6nnyen l\u00e9trehozhat\u00f3.<\/p>\n
<\/p>\n
Restic<\/a><\/noindex><\/strong> \u2014 akt\u00edvan fejl\u0151d\u0151 projekt, Go nyelven \u00edr\u00f3dott, el\u00e9gg\u00e9 gyors \u00e9s t\u00e1mogatja a t\u00e1rol\u00e1s sz\u00e1mos backend-j\u00e9t, bele\u00e9rtve a helyi t\u00e1rol\u00e1st, SCP-t, S3-at \u00e9s sok egyebet. K\u00fcl\u00f6n megeml\u00edten\u00e9m, hogy van egy speci\u00e1lisan l\u00e9trehozott rest-server<\/a><\/noindex> a restic sz\u00e1m\u00e1ra, amely lehet\u0151v\u00e9 teszi a t\u00e1rol\u00e1s leggyorsabb export\u00e1l\u00e1s\u00e1t t\u00e1voli haszn\u00e1latra. Az \u00f6sszes fent eml\u00edtett k\u00f6z\u00fcl nekem ez tetszett a legjobban. K\u00e9pes stdin-b\u0151l biztons\u00e1gi m\u00e1solatot k\u00e9sz\u00edteni. Szembet\u0171n\u0151 h\u00e1tr\u00e1nyai szinte nincsenek, de van n\u00e9h\u00e1ny saj\u00e1toss\u00e1ga:<\/p>\n
<\/p>\n