{"id":83100,"date":"2020-05-28T13:42:10","date_gmt":"2020-05-28T11:42:10","guid":{"rendered":"https:\/\/prohoster.info\/blog\/administrirovanie\/bekap-hranilishhe-dlya-tysyach-virtualnyh-mashin-svobodnymi-instrumentami"},"modified":"2020-05-28T13:42:10","modified_gmt":"2020-05-28T11:42:10","slug":"bekap-hranilishhe-dlya-tysyach-virtualnyh-mashin-svobodnymi-instrumentami","status":"publish","type":"post","link":"https:\/\/prohoster.info\/fr\/blog\/administrirovanie\/bekap-hranilishhe-dlya-tysyach-virtualnyh-mashin-svobodnymi-instrumentami","title":{"rendered":"Stockage de sauvegarde pour des milliers de machines virtuelles avec des outils gratuits","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

\"Stockage<\/p>\n

<\/p>\n

Bonjour, j'ai r\u00e9cemment eu une t\u00e2che int\u00e9ressante \u00e0 r\u00e9aliser : configurer un stockage pour la sauvegarde d'un grand nombre de dispositifs de stockage en bloc.<\/p>\n

<\/p>\n

Chaque semaine, nous effectuons des sauvegardes de toutes les machines virtuelles de notre cloud, ce qui n\u00e9cessite de pouvoir g\u00e9rer des milliers de sauvegardes et de le faire aussi rapidement et efficacement que possible.<\/p>\n

<\/p>\n

Malheureusement, les configurations standard RAID5<\/strong>, RAID6<\/strong> ne conviennent pas dans ce cas car le processus de restauration sur des disques aussi grands que les n\u00f4tres sera douloureusement long et risque fort de ne jamais se terminer.<\/p>\n

<\/p>\n

Consid\u00e9rons les alternatives :<\/p>\n

<\/p>\n

Erasure Coding<\/a><\/noindex><\/strong> \u2014 L'\u00e9quivalent de RAID5, RAID6, mais avec un niveau de parit\u00e9 configurable. La sauvegarde se fait non pas par blocs, mais pour chaque objet s\u00e9par\u00e9ment. Le moyen le plus simple de tester l'Erasure Coding est de d\u00e9ployer minio<\/a><\/noindex>.<\/p>\n

<\/p>\n

DRAID<\/a><\/noindex><\/strong> \u2014 c'est une fonctionnalit\u00e9 de ZFS qui n'est pas encore sortie. Contrairement \u00e0 RAIDZ, DRAID dispose d\u2019un bloc de parit\u00e9 distribu\u00e9 et utilise tous les disques du pool lors de la restauration, ce qui permet de mieux surmonter les pannes de disque et d'acc\u00e9l\u00e9rer la r\u00e9cup\u00e9ration apr\u00e8s une d\u00e9faillance. <\/p>\n

<\/a><\/noindex><\/p>\n

\"Stockage<\/p>\n

<\/p>\n

\"Stockage<\/p>\n

Nous disposons d'un serveur Fujitsu Primergy RX300 S7<\/strong> avec un processeur Intel Xeon CPU E5-2650L 0 @ 1.80GHz<\/strong>, neuf modules de m\u00e9moire vive Samsung DDR3-1333 8Gb PC3L-10600R ECC Registered (M393B1K70DH0-YH9)<\/strong>, un ch\u00e2ssis de disques Supermicro SuperChassis 847E26-RJBOD1<\/strong>, connect\u00e9 via Dual LSI SAS2X36 Expander<\/strong> et 45 disques Seagage ST6000NM0115-1YZ110<\/strong> pour 6 To<\/strong> chacun.<\/p>\n

<\/p>\n

Avant de prendre une d\u00e9cision, nous devons d'abord tout tester correctement.<\/p>\n

<\/p>\n

Pour cela, je me suis pr\u00e9par\u00e9 et j'ai effectu\u00e9 des tests de diff\u00e9rentes configurations. J'ai utilis\u00e9 minio, qui servait de backend S3, et je l'ai lanc\u00e9 en diff\u00e9rents modes avec un nombre variable de cibles.<\/p>\n

<\/p>\n

Le cas test principal \u00e9tait minio en mode Erasure Coding contre RAID logiciel avec le m\u00eame nombre de disques et de disques de parit\u00e9, soit : RAID6, RAIDZ2 et DRAID2.<\/p>\n

<\/p>\n

Pour information : lorsque vous lancez minio avec une seule cible, minio fonctionne en mode passerelle S3 en fournissant votre syst\u00e8me de fichiers local sous forme de stockage S3. Si vous lancez minio en sp\u00e9cifiant plusieurs cibles, le mode Erasure Coding s'active automatiquement, ce qui r\u00e9partit les donn\u00e9es entre vos cibles tout en fournissant une redondance.<\/p>\n

Par d\u00e9faut, minio divise les cibles en groupes de 16 disques, o\u00f9 chaque groupe a 2 parit\u00e9s. Cela signifie que deux disques peuvent tomber en panne simultan\u00e9ment sans perte de donn\u00e9es.<\/p><\/blockquote>\n

Pour tester les performances, j'ai utilis\u00e9 16 disques de 6 To chacun et \u00e9crit dessus de petits objets de 1 Mo. Cela d\u00e9crivait avec pr\u00e9cision notre future charge de travail, car tous les outils modernes de sauvegarde divisent les donn\u00e9es en blocs de plusieurs m\u00e9gaoctets et les \u00e9crivent de cette mani\u00e8re.<\/p>\n

<\/p>\n

Pour effectuer le benchmark, j'ai utilis\u00e9 l'outil s3bench, ex\u00e9cut\u00e9 sur un serveur distant, qui envoyait des dizaines de milliers de tels objets dans minio par centaine de flux. Ensuite, il essayait de les demander \u00e0 nouveau de la m\u00eame mani\u00e8re.<\/p>\n

<\/p>\n

Les r\u00e9sultats du benchmark sont pr\u00e9sent\u00e9s dans le tableau suivant :<\/p>\n

<\/p>\n

\"Stockage<\/p>\n

<\/p>\n

Comme nous le voyons, minio en mode erasure coding fonctionne beaucoup moins bien en \u00e9criture que minio ex\u00e9cut\u00e9 sur un RAID logiciel RAID6, RAIDZ2 et DRAID2 dans la m\u00eame configuration.<\/p>\n

<\/p>\n

Separ\u00e9ment, on m a demand\u00e9<\/a><\/noindex> de tester minio sur ext4 contre XFS. \u00c9tonnamment, pour mon type de charge, XFS s'est av\u00e9r\u00e9 significativement plus lent qu'ext4.<\/p>\n

<\/p>\n

Lors de la premi\u00e8re s\u00e9rie de tests, Mdadm a montr\u00e9 une sup\u00e9riorit\u00e9 sur ZFS, mais plus tard gmelikov<\/a><\/noindex> a sugg\u00e9r\u00e9<\/a><\/noindex>, qu'il est possible d'am\u00e9liorer les performances de ZFS en installant les options suivantes :<\/p>\n

<\/p>\n

xattr=sa atime=off recordsize=1M<\/code><\/pre>\n
<\/p>\n
et apr\u00e8s cela, les tests avec ZFS sont devenus bien meilleurs.<\/p>\n
<\/p>\n
On peut \u00e9galement noter que DRAID ne procure pas de gains de performance significatifs par rapport \u00e0 RAIDZ, mais en th\u00e9orie, il devrait \u00eatre beaucoup plus s\u00fbr.<\/p>\n
<\/p>\n
Dans les deux derniers tests, j'ai \u00e9galement tent\u00e9 de transf\u00e9rer les m\u00e9tadonn\u00e9es (special) et ZIL (log) sur un miroir \u00e0 partir du SSD. Cependant, le transfert des m\u00e9tadonn\u00e9es n'a pas entra\u00een\u00e9 de gains significatifs en vitesse d'\u00e9criture, et lors du transfert de ZIL, mes SSDSC2KI128G8<\/a><\/noindex> ont atteint un plafond avec 100 % d'utilisation, donc je consid\u00e8re ce test comme un \u00e9chec. Je n'exclus pas que si j'avais eu des disques SSD plus rapides, cela aurait pu consid\u00e9rablement am\u00e9liorer mes r\u00e9sultats, mais malheureusement, je ne les avais pas.<\/p>\n
<\/p>\n
En fin de compte, j'ai d\u00e9cid\u00e9 de m'en tenir \u00e0 l'utilisation de DRAID et malgr\u00e9 son statut b\u00eata, il repr\u00e9sente la solution la plus rapide et efficace pour le stockage dans notre cas.<\/p>\n
<\/p>\n
J'ai cr\u00e9\u00e9 un simple DRAID2 dans une configuration avec trois groupes et deux spares distribu\u00e9s :<\/p>\n
<\/p>\n
# zpool status data\n  pool: data\n state: ONLINE\n  scan: none requested\nconfig:\n\n    NAME                 STATE     READ WRITE CKSUM\n    data                 ONLINE       0     0     0\n      draid2:3g:2s-0     ONLINE       0     0     0\n        sdy              ONLINE       0     0     0\n        sdam             ONLINE       0     0     0\n        sdf              ONLINE       0     0     0\n        sdau             ONLINE       0     0     0\n        sdab             ONLINE       0     0     0\n        sdo              ONLINE       0     0     0\n        sdw              ONLINE       0     0     0\n        sdak             ONLINE       0     0     0\n        sdd              ONLINE       0     0     0\n        sdas             ONLINE       0     0     0\n        sdm              ONLINE       0     0     0\n        sdu              ONLINE       0     0     0\n        sdai             ONLINE       0     0     0\n        sdaq             ONLINE       0     0     0\n        sdk              ONLINE       0     0     0\n        sds              ONLINE       0     0     0\n        sdag             ONLINE       0     0     0\n        sdi              ONLINE       0     0     0\n        sdq              ONLINE       0     0     0\n        sdae             ONLINE       0     0     0\n        sdz              ONLINE       0     0     0\n        sdan             ONLINE       0     0     0\n        sdg              ONLINE       0     0     0\n        sdac             ONLINE       0     0     0\n        sdx              ONLINE       0     0     0\n        sdal             ONLINE       0     0     0\n        sde              ONLINE       0     0     0\n        sdat             ONLINE       0     0     0\n        sdaa             ONLINE       0     0     0\n        sdn              ONLINE       0     0     0\n        sdv              ONLINE       0     0     0\n        sdaj             ONLINE       0     0     0\n        sdc              ONLINE       0     0     0\n        sdar             ONLINE       0     0     0\n        sdl              ONLINE       0     0     0\n        sdt              ONLINE       0     0     0\n        sdah             ONLINE       0     0     0\n        sdap             ONLINE       0     0     0\n        sdj              ONLINE       0     0     0\n        sdr              ONLINE       0     0     0\n        sdaf             ONLINE       0     0     0\n        sdao             ONLINE       0     0     0\n        sdh              ONLINE       0     0     0\n        sdp              ONLINE       0     0     0\n        sdad             ONLINE       0     0     0\n    spares\n      s0-draid2:3g:2s-0  AVAIL   \n      s1-draid2:3g:2s-0  AVAIL   \n\nerrors: No known data errors<\/code><\/pre>\n
Bien, le stockage est r\u00e9gl\u00e9, maintenant parlons de ce que nous allons utiliser pour la sauvegarde. Ici, il est imm\u00e9diatement int\u00e9ressant de parler de trois solutions que j'ai pu essayer, \u00e0 savoir :<\/p>\n
<\/p>\n
Benji Backup<\/a><\/noindex><\/strong> \u2014 un fork de Backy2<\/a><\/noindex>, solution sp\u00e9cialis\u00e9 pour la sauvegarde des dispositifs de blocs, dispose d'une int\u00e9gration \u00e9troite avec Ceph. Il peut r\u00e9cup\u00e9rer les diffs entre les snapshots et en former une sauvegarde incr\u00e9mentielle. Supporte de nombreux backends de stockage, y compris local et S3. Exige une base de donn\u00e9es distincte pour stocker la table de hachage de d\u00e9duplication. Parmi les inconv\u00e9nients : \u00e9crit en Python, poss\u00e8de une interface cli l\u00e9g\u00e8rement non r\u00e9active.<\/p>\n
<\/p>\n
Borg Backup<\/a><\/noindex><\/strong> \u2014 un fork Attic<\/a><\/noindex>, un outil bien connu et \u00e9prouv\u00e9 pour la sauvegarde, capable de sauvegarder des donn\u00e9es et de les d\u00e9dupliquer efficacement. Il peut sauvegarder localement ou sur un serveur distant via scp. Il peut sauvegarder des dispositifs de bloc s'il est lanc\u00e9 avec le drapeau --special<\/code>, parmi les inconv\u00e9nients : lors de la cr\u00e9ation d'une sauvegarde, le d\u00e9p\u00f4t est compl\u00e8tement verrouill\u00e9, donc il est recommand\u00e9 de cr\u00e9er un d\u00e9p\u00f4t distinct pour chaque machine virtuelle, ce qui en soi n'est pas un probl\u00e8me, d'autant plus qu'ils sont tr\u00e8s faciles \u00e0 cr\u00e9er.<\/p>\n
<\/p>\n
Restic<\/a><\/noindex><\/strong> \u2014 un projet en plein d\u00e9veloppement, \u00e9crit en go, assez rapide et prenant en charge un grand nombre de backends de stockage, y compris le stockage local, scp, S3 et bien d'autres. Il est \u00e0 noter qu'il existe un rest-server<\/a><\/noindex> sp\u00e9cialement con\u00e7u pour restic, qui permet d'exporter le stockage le plus rapidement possible pour une utilisation \u00e0 distance. Parmi tous les outils mentionn\u00e9s, c'est celui que je pr\u00e9f\u00e8re. Il peut sauvegarder \u00e0 partir de stdin. Il n'a presque pas de d\u00e9fauts notables, mais il y a quelques particularit\u00e9s :<\/p>\n
<\/p>\n