{"id":83100,"date":"2020-05-28T13:42:10","date_gmt":"2020-05-28T11:42:10","guid":{"rendered":"https:\/\/prohoster.info\/blog\/administrirovanie\/bekap-hranilishhe-dlya-tysyach-virtualnyh-mashin-svobodnymi-instrumentami"},"modified":"2020-05-28T13:42:10","modified_gmt":"2020-05-28T11:42:10","slug":"bekap-hranilishhe-dlya-tysyach-virtualnyh-mashin-svobodnymi-instrumentami","status":"publish","type":"post","link":"https:\/\/prohoster.info\/pt\/blog\/administrirovanie\/bekap-hranilishhe-dlya-tysyach-virtualnyh-mashin-svobodnymi-instrumentami","title":{"rendered":"Armazenamento de backup para milhares de m\u00e1quinas virtuais com ferramentas livres","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

\"Armazenamento<\/p>\n

<\/p>\n

Ol\u00e1, recentemente encontrei uma tarefa interessante de configurar um armazenamento para backup de um grande n\u00famero de dispositivos de bloco.<\/p>\n

<\/p>\n

Toda semana realizamos o backup de todas as m\u00e1quinas virtuais em nossa nuvem, assim precisamos ser capazes de gerenciar milhares de backups e faz\u00ea-lo da maneira mais r\u00e1pida e eficiente poss\u00edvel.<\/p>\n

<\/p>\n

Infelizmente, as configura\u00e7\u00f5es padr\u00e3o RAID5<\/strong>, RAID6<\/strong> neste caso n\u00e3o ser\u00e3o adequadas, uma vez que o processo de recupera\u00e7\u00e3o em discos t\u00e3o grandes quanto os nossos ser\u00e1 dolorosamente longo e provavelmente nunca terminar\u00e1.<\/p>\n

<\/p>\n

Vamos considerar quais s\u00e3o as alternativas:<\/p>\n

<\/p>\n

Erasure Coding<\/a><\/noindex><\/strong> \u2014 Semelhante ao RAID5, RAID6, mas com um n\u00edvel de paridade configur\u00e1vel. Neste caso, a prote\u00e7\u00e3o n\u00e3o \u00e9 feita por bloco, mas para cada objeto individualmente. A maneira mais simples de experimentar erasure coding \u00e9 implementar minio<\/a><\/noindex>.<\/p>\n

<\/p>\n

DRAID<\/a><\/noindex><\/strong> \u2014 esta \u00e9 uma funcionalidade ainda n\u00e3o lan\u00e7ada do ZFS. Ao contr\u00e1rio do RAIDZ, o DRAID possui um bloco de paridade distribu\u00eddo e, durante a recupera\u00e7\u00e3o, utiliza todos os discos da matriz, o que melhora a resist\u00eancia a falhas e acelera a recupera\u00e7\u00e3o ap\u00f3s uma falha. <\/p>\n

<\/a><\/noindex><\/p>\n

\"Armazenamento<\/p>\n

<\/p>\n

\"Armazenamento<\/p>\n

Temos \u00e0 disposi\u00e7\u00e3o um servidor Fujitsu Primergy RX300 S7<\/strong> com processador Intel Xeon CPU E5-2650L 0 @ 1.80GHz<\/strong>, nove m\u00f3dulos de mem\u00f3ria RAM Samsung DDR3-1333 8Gb PC3L-10600R ECC Registered (M393B1K70DH0-YH9)<\/strong>, uma unidade de disco Supermicro SuperChassis 847E26-RJBOD1<\/strong>, conectada atrav\u00e9s de Dual LSI SAS2X36 Expander<\/strong> e 45 discos Seagage ST6000NM0115-1YZ110<\/strong> para 6TB<\/strong> cada um.<\/p>\n

<\/p>\n

Antes de decidir algo, precisamos primeiro testar tudo adequadamente.<\/p>\n

<\/p>\n

Para isso, me preparei e realizei testes de v\u00e1rias configura\u00e7\u00f5es. Usei o minio, que atuou como backend S3, e o executei em diferentes modos com diferentes quantidades de alvos.<\/p>\n

<\/p>\n

O foco principal dos testes foi o caso do minio em erasure coding contra software RAID com a mesma quantidade de discos e discos de paridade, ou seja: RAID6, RAIDZ2 e DRAID2.<\/p>\n

<\/p>\n

Para refer\u00eancia: quando voc\u00ea executa o minio com apenas um \u00fanico alvo, ele funciona em modo de gateway S3, apresentando seu sistema de arquivos local como um armazenamento S3. No entanto, se voc\u00ea iniciar o minio especificando v\u00e1rios alvos, o modo Erasure Coding ser\u00e1 ativado automaticamente, espalhando os dados entre seus alvos e fornecendo resist\u00eancia a falhas.<\/p>\n

Por padr\u00e3o, o minio divide os alvos em grupos de 16 discos, onde cada grupo possui 2 paridades. Ou seja, at\u00e9 dois discos podem falhar simultaneamente sem perda de dados.<\/p><\/blockquote>\n

Para testar o desempenho, utilizei 16 discos de 6TB cada e escrevi objetos pequenos de 1MB, o que descreveu com precis\u00e3o nossa carga de trabalho futura, uma vez que todas as ferramentas modernas de backup dividem os dados em blocos de alguns megabytes e os gravam dessa forma.<\/p>\n

<\/p>\n

Para realizar o benchmark, usei a ferramenta s3bench, executada em um servidor remoto, que enviava dezenas de milhares de objetos ao minio em cem threads. Ap\u00f3s isso, tentei solicit\u00e1-los de volta da mesma maneira.<\/p>\n

<\/p>\n

Os resultados do benchmark est\u00e3o na tabela a seguir:<\/p>\n

<\/p>\n

\"Armazenamento<\/p>\n

<\/p>\n

Como podemos ver, o minio em modo de erasure coding pr\u00f3prio apresenta desempenho de grava\u00e7\u00e3o significativamente inferior em compara\u00e7\u00e3o ao minio rodando sobre RAID6, RAIDZ2 e DRAID2 na mesma configura\u00e7\u00e3o.<\/p>\n

<\/p>\n

Separadamente, fui solicitado<\/a><\/noindex> para testar o minio no ext4 vs XFS. Surpreendentemente, para meu tipo de carga, o XFS se mostrou significativamente mais lento que o ext4.<\/p>\n

<\/p>\n

No primeiro grupo de testes, o Mdadm demonstrou superioridade sobre o ZFS, mas mais tarde gmelikov<\/a><\/noindex> sugeriu<\/a><\/noindex>, que a performance do ZFS poderia ser melhorada ao definir as seguintes op\u00e7\u00f5es:<\/p>\n

<\/p>\n

xattr=sa atime=off recordsize=1M<\/code><\/pre>\n
<\/p>\n
e ap\u00f3s isso, os testes com ZFS melhoraram muito.<\/p>\n
<\/p>\n
Tamb\u00e9m \u00e9 poss\u00edvel notar que o DRAID n\u00e3o oferece um ganho significativo de desempenho em rela\u00e7\u00e3o ao RAIDZ, mas teoricamente deve ser muito mais seguro.<\/p>\n
<\/p>\n
Nos \u00faltimos dois testes, tamb\u00e9m tentei mover os metadados (special) e ZIL (log) para um espelho SSD. No entanto, a remo\u00e7\u00e3o dos metadados n\u00e3o trouxe um ganho significativo na velocidade de grava\u00e7\u00e3o, e ao mover o ZIL, minha SSDSC2KI128G8<\/a><\/noindex> chegou ao limite com 100% de utiliza\u00e7\u00e3o, ent\u00e3o considero este teste como falhado. N\u00e3o descarto que, se tivesse SSDs mais r\u00e1pidos, isso poderia melhorar significativamente meus resultados, mas, infelizmente, n\u00e3o os tinha.<\/p>\n
<\/p>\n
No fim, decidi continuar usando o DRAID e, apesar de seu status beta, ele \u00e9 a solu\u00e7\u00e3o mais r\u00e1pida e eficaz para armazenamento no nosso caso.<\/p>\n
<\/p>\n
Criei um simples DRAID2 na configura\u00e7\u00e3o com tr\u00eas grupos e dois spares distribu\u00eddos:<\/p>\n
<\/p>\n
# zpool status data\n  pool: data\n state: ONLINE\n  scan: none requested\nconfig:\n\n    NAME                 STATE     READ WRITE CKSUM\n    data                 ONLINE       0     0     0\n      draid2:3g:2s-0     ONLINE       0     0     0\n        sdy              ONLINE       0     0     0\n        sdam             ONLINE       0     0     0\n        sdf              ONLINE       0     0     0\n        sdau             ONLINE       0     0     0\n        sdab             ONLINE       0     0     0\n        sdo              ONLINE       0     0     0\n        sdw              ONLINE       0     0     0\n        sdak             ONLINE       0     0     0\n        sdd              ONLINE       0     0     0\n        sdas             ONLINE       0     0     0\n        sdm              ONLINE       0     0     0\n        sdu              ONLINE       0     0     0\n        sdai             ONLINE       0     0     0\n        sdaq             ONLINE       0     0     0\n        sdk              ONLINE       0     0     0\n        sds              ONLINE       0     0     0\n        sdag             ONLINE       0     0     0\n        sdi              ONLINE       0     0     0\n        sdq              ONLINE       0     0     0\n        sdae             ONLINE       0     0     0\n        sdz              ONLINE       0     0     0\n        sdan             ONLINE       0     0     0\n        sdg              ONLINE       0     0     0\n        sdac             ONLINE       0     0     0\n        sdx              ONLINE       0     0     0\n        sdal             ONLINE       0     0     0\n        sde              ONLINE       0     0     0\n        sdat             ONLINE       0     0     0\n        sdaa             ONLINE       0     0     0\n        sdn              ONLINE       0     0     0\n        sdv              ONLINE       0     0     0\n        sdaj             ONLINE       0     0     0\n        sdc              ONLINE       0     0     0\n        sdar             ONLINE       0     0     0\n        sdl              ONLINE       0     0     0\n        sdt              ONLINE       0     0     0\n        sdah             ONLINE       0     0     0\n        sdap             ONLINE       0     0     0\n        sdj              ONLINE       0     0     0\n        sdr              ONLINE       0     0     0\n        sdaf             ONLINE       0     0     0\n        sdao             ONLINE       0     0     0\n        sdh              ONLINE       0     0     0\n        sdp              ONLINE       0     0     0\n        sdad             ONLINE       0     0     0\n    spares\n      s0-draid2:3g:2s-0  AVAIL   \n      s1-draid2:3g:2s-0  AVAIL   \n\nerrors: No known data errors<\/code><\/pre>\n
Bom, resolvemos a quest\u00e3o do armazenamento, agora sobre o que usaremos para fazer backup. Aqui, gostaria de falar sobre tr\u00eas solu\u00e7\u00f5es que consegui experimentar, que s\u00e3o:<\/p>\n
<\/p>\n
Benji Backup<\/a><\/noindex><\/strong> \u2014 um fork Backy2<\/a><\/noindex>, solu\u00e7\u00e3o especializada para backup de dispositivos em bloco, possui integra\u00e7\u00e3o estreita com Ceph. \u00c9 capaz de captar diffs entre snapshots e formar backups incrementais a partir deles. Suporta uma grande quantidade de backends de armazenamento, incluindo op\u00e7\u00f5es locais e S3. Requer um banco de dados separado para armazenar a tabela hash de deduplica\u00e7\u00e3o. Entre as desvantagens, est\u00e1 escrito em Python e possui um CLI um pouco n\u00e3o responsivo.<\/p>\n
<\/p>\n
Borg Backup<\/a><\/noindex><\/strong> \u2014 um fork Attic<\/a><\/noindex>, uma ferramenta j\u00e1 conhecida e testada para backup, que consegue fazer backup de dados e realiza boa deduplica\u00e7\u00e3o. \u00c9 capaz de armazenar backups tanto localmente quanto em um servidor remoto via SCP. Pode fazer backup de dispositivos em bloco se for executado com a flag --special<\/code>, entre os negativos: ao criar um backup, o reposit\u00f3rio \u00e9 completamente bloqueado, portanto \u00e9 recomend\u00e1vel criar um reposit\u00f3rio separado para cada m\u00e1quina virtual; isso n\u00e3o \u00e9 um problema, pois eles s\u00e3o criados com bastante facilidade.<\/p>\n
<\/p>\n
Restic<\/a><\/noindex><\/strong> \u2014 um projeto em ativo desenvolvimento, escrito em Go, bastante r\u00e1pido e suporta uma ampla gama de backends para armazenamento, incluindo armazenamento local, SCP, S3 e muito mais. Vale ressaltar que existe um rest-server<\/a><\/noindex> especificamente para o restic, que permite exportar o armazenamento de forma mais r\u00e1pida para uso remoto. Dos mencionados, gostei mais deste. Ele \u00e9 capaz de fazer backup de stdin. Quase n\u00e3o possui desvantagens not\u00e1veis, mas h\u00e1 algumas particularidades:<\/p>\n
<\/p>\n