Olá a todos! Como prometido, publicamos os resultados do teste de carga do sistema de armazenamento de dados de produção russa – AERODISK ENGINE N2.
No artigo anterior, realizamos testes de estresse no sistema de armazenamento (ou seja, fizemos testes de queda) e os resultados do teste de queda foram positivos (ou seja, o sistema de armazenamento não foi quebrado). Você pode conferir os resultados do teste de queda .
Nos comentários do artigo anterior, foram feitas solicitações sobre testes de queda adicionais – mais complexos. Nós registramos todos eles e certamente os realizaremos em um dos próximos artigos. Além disso, você pode visitar nosso laboratório em Moscou a qualquer momento (presencialmente ou remotamente pela Internet) e realizar esses testes você mesmo (você pode até realizar testes específicos para um projeto :-)). Escreva-nos, analisaremos todos os cenários!
Além disso, mesmo que você não esteja em Moscou, ainda pode conhecer melhor nosso sistema de armazenamento, participando de um evento de treinamento gratuito em um centro de competências na cidade mais próxima de você.
Abaixo está a lista dos eventos mais próximos e as datas de funcionamento dos centros de competências.
- Ecaterimburgo. 16 de maio de 2019. Seminário de treinamento. Você pode se registrar pelo link:
- Ecaterimburgo. De 20 de maio a 21 de junho de 2019. Centro de competências. Venha a qualquer horário de funcionamento para uma demonstração ao vivo do sistema de armazenamento AERODISK ENGINE N2. O endereço exato e o link para registro serão fornecidos posteriormente. Fique atento às informações.
- Novosibirsk. FIQUE ATENTO ÀS INFORMAÇÕES EM NOSSO SITE ou no Habr.
outubro de 2019 - Kazan. FIQUE ATENTO ÀS INFORMAÇÕES EM NOSSO SITE ou no Habr.
outubro de 2019 - Krasnoyarsk. FIQUE ATENTO ÀS INFORMAÇÕES EM NOSSO SITE ou no Habr.
novembro de 2019
Também queremos compartilhar outra boa notícia: finalmente, nosso canal está funcionando plenamente, onde você pode assistir a vídeos de eventos passados. Além disso, publicamos regularmente nossos vídeos de treinamento lá.
Bancada de Testes
Então, voltando aos testes. Modernizamos nosso sistema de armazenamento de laboratório ENGINE N2, instalando discos SSD SAS adicionais, assim como adaptadores de Front-end Fibre Channel 16G. De forma simétrica, modernizamos o servidor a partir do qual estaremos gerando carga, adicionando adaptadores FC 16G.
Como resultado, temos na lab um sistema de armazenamento com 2 controladores e 24 discos SSD SAS de 1,6 TB, 3 DWPD, conectado via comutadores SAN a um servidor físico Linux por FC 16G.
O esquema da bancada de testes está ilustrado abaixo.
Metodologia de teste
Para o melhor desempenho em acesso por bloco, utilizaremos pools DDP (Dynamic Disk Pool), que criamos especificamente para sistemas ALL-FLASH.
Para os testes, criamos dois LUNs de 1 TB cada, com proteção RAID-10. Cada LUN será "espalhado" entre 12 discos (no total 24), para utilizar totalmente o potencial de cada um dos discos instalados no armazenamento.
Os LUNs são apresentados ao servidor através de diferentes controladores, a fim de maximizar a utilização dos recursos do armazenamento.
Cada um dos testes durará uma hora, e os testes serão realizados pelo programa Flexible IO (FIO), cujos dados são automaticamente exportados para Excel, onde gráficos são gerados para melhor visualização.
Perfis de carga
No total, realizaremos três testes de uma hora, excluindo o tempo de aquecimento, que destina-se a 15 minutos (é o tempo necessário para aquecer um array de 24 SSDs). Esses testes emulam os perfis de carga mais comumente encontrados, incluindo diversos SGBDs, sistemas de vigilância por vídeo, transmissão de mídia e backup.
Além disso, em todos os testes, desativamos intencionalmente a capacidade de cache em memória RAM, tanto no armazenamento quanto no host. Os resultados, é claro, serão prejudicados, mas, em nossa opinião, sob essas condições, o teste será mais justo.
Resultados dos testes
Teste nº 1. Carga aleatória com pequenos blocos. Emulação do funcionamento de um SGBD transacional de alta carga.
- Tamanho do bloco = 4k
- Leitura/escrita = 70%/30%
- Número de operações = 16
- Profundidade da fila = 32
- Tipo de carga = Totalmente Aleatória
Resultados do teste:
No total, com o sistema mid-range Engine N2, obtivemos 438k IOPS com latências de 2,6 milissegundos. Considerando a classe do sistema, acreditamos que o resultado é bastante satisfatório. Para entender se isso é o limite do sistema, iremos analisar a utilização dos recursos dos controladores do armazenamento.
Nosso principal interesse é a CPU, pois, como mencionado acima, desativamos o cache de RAM intencionalmente, para não distorcer os resultados dos testes.
Em ambos os controladores do armazenamento, vemos uma imagem semelhante.
Ou seja, a carga na CPU é de 50%. Isso indica que ainda não chegamos ao limite deste sistema de armazenamento e ele pode ser escalado ainda mais. Adiantando um pouco: todos os testes subsequentes também mostraram carga dos processadores controladores em torno de 50%, portanto, não iremos repetir esses dados.
Com base em nossos testes laboratoriais, o limite confortável do sistema AERODISK Engine N2, considerando IOPS aleatórios com blocos de 4k, é de aproximadamente 700 000 IOPS. Se isso não for suficiente e você precisar se aventurar em um milhão, temos o modelo superior ENGINE N4.
Ou seja, a história sobre milhões de IOPS refere-se ao ENGINE N4; se um milhão for demais para você, pode usar tranquilamente o N2.
Vamos voltar aos testes.
Teste nº 2. Gravação sequencial em grandes blocos. Emulação de sistemas de videovigilância, carregamento de dados em um SGBD analítico ou gravação de backups.
Neste teste, já não nos interessam os IOPS, pois, sob carga sequencial em grandes blocos, eles não fazem sentido. O que nos interessa, em primeiro lugar, é: taxa de gravação (megabytes por segundo) e latências, que com grandes blocos, naturalmente, serão maiores do que com blocos pequenos.
- Tamanho do bloco = 128k
- Leitura/Gravação = 0%/100%
- Número de operações = 16
- Profundidade da fila = 32
- Tipo de carga – Sequencial
No total: temos uma gravação de cinco mil e quinhentos megabytes por segundo com latências de onze milissegundos. Se compararmos com os concorrentes internacionais mais próximos, o resultado, em nossa opinião, é excelente e também não representa o limite do sistema ENGINE N2.
Teste nº 3. Leitura sequencial em grandes blocos. Emulação de streaming de conteúdo de mídia, geração de relatórios a partir de um SGBD analítico ou recuperação de dados de backups.
Assim como no teste anterior, nos interessam a taxa e as latências.
- Tamanho do bloco = 128k
- Leitura/Gravação = 100%/0%
- Número de operações = 16
- Profundidade da fila = 32
- Tipo de carga – Sequencial
Os índices de leitura em streaming são previsivelmente um pouco melhores do que os de gravação em streaming.
Curiosamente, a latência em todo o teste é idêntica (linha reta). Isso não é um erro; em nosso caso, durante leitura sequencial em grandes blocos, é uma situação comum.
Claro, se deixarmos o sistema assim por algumas semanas, acabaremos vendo nos gráficos picos periódicos, que estarão relacionados a fatores externos. Mas, no geral, isso não afetará a imagem.
Como resultado, obtemos um serviço de "monitoramento como serviço", automatizado na linha de produção de integração contínua. O desenvolvedor ou testador precisa apenas definir a lista de métricas em um arquivo JSON, e tudo o mais acontece automaticamente. Obtemos um controle de qualidade transparente dos lançamentos: todas as notificações sobre desempenho, consumo de recursos ou regressões arquitetônicas.
Do sistema AERODISK ENGINE N2 com dois controladores, conseguimos extrair resultados bastante impressionantes (~438 000 IOPS e ~5-6 gigabytes por segundo). Os testes de carga mostraram que não temos vergonha de nosso armazenamento. Pelo contrário, os índices são muito dignos e correspondem a um bom sistema de armazenamento.
Embora, como mencionamos acima, o Engine N2 seja o modelo de entrada, os resultados apresentados neste artigo não representam seu limite. Mais tarde, publicaremos um teste semelhante com nosso sistema mais avançado, o ENGINE N4.
Naturalmente, em um único artigo, não podemos cobrir todos os testes possíveis, por isso, reiteramos nosso convite aos leitores para compartilharem sugestões para futuros testes nos comentários; certamente consideraremos isso em publicações futuras.
Além disso, lembramos que este ano estamos focando intensamente em treinamentos, por isso, convidamos você a visitar nossos centros de competência, onde pode participar de formação sobre a solução de armazenamento AERODISK, enquanto se diverte e aproveita o tempo.
Reitero a informação sobre os próximos eventos de treinamento.
- Ecaterimburgo. 16 de maio de 2019. Seminário de treinamento. Você pode se registrar pelo link:
- Ecaterimburgo. De 20 de maio a 21 de junho de 2019. Centro de competências. Venha a qualquer horário de funcionamento para uma demonstração ao vivo do sistema de armazenamento AERODISK ENGINE N2. O endereço exato e o link para registro serão fornecidos posteriormente. Fique atento às informações.
- Novosibirsk. FIQUE ATENTO ÀS INFORMAÇÕES EM NOSSO SITE ou no Habr.
outubro de 2019 - Kazan. FIQUE ATENTO ÀS INFORMAÇÕES EM NOSSO SITE ou no Habr.
outubro de 2019 - Krasnoyarsk. FIQUE ATENTO ÀS INFORMAÇÕES EM NOSSO SITE ou no Habr.
novembro de 2019
Fonte: habr.com
