Neste artigo iremos contar quais soluções de infraestrutura nossos clientes implementam usando plataformas de servidor Dell R730xd e por que o preço do aluguel desta plataforma é com excelentes canais de comunicação para a Ucrânia e a Rússia, bem como , já com colocação e conectividade a um preço tornou-se uma realidade. Compartilharemos possíveis soluções baseadas nessas plataformas utilizando vlan privada, rede local 10G e Firewall de hardware da CISCO, que estão disponíveis para nossos clientes mediante solicitação. E também, seguindo as melhores tradições, ofereceremos um bônus na forma de um período gratuito de uso dos servidores Dell R730xd para os leitores do Habrahabr.
Nos últimos tempos temos recebido cada vez mais pedidos para a construção de diversas infra-estruturas corporativas, e isso, infelizmente, está ligado não tanto ao facto de fornecermos soluções de altíssima qualidade, mas sim ao preço dessas soluções e ao nível de segurança e do Estado de direito, que é fornecido nos Países Baixos e nos EUA, mas, infelizmente, muitas vezes não está disponível na Ucrânia e na Rússia. Onde, infelizmente, tais soluções custam simplesmente um dinheiro “astronómico”, uma vez que o conceito de “dinheiro a longo prazo” é, em princípio, estranho aos países pós-soviéticos, no contexto de outros riscos ou devido à falta de infra-estruturas necessárias e de nível de certificação.
Um bom exemplo aqui seria a diferença no preço do hardware. Por exemplo, Plataforma Dell R730xd, adquiridos para nossos clientes, na configuração básica, 2 x Intel Dodeca-Core Xeon E5-2650v4 128GB DDR4 6x480GB SSD custa cerca de 9000 euros. Escusado será dizer que não pode haver qualquer preço baixo para alugar este servidor na Ucrânia ou na Rússia, uma vez que o custo do aluguer é baseado no retorno do custo da plataforma durante um período de 12 a 18 meses. Isto significa que o preço mínimo de aluguer possível, excluindo o custo de alojamento, electricidade e canais de comunicação, ficará na faixa dos 500-800 dólares / mês, dependendo do grau de risco do fornecedor e do plano de negócios. Você também precisa encontrar um bom data center com o nível exigido de certificação e canais de comunicação. Pois bem, não se esqueça de levar em consideração os riscos de apreensão ilegal de equipamentos durante algumas ações investigativas ilegais que podem surgir devido à concorrência e às especificidades de fazer negócios em uma determinada região.
Portanto, não é de surpreender que nossa proposta tenha despertado grande interesse, principalmente porque os data centers onde fornecemos os servidores propostos possuem muitos certificados necessários e importantes para o setor corporativo - , , , и .
Vejamos agora vários casos que podem ser de interesse tanto para iniciantes e pequenos projetos, quanto para integradores de sistemas bastante grandes que constroem soluções em seus escritórios, em zonas de contenção ou em data centers.
Benefícios das plataformas Dell R730xd ao criar data warehouses usando o Red Hat Ceph
Não é nenhum segredo que os requisitos para armazenamento e processamento de dados crescem constantemente e em ritmo acelerado. Se há alguns anos era suficiente ter 1 TB de armazenamento, que fornecia várias centenas de IOPS, agora as necessidades aumentaram para dezenas de milhares de IOPS e petabytes de espaço. Estas exigências de capacidade e desempenho são alimentadas em parte por um aumento no volume de dados não estruturados, incluindo música, imagens, vídeos, cópias de segurança de bases de dados, ficheiros de registo e outros arquivos, dados financeiros e médicos - dados conhecidos como "Big Data". Sem mencionar as crescentes demandas por armazenamento de dados como resultado da proliferação e expansão da Internet e dos novos recursos da Internet. Portanto, com todas essas demandas de energia, as expectativas dos clientes em relação à alta confiabilidade e alto desempenho são maiores do que nunca.
Enquanto as empresas de TI tentam resolver os problemas de gerenciamento de petabytes e até exabytes de dados, o modelo de armazenamento em nuvem está se tornando cada vez mais comum nos data centers modernos. Cada vez mais novos sistemas de software estão sendo escritos que permitem configurar a interação do ambiente de nuvem com o hardware de maneira ideal; um desses desenvolvimentos é o Ceph.
Ceph é um sistema de armazenamento distribuído de código aberto projetado para fornecer alto desempenho, confiabilidade e escalabilidade. Ceph implementa armazenamento de objetos em um cluster de computador distribuído e fornece interfaces para armazenar objetos, blocos e arquivos. O Ceph fornece armazenamento totalmente distribuído sem ponto único de falha e escalabilidade até o nível de petabyte. Ceph replica dados e, portanto, fornece tolerância a falhas. O sistema foi concebido de forma a proporcionar não só a recuperação independente, mas também a gestão, o que ajuda a evitar custos de manutenção desnecessários. Como o Ceph usa hardware de uso geral controlado por software e as funções de gerenciamento estão disponíveis por meio de interfaces de programação de aplicativos (APIs), ele é classificado como armazenamento definido por software (SDS).
O Red Hat Ceph Storage é um sistema de armazenamento pronto para uso, armazenamento definido por software que é aberto, adaptável, escalável e compatível em qualquer lugar. Combina inovações do desenvolvimento de código aberto com núcleo técnico e suporte da Red Hat. A solução oferece forte integração com OpenStack e foi projetada desde o início para permitir armazenamento de próxima geração para ambientes em nuvem e outras cargas de trabalho.
Aqui veremos um exemplo de implementação desta solução em servidores Dell, em particular o Dell PowerEdge R730xd, que oferecemos para aluguel, e consideraremos as vantagens de construir armazenamento baseado nessas plataformas. Essas informações podem ser úteis para arquitetos, engenheiros e administradores de TI que desejam explorar os benefícios do uso do Red Hat Ceph Storage em servidores Dell PowerEdge e que devem projetar e planejar implementações usando práticas recomendadas comprovadas.
Mas no começo:
Um pouco sobre a plataforma em si, qual opção oferecemos e por que ela é econômica?
O Dell PowerEdge R730xd é de longe uma das melhores plataformas para tarefas empresariais e muito mais, ganhou muitos prêmios diferentes e é uma solução de armazenamento bastante eficaz, pois pode fornecer armazenamento de alta densidade por um preço razoável.
O PowerEdge R730xd está disponível em três configurações de chassi com diferentes formatos e combinações de unidades, bem como uma unidade de expansão traseira opcional:
- 24 baias frontais de 2,5" acessíveis para unidades SAS, SATA ou SAS nearline, além de 2 baias traseiras opcionais de 2,5". O chassi de 2,5 polegadas pode suportar opcionalmente até 4 unidades PCIe Express Flash da Dell na parte frontal.
- 12 baias de unidade SAS, SATA ou nearline SAS de 3,5" acessíveis frontais com 4 baias de unidade internas opcionais de 3,5" com troca a quente, além de duas baias de 2,5" opcionais na parte traseira.
- 18 baias frontais de 1,8" acessíveis para SATA, 8 baias de 3,5" para unidades SAS, SATA ou SAS nearline, além de 2 baias opcionais de 2,5" na parte traseira.
Parece que cada chassi é bom para seu tipo de tarefa. Isto é certo. Mas eles são realmente igualmente econômicos?
Optamos pela segunda opção para satisfazer as necessidades do maior número possível de usuários em um chassi com 12 baias de unidade. Porque consideramos que é o mais eficaz. E é por causa disso. A eficiência econômica da solução já se manifesta em sua versatilidade - drives de vários formatos podem ser instalados neste chassi e é mais barato comprar, e também, o que é mais importante, você pode obter maior produtividade ao trabalhar com dados usando várias plataformas interligadas em vez do que apenas um com alta densidade de armazenamento e obviamente menor produtividade.
Acreditamos que conectando várias plataformas semelhantes em uma rede local multi-gigabit (é possível conectar cada nó a uma rede local a velocidades de 20 Gbit/s ou mais, usando placas Intel X540-T2 de dez gigabits de porta dupla, que fornecemos adicionalmente), podemos obter resultados e desempenho significativamente melhores do que plataformas com densidades de armazenamento mais altas. Isto é especialmente crítico para infraestruturas que utilizam estas plataformas para trabalhar com bases de dados. Infelizmente, com um grande número de unidades, o controlador pode ficar bastante sobrecarregado e, infelizmente, um controlador adicional na versão xd não está disponível. O desempenho que pode ser alcançado ao utilizar plataformas com exatamente 12 baias e rede local multigigabit será muito maior, e a solução, por sua vez, será mais distribuída e confiável. Em uma palavra - econômico!
Características de estrutura e design, uso de placas de vídeo
A plataforma Dell PowerEdge R730xd, medindo apenas 2U, suporta até 2 processadores Intel Xeon E5-2600 v3 e superiores, ou seja, permite obter até 36 núcleos ao usar processadores de 18 núcleos. Escolhemos uma opção intermediária, mas de última geração - o processador E12-5 v2650 de 4 núcleos (24 núcleos à sua disposição no total, e levando em consideração multi-threading - 48 núcleos), pois acabou sendo o mais caro -eficaz. Assim, na quarta geração são implementadas instruções de processador mais eficientes, por exemplo, o AES, responsável pela criptografia dos dados, é 70% mais eficiente que os mesmos processadores, mas de terceira geração. Ao mesmo tempo, o processador e a plataforma podem suportar até 1,54 TB de RAM, o que é importante em alguns casos muito específicos. Escolhemos a opção mais popular, mais acessível em termos de preço e velocidade de operação - 128GB de RAM DDR4 e oferecemos a possibilidade de upgrade a pedido dos assinantes.
No painel frontal do R730xd existem 6 indicadores de status do sistema que podem notificá-lo sobre vários problemas, para que você possa evitar muitos problemas críticos tomando as medidas apropriadas em tempo hábil. Os slots DIMM para RAM estão localizados diretamente na placa-mãe. O R730xd suporta DIMMs de correção de erros registrados, bem como LRDIMMs (Load Reduced Dual In-Line Memory Modules), um tipo relativamente novo de memória para servidores. Mas não o utilizamos, pois os LRDIMMs tornam-se úteis apenas para grandes quantidades de memória, quando o objetivo é aumentar a velocidade operacional.
O Módulo SD Duplo Interno (IDSDM) permite que os clientes implementem a tecnologia de virtualização tolerante a falhas da Dell, que fornece redundância de failover para hipervisores incorporados. Embora o PowerEdge R730 suporte GPUs, o que pode ser muito útil em ambientes de escritório virtual (desktops virtuais), bem como para computação de alto desempenho e processamento colaborativo, o R730xd não oferece suporte a GPUs porque o resfriamento adequado não pode ser fornecido às placas de vídeo. Porém, até o momento temos pouca demanda por este serviço e apenas um de nossos assinantes encomendou uma placa de vídeo para o servidor. É por esta razão que não encomendamos plataformas R730 a granel, mas podemos entregá-las mediante solicitação, equipadas com uma das placas recomendadas.
Por conta disso, infelizmente, o preço de aluguel de uma solução não pode ser tão atrativo e aumenta mais de 2 vezes, dependendo do prazo de pagamento e do prazo do contrato. Oferecemos a compra dos próprios cartões através do nosso fornecedor na Holanda, os preços são indicados abaixo e apenas a partir desta lista recomendada (estas foram as recomendações da própria Dell quando fizemos o pedido), talvez esta informação seja útil para alguém:
CusKit de GPU NVIDIA Tesla M10: 2,884.98 EUR
GPU NVIDIA Tesla M40: 4,913.33 euros
GPU NVIDIA Tesla M40 de 24 GB, kit personalizado: 6,458.95 EUR
GPU NVIDIA M60, passiva, requer GRID 2.0 SW para função VDI, kit personalizado: 5,094.95 EUR
Licenças:
Licença de assinatura Nvidia GRID vApps 3 anos, 1 CCU: 20 EUR
Licença de assinatura Nvidia GRID vPC 3 anos, 1 CCU: 95 EUR
Licença de assinatura Nvidia GRID vWS 3 anos, 1 CCU: 480 EUR
Então, se você está pronto para um contrato mínimo de 2 anos para alugar um servidor Dell R730 (não xd, por isso a solução é muito mais cara) - entre em contato [email protegido], Teremos prazer em ajudá-lo! Usando uma das placas de vídeo recomendadas acima, na configuração DELL R730 2 x E5-2650 v4 / 128GB / 6 x 480GB SSD / 1Gbps 100TB + GPU e contrato de 2 anos, custará aproximadamente $ 6816 por ano, em vez de $ 2988 por ano no caso A plataforma Dell R730xd+ discutida no artigo exigirá o pagamento do custo da placa de vídeo e licença, por se tratar de um equipamento muito específico.
No entanto, mesmo este preço é muito mais atraente do que os preços que os centros de dados na Ucrânia e na Rússia podem oferecer para tais soluções, se é que querem fornecer tais soluções... Pois, curiosamente, na Holanda, onde a cooperação com a Dell é estabelecido diretamente, o prazo de entrega prometido para o servidor com placa de vídeo foi de quase 2 meses a partir do momento em que nosso cliente fez o pedido (o cliente concordou em esperar, pois simplesmente não há alternativas no mercado), devido à forte especificidade deste produto A Dell simplesmente não tinha em estoque. Mesmo assim, a entrega foi concluída em menos de um mês. Obrigado ao departamento de suprimentos do data center e ao pessoal da Dell pela eficiência. Mas para mim essa experiência ainda foi incomum, já que as plataformas Dell R730xd padrão são entregues em poucos dias.
Controles e recursos do controlador PERC
O servidor pode ser gerenciado por meio do conveniente iDRAC8 (Integrated Dell Remote Access Controller 8) com Dell Lifecycle Controller, que reduz o tempo gasto em tarefas de gerenciamento, reduz a probabilidade de erros, melhora a segurança e melhora a eficiência geral do seu ambiente de TI.
Para nossos assinantes, o acesso ao iDRAC8 é fornecido via RMI (Remote Management Interface), que é acessível exclusivamente a partir da rede privada do data center para fins de segurança, acesso ao qual fornecemos gratuitamente por meio de um túnel Open VPN. Uma vez conectado, o iDRAC exibe uma visão geral do sistema, bem como uma visualização do console virtual via iKVM.
Gostaria de prestar especial atenção ao monitoramento; o iDRAC8 permite obter estatísticas de consumo de energia da última hora, dia ou semana e limitar o consumo máximo de energia:
O sistema de monitoramento e registro de temperatura iDRAC permite coletar dados de sensores de temperatura e determinar a faixa em que eles estão localizados. Assim, é considerado aceitável que os processadores estejam na faixa de temperatura de Alerta apenas 10% do tempo durante o ano, e Crítica por 1%. O tempo na faixa crítica também afeta o tempo permitido na faixa de advertência. A coleta de dados de temperatura começa quando o sistema é ligado após sair da fábrica e não pode ser reinicializado.
A 13ª geração de servidores Dell PowerEdge está equipada com controladores PERC9, nos quais a tecnologia LSI CacheCade anteriormente usada nos controladores PERC8 foi substituída por uma mais eficiente - DAS Cache da SanDisk.
Em testes sintéticos, o DAS Cache acelera significativamente o desempenho de arrays de HDD em casos de configurações híbridas de HDD+SSD. Portanto, no caso de um array de 5 HDDs em RAID6 (o nível 6 é selecionado para fornecer capacidade máxima) e 5 SSD RAID10 (4 + 1 SSD de reserva para maximizar o desempenho do array) ao usar o DAS Cache, o desempenho do a matriz de 5 HDD RAID6 + DAS Cache na matriz SSD especificada revelou-se próxima do desempenho da própria matriz SSD:
Assim, depois de nos familiarizarmos um pouco com a plataforma, podemos agora ver as vantagens desta plataforma na construção de armazéns.
O que torna a plataforma Dell R730xd ideal para implantações de data warehouse, especialmente o Red Hat Ceph?
O ambiente do Red Hat Ceph Storage usa servidores padrão do setor para escalabilidade, resiliência e desempenho. Os métodos de proteção de dados desempenham um papel fundamental no custo da solução. O Ceph permite que o usuário selecione diferentes métodos de segurança para diferentes pools de armazenamento.
Os pools de armazenamento replicados produzem cópias completas dos objetos armazenados e são ideais para recuperação rápida e manipulação de dados. No caso de um pool de armazenamento replicado, o Ceph assume como padrão um fator de replicação de três quando três cópias de dados residem em três nós separados do Ceph.
Os pools de armazenamento resistentes à corrupção fornecem uma cópia única dos dados com paridade, o que é útil quando é necessário armazenamento de dados de longo prazo e é econômico.
O PowerEdge R730xd é um servidor em rack de duas unidades excepcionalmente flexível e escalável que oferece processamento de alto desempenho e uma ampla variedade de opções de armazenamento local otimizadas para carga de trabalho, incluindo camadas híbridas. O desenvolvimento inclui uma ampla gama de configurações, o que é ideal para Ceph.
— O R730xd oferece a capacidade de criar soluções de infraestrutura altamente eficientes para pequenas e grandes empresas.
— O R730xd reduz o tempo de comissionamento com recursos de implantação automatizados, o que reduz a entrada do usuário e o erro humano.
“Os servidores PowerEdge melhoram o desempenho de TI do data center com ferramentas de gerenciamento inovadoras, como iDRAC Quick Sync e iDRAC Direct, proporcionando visibilidade abrangente da integridade do sistema e implantação rápida.
“Os servidores PowerEdge otimizam o uso de energia, proporcionando melhor desempenho por watt e controle mais preciso sobre consumo de energia e resfriamento.
O Dell PowerEdge R730xd oferece benefícios que garantem produtividade máxima ao:
— Acelerar a eficiência dos aplicativos por meio do uso das tecnologias mais recentes e do armazenamento local dinâmico.
“O dimensionamento é fácil e rápido com armazenamento de acesso frontal que suporta uma ampla variedade de unidades, desde HDDs SATA de baixo custo até SSDs ultrarrápidos de 2.5", bem como unidades de latência ultrabaixa, como SSDs PowerEdge Express Flash NVMe PCIe.
- O R730xd é adequado para projetos de armazenamento híbrido graças ao uso de novas tecnologias de cache no controlador PERC, o que aumenta a eficiência de custos da solução Ceph.
Um exemplo de implementação de infraestrutura com Red Hat Ceph Storage, que consiste em 5 servidores Dell R730xd, você confere abaixo:
Durante testes independentes de várias configurações de plataformas Dell R730xd, foram obtidos os seguintes resultados:
Nossa versão da plataforma apresenta resultados muito bons e, no caso da leitura, talvez os melhores. E se tivermos em conta que encomendamos estas plataformas em grandes quantidades e por isso podemos oferecer um preço mais de 2 vezes inferior ao de outras opções de plataformas - acaba por ser o melhor consolidado para leitura e escrita em termos do parâmetro custo-efetivo. No final das contas, nada impede que você construa um cluster de 7 a 8 plataformas, em vez de 5. Ao mesmo tempo, você obtém uma tolerância a falhas ainda maior.
São necessários switches de 10 Gigabits na construção de tais infraestruturas? Não, não é obrigatório, um de nossos clientes construiu uma infraestrutura, ainda que a partir de 3 servidores, utilizando o seguinte esquema de conexão de rede local:
O que lhe permitiu economizar bastante - US$ 350/mês no aluguel do switch, já que os switches de 10 Gigabit são bastante caros e nós fornecemos apenas o melhor - Arista 7050tx-48-r. Não vemos sentido em soluções para múltiplas portas.
Do que as plataformas Dell R730xd são capazes em princípio?
Não faz muito tempo, a Microsoft realizou um teste interessante de desempenho dessas plataformas no caso de construção de data warehouses com um pequeno número de nós.
Usamos 4 nós Dell R730xd, unidos em uma rede local de 100 gigabits usando um switch Arista DCS-32CX-7060S de 32 portas de 100 Gb, executando EOS versão 4.15.3FX-7060X.1.
A configuração dos nós utilizados é a seguinte:
2 xeon E5-2660v3 2.6 GHz (10c20t)
DRAM de 256 GB (16x 16 GB DDR4 2133 MHz DIMM)
4x SSD NVME Samsung PM1725 de 3.2 TB (PCIe 3.0 x8 AIC)
Dell HBA330
4 SSDs Intel S3710 800GB SATA
12 discos rígidos SATA Seagate de 4 TB com capacidade empresarial de 3.5"
2x Mellanox ConnectX-4 100 Gb (porta dupla 100 Gb PCIe 3.0 x16)
Mellanox FW v. 12.14.2036/XNUMX/XNUMX
Driver Mellanox ConnectX-4 v. 1.35.14894
Dispositivo PSID MT_2150110033
Porta única conectada/adaptador
Utilizando o VMFleet, foram levantadas 20 máquinas virtuais em cada nó, ou seja, um total de 80 máquinas virtuais. Cada máquina virtual foi configurada com 1vCPU. O VMFleet foi então usado para executar o utilitário DISKSPD para testar o desempenho do armazenamento em cada um dos 80 nós. O utilitário está disponível gratuitamente . Os parâmetros de teste são os seguintes - 1 thread, 512KiB de leitura sequencial para 4 operações de E/S.
Como você pode ver na imagem acima, conseguimos um resultado incrível de 60 gigabytes por segundo no total, o que equivale aproximadamente a 5 versões em inglês da Wikipedia em formato compactado (11.5GiB), que são baixadas a cada segundo. E a velocidade de cada máquina virtual era de cerca de um CD por segundo - 750 MB.
Este teste demonstra perfeitamente o quão eficiente uma solução pode ser quando os três componentes de computação, armazenamento e rede estão equilibrados, minimizando os possíveis gargalos que podem ocorrer em um sistema desequilibrado.
E quanto às plataformas de outros fabricantes?
Comparação entre Dell R730xd e HP ProLiant DL380
Para comparar o desempenho, escolhemos hardware mais fraco do que oferecemos para aluguel - servidores com processador E5-2620v3, em vez de E5-2650v4, que são significativamente mais produtivos. A principal metodologia de teste utilizada para esta comparação foi medir o número de IOPS. Foram utilizadas diversas simulações de carga de trabalho diferentes, nomeadamente todas de leitura e 30% de leitura / 70% de escrita (análogo a um sistema OLTP, um sistema transacional, ao processar pequenas transações, mas um grande fluxo, e os clientes precisam garantir um tempo de resposta mínimo).
Os testes foram realizados diversas vezes para eliminar o impacto negativo de fatores ocultos no desempenho do sistema. Primeiro, executamos alguns testes básicos em um Dell R730xd e um HP ProLiant DL380 usando apenas armazenamento HDD (HDD RAID5 de 1x5 TB) para fornecer uma referência de desempenho básica. O mesmo conjunto de testes foi então executado com 5x1TB de armazenamento HDD RAID-5 usando cache DAS instalado em SSDs SAS (2xSAS 480GB Samsung SSD RAID1) em um servidor Dell e em um servidor HP usando HPE SmartCache com um conjunto semelhante de unidades para armazenamento e cache. Por fim, o conjunto final de testes foi executado em um servidor Dell usando DAS Cache em unidades SSD NVMe PCIe (2x400 GB Samsung NVMe em software RAID) para mostrar a contribuição máxima do cache para ganhos de desempenho de aplicativos em casos com uso intensivo de leitura e gravação. Um teste semelhante não foi realizado no servidor HP porque o Smart Cache não oferece suporte a unidades NVMe para armazenamento em cache.
Configuração de sistemas:
Dell PowerEdge R730xd (13ª geração)
HP ProLiant DL380 (9ª geração)
servidor
CPU: x86-64 - CPU Intel Xeon E5-2620 v3 a 2.40 GHz;
Memória: 32GB DDR4.
CPU: x86-64 - CPU Intel Xeon E5-2620 v3 a 2.40 GHz;
Memória: 32GB DDR4.
Sistema operacional/software
Windows 2012 R2 SP1;
SanDisk DAS Cache v1.4.
Windows 2012 R2 SP1;
HPE SmartCache.
Armazenamento/cache
5x1 TB de disco rígido RAID5;
2xSAS 480GB Samsung SSD RAID1;
RAID de software Samsung NVMe de 2x400 GB.
5x1 TB de disco rígido RAID5;
2xSAS 480GB Samsung SSD RAID1.
Teste
Simular carga de trabalho de leitura e gravação OLTP;
Tamanho do banco de dados de 300 GB;
4 trabalhadores IOMETER simultâneos com profundidade de fila de 32.
Simular carga de trabalho de leitura e gravação OLTP;
Tamanho do banco de dados de 300 GB;
4 trabalhadores IOMETER simultâneos com profundidade de fila de 32.
Vários testes aleatórios de leitura/gravação foram realizados em diferentes tamanhos de bloco – 4 e 8 KB. Para cada tamanho de bloco, por sua vez, foram realizados testes em 100% de operações de leitura, bem como em 70% de operações de leitura e 30% de operações de gravação. Os testes relacionados à aceleração de desempenho usando cache foram executados por 900 segundos (15 minutos) para fornecer tempo suficiente para que o cache se tornasse totalmente operacional e produzisse resultados mais precisos.
Medição de desempenho em IOPS (operações de entrada/saída por segundo):
Servidor/configuração em teste
4KB RR
100% lido
4KB RR
70% lêem 30% escrevem
8KB RR
100% lido
8KB RR
70% lêem 30% escrevem
Dell R730xD (sem cache)
1650
974
1540
1040
HP ProLiant DL380 (sem cache)
1370
628
1322
630
Dell R730xD
com cache DAS
138884
66483
98368
56641
HP ProLiant DL380
com SmartCache
41273
33534
35984
39396
Dell R730xD com
Cache DAS e
SSD NVMe PCIe
264750
158157
257150
104490
Medição de desempenho em % de utilização do processador:
Servidor/configuração em teste
4KB RR
100% lido
4KB RR
70% lêem 30% escrevem
8KB RR
100% lido
8KB RR
70% lêem 30% escrevem
Dell R730xD (sem cache)
0,4%
0,28%
0,42%
0,3%
HP ProLiant DL380 (sem cache)
0,8%
0,5%
0,8%
0,5%
Dell R730xD
com cache DAS
13%
8,8%
11,34%
7,83%
HP ProLiant DL380
com SmartCache
6%
6%
5%
5%
Dell R730xD com
Cache DAS e
SSD NVMe PCIe
16%
10,1%
16%
5,78%
Os resultados dos testes mostram ganhos significativos de desempenho para plataformas Dell R730xd ao usar o cache de cache SanDisk DAS em comparação com o HPE SmartCache, e o suporte a SSD NVMe PCIe oferece benefícios ainda maiores. Em simulações OLTP, o R730xd apresentou IOPS até 3 vezes maior devido ao uso de SSDs SanDisk DAS Cache e SAS e 6 vezes maior devido ao uso de SSDs SanDisk DAS Cache + NVMe PCIe em comparação com o SmartCache da HPE. A maior utilização da CPU com o SanDisk DAS Cache e a utilização ainda maior da CPU com os SSDs SanDisk DAS Cache + NVMe PCIe são simplesmente uma consequência da contagem de IOPS muito maior. e, pelo contrário, mostra um consumo mais ideal de recursos do processador.
Então, se na HP com 6% de aproveitamento o resultado em IOPS é de 41 mil, ou seja, 1% dos recursos do processador são consumidos por 0,15 mil IOPS, então no caso do Dell R730xd temos 16% de consumo a 264 mil, o que fornece um indicador mais eficiente — 0,06% dos recursos do processador por 1000 IOPS.
Ou seja, em termos de utilização do processador, a Dell também acaba por ser melhor (2,5 vezes), embora tenha valores de utilização do processador que são % superiores, mas, como pudemos verificar, isso é apenas uma consequência do processamento um número significativamente maior de operações e, portanto, melhor produtividade.
Assim, a plataforma Dell R730xd acaba sendo significativamente mais eficiente que o HP ProLiant DL380 (muitas vezes), tanto em termos de desempenho quanto de custo-benefício.
Resultados do teste Geekbanch 3 Dell R730xd com processador E5-2640 v4 ou por que as instruções do processador e o cache do controlador são importantes
Como podemos ver acima, só podemos alcançar resultados máximos quando os três componentes – poder de computação, armazenamento e rede – estiverem equilibrados, já que potenciais gargalos que podem ocorrer em um sistema desequilibrado são minimizados.
Mas o que também é extremamente importante é o suporte do processador da plataforma para uma série de instruções e sua eficiência. Já mencionei acima que uma diferença aparentemente insignificante entre gerações pode desempenhar um papel bastante significativo em alguns casos. Assim, de acordo com os resultados de testes independentes, o E5-2650 v4 que disponibilizamos é 70% mais eficaz no caso de encriptação (instruções AES) do que o E5-2650 v3.
E então as soluções “saborosas” dos concorrentes do segmento de baixo custo, mas não do segmento premium? Por que nossas soluções são melhores? Por que nossas soluções são premium? A resposta é simples - nossos servidores foram e estão balanceados. Mesmo que anteriormente tivessem frequências mais baixas ou menores quantidades de memória, eram sempre balanceados de acordo com os três parâmetros descritos acima. Incluindo um data center confiável com os certificados exigidos pelo segmento corporativo e excelentes canais de comunicação externa que proporcionam latência mínima da Holanda, tanto para o resto da Europa, como para a Rússia e Ucrânia, e ainda
Mas agora fizemos uma oferta competitiva em termos destes indicadores, em 10 localidades ao mesmo tempo, uma na Holanda e 9 localidades nos EUA, mas não falemos de nós, vamos olhar para o teste. Infelizmente, este teste está disponível atualmente apenas para a versão E5-2640 v4, com 10, e não 12 núcleos, para nossa plataforma.
Claro que não é muito objetivo, pois não leva em conta todas as vantagens da plataforma, o mesmo cache SanDisk DAS de que falamos, os indicadores reais de desempenho podem acabar sendo muito melhores que os sintéticos em um determinado caso, muito! Mas ainda é possível obter alguma compreensão.
Vamos prestar atenção a muitas instruções. O mais indicativo pode ser o já citado AES, aproximadamente nas mesmas frequências a diferença entre os valores do 1º núcleo pode ser de até 1000 vezes dependendo do processador, as demais instruções que foram comparadas apresentaram diferenças nos valores de várias a 100 vezes.
Você pode você mesmo e faça uma comparação, mas não esqueça que este teste não é totalmente indicativo, pois não leva em consideração o hardware como um todo, mas caracteriza principalmente o processador.
No entanto, espero que estes resultados possam ser úteis para você ao analisar a eficácia de uma solução específica.
Usar servidores Dell R730xd como Bare Metal é simplesmente melhor!
Alguns de nossos clientes decidiram abandonar o uso de soluções em nuvem VMware em favor de soluções Bare Metal (servidores iron) e a plataforma Dell R730xd os ajudou muito nisso. E não estamos falando apenas de nuvens públicas, mas também de nuvens privadas.
Por que as pessoas estão cada vez mais tomando essas decisões? Em relação às nuvens públicas, tudo fica mais ou menos claro. Eu mesmo considero as nuvens públicas um grande marketing, se algo cai lá (e todas as nuvens caem mais cedo ou mais tarde), fica lá por muito tempo. Um exemplo é a mesma conhecida Amazon, que certa vez estabeleceu durante vários dias junto com um importante serviço de coleta de dados médicos telemétricos, incluindo dados sobre o estado cardíaco de pacientes usuários de marca-passo, que estavam sendo monitorados por médicos, vários pessoas morreram... E recentemente, quando nosso Bitrix corporativo estava deitado, descobriu-se que o motivo era que os funcionários, que estavam desligando algumas das máquinas, como resultado de um erro de digitação, desligaram mais nós do que o necessário, afetando os nós de gerenciamento, como resultado as máquinas virtuais foram reiniciadas em 5 horas devido ao grande tamanho do cluster... Mas este não é o único problema possível, pode acontecer que você tenha um “gargalo” repentino devido ao uso da nuvem por alguns outros projetos ou pela falta de capacidade de gerenciar rapidamente sua infraestrutura para atender às suas próprias necessidades.
Quando se trata de nuvens privadas, em teoria, a virtualização simplifica a disponibilidade e a recuperação de desastres. Na prática, existem muitas situações em que isso simplesmente não faz sentido:
Em caso de problemas técnicos no nó, um tempo de inatividade de 15 a 30 minutos é aceitável.
Nem todos os projetos precisam de um tempo de atividade de cerca de 100%, exceto para crianças em idade escolar que estão acostumadas a pagar um dólar e exigem 100%. Para alguns projetos, um tempo de atividade garantido de 99,9% é mais do que uma opção aceitável. Porque 0,1% é uma indisponibilidade de no máximo 44 minutos por mês, que pode ocorrer por diversos motivos não planejados - devido a falha de hardware ou indisponibilidade de rede. Garantimos uptime da rede em 99,99% para soluções standard, o que permite indisponibilidade de apenas 4 minutos por mês. Se o servidor estiver conectado a 2 canais independentes que passam por diferentes nós de comunicação e cujo tráfego é processado por núcleos independentes, o tempo de atividade garantido da rede aumenta várias vezes mais. Isto permite satisfazer os requisitos de uptime mesmo de bancos para os quais é aceitável uma indisponibilidade de cerca de 40 minutos por ano, de acordo com a certificação. Na realidade, os períodos de indisponibilidade são extremamente raros. Em 5 anos de trabalho com data center, nunca houve um momento em que todos os servidores ficassem indisponíveis ao mesmo tempo por problemas de rede ou de energia elétrica. Mesmo quando houve um apagão global na Holanda e muitos outros centros de dados ficaram indisponíveis - alguns esqueceram-se de reabastecer os motores diesel, alguns não tinham energia UPS suficiente, no nosso centro de dados apenas menos de uma percentagem dos servidores ficaram indisponíveis durante um curto período de tempo. período de tempo. Alguns dos servidores que os clientes alugam de nós, mesmo hardware bastante desatualizado, aparentemente desatualizado, que tem maior probabilidade de falhar do que novas soluções de marca, não foram reinicializados nem uma vez em 3 anos, assim como em 3 anos eles nunca foram perdidos. . A indisponibilidade de 30 minutos é aceitável por 3 anos? Mais do que, mesmo para bancos.
E surge uma pergunta razoável: por que então pagar a mais? Escusado será dizer que você não deve confiar no acaso e deve sempre partir do princípio das reservas razoáveis. A regra principal que descobri é a seguinte: a reserva não deverá custar mais do que as perdas que possam ocorrer no caso de um período de indisponibilidade devido à falta dessa reserva. Ou seja, se o uptime garantido permitir uma indisponibilidade de 40 minutos por mês, e em caso de indisponibilidade durante esse período de tempo, as perdas serão de várias centenas ou até milhares de dólares - alugar uma solução adicional para aumentar a garantia de uptime simplesmente não faz sentido. Porque na realidade os servidores não ficarão indisponíveis todos os meses durante 40 minutos, 40 minutos de indisponibilidade é uma garantia, o pior cenário. O que não é implementado mensalmente, como a prática tem mostrado.
Dessa forma, os servidores podem ser importantes sem serem de missão crítica e, quando os proprietários do projeto não se importam em mudar manualmente a carga para outro servidor dedicado, podemos evitar as complexidades de construir um cluster de failover e um armazenamento de failover compartilhado.
A baixa produtividade é inaceitável durante o período de trabalho. Muitos de nossos clientes escolhem soluções bare metal da Dell justamente por esse motivo; é muito mais barato e mais lucrativo usar hardware completo durante a operação padrão, que praticamente não está sujeito à inacessibilidade, como já discutimos, do que pagar a mais por uma nuvem opção e o mesmo desempenho na nuvem, que custará várias vezes mais do que uma solução dedicada. A nuvem e o clustering simplesmente não conseguem satisfazer as necessidades de recursos e não serão rentáveis para esses clientes.
Os assinantes não querem pagar muito por um serviço com capacidades limitadas. Nossos clientes em sua maioria são pequenas empresas que não possuem departamentos técnicos próprios e financiamento para aquisição de hardware próprio. Comprar hardware pode ser um verdadeiro golpe para eles e não proporcionar desempenho adequado, pois com o tempo o hardware tende a ficar desatualizado, e é uma pena jogar fora hardware caro mesmo depois de 3 anos, num momento em que a empresa cresceu e algo melhor está disponível. necessário. Se você alugar um Dell R730xd conosco, terá a oportunidade de mudar para outro servidor a qualquer momento ou após um ano se escolher a opção de aluguel com contrato de um ano. Além disso, existe a oportunidade de economizar no pagamento de licenças VMware.
Usando servidores Dell R730xd para servidores de banco de dados
Muitos de nossos clientes que usam esses servidores de banco de dados passaram a adorar esta plataforma. E não só porque, ao contrário do Dell R730, a versão xd pode ser fornecida com suporte para drives SSD NVMe PCIe, que proporcionam latência mínima, o que é extremamente importante para tais soluções. Mas também porque o controlador é incrivelmente eficiente ao trabalhar mesmo com SSDs convencionais de 2,5" que oferecemos aos clientes.
Claro, o Dell R730xd também tem uma desvantagem - há apenas 1 controlador, enquanto o Dell R730 com 26 unidades usa 2 controladores de hardware. Mas isso não é um problema significativo, pois escolhemos uma plataforma com 12 baias de unidade e, portanto, você não terá gargalos na forma de desempenho insuficiente do controlador ao trabalhar com esta plataforma e um grande número de SSDs. E a vantagem na forma de capacidade de instalar um SSD NVMe PCIe cobre completamente essa desvantagem.
Como mencionado acima, nem todo mundo precisa de clusters de bancos de dados complexos; o desempenho que esta plataforma pode fornecer é muito mais importante. Um de nossos clientes fez exatamente isso, abandonando os excessos da virtualização e da construção de clusters complexos, alugando um VPS com drives dedicados para backups de banco de dados do servidor principal Dell R730xd: Claro que em caso de problema com o nó principal, haverá alguma diminuição de desempenho e haverá necessidade de comutação manual, no entanto, esta é uma solução mais do que económica, dado o orçamento limitado.
Não encorajamos todos a fazerem tais poupanças; em alguns casos é mesmo muito justificado. No entanto, aumentando o orçamento em apenas US$ 230 por mês, você pode comprar um nó E5-2650 v4 idêntico e conectá-los em uma rede local de 20 Gigabits, o que, em princípio, permitirá que você construa um pequeno cluster com latência aceitável mesmo sem o uso de unidades SSD PCIe NVMe.
A solução em si ficará assim (com um conjunto básico de unidades):
Dell R730xd 2 x Intel Dodeca-Core Xeon E5-2650 v4 128 GB DDR4 6x480 GB SSD 1 Gbps 100 TV + Intel X540-T2 20 GBPS LAN – $ 289/mês
Dell R730xd 2 x Intel Dodeca-Core Xeon E5-2650 v4 128 GB DDR4 6x480 GB SSD 1 Gbps 100 TV + Intel X540-T2 20 GBPS LAN – $ 289/mês
Aumentar o seu número para aumentar a produtividade nem sempre faz sentido. Assim, durante testes com bancos de dados, constatamos que uma solução com 8 SSDs é apenas 4% mais eficiente que uma solução com 35 SSDs.
Quanto aos níveis de RAID recomendados, o RAID5 pode ser ideal em alguns casos. Claro, o RAID10 oferece melhor desempenho, mas e se as unidades forem tão rápidas que usá-las no RAID10 faria com que o controlador se tornasse um gargalo? Nesses casos, construir um array RAID de HW RAID5 é muito mais lucrativo usando unidades hot-spare do que RAID10 (se o objetivo não for perder metade da cota de SSD).
Preciso que o cache do controlador esteja habilitado ou é melhor desativá-lo? Um controlador RAID tem uma quantidade de memória muito limitada. O que é 1 GB quando se trabalha com um SSD? Em casos com SSDs rápidos, não adianta ter o cache de leitura habilitado, pois ao encher a memória com operações de leitura, que não se tornarão mais rápidas, pois os SSDs já são rápidos o suficiente, não deixamos cache de gravação suficiente, e , como se sabe, em SSDs baratos - o gargalo são as operações de gravação, devido à queda no desempenho devido ao provisionamento excessivo insuficiente e à utilização de 100% da cota livre (é possível uma queda de dez vezes). Portanto, recomendamos deixar apenas o cache de gravação habilitado. Garantindo assim a máxima eficiência desta solução.
O tamanho do bloco NTFS realmente importa? Para a maioria dos armazenamentos, 64 KB é indicado como o tamanho de bloco ideal para desempenho máximo. Mas muitas vezes nos deparamos com casos em que um cliente já está usando um servidor de banco de dados, usando a configuração inicial com um tamanho de cluster NTFS padrão de 4 KB. Para corrigir isso, você precisa reformatar as unidades, mas a diferença é realmente tão grande no caso geral? Você precisa se expor a possíveis períodos de inatividade e inconvenientes associados à migração?
O controlador no servidor Dell R730xd oferece um desempenho tão bom mesmo com 4 unidades SSD e o cache de gravação habilitado (um ponto muito importante, o cache de leitura deve ser desabilitado porque não oferece nenhuma vantagem, apenas reduz a eficiência das operações de gravação devido à falta de espaço para um cache completo, conforme indicado acima), que mesmo com um tamanho de bloco padrão de 4KB, obtemos indicadores de desempenho muito bons, extremamente bons.
Porém, estamos sempre dispostos a nos encontrar e prontos para oferecer uma plataforma semelhante por um período de tempo para que os assinantes realizem trabalhos caso algo não tenha sido levado em consideração por eles.
O RAMdrive ainda é mais rápido que as unidades SSD. Se suas consultas podem ser processadas no TempDB, como classificação ou mesclagem, então usar o RAMdisk (um programa que transforma parte da sua RAM em armazenamento) pode valer muito a pena. Assim, comparando a velocidade de 8 unidades SSD em RAID10 com RAMdrive, descobrimos que é cerca de 4 vezes mais rápido para operações de gravação em 4K com profundidade de fila de 32, o que imita exatamente a operação de arquivos TempDB. Mesmo combinando 8 SSDs em RAID0 não foi possível superar os resultados do RAMdrive.
RAID5 no caso de 8 unidades SSD pode ser mais eficaz que RAID10. As leituras de 4K com profundidade de fila de 32 são cerca de 40% mais rápidas, o que não é surpreendente, dados os recursos do RAID5. O RAID5 ganha em desempenho em outros testes, por exemplo, com gravação sequencial é de 20%, é inferior apenas em operações de gravação 4K com grande profundidade de fila (no nosso caso 32) e acaba sendo 30% menos eficiente. Portanto, o uso do RAID5 pode, em alguns casos, ser economicamente justificado.
Mais armazenamento nem sempre significa mais rápido. Quando lidamos com pequenas operações aleatórias, adicionar unidades ao array além de um certo limite não melhora em nada o desempenho. Parece por quê? Acontece que tudo depende das capacidades do controlador, que é forçado a gravar dados em várias unidades. Por isso adquirimos plataformas com no máximo 12 drives, para diminuir a probabilidade de gargalos. No entanto, você precisa observar a intensidade das operações dentro de cada projeto, às vezes 4 unidades maiores, digamos 960 GB, podem ser uma solução melhor e mais econômica do que um monte de unidades de 480 GB.
Usando servidores Dell R730xd para servidores de dados Aerospike NoSQL
Aerospike é um banco de dados NoSQL de código aberto otimizado para flash para velocidade e escalabilidade. O Aerospike foi projetado para fornecer latência muito baixa para solicitações de leitura e cargas pesadas de gravação, o que satisfaz os requisitos de negócios modernos que exigem a capacidade de lidar com um grande número de operações de E/S. Aerospike gerencia diretamente o armazenamento local em seus nós de cluster, independentemente dos sistemas de arquivos da mídia de origem, seja DRAM, flash ou discos rígidos tradicionais. Isso permite que dados críticos sejam armazenados na mídia mais rápida, onde o processamento rápido é mais crítico, enquanto a natureza distribuída do banco de dados Aerospike garante um alto grau de confiabilidade no caso de falhas nos nós do cluster.
Os servidores PowerEdge R13xd de 730ª geração da Dell oferecem incrível poder de computação com os mais recentes processadores E5-2650 v4 e SDRAM DDR4 rápida. E a capacidade de usar SSDs NVMe, como o Samsung SM1715, pode ajudar a obter um desempenho enorme com latência mínima em nós com cargas elevadas. Isto torna possível cumprir os requisitos modernos de SLA para o tempo de processamento de uma transação com um nível confiável de proteção contra fraudes, mesmo em bases de dados muito grandes, tornando a solução aceitável mesmo para o setor financeiro e transferências bancárias, onde às vezes são realizadas transações. dentro de várias horas ou até dias.
Para o setor bancário, podemos oferecer uma solução baseada nestas plataformas com rede local de 40 e 100 Gbit/s entre nós do cluster e utilização de switches adequados.
Usando servidores Dell R730xd em redes DMZ
Temos o prazer de oferecer aos nossos assinantes os mais altos padrões de segurança. Os data centers onde oferecemos esses servidores possuem diversas certificações: , , , и .
Mas para satisfazer os requisitos do mesmo Google, alguns clientes exigem a construção das chamadas redes desmilitarizadas (redes DMZ) - redes com maior segurança, o que implica a presença de um firewall de hardware que limita o acesso aos equipamentos e permite que você esconda os componentes necessários atrás de um firewall e melhore ainda mais a segurança.
E está tudo bem quando tal solução é solicitada imediatamente, mas é muito difícil implementar a transição praticamente sem paralisação do processo, o que aconteceu recentemente com um de nossos clientes, com um projeto de processamento de pedidos de visto para cidadãos de diferentes países do mundo, onde há inacessibilidade mesmo durante horas, pode levar a perdas de dezenas de milhares de dólares. Mas encontramos uma solução, fomos para uma reunião, colocamos equipamentos adicionais no armário, movimentando equipamentos menos importantes, e ligamos o firewall conforme o esquema, como o cliente desejava, para que ele pudesse realizar a migração sem paralisações.
Foi / Tornou-se
Talvez este esquema também seja útil para alguém ao realizar tal migração, já que os engenheiros em data centers nem sempre querem ver coisas óbvias, mas insistem em um tempo de inatividade de 2 horas para mudar para trás do firewall, mas peço a gentileza de você - solicite um firewall de hardware com antecedência, se precisar. Somos flexíveis e estamos sempre dispostos a acomodar, mas em algumas situações as nossas capacidades podem ser limitadas.
Em publicações futuras, tentaremos realizar uma série de testes adicionais e partilhar experiências adicionais utilizando estas plataformas que irão melhorar ainda mais a compreensão da seleção da solução mais eficaz. Afinal, é surpreendente ver o fato de que o RAID0 de duas unidades SSD, em casos de bancos de dados com alta carga, pode acabar sendo mais lento do que uma unidade de gravação separada, e é por isso que recebemos solicitações de SSD NVMe PCIe de tempos em tempos. ao tempo. É provável que mostremos os cenários mais eficazes para a implementação de soluções, compartilhemos experiências adicionais quando a construção de vários arrays RAID dentro de um controlador RAID é eficaz e mostremos em quais casos dois arrays RAID10 independentes de 4 unidades serão melhores do que um array RAID10 de 8. Quando será eficaz usar RAID1 para TempDB e RAID5 para todo o resto. E como você pode viver sem o SSD NVMe PCIe quando tem um orçamento limitado?
Dell R730xd: bônus para leitores Habrahabr
Queremos oferecer o melhor e fizemos de tudo para isso, oferecendo preços exclusivos para o Dell R730xd:
- na Holanda
- e nos EUA
As configurações podem ser muito diversas, por exemplo, Os itens a seguir estão disponíveis para ativação imediata na Holanda::
Dell R730xd 2 x Intel Dodeca-Core Xeon E5-2650 v4 128GB DDR4 6×480 SSD 1Gbps 100 TV –*$249
Dell R730xd 2 x Intel Dodeca-Core Xeon E5-2650 v4 128GB DDR4 12×240 SSD 1Gbps 100 TV –*$249
Dell R730xd 2 x Intel Dodeca-Core Xeon E5-2650 v4 128 GB DDR4 4x4 TB 4x480 SSD 1 Gbps 100 TV – *$ 249
Dell R730xd 2 x Intel Dodeca-Core Xeon E5-2650 v4 128 GB DDR4 12x4 TB SATA 1 Gbps 100 TV – *$ 249
E um serviço honesto e dedicado de 1 Gbps ilimitado (excluindo tráfego) está disponível para eles por +$120/mês. Além da oportunidade de adquirir um firewall, placas de rede, um switch e construir uma rede local multi-gigabit. Mas a condição de preço se aplica a um contrato de um ano.
Queremos melhorar a condição e oferecer bônus para pagamentos de curto prazo e aluguéis sem contrato, tornando a oferta mais acessível. Qualquer pessoa que encomende e pague qualquer uma das opções propostas na Holanda por um período de 1 mês, iremos fornecer exatamente o mesmo servidor por 1 mês totalmente grátis, ou recalcularemos a configuração solicitada e calcularemos o servidor solicitado pelo mesmo preço de um contrato anual (US$ 249/mês em vez de US$ 369/mês), devolvendo a diferença ao saldo. Para isso, basta deixar o número do seu pedido nos comentários. Para quem ainda não amadureceu para soluções dedicadas, oferecemos o aluguel de qualquer VPS (KVM) com drives dedicados na Holanda ou nos EUA nessas plataformas, por exemplo, , e receba um bônus de 1 a 4 meses de uso ao pagar por 1, 3, 6, 12 meses, respectivamente, indicando o número do pedido no comentário. Agora construir infraestrutura ficou mais fácil!
Fonte: habr.com