Neste artigo dirémosche que solucións de infraestrutura implementan os nosos clientes usando plataformas de servidor Dell R730xd e por que é o prezo do aluguer desta plataforma. con excelentes canles de comunicación a Ucraína e Rusia, así como , xa con colocación e conectividade a un prezo converteuse nunha realidade. Compartiremos posibles solucións baseadas nestas plataformas mediante vlan privados, rede local 10G e firewall de hardware de CISCO, que están dispoñibles para os nosos clientes previa solicitude. E tamén, nas mellores tradicións, ofreceremos unha bonificación en forma de período gratuíto de uso dos servidores Dell R730xd para os lectores de Habrahabr.
Recentemente, recibimos cada vez máis solicitudes para a construción de diversas infraestruturas corporativas, e isto, por desgraza, está relacionado non tanto co feito de ofrecer solucións de moi alta calidade, senón co prezo destas solucións e o nivel de seguridade e estado de dereito, que se proporciona nos Países Baixos e nos EUA, pero, por desgraza, moitas veces non está dispoñible en Ucraína e Rusia. Onde, por desgraza, tales solucións custan cartos simplemente "astronómicos", xa que o concepto de "diñeiro a longo prazo" é alleo aos países postsoviéticos en principio, no contexto doutros riscos ou pola falta de infraestruturas e nivel de certificado.
Un bo exemplo aquí sería a diferenza no prezo do hardware. Por exemplo, plataforma Dell R730xd, comprado para os nosos clientes, na configuración básica, 2 x Intel Dodeca-Core Xeon E5-2650v4 128GB DDR4 6x480GB SSD custa uns 9000 euros. Sobra dicir que non pode haber ningún prezo baixo para alugar este servidor en Ucraína ou Rusia, xa que o custo do aluguer baséase na amortización do custo da plataforma durante un período de 12-18 meses. Isto significa que o prezo mínimo posible de aluguer, excluíndo o custo do aloxamento, a electricidade e as canles de comunicación, estará no rango de $ 500-800 / mes, dependendo do grao de risco do provedor e do plan de negocio. Tamén cómpre atopar un bo centro de datos co nivel necesario de certificación e canles de comunicación. Ben, non te esquezas de ter en conta os riscos de incautación ilegal de equipos durante algunhas accións de investigación ilícitas que poden xurdir debido á competencia e ás especificidades de facer negocios nunha determinada rexión.
Polo tanto, non é de estrañar que a nosa proposta espertase un gran interese, sobre todo porque os centros de datos nos que proporcionamos os servidores propostos contan con moitos certificados necesarios e importantes para o sector corporativo - , , , и .
Vexamos agora varios casos que poden ser de interese tanto para principiantes como para pequenos proxectos, como para integradores de sistemas bastante grandes que constrúen solucións nas súas oficinas en zonas de contención ou en centros de datos.
Beneficios das plataformas Dell R730xd ao construír almacéns de datos mediante Red Hat Ceph
Non é ningún segredo que os requisitos de almacenamento e procesamento de datos están en constante crecemento e a un ritmo acelerado. Se hai uns anos abondaba con ter 1TB de almacenamento, que proporcionaban varios centos de IOPS, agora as necesidades aumentaron ata decenas de miles de IOPS e petabytes de espazo. Estas demandas de capacidade e rendemento están alimentadas en parte polo aumento do volume de datos non estruturados, incluíndo música, imaxes, vídeos, copias de seguridade de bases de datos, ficheiros de rexistro e outros arquivos, datos financeiros e médicos, datos coñecidos como "Big Data". Sen esquecer as crecentes demandas de almacenamento de datos como consecuencia da proliferación e expansión de Internet e dos novos recursos de Internet. Polo tanto, con todas estas demandas de enerxía, as expectativas dos clientes de alta fiabilidade e alto rendemento son maiores que nunca.
Mentres as empresas de TI intentan resolver os problemas de xestión de petabytes e mesmo exabytes de datos, o modelo de almacenamento na nube é cada vez máis común nos centros de datos modernos. Cada vez se escriben máis novos sistemas de software que permiten configurar de forma óptima a interacción do entorno cloud co hardware; un destes desenvolvementos é Ceph.
Ceph é un sistema de almacenamento distribuído de código aberto deseñado para ofrecer un alto rendemento, fiabilidade e escalabilidade. Ceph implementa o almacenamento de obxectos nun clúster de ordenadores distribuído e ofrece interfaces para almacenar obxectos, bloques e ficheiros. Ceph ofrece almacenamento totalmente distribuído sen un único punto de falla e escalabilidade ao nivel de petabyte. Ceph replica os datos e, polo tanto, proporciona tolerancia a fallos. O sistema está deseñado de xeito que non só proporciona unha recuperación independente, senón tamén unha xestión, o que axuda a evitar custos de mantemento innecesarios. Debido a que Ceph usa hardware de propósito xeral controlado por software e as funcións de xestión están dispoñibles a través de interfaces de programación de aplicacións (API), clasifícase como almacenamento definido por software (SDS).
Red Hat Ceph Storage é un sistema de almacenamento listo para usar, almacenamento definido por software que é aberto, adaptable, escalable e compatible en todas partes. Combina innovacións do desenvolvemento de código aberto con núcleo técnico e soporte de Red Hat. A solución ofrece unha estreita integración con OpenStack e está deseñada desde cero para permitir o almacenamento de próxima xeración tanto para ambientes na nube como para outras cargas de traballo.
Aquí veremos un exemplo de implementación desta solución en servidores Dell, en particular o Dell PowerEdge R730xd, que ofrecemos para alugar, e consideraremos as vantaxes de construír almacenamento baseado nestas plataformas. Esta información pode ser útil para arquitectos, enxeñeiros e administradores de TI que queiran explorar as vantaxes do uso de Red Hat Ceph Storage en servidores Dell PowerEdge e que deben deseñar e planificar implementacións utilizando as mellores prácticas comprobadas.
Pero ao principio:
Un pouco sobre a propia plataforma, que opción ofrecemos e por que é rendible?
A Dell PowerEdge R730xd é, con diferenza, unha das mellores plataformas para tarefas empresariais e máis aló, gañou moitos premios diferentes e é unha solución de almacenamento bastante eficaz, xa que pode proporcionar almacenamento de alta densidade por diñeiro razoable.
O PowerEdge R730xd está dispoñible en tres configuracións de chasis con diferentes factores de forma e combinacións de unidades, así como unha unidade de expansión traseira opcional:
- 24 bahías frontales de 2,5" accesibles para unidades SAS, SATA ou nearline SAS máis 2 bahías traseiras opcionais de 2,5". O chasis de 2,5 polgadas admite opcionalmente ata 4 unidades flash PCIe Express de Dell na parte frontal.
- 12 bahías de unidades SAS, SATA ou nearline de 3,5" accesibles frontalmente con 4 bahías de unidades internas de 3,5" intercambiables en quente, ademais de dúas bahías opcionais de 2,5" na parte traseira.
- 18 bahías frontales de 1,8" accesibles para SATA, 8 bahías de 3,5" para unidades SAS, SATA ou nearline SAS, ademais de 2 bahías opcionais de 2,5" na parte traseira.
Parece que cada chasis é bo para o seu tipo de tarefa. Isto é certo. Pero son realmente igualmente rendibles?
Optamos pola segunda opción para satisfacer as necesidades do máis amplo abano de usuarios posible nun chasis con 12 bahías de unidades. Porque consideramos que é o máis eficaz. E por iso. A eficiencia económica da solución xa se manifesta na súa versatilidade: neste chasis pódense instalar unidades de varios factores de forma e é máis barato de comprar, e tamén, o que é importante, pode obter unha maior produtividade ao traballar con datos usando varias plataformas interconectadas. que só un con alta densidade de almacenamento e, obviamente, menor produtividade.
Cremos que ao conectar varias plataformas similares nunha rede local de varios gigabits (é posible conectar cada nodo a unha rede local a velocidades de 20 Gbit/s ou máis, utilizando tarxetas Intel X540-T2 de dez gigabits de dobre porto, que ofrecemos adicionalmente), podemos conseguir resultados e rendemento significativamente mellores que as plataformas con densidades de almacenamento máis altas. Isto é especialmente crítico para as infraestruturas que usan estas plataformas para traballar con bases de datos. Por desgraza, cunha gran cantidade de unidades, o controlador pode estar bastante sobrecargado e un controlador adicional na versión xd, por desgraza, non está dispoñible. O rendemento que se pode conseguir ao utilizar plataformas con exactamente 12 baías e unha rede local multigigabit será moito maior e a solución, pola súa banda, será máis distribuída e fiable. Nunha palabra - rendible!
Características de estrutura e deseño, uso de tarxetas de vídeo
A plataforma Dell PowerEdge R730xd, que mide só 2U, admite ata 2 procesadores Intel Xeon E5-2600 v3 e superiores, é dicir, permítelle obter ata 36 núcleos ao utilizar procesadores de 18 núcleos. Escollemos unha opción intermedia, pero a última xeración: o procesador E12-5 v2650 de 4 núcleos (24 núcleos á súa disposición en total e tendo en conta o multi-threading - 48 núcleos), xa que resultou ser o máis custoso. -eficaz. Así, na cuarta xeración, impléntanse instrucións de procesador máis eficientes, por exemplo, AES, que se encarga do cifrado de datos, é un 70% máis eficiente que os mesmos procesadores, pero a terceira xeración. Ao mesmo tempo, o procesador e a plataforma poden soportar ata 1,54 TB de RAM, o que é importante nalgúns casos moi específicos. Escollemos a opción máis popular, a máis accesible en termos de prezo e velocidade de funcionamento: 128 GB de RAM DDR4 e ofrecemos a posibilidade dunha actualización a petición dos subscritores.
No panel frontal do R730xd hai 6 indicadores de estado do sistema que poden notificarche varios problemas, polo que podes evitar moitos problemas críticos tomando as medidas adecuadas de forma oportuna. As ranuras DIMM para RAM están situadas directamente na placa base. O R730xd admite DIMM de corrección de erros rexistrados, así como LRDIMM (módulos de memoria dual en liña con carga reducida), un tipo de memoria relativamente novo para servidores. Pero non o usamos, xa que os LRDIMM só se fan útiles para grandes cantidades de memoria, cando o obxectivo é aumentar a velocidade de funcionamento.
O módulo interno de dobre SD (IDSDM) permite aos clientes implementar a tecnoloxía de virtualización tolerante a fallos de Dell, que proporciona redundancia de conmutación por fallo para os hipervisores integrados. Aínda que o PowerEdge R730 admite GPU, que poden ser moi útiles en contornas de oficina virtuais (escritorios virtuais), así como para computación de alto rendemento e procesamento colaborativo, o R730xd non admite GPU porque non se poden proporcionar unha refrigeración adecuada ás tarxetas de vídeo. Non obstante, ata agora temos pouca demanda deste servizo e só un dos nosos subscritores pediu unha tarxeta de vídeo para o servidor. É por iso que non pedimos plataformas R730 a granel, pero podemos entregalas baixo petición, equipadas cunha das tarxetas recomendadas.
Debido a isto, por desgraza, o prezo do aluguer dunha solución non pode ser tan atractivo e aumenta en máis de 2 veces, dependendo do prazo de pago e da duración do contrato. Ofrecemos mercar as tarxetas por si mesmos a través do noso provedor nos Países Baixos, os prezos móstranse a continuación e só desta lista recomendada (estas foron as recomendacións da propia Dell cando fixemos a solicitude), quizais esta información lle sexa útil a alguén:
NVIDIA Tesla M10 GPU CusKit: 2,884.98 EUR
GPU NVIDIA Tesla M40: 4,913.33 EUR
GPU NVIDIA Tesla M40 24 GB, Kit personalizado: 6,458.95 EUR
GPU NVIDIA M60, pasiva, require GRID 2.0 SW para función VDI, kit personalizado: 5,094.95 EUR
Licenzas:
Licenza de subscrición a Nvidia GRID vApps 3 anos, 1 CCU: 20 EUR
Licenza de subscrición a Nvidia GRID vPC 3 anos, 1 CCU: 95 EUR
Licenza de subscrición Nvidia GRID vWS 3 anos, 1 CCU: 480 EUR
Entón, se está preparado para un contrato mínimo de 2 anos para alugar un servidor Dell R730 (non xd, polo que a solución é moito máis cara) - póñase en contacto [protexido por correo electrónico], estaremos encantados de axudarche! Usando unha das tarxetas de vídeo recomendadas anteriormente, no DELL R730 2 x E5-2650 v4 / 128 GB / 6 x 480 GB SSD / 1 Gbps 100 TB + configuración GPU e un contrato de 2 anos, custará aproximadamente $ 6816 ao ano, en lugar de $ 2988 ao ano no caso A plataforma Dell R730xd+ que se comenta no artigo requirirá o pago do custo da tarxeta de vídeo e da licenza, xa que se trata dun equipo moi específico.
Non obstante, mesmo este prezo é moito máis atractivo que os prezos que os centros de datos de Ucraína e Rusia poden ofrecer por tales solucións, se queren ofrecer tales solucións... Pois, curiosamente, nos Países Baixos, onde a cooperación con Dell se establece directamente, o prazo de entrega prometido para o servidor cunha tarxeta de vídeo foi de case 2 meses desde o momento en que o noso cliente fixo o pedido (o cliente aceptou esperar, xa que simplemente non hai alternativas no mercado), debido á forte especificidade deste produto Dell simplemente non o tiña en stock. Con todo, a entrega completouse en menos dun mes. Grazas ao departamento de subministración do centro de datos e aos mozos de Dell pola súa eficiencia. Pero para min, esta experiencia aínda era inusual, xa que as plataformas estándar Dell R730xd entréganse nuns poucos días.
Controis e capacidades do controlador PERC
O servidor pódese xestionar a través do conveniente iDRAC8 (Integrated Dell Remote Access Controller 8) con Dell Lifecycle Controller, que reduce o tempo dedicado ás tarefas de xestión, reduce a probabilidade de erros, mellora a seguridade e mellora a eficiencia xeral do seu entorno informático.
Para os nosos subscritores, o acceso a iDRAC8 ofrécese a través de RMI (Remote Management Interface), que é accesible exclusivamente desde a rede privada do centro de datos por motivos de seguridade, acceso ao que proporcionamos a través dun túnel Open VPN de balde. Unha vez iniciado sesión, o iDRAC mostra unha visión xeral do sistema así como unha vista da consola virtual mediante iKVM.
Gustaríame prestar especial atención á vixilancia; o iDRAC8 permítelle obter estatísticas de consumo de enerxía da última hora, día ou semana e limitar o consumo máximo de enerxía:
O sistema de seguimento e rexistro de temperatura iDRAC permítelle recoller datos dos sensores de temperatura e determinar o rango no que se atopa. Así, considérase aceptable que os procesadores estean no intervalo de temperatura de Aviso só durante o 10 % do tempo durante o ano e Crítico durante o 1 %. O tempo na banda crítica tamén afecta ao tempo permitido na banda de aviso. A recollida de datos de temperatura comeza cando o sistema se acende despois de saír da fábrica e non se pode restablecer.
A 13ª xeración de servidores Dell PowerEdge está equipada con controladores PERC9, nos que a tecnoloxía LSI CacheCade utilizada anteriormente nos controladores PERC8 foi substituída por outra máis eficiente: DAS Cache de SanDisk.
Nas probas sintéticas, DAS Cache acelera significativamente o rendemento das matrices de discos duros nos casos de configuracións híbridas de HDD+SSD. Así, no caso dunha matriz de 5 discos duros en RAID6 (seleccionouse o nivel 6 para proporcionar a máxima capacidade) e 5 SSD RAID10 (4 + 1 SSD de reposición quente para maximizar o rendemento da matriz) cando se usa DAS Cache, o rendemento de a matriz é 5 HDD RAID6 + DAS Cache na matriz SSD especificada resultou ser próxima ao rendemento da matriz SSD en si:
Entón, familiarizados un pouco coa plataforma, agora podemos ver as vantaxes desta plataforma ao construír instalacións de almacenamento.
Que fai que a plataforma Dell R730xd sexa óptima para implementacións de almacén de datos, especialmente Red Hat Ceph?
O ambiente de almacenamento de Red Hat Ceph usa servidores estándar do sector para a escalabilidade, a resistencia e o rendemento. Os métodos de protección de datos xogan un papel fundamental no custo da solución. Ceph permítelle ao usuario seleccionar diferentes métodos de seguridade para diferentes grupos de almacenamento.
As agrupacións de almacenamento replicadas producen copias completas dos obxectos almacenados e son ideais para a recuperación rápida e a manipulación de datos. No caso dunha agrupación de almacenamento replicada, Ceph utiliza un factor de replicación predeterminado de tres cando tres copias de datos residen en tres nodos Ceph separados.
As agrupacións de almacenamento resistentes á corrupción proporcionan unha única copia de datos con paridade, o que é útil cando se require almacenamento de datos a longo prazo e é rendible.
O PowerEdge R730xd é un servidor de rack de dúas unidades excepcionalmente flexible e escalable que ofrece un procesamento de alto rendemento e unha ampla gama de opcións de almacenamento local optimizadas para cargas de traballo, incluíndo niveis híbridos. O desenvolvemento inclúe unha ampla gama de configuracións, o que é ideal para Ceph.
— O R730xd ofrece a capacidade de crear solucións de infraestrutura altamente eficientes para pequenas e grandes empresas.
— O R730xd reduce o tempo de posta en marcha con capacidades de implantación automatizada, o que reduce a entrada do usuario e o erro humano.
"Os servidores PowerEdge melloran o rendemento das TI do centro de datos con ferramentas de xestión innovadoras como iDRAC Quick Sync e iDRAC Direct, que proporcionan unha visibilidade completa da saúde do sistema e unha rápida implantación.
"Os servidores PowerEdge optimizan o uso de enerxía, ofrecendo un mellor rendemento por vatio e un control máis preciso sobre o consumo de enerxía e o arrefriamento.
Dell PowerEdge R730xd ofrece vantaxes que garanten a máxima produtividade mediante:
— Acelerar a eficiencia das aplicacións mediante o uso das tecnoloxías máis recentes e o almacenamento local dinámico.
"A escala é fácil e rápida cun almacenamento de acceso frontal que admite unha ampla gama de unidades, desde discos duros SATA de baixo custo ata SSD de 2.5" ultrarrápidos, así como unidades de latencia ultra baixa, como as SSD PCIe PowerEdge Express Flash NVMe.
- O R730xd é moi axeitado para deseños de almacenamento híbrido grazas ao uso de novas tecnoloxías de caché no controlador PERC, o que aumenta a eficiencia de custos da solución Ceph.
Un exemplo de implementación de infraestrutura con Red Hat Ceph Storage, que consta de 5 servidores Dell R730xd, podes ver a continuación:
Durante as probas independentes de varias configuracións das plataformas Dell R730xd, obtivéronse os seguintes resultados:
A nosa versión da plataforma amosa moi bos resultados, e no caso da lectura, quizais o mellor. E se temos en conta o feito de que pedimos estas plataformas en grandes cantidades e por iso podemos ofrecer un prezo máis de 2 veces inferior ao doutras opcións de plataforma, resulta ser o mellor consolidado para ler e escribir en termos. do parámetro rendible. Ao final, nada che impide construír un grupo de plataformas de 7 a 8, en lugar de 5. Ao mesmo tempo, obtén unha tolerancia a fallas aínda maior.
Son necesarios conmutadores de 10 Gigabit para construír este tipo de infraestruturas? Non, non é necesario, un dos nosos clientes creou unha infraestrutura, aínda que desde 3 servidores, utilizando o seguinte esquema de conexión de rede local:
O que lle permitiu aforrar bastante: 350 dólares ao mes no aluguer de interruptores, xa que os interruptores de 10 gigabits son bastante caros e ofrecemos só o mellor: Arista 7050tx-48-r. Non vemos ningún sentido nas solucións para varios portos.
De que son capaces, en principio, as plataformas Dell R730xd?
Non hai moito tempo, Microsoft realizou unha interesante proba do rendemento destas plataformas no caso de construír almacéns de datos cun número reducido de nodos.
Usamos 4 nodos Dell R730xd, unidos nunha rede local de 100 gigabits mediante un conmutador Arista DCS-32CX-7060S de 32 Gb de 100 portos, que executa a versión EOS 4.15.3FX-7060X.1.
A configuración dos nodos empregados é a seguinte:
2x Xeon E5-2660v3 2.6 Ghz (10c20t)
256 GB DRAM (16 x 16 GB DDR4 2133 MHz DIMM)
4x Samsung PM1725 3.2TB NVME SSD (PCIe 3.0 x8 AIC)
Dell HBA330
4 unidades SSD Intel S3710 de 800 GB SATA
12 unidades de disco duro SATA de 4" Seagate 3.5TB Enterprise Capacity
2x Mellanox ConnectX-4 100Gb (dobre porto 100Gb PCIe 3.0 x16)
Mellanox FW v. 12.14.2036/XNUMX/XNUMX
Mellanox ConnectX-4 Driver v. 1.35.14894
Dispositivo PSID MT_2150110033
Único porto conectado/adaptador
Usando VMFleet, levantáronse 20 máquinas virtuais en cada nodo, é dicir, un total de 80 máquinas virtuais. Cada máquina virtual configurouse con 1vCPU. VMFleet utilizouse entón para executar a utilidade DISKSPD para probar o rendemento do almacenamento en cada un dos 80 nodos, a utilidade está dispoñible de balde . Os parámetros de proba son os seguintes: 1 subproceso, 512 KiB de lectura secuencial para 4 operacións de E/S.
Como podedes ver na imaxe superior, conseguimos un resultado incrible de 60 gigabytes por segundo en total, o que equivale aproximadamente a 5 versións en inglés de Wikipedia en formato comprimido (11.5 GiB), que se descargan cada segundo. E a velocidade de cada máquina virtual era de aproximadamente un CD por segundo: 750 MB.
Esta proba demostra perfectamente o eficiente que pode ser unha solución cando os tres compoñentes de computación, almacenamento e rede están equilibrados, minimizando os potenciais colos de botella que poden ocorrer nun sistema desequilibrado.
E as plataformas doutros fabricantes?
Comparación de Dell R730xd e HP ProLiant DL380
Para comparar o rendemento, escollemos hardware máis débil do que ofrecemos para alugar: servidores cun procesador E5-2620v3, en lugar dun E5-2650v4, que son significativamente máis produtivos. A principal metodoloxía de proba utilizada para esta comparación foi medir o número de IOPS. Utilizáronse varias simulacións de carga de traballo diferentes, a saber, todas as de lectura e 30% de lectura / 70% de escritura (análoga a un sistema OLTP, un sistema transaccional, cando se procesan pequenas transaccións, pero un gran fluxo, e os clientes deben garantir un tempo de resposta mínimo).
Realizáronse probas varias veces para eliminar o impacto negativo dos factores ocultos no rendemento do sistema. Primeiro realizamos probas básicas nun Dell R730xd e nun HP ProLiant DL380 utilizando só almacenamento de disco duro (HDD RAID5 de 1 x 5 TB) para proporcionar unha referencia de rendemento de referencia. A continuación, realizouse o mesmo conxunto de probas con almacenamento RAID-5 de HDD de 1 x 5 TB mediante a caché DAS instalada en SSD SAS (2 x SAS SSD de 480 GB Samsung RAID1) nun servidor Dell e nun servidor HP mediante HPE SmartCache cun conxunto similar de unidades de almacenamento. e caché. Finalmente, o conxunto final de probas realizouse nun servidor Dell usando DAS Cache en unidades SSD NVMe PCIe (2x400 GB Samsung NVMe en RAID de software) para mostrar a máxima contribución do caché ao aumento do rendemento das aplicacións en casos de lectura e escritura intensivas. Non se realizou unha proba similar no servidor HP porque Smart Cache non admite unidades NVMe para almacenar na caché.
Configuración de sistemas:
Dell PowerEdge R730xd (13ª xeración)
HP ProLiant DL380 (9ª generación)
servidor
CPU: x86-64 - CPU Intel Xeon E5-2620 v3 @2.40GHz;
Memoria: 32 GB DDR4.
CPU: x86-64 - CPU Intel Xeon E5-2620 v3 @2.40GHz;
Memoria: 32 GB DDR4.
Sistema operativo/software
Windows 2012 R2 SP1;
SanDisk DAS Cache v1.4.
Windows 2012 R2 SP1;
HPE SmartCache.
Almacenamento/caché
5x1TB HDD RAID5;
2xSAS 480 GB Samsung SSD RAID1;
2 x 400 GB Samsung NVMe Software RAID.
5x1TB HDD RAID5;
2xSAS 480GB Samsung SSD RAID1.
Proba
Simular a carga de traballo de lectura-escritura OLTP;
300 GB de tamaño da base de datos;
4 traballadores IOMETER simultáneos cunha profundidade de cola de 32.
Simular a carga de traballo de lectura-escritura OLTP;
300 GB de tamaño da base de datos;
4 traballadores IOMETER simultáneos cunha profundidade de cola de 32.
Realizáronse varias probas de lectura/escritura aleatorias en diferentes tamaños de bloque: 4 e 8 KB. Para cada tamaño de bloque, pola súa banda, realizáronse probas ao 100% de operacións de lectura, así como ao 70% de operacións de lectura e 30% de operacións de escritura. As probas relacionadas coa aceleración do rendemento mediante a almacenaxe na caché realizáronse durante 900 segundos (15 minutos) para proporcionar tempo suficiente para que a caché se fixese totalmente operativa e producise resultados máis precisos.
Medición do rendemento en IOPS (operacións de entrada/saída por segundo):
Servidor/configuración en proba
4KB RR
100% ler
4KB RR
70% Ler 30% Escribir
8KB RR
100% ler
8KB RR
70% Ler 30% Escribir
Dell R730xD (sen caché)
1650
974
1540
1040
HP ProLiant DL380 (sen caché)
1370
628
1322
630
Dell R730xD
con DAS Cache
138884
66483
98368
56641
HP ProLiant DL380
con SmartCache
41273
33534
35984
39396
Dell R730xD con
DAS Caché e
SSD NVMe PCIe
264750
158157
257150
104490
Medición do rendemento en % de utilización do procesador:
Servidor/configuración en proba
4KB RR
100% ler
4KB RR
70% Ler 30% Escribir
8KB RR
100% ler
8KB RR
70% Ler 30% Escribir
Dell R730xD (sen caché)
0,4%
0,28%
0,42%
0,3%
HP ProLiant DL380 (sen caché)
0,8%
0,5%
0,8%
0,5%
Dell R730xD
con DAS Cache
13%
8,8%
11,34%
7,83%
HP ProLiant DL380
con SmartCache
6%
6%
5%
5%
Dell R730xD con
DAS Caché e
SSD NVMe PCIe
16%
10,1%
16%
5,78%
Os resultados das probas mostran un aumento significativo de rendemento para as plataformas Dell R730xd cando se usa a memoria caché de caché SanDisk DAS en comparación con HPE SmartCache, e a compatibilidade con NVMe PCIe SSD proporciona beneficios aínda maiores. Nas simulacións OLTP, o R730xd mostrou IOPS ata 3 veces maior debido ao uso de SanDisk DAS Cache e SSD SAS e 6 veces maior debido ao uso de SSD SanDisk DAS Cache + NVMe PCIe en comparación co SmartCache de HPE. A maior utilización da CPU con SanDisk DAS Cache e a maior utilización da CPU con SanDisk DAS Cache + NVMe PCIe SSD, é simplemente unha consecuencia da cantidade de IOPS moito maior. e, pola contra, mostra un consumo máis óptimo dos recursos do procesador.
Entón, se en HP cun 6% de utilización o resultado en IOPS é de 41 mil, é dicir, o 1% dos recursos do procesador consome por 0,15 mil IOPS, entón no caso do Dell R730xd temos un 16% de consumo en 264 mil, que proporciona un indicador máis eficiente: 0,06 % dos recursos do procesador por cada 1000 IOPS.
É dicir, en termos de utilización do procesador, Dell tamén resulta mellor (2,5 veces), aínda que ten uns valores de utilización do procesador que son % superiores, pero, como puidemos comprobar, isto só é consecuencia do procesamento. un número significativamente maior de operacións e, polo tanto, unha mellor produtividade.
Así, a plataforma Dell R730xd resulta ser significativamente máis eficiente que a HP ProLiant DL380 (moitas veces), tanto en termos de rendemento como de rendibilidade.
Resultados da proba de Geekbanch 3 Dell R730xd co procesador E5-2640 v4 ou por que son importantes as instrucións do procesador e a caché do controlador
Como podemos ver arriba, só podemos acadar os máximos resultados cando os tres compoñentes -potencia de cálculo, almacenamento e rede- estean equilibrados, xa que se minimizan os posibles pescozos de botella que poden ocorrer nun sistema desequilibrado.
Pero o que tamén é moi importante é o soporte do procesador da plataforma para unha serie de instrucións e a súa eficiencia. Xa mencionei anteriormente que unha diferenza aparentemente insignificante entre xeracións pode xogar un papel bastante importante nalgúns casos. Así, segundo os resultados de probas independentes, o E5-2650 v4 que ofrecemos é un 70% máis efectivo no caso do cifrado (instrucións AES) que o E5-2650 v3.
E entón as solucións "sabrosas" dos competidores do segmento de baixo custo, pero non do segmento premium? Por que as nosas solucións son mellores? Por que as nosas solucións son premium? A resposta é sinxela - os nosos servidores estaban e están equilibrados. Aínda que antes tiñan frecuencias máis baixas ou cantidades máis pequenas de memoria, sempre estaban equilibradas segundo os tres parámetros descritos anteriormente. Incluíndo un centro de datos fiable cos certificados esixidos polo segmento corporativo e excelentes canles de comunicación externa que proporcionan unha latencia mínima desde Holanda, tanto para o resto de Europa, como para Rusia e Ucraína, e incluso
Pero agora fixemos unha oferta competitiva en canto a estes indicadores, en 10 locais á vez, un nos Países Baixos e 9 nos Estados Unidos, pero non falemos de nós, vexamos a proba. Desafortunadamente, esta proba só está dispoñible actualmente para a versión E5-2640 v4, con 10, non 12 núcleos, para a nosa plataforma.
Por suposto, non é moi obxectivo, xa que non ten en conta todas as vantaxes da plataforma, a mesma caché SanDisk DAS da que falamos, os indicadores de rendemento reais poden resultar moito mellores que os sintéticos nun determinado caso, moito! Pero aínda é posible conseguir algo de comprensión.
Prestemos atención a moitas instrucións. O máis indicativo pode ser o xa mencionado AES, aproximadamente ás mesmas frecuencias a diferenza entre os valores para o 1º núcleo pode ser de ata 1000 veces dependendo do procesador, as instrucións restantes que se compararon mostraron diferenzas nos valores de de varias a 100 veces.
Pode vostede mesmo e fai unha comparación, pero non esquezas que esta proba non é completamente orientativa, xa que non ten en conta o hardware no seu conxunto, senón que caracteriza principalmente ao procesador.
Non obstante, espero que estes resultados che poidan ser útiles á hora de analizar a eficacia dunha solución en particular.
Usando servidores Dell R730xd como Bare Metal, simplemente mellor!
Algúns dos nosos clientes decidiron abandonar o uso de solucións na nube de VMware en favor de solucións Bare Metal (servidores de ferro) e a plataforma Dell R730xd axudoulles moito nisto. E falamos aquí non só das nubes públicas, senón tamén das privadas.
Por que a xente toma cada vez máis este tipo de decisións? Respecto das nubes públicas, todo está máis ou menos claro. Eu mesmo considero as nubes públicas como un gran marketing, se algo cae alí (e todas as nubes caen tarde ou cedo), cae alí durante moito tempo. Un exemplo é o mesmo coñecido Amazon, que no seu momento estableceu durante varios días xunto cun importante servizo de recollida de datos médicos telemétricos, incluídos datos sobre a condición cardíaca dos pacientes que usaban un marcapasos, que estaban sendo vixiados por médicos, varios morreu xente... E hai pouco, cando a nosa empresa Bitrix estaba deitada, resultou que a razón era que os empregados, que estaban apagando algunhas das máquinas, como consecuencia dun erro tipográfico, apagaron máis nodos dos necesarios. afectando aos nodos de xestión, polo que as máquinas virtuais reiniciáronse nun prazo de 5 horas debido ao gran tamaño do clúster... Pero este non é o único problema posible, pode ocorrer que de súpeto teña un "collo de botella" debido ao uso da nube por algúns outros proxectos ou a falta de capacidade para xestionar rapidamente a súa infraestrutura para satisfacer as súas propias necesidades.
Cando se trata de nubes privadas, en teoría, a virtualización simplifica a dispoñibilidade e a recuperación ante desastres. Na práctica, hai moitas situacións nas que isto simplemente non ten sentido:
En caso de problemas técnicos no nodo, é aceptable un tempo de inactividade de 15-30 minutos.
Non todos os proxectos necesitan un tempo de actividade de preto do 100%, agás os escolares que están afeitos a pagar un dólar e esixir o 100%. Para algúns proxectos, un tempo de actividade garantido do 99,9 % é máis que unha opción aceptable. Porque o 0,1% é unha indisponibilidade dun máximo de 44 minutos ao mes, o que pode ocorrer por varios motivos non planificados, debido a un fallo de hardware ou a indisponibilidade da rede. Garantimos o tempo de funcionamento da rede nun 99,99 % para as solucións estándar, o que permite a non dispoñibilidade de só 4 minutos ao mes. Se o servidor está conectado a 2 canles independentes que pasan por distintos nodos de comunicación e cuxo tráfico é procesado por núcleos independentes, o tempo de funcionamento garantido da rede aumenta varias veces máis. Isto fai posible satisfacer os requisitos de tempo de actividade incluso dos bancos para os que é aceptable unha indisponibilidade duns 40 minutos ao ano, de acordo coa certificación. En realidade, os períodos de indisponibilidade son extremadamente raros. En 5 anos de traballo co centro de datos, nunca houbo un momento no que todos os servidores quedaran sen estar dispoñibles ao mesmo tempo por problemas coa rede ou coa electricidade. Mesmo cando houbo un apagón global nos Países Baixos e moitos outros centros de datos non estaban dispoñibles: algúns esquecéronse de reabastecer os motores diésel, outros non tiñan a potencia suficiente do SAI, no noso centro de datos só quedaban sen estar dispoñibles menos dun por cento dos servidores durante un breve período. período de tempo. Algúns dos servidores que nos alugan os clientes, incluso hardware bastante obsoleto, aparentemente obsoleto, que é máis probable que falle que as novas solucións de marca, non se reiniciaron nin unha vez en 3 anos, do mesmo xeito que en 3 anos nunca se perderon na rede. . A indisponibilidade de 30 minutos é aceptable durante 3 anos? Máis que, incluso para os bancos.
E xorde unha pregunta razoable, por que entón pagar de máis? Sobra dicir que non se debe confiar no azar e sempre debe partir do principio de reservas razoables. A regra principal que descubrín é a seguinte: a reserva non deberá custar máis que as perdas que puidesen producirse no caso de que se produza un período de indisponibilidade por falta da dita reserva. É dicir, se o tempo de funcionamento garantido permite unha indisponibilidade de 40 minutos ao mes e, en caso de non dispoñibilidade durante ese período de tempo, as perdas ascenderán a varios centos ou mesmo mil dólares - alugando unha solución adicional para aumentar a garantía de tempo de actividade simplemente non ten sentido. Porque en realidade, os servidores non estarán dispoñibles todos os meses durante 40 minutos; 40 minutos de indisponibilidade é unha garantía, o peor dos casos. Que non se implementa mensualmente, como demostrou a práctica.
Deste xeito, os servidores poden ser importantes sen ser unha misión crítica, e cando aos propietarios do proxecto non lles importa cambiar manualmente a carga a outro servidor dedicado, podemos evitar a complexidade de construír un clúster de conmutación por fallo e un almacenamento de conmutación por fallo compartido.
A baixa produtividade é inaceptable durante o período de traballo. Moitos dos nosos clientes elixen solucións de metal de Dell precisamente por este motivo; é moito máis barato e rendible utilizar hardware completo durante o funcionamento estándar, que practicamente non está suxeito a inaccesibilidade, como xa comentamos, que pagar de máis por unha nube. opción e o mesmo rendemento na nube, que custará varias veces máis que unha solución dedicada. A nube e a agrupación simplemente non poden satisfacer as necesidades de recursos e non serán rendibles para estes clientes.
Os subscritores non queren pagar moito por un servizo con capacidades limitadas. A maioría dos nosos clientes son pequenas empresas que non teñen departamentos técnicos propios e financiamento para adquirir o seu propio hardware. A compra de hardware podería ser un verdadeiro golpe para eles e non proporcionarlles un rendemento adecuado, xa que co paso do tempo o hardware tende a quedar obsoleto, e é unha mágoa tirar o hardware caro aínda despois de 3 anos, nun momento no que a empresa creceu e hai algo mellor. necesario. Se nos alugas un Dell R730xd, tes a oportunidade de cambiar a outro servidor en calquera momento ou despois dun ano se escollas a opción de aluguer cun contrato por un ano. Ademais, hai unha oportunidade de aforrar no pago das licenzas de VMware.
Usando servidores Dell R730xd para servidores de bases de datos
Moitos dos nosos clientes que usan estes servidores de bases de datos encántanlle esta plataforma. E non só porque, a diferenza do Dell R730, a versión xd pódese proporcionar con soporte para unidades SSD NVMe PCIe, que proporcionan unha latencia mínima, o que é moi importante para este tipo de solucións. Pero tamén porque o controlador é incriblemente eficiente cando se traballa mesmo con SSD convencionais de 2,5" que ofrecemos aos clientes.
Por suposto, tamén hai un inconveniente no Dell R730xd: só hai 1 controlador, mentres que o Dell R730 con 26 unidades usa 2 controladores de hardware. Pero este non é un problema significativo, xa que escollemos unha plataforma con 12 bahías de unidades e, polo tanto, non terá un pescozo de botella en forma de rendemento insuficiente do controlador cando se traballe con esta plataforma e unha gran cantidade de SSD. E a vantaxe na forma da posibilidade de instalar un SSD NVMe PCIe cobre completamente este inconveniente.
Como se mencionou anteriormente, non todos necesitan clusters de bases de datos complexos; o rendemento que pode proporcionar esta plataforma é moito máis importante. Un dos nosos clientes fixo precisamente iso, abandonou os excesos da virtualización e construíu clusters complexos, alugando un VPS con unidades dedicadas para copias de seguridade da base de datos do servidor principal Dell R730xd: Por suposto, no caso de producirse un problema co nodo principal, haberá algunha diminución no rendemento e haberá que realizar unha conmutación manual, non obstante, esta é unha solución máis que rendible, dado o limitado orzamento.
Non animamos a todos a facer estes aforros, nalgúns casos incluso está moi xustificado. Non obstante, ao aumentar o orzamento en só 230 dólares ao mes, pode permitirse un nodo E5-2650 v4 idéntico e conectalos nunha rede local de 20 gigabits, o que, en principio, permitirá construír un pequeno clúster cunha latencia aceptable. mesmo sen o uso de unidades SSD PCIe NVMe.
A solución en si será así (cun conxunto básico de unidades):
Dell R730xd 2 x Intel Dodeca-Core Xeon E5-2650 v4 128 GB DDR4 6 x 480 GB SSD 1 Gbps 100 TV + Intel X540-T2 20 GBPS LAN – $ 289/mes
Dell R730xd 2 x Intel Dodeca-Core Xeon E5-2650 v4 128 GB DDR4 6 x 480 GB SSD 1 Gbps 100 TV + Intel X540-T2 20 GBPS LAN – $ 289/mes
Aumentar o seu número para aumentar a produtividade non sempre ten sentido. Así, durante as probas con bases de datos, descubrimos que unha solución con 8 SSD é só un 4% máis eficiente que unha solución con 35 SSD.
En canto aos niveis de RAID recomendados, RAID5 pode ser moi óptimo nalgúns casos. Por suposto, RAID10 ofrece un mellor rendemento, pero e se as unidades son tan rápidas que usalas en RAID10 faría que o controlador se converta nun pescozo de botella? Nestes casos, construír unha matriz RAID HW RAID5 é moito máis rendible usando unidades de reposición quente que RAID10 (se o obxectivo é non perder a metade da cota de SSD).
Necesito que a caché do controlador estea activada ou é mellor desactivala? Un controlador RAID ten unha cantidade de memoria moi limitada, que é 1 GB cando se traballa cun SSD? Nos casos con SSD rápidos, non serve de nada ter habilitada a caché de lectura, xa que ao encher a memoria con operacións de lectura, que non serán máis rápidas, xa que as SSD xa son suficientemente rápidas, non deixamos caché de escritura suficiente, e , como é sabido, en SSD de baixo custo: o pescozo de botella son as operacións de escritura, debido a unha caída no rendemento debido ao exceso de aprovisionamento insuficiente e á utilización do 100% da cota gratuíta (é posible unha caída por dez veces). Polo tanto, recomendamos deixar activada só a caché de escritura. Asegurando así a máxima eficiencia desta solución.
O tamaño do bloque NTFS realmente importa? Para a maioría dos almacenamentos, indícase 64 KB como o tamaño de bloque óptimo para o máximo rendemento. Pero moitas veces atopámonos con casos nos que un cliente xa está usando un servidor de base de datos, usando a configuración inicial cun tamaño estándar de clúster NTFS de 4KB. Para solucionar isto, cómpre reformatear as unidades, pero é realmente tan grande a diferenza no caso xeral? Necesitas expoñete a posibles tempo de inactividade e inconvenientes asociados coa migración?
O controlador do servidor Dell R730xd ofrece un rendemento tan bo mesmo con 4 unidades SSD e a caché de escritura activada (un punto moi importante, a caché de lectura debe desactivarse porque non ofrece vantaxes, pero só reduce a eficiencia das operacións de escritura debido á falta de espazo para unha caché completa, como se indicou anteriormente), que aínda cun tamaño de bloque estándar de 4KB, obtemos moi bos indicadores de rendemento, moi bos.
Non obstante, sempre estamos dispostos a reunirnos e estamos preparados para ofrecer unha plataforma similar durante un período de tempo para que os abonados poidan realizar traballos se algo non foi tido en conta por eles.
RAMdrive aínda resulta ser máis rápido que as unidades SSD. Se as túas consultas pódense procesar en TempDB, como ordenar ou combinar, pode valer moito a pena usar RAMdisk (un programa que converte parte da túa RAM en almacenamento). Entón, tras comparar a velocidade de 8 unidades SSD en RAID10 con RAMdrive, descubrimos que é unhas 4 veces máis rápida para as operacións de escritura 4K cunha profundidade de cola de 32, o que imita exactamente o funcionamento dos ficheiros TempDB. Mesmo combinando 8 SSD en RAID0 non foi posible superar os resultados de RAMdrive.
RAID5 no caso de 8 unidades SSD pode ser máis eficaz que RAID10. As lecturas 4K cunha profundidade de cola de 32 son aproximadamente un 40% máis rápidas, o que non é sorprendente dadas as características de RAID5. RAID5 gaña en rendemento noutras probas, por exemplo, coa escritura secuencial é do 20%, é inferior só en operacións de escritura 4K cunha gran profundidade de cola (no noso caso 32) e resulta ser menos eficiente nun 30%. Polo que o uso de RAID5 pode nalgúns casos estar moi xustificado economicamente.
Máis almacenamento non sempre significa máis rápido. Cando estamos a tratar con pequenas operacións aleatorias, engadir unidades á matriz máis aló dun determinado límite non mellora o rendemento en absoluto. Parece que por que? Resulta que todo depende das capacidades do controlador, que se ve obrigado a escribir datos en un montón de unidades. É por iso que compramos plataformas cun máximo de 12 unidades, co fin de reducir a probabilidade dun pescozo de botella. Non obstante, cómpre ver a intensidade das operacións dentro de cada proxecto, ás veces 4 unidades máis grandes, digamos 960 GB, poden ser unha solución mellor e máis rendible que un montón de unidades de 480 GB.
Usando servidores Dell R730xd para servidores de datos Aerospike NoSQL
Aerospike é unha base de datos NoSQL de código aberto que está optimizada para flash para velocidade e escalabilidade. Aerospike está deseñado para proporcionar unha latencia moi baixa para solicitudes de lectura e cargas de escritura pesadas, o que satisface os requisitos empresariais modernos que requiren a capacidade de xestionar un gran número de operacións de E/S. Aerospike xestiona directamente o almacenamento local nos seus nodos de clúster, independentemente dos sistemas de ficheiros dos medios de orixe, xa sexan DRAM, flash ou discos duros tradicionais. Isto permite que os datos críticos se almacenen nos medios máis rápidos onde o procesamento rápido é máis crítico, mentres que a natureza distribuída da base de datos Aerospike garante un alto grao de fiabilidade en caso de fallos no nodo do clúster.
Os servidores PowerEdge R13xd de 730ª xeración de Dell ofrecen unha potencia informática incrible cos últimos procesadores E5-2650 v4 e unha rápida SDRAM DDR4. E a capacidade de usar SSD NVMe, como o Samsung SM1715, pode axudar a obter un rendemento enorme cunha latencia mínima en nós con altas cargas. Isto fai posible cumprir cos requisitos de SLA modernos para o tempo de procesamento dunha transacción cun nivel fiable de protección contra a fraude mesmo en bases de datos moi grandes, facendo que a solución sexa aceptable incluso para o sector financeiro e as transferencias bancarias, onde ás veces se realizan transaccións. dentro de varias horas ou incluso días.
Para o sector bancario, podemos ofrecer unha solución baseada nestas plataformas cunha rede local de 40 e 100 Gbit/s entre os nodos do clúster e o uso de conmutadores axeitados.
Usando servidores Dell R730xd en redes DMZ
Temos o pracer de ofrecer aos nosos subscritores os máis altos estándares de seguridade. Os centros de datos onde ofrecemos estes servidores teñen moitas certificacións: , , , и .
Pero para satisfacer os requisitos do mesmo Google, algúns clientes requiren a construción das chamadas redes desmilitarizadas (redes DMZ), redes con maior seguridade, o que implica a presenza dun firewall de hardware que limita o acceso aos equipos e permite ocultar os compoñentes necesarios detrás dun firewall e mellorar máis a seguridade.
E todo está ben cando se encarga de inmediato unha solución deste tipo, pero é moi difícil implementar a transición sen practicamente ningún tempo de inactividade no proceso, o que ocorreu recentemente cun dos nosos clientes, cun proxecto de tramitación de solicitudes de visado para cidadáns de diferentes países. do mundo, onde hai inaccesibilidade incluso durante as horas pode levar a perdas de decenas de miles de dólares. Pero atopamos unha solución, fomos a unha reunión, puxemos equipos adicionais no armario, movendo equipos menos importantes e activamos o cortalumes segundo o esquema, segundo o desexaba o cliente, para poder realizar a migración sen tempo de inactividade.
Foi/Fíxose
Quizais este esquema tamén sexa útil para alguén cando realice unha migración deste tipo, xa que os enxeñeiros dos centros de datos non sempre queren ver cousas obvias, pero insisten nun tempo de inactividade de 2 horas para cambiar detrás do firewall, pero pídolle amablemente: solicite un firewall de hardware con antelación se o precisa. Somos flexibles e sempre estamos dispostos a adaptarnos, pero nalgunhas situacións as nosas capacidades poden ser limitadas.
En próximas publicacións, tentaremos realizar unha serie de probas adicionais e compartir experiencias adicionais usando estas plataformas que mellorarán aínda máis a comprensión da selección da solución máis eficaz. Despois de todo, sorprende ver o feito de que o RAID0 de dúas unidades SSD, en casos de bases de datos cunha carga elevada, pode resultar máis lento que unha unidade de escritura separada, polo que recibimos solicitudes de SSD NVMe PCIe dende o tempo. ao tempo. É probable que amosemos os escenarios máis eficaces para implementar solucións, compartamos experiencia adicional ao construír varias matrices RAID dentro dun controlador RAID é eficaz e mostremos en que casos dúas matrices RAID10 independentes de 4 unidades serán mellores que unha matriz RAID10 de 8 unidades. 1. Cando será efectivo usar RAID5 para TempDB e RAIDXNUMX para todo o demais. E como podes prescindir de NVMe PCIe SSD cando tes un orzamento limitado.
Dell R730xd: bonificación para lectores Habrahabr
Queremos ofrecerche o mellor e fixemos todo por iso ofrecendo prezos únicos para o Dell R730xd:
- nos Países Baixos
- e nos EUA
As configuracións poden ser moi diversas, por exemplo, Os seguintes están dispoñibles para a súa activación inmediata nos Países Baixos::
Dell R730xd 2 x Intel Dodeca-Core Xeon E5-2650 v4 128GB DDR4 6×480 SSD 1Gbps 100 TV -*$249
Dell R730xd 2 x Intel Dodeca-Core Xeon E5-2650 v4 128GB DDR4 12×240 SSD 1Gbps 100 TV -*$249
Dell R730xd 2 x Intel Dodeca-Core Xeon E5-2650 v4 128GB DDR4 4x4TB 4x480 SSD 1Gbps 100 TV — *$249
Dell R730xd 2 x Intel Dodeca-Core Xeon E5-2650 v4 128GB DDR4 12x4TB SATA 1Gbps 100 TV — *$249
E un honesto dedicado 1 Gbps Unmetered (excluído o tráfico) está dispoñible para eles por + $ 120/mes. Ademais, a oportunidade de comprar un firewall, tarxetas de rede, un interruptor e construír unha rede local de varios gigabits. Pero a condición de prezo aplícase a un contrato por un ano.
Queremos mellorar o estado e ofrecer unha bonificación por pagos a curto prazo e alugueres sen contrato, facendo a oferta máis accesible. Calquera persoa que solicite e pague algunha das opcións propostas nos Países Baixos durante un período de 1 mes, proporcionaremos exactamente o mesmo servidor durante 1 mes completamente gratuíto, ou recalcularemos a configuración solicitada e calcularemos o servidor solicitado ao mesmo prezo que para un contrato anual ($249/mes en lugar de $369/mes), devolvendo a diferenza ao saldo. Para iso, só tes que deixar o teu número de pedido nos comentarios. Para aqueles que aínda non maduraron en solucións dedicadas, ofrecémoslle alugar calquera VPS (KVM) con unidades dedicadas nos Países Baixos ou nos Estados Unidos nestas plataformas, por exemplo, , e recibe unha bonificación de 1-4 meses de uso ao pagar 1, 3, 6 e 12 meses, respectivamente, indicando o número de pedido no comentario. Agora a construción de infraestruturas fíxose máis fácil!
Fonte: www.habr.com