I denne artikel vil vi fortælle dig, hvilke infrastrukturløsninger vores kunder implementerer ved hjælp af Dell R730xd-serverplatforme, og hvorfor prisen for at leje denne platform er med fremragende kommunikationskanaler til Ukraine og Rusland, samt , allerede med placering og tilslutning til en pris er blevet en realitet. Vi vil dele mulige løsninger baseret på disse platforme ved hjælp af privat vlan, 10G lokalt netværk og hardware Firewall fra CISCO, som er tilgængelige for vores kunder efter anmodning. Og også, i de bedste traditioner, vil vi tilbyde en bonus i form af en gratis periode med brug af Dell R730xd-servere til Habrahabr-læsere.
På det seneste har vi modtaget flere og flere forespørgsler om opbygning af forskellige virksomhedsinfrastrukturer, og det hænger desværre ikke så meget sammen med, at vi leverer løsninger af meget høj kvalitet, men med prisen på disse løsninger og niveauet af sikkerhed og retsstatsprincippet, som tilbydes i Holland og USA, men desværre ofte ikke er tilgængeligt i Ukraine og Rusland. Hvor sådanne løsninger desværre blot koster "astronomiske" penge, da begrebet "langsigtede penge" i princippet er fremmed for postsovjetiske lande på baggrund af andre risici eller på grund af manglen på nødvendig infrastruktur og niveau for certificering.
Et godt eksempel her ville være forskellen i prisen på hardware. F.eks, Dell R730xd platform, købt til vores kunder, i den grundlæggende konfiguration koster 2 x Intel Dodeca-Core Xeon E5-2650v4 128GB DDR4 6x480GB SSD omkring 9000 euro. Det siger sig selv, at der ikke kan være tale om nogen lav pris for at leje denne server i Ukraine eller Rusland, da lejeprisen er baseret på tilbagebetalingen af omkostningerne til platformen over en periode på 12-18 måneder. Det betyder, at den mindst mulige lejepris, eksklusive udgifter til indkvartering, elektricitet og kommunikationskanaler, vil ligge i intervallet $500-800/måned, afhængig af udbyderens risiko og forretningsplanen. Du skal også finde et godt datacenter med det nødvendige niveau af certificering og kommunikationskanaler. Nå, glem ikke at tage højde for risikoen for ulovlig beslaglæggelse af udstyr under nogle ulovlige efterforskningshandlinger, der kan opstå på grund af konkurrence og de særlige forhold ved at drive forretning i en bestemt region.
Derfor er det ikke overraskende, at vores forslag vakte stor interesse, især da de datacentre, hvor vi leverer de foreslåede servere, har mange certifikater, der er nødvendige og vigtige for erhvervslivet - , , , и .
Lad os nu se på flere cases, der kan være af interesse både for begyndere og små projekter og for ret store systemintegratorer, der bygger løsninger på deres kontorer i indeslutningszoner eller i datacentre.
Fordele ved Dell R730xd-platforme, når du bygger datavarehuse ved hjælp af Red Hat Ceph
Det er ingen hemmelighed, at kravene til datalagring og -behandling konstant vokser og i et accelereret tempo. Hvis det for nogle år siden var nok at have 1 TB lagerplads, som gav flere hundrede IOPS, er behovet nu steget til titusindvis af IOPS og petabytes plads. Disse krav til kapacitet og ydeevne er til dels drevet af en stigning i mængden af ustrukturerede data, herunder musik, billeder, videoer, backup af databaser, logfiler og andre arkiver, finansielle og medicinske data - data kendt som "Big Data". For ikke at nævne de stigende krav til datalagring som følge af udbredelsen og udvidelsen af internettet og nye internetressourcer. Så med alle disse strømkrav er kundernes forventninger til høj pålidelighed og høj ydeevne større end nogensinde.
Mens it-virksomheder forsøger at løse problemerne med at administrere petabytes og endda exabytes af data, bliver cloud storage-modellen mere og mere almindelig i moderne datacentre. Der bliver skrevet flere og flere nye softwaresystemer, der giver dig mulighed for at konfigurere interaktionen mellem cloudmiljøet og hardware på en optimal måde; en af sådanne udviklinger er Ceph.
Ceph er et open source distribueret lagringssystem designet til at give høj ydeevne, pålidelighed og skalerbarhed. Ceph implementerer objektlagring på en distribueret computerklynge og leverer grænseflader til lagring af objekter, blokke og filer. Ceph leverer fuldt distribueret lagring uden et enkelt fejlpunkt og skalerbarhed til petabyte-niveau. Ceph replikerer data og giver dermed fejltolerance. Systemet er designet på en sådan måde, at det ikke kun giver uafhængig genopretning, men også styring, hvilket hjælper med at undgå unødvendige vedligeholdelsesomkostninger. Fordi Ceph bruger hardware til generelle formål, styret af software, og administrationsfunktioner er tilgængelige via applikationsprogrammeringsgrænseflader (API'er), er det klassificeret som softwaredefineret lagring (SDS).
Red Hat Ceph Storage er et klar-til-brug lagringssystem, softwaredefineret lagring, der er åbent, tilpasningsdygtigt, skalerbart og understøttet overalt. Kombinerer innovationer fra open source-udvikling med teknisk kerne og support fra Red Hat. Løsningen giver tæt integration med OpenStack og er designet fra bunden til at muliggøre næste generations storage til både cloud-miljøer og andre arbejdsbelastninger.
Her vil vi se på et eksempel på implementering af denne løsning på Dell-servere, især Dell PowerEdge R730xd, som vi tilbyder til leje, og overveje fordelene ved at bygge lager baseret på disse platforme. Disse oplysninger kan være nyttige for arkitekter, ingeniører og it-administratorer, der ønsker at udforske fordelene ved at bruge Red Hat Ceph Storage på Dell PowerEdge-servere, og som skal designe og planlægge implementeringer ved hjælp af dokumenteret bedste praksis.
Men i begyndelsen:
Lidt om selve platformen, hvilken mulighed tilbyder vi og hvorfor er den omkostningseffektiv?
Dell PowerEdge R730xd er uden sammenligning en af de bedste platforme til virksomhedsopgaver og mere, den har vundet mange forskellige priser og er en ganske effektiv lagringsløsning, da den kan levere lagring med høj tæthed til rimelige penge.
PowerEdge R730xd fås i tre chassiskonfigurationer med forskellige formfaktorer og drevkombinationer, samt en valgfri bagudvidelsesenhed:
- 24 fronttilgængelige 2,5"-båse til SAS-, SATA- eller nearline SAS-drev plus 2 valgfrie 2,5"-båse bagpå. 2,5-tommer chassiset kan valgfrit understøtte op til 4 PCIe Express Flash-drev fra Dell foran.
- 12 fronttilgængelige 3,5" SAS-, SATA- eller nearline SAS-drevbåse med 4 valgfri interne 3,5"-hot-swappable drevbåse, plus to valgfri 2,5"-båse bagpå.
- 18 fronttilgængelige 1,8"-båse til SATA, 8 3,5"-båse til SAS-, SATA- eller nearline SAS-drev, plus 2 valgfri 2,5"-båse på bagsiden.
Det ser ud til, at hvert chassis er godt til sin slags opgave. Dette er sikkert. Men er de virkelig lige så omkostningseffektive?
Vi valgte den anden mulighed for at tilfredsstille behovene hos det bredest mulige udvalg af brugere på et chassis med 12 drevbåse. Fordi vi anser det for det mest effektive. Og det er derfor. Løsningens økonomiske effektivitet er allerede manifesteret i dens alsidighed - drev af forskellige formfaktorer kan installeres i dette chassis, og det er billigere at købe, og også, hvad der er vigtigt, kan du opnå større produktivitet, når du arbejder med data ved hjælp af flere platforme, der er forbundet i stedet for end blot en med høj lagertæthed og åbenlyst lavere produktivitet.
Vi mener, at ved at forbinde flere lignende platforme til et multi-gigabit lokalt netværk (det er muligt at forbinde hver node til et lokalt netværk med hastigheder på 20 Gbit/s eller mere ved at bruge dual-port ti-gigabit Intel X540-T2-kort, som vi desuden leverer), kan vi opnå væsentligt bedre resultater og ydeevne end platforme med højere lagertætheder. Dette er især kritisk for infrastrukturer, der bruger disse platforme til at arbejde med databaser. Ak, med et stort antal drev kan controlleren blive ret overbelastet, og en ekstra controller i xd-versionen er desværre ikke tilgængelig. Ydeevnen, der kan opnås ved brug af platforme med præcis 12 bays og et lokalt multi-gigabit-netværk, vil være meget højere, og løsningen vil til gengæld være mere distribueret og pålidelig. Kort sagt - omkostningseffektivt!
Funktioner af struktur og design, brug af videokort
Dell PowerEdge R730xd-platformen, der kun måler 2U, understøtter op til 2 Intel Xeon E5-2600 v3-processorer og højere, det vil sige, at den giver dig mulighed for at få op til 36 kerner, når du bruger 18-core-processorer. Vi valgte en mellemliggende mulighed, men den seneste generation - den 12-kernede E5-2650 v4-processor (24 kerner til din rådighed i alt, og under hensyntagen til multi-threading - 48 kerner), da det viste sig at være de mest omkostninger -effektiv. Så i fjerde generation implementeres mere effektive processorinstruktioner, for eksempel er AES, som er ansvarlig for datakryptering, 70% mere effektiv end de samme processorer, men tredje generation. Samtidig kan processoren og platformen understøtte op til 1,54 TB RAM, hvilket er vigtigt i nogle meget specifikke tilfælde. Vi valgte den mest populære mulighed, den mest overkommelige med hensyn til pris og driftshastighed - 128 GB DDR4 RAM og gav mulighed for en opgradering efter anmodning fra abonnenter.
På frontpanelet af R730xd er der 6 systemstatusindikatorer, der kan give dig besked om forskellige problemer, så du kan undgå en masse kritiske problemer ved at træffe passende foranstaltninger i tide. DIMM-slots til RAM er placeret direkte på bundkortet. R730xd understøtter registrerede fejlkorrigerende DIMM'er samt LRDIMM'er (Load Reduced Dual In-Line Memory Modules), en relativt ny type hukommelse til servere. Men vi bruger det ikke, da LRDIMM'er kun bliver nyttige til store mængder hukommelse, når målet er at øge driftshastigheden.
Det interne Dual-SD-modul (IDSDM) giver kunderne mulighed for at implementere Dells fejltolerante virtualiseringsteknologi, som giver failover-redundans til indlejrede hypervisorer. Selvom PowerEdge R730 understøtter GPU'er, hvilket kan være meget nyttigt i virtuelle kontormiljøer (virtuelle desktops), såvel som til højtydende databehandling og kollaborativ behandling, understøtter R730xd ikke GPU'er, fordi korrekt køling ikke kan leveres med videokort. Indtil videre har vi dog ringe efterspørgsel efter denne service, og kun én af vores abonnenter har bestilt et videokort til serveren. Det er af denne grund, at vi ikke bestilte R730 platforme i løs vægt, men kan levere dem efter anmodning, udstyret med et af de anbefalede kort.
Grundet dette kan prisen for at leje en løsning desværre ikke være så attraktiv og stiger mere end 2 gange afhængig af betalingsperioden og kontraktens løbetid. Vi tilbyder at købe kortene selv gennem vores leverandør i Holland, priserne er angivet nedenfor og kun fra denne anbefalede liste (dette var anbefalingerne fra Dell selv, da vi fremsatte anmodningen), måske vil denne information være nyttig for nogen:
NVIDIA Tesla M10 GPU CusKit: 2,884.98 EUR
NVIDIA Tesla M40 GPU: 4,913.33 EUR
NVIDIA Tesla M40 24GB GPU, Cust Kit: 6,458.95 EUR
NVIDIA M60 GPU, Passiv, Kræver GRID 2.0 SW til VDI-funktion, Cust Kit: 5,094.95 EUR
Licenser:
Nvidia GRID vApps abonnementslicens 3 år, 1 CCU: 20 EUR
Nvidia GRID vPC-abonnementslicens 3 år, 1 CCU: 95 EUR
Nvidia GRID vWS abonnementslicens 3 år, 1 CCU: 480 EUR
Så hvis du er klar til en minimum 2-årig kontrakt om at leje en Dell R730 server (ikke xd, hvorfor løsningen er meget dyrere) - kontakt [e-mail beskyttet], vi vil med glæde hjælpe dig! Ved at bruge et af de ovenfor anbefalede videokort, i DELL R730 2 x E5-2650 v4 / 128GB / 6 x 480GB SSD / 1Gbps 100TB + GPU-konfiguration og en 2-årig kontrakt, vil det koste cirka 6816 USD om året i stedet for 2988 USD om året i tilfældet Dell R730xd+ platformen, der er omtalt i artiklen, vil kræve betaling for omkostningerne til videokortet og licensen, da dette er meget specifikt udstyr.
Men selv denne pris er meget mere attraktiv end de priser, som datacentre i Ukraine og Rusland kan tilbyde for sådanne løsninger, hvis de overhovedet ønsker at levere sådanne løsninger... For mærkeligt nok i Holland, hvor samarbejdet med Dell etableres direkte, den lovede leveringstid for serveren med et videokort var næsten 2 måneder fra det øjeblik, vores klient afgav ordren (kunden indvilligede i at vente, da der simpelthen ikke er nogen alternativer på markedet), på grund af dette produkts stærke specificitet Dell havde det simpelthen ikke på lager. Ikke desto mindre blev leveringen gennemført på mindre end en måned. Tak til datacenterforsyningsafdelingen og gutterne fra Dell for deres effektivitet. Men for mig var denne oplevelse stadig usædvanlig, da standard Dell R730xd-platforme leveres inden for få dage.
PERC-controllerkontroller og -funktioner
Serveren kan administreres gennem den praktiske iDRAC8 (Integrated Dell Remote Access Controller 8) med Dell Lifecycle Controller, som reducerer tiden brugt på administrationsopgaver, reducerer sandsynligheden for fejl, forbedrer sikkerheden og forbedrer den overordnede effektivitet af dit it-miljø.
For vores abonnenter gives adgang til iDRAC8 via RMI (Remote Management Interface), som udelukkende er tilgængelig fra det private datacenternetværk af sikkerhedsmæssige årsager, som vi giver adgang til via en Open VPN-tunnel gratis. Når du er logget ind, viser iDRAC en systemoversigt samt en virtuel konsolvisning via iKVM.
Jeg vil gerne være særlig opmærksom på overvågning; iDRAC8 giver dig mulighed for at få strømforbrugsstatistik for den sidste time, dag eller uge og begrænse det maksimale strømforbrug:
iDRAC-temperaturovervågnings- og registreringssystemet giver dig mulighed for at indsamle data fra temperatursensorer og bestemme det område, hvori det er placeret. Det anses således for acceptabelt, at processorer kun er i advarselstemperaturområdet i 10 % af tiden i løbet af året og Kritisk i 1 %. Tiden i det kritiske bånd påvirker også den tilladte tid i advarselsbåndet. Indsamling af temperaturdata begynder, når systemet tændes efter at have forladt fabrikken og kan ikke nulstilles.
13. generation af Dell PowerEdge-servere er udstyret med PERC9-controllere, hvor LSI CacheCade-teknologien, der tidligere blev brugt i PERC8-controllerne, er blevet erstattet med en mere effektiv - DAS Cache fra SanDisk.
I syntetiske test accelererer DAS Cache markant ydeevnen af HDD-arrays i tilfælde af hybrid HDD+SSD-konfigurationer. Så i tilfælde af et array af 5 HDD'er i RAID6 (niveau 6 er valgt til at give maksimal kapacitet) og 5 SSD RAID10 (4 + 1 hot reserve SSD for at maksimere ydelsen af arrayet), når du bruger DAS Cache, vil ydeevnen af arrayet er 5 HDD RAID6 + DAS Cache på det angivne SSD-array viste sig at være tæt på ydelsen af selve SSD-arrayet:
Så efter at have sat os lidt ind i platformen, kan vi nu se på fordelene ved denne platform, når vi bygger lagerfaciliteter.
Hvad gør Dell R730xd-platformen optimal til implementering af datavarehuse, især Red Hat Ceph?
Red Hat Ceph Storage-miljøet bruger industristandardservere til skalerbarhed, robusthed og ydeevne. Databeskyttelsesmetoder spiller en nøglerolle i prisen på løsningen. Ceph giver brugeren mulighed for at vælge forskellige sikkerhedsmetoder til forskellige opbevaringspuljer.
Replikerede lagerpuljer producerer fulde kopier af lagrede objekter og er ideelle til hurtig gendannelse og datamanipulation. I tilfælde af en replikeret lagerpulje, indstiller Ceph som standard en replikeringsfaktor på tre, når tre kopier af data findes på tre separate Ceph-noder.
Korruptionsbestandige lagerpuljer giver en enkelt kopi af data med paritet, hvilket er nyttigt, når der kræves langtidsdatalagring og er omkostningseffektiv.
PowerEdge R730xd er en usædvanlig fleksibel og skalerbar rack-server med to enheder, der leverer højtydende behandling og en bred vifte af workload-optimerede lokale lagermuligheder, inklusive hybrid-tiers. Udviklingen omfatter en bred vifte af konfigurationer, som er ideel til Ceph.
— R730xd giver mulighed for at skabe højeffektive infrastrukturløsninger til både små og store virksomheder.
— R730xd reducerer idriftsættelsestiden med automatiserede implementeringsfunktioner, som reducerer brugerinput og reducerer menneskelige fejl.
"PowerEdge-servere forbedrer datacenterets it-ydeevne med innovative administrationsværktøjer såsom iDRAC Quick Sync og iDRAC Direct, der giver omfattende systemsundhedssynlighed og hurtig implementering.
"PowerEdge-servere optimerer strømforbruget og leverer bedre ydeevne pr. watt og mere præcis kontrol over strømforbrug og køling.
Dell PowerEdge R730xd giver fordele, der sikrer maksimal produktivitet ved:
— Fremskynd applikationseffektiviteten gennem brug af de nyeste teknologier og dynamisk lokal lagring.
"Skalering er nem og hurtig med front-adgang lagerplads, der understøtter en bred vifte af drev fra billige SATA HDD'er til ultrahurtige 2.5" SSD'er, samt drev med ultralav latency, såsom PowerEdge Express Flash NVMe PCIe SSD'er.
- R730xd er velegnet til hybridlagerdesign takket være brugen af nye caching-teknologier i PERC-controlleren, hvilket øger omkostningseffektiviteten af Ceph-løsningen.
Et eksempel på infrastrukturimplementering med Red Hat Ceph Storage, som består af 5 Dell R730xd-servere, kan du se nedenfor:
Under uafhængige test af forskellige konfigurationer af Dell R730xd-platforme blev følgende resultater opnået:
Vores version af platformen viser meget gode resultater, og i tilfælde af læsning, måske de bedste. Og hvis vi tager højde for det faktum, at vi bestilte disse platforme i store mængder, og på grund af dette kan vi tilbyde en pris mere end 2 gange lavere end for andre platformsmuligheder - viser det sig at være den bedst konsoliderede til læsning og skrivning. af den omkostningseffektive parameter. I sidste ende er der intet, der forhindrer dig i at bygge en klynge af 7-8 platforme, i stedet for 5. Samtidig får du endnu større fejltolerance.
Er 10-Gigabit-switches påkrævet, når man bygger sådanne infrastrukturer? Nej, ikke påkrævet, en af vores kunder byggede en infrastruktur, dog fra 3 servere, ved hjælp af følgende lokale netværksforbindelsesskema:
Hvilket gjorde det muligt for ham at spare en hel del - $350 / måned på switch-leje, da 10-Gigabit-switches er ret dyre, og vi leverer kun det bedste - Arista 7050tx-48-r. Vi ser ikke noget formål med løsninger til flere porte.
Hvad er Dell R730xd-platformene i princippet i stand til?
For kort tid siden gennemførte Microsoft en interessant test af ydeevnen af disse platforme i tilfælde af at bygge datavarehuse med et lille antal noder.
Vi brugte 4 Dell R730xd-noder, samlet til et lokalt 100-gigabit-netværk ved hjælp af en 32-ports Arista DCS-7060CX-32S 100Gb-switch, der kører EOS version 4.15.3FX-7060X.1.
Konfigurationen af de anvendte noder er som følger:
2x Xeon E5-2660v3 2.6Ghz (10c20t)
256 GB DRAM (16 x 16 GB DDR4 2133 MHz DIMM)
4x Samsung PM1725 3.2TB NVME SSD (PCIe 3.0 x8 AIC)
Dell HBA330
4x Intel S3710 800GB SATA SSD
12x Seagate 4TB Enterprise Capacity 3.5” SATA HDD
2x Mellanox ConnectX-4 100 Gb (Dual Port 100 Gb PCIe 3.0 x16)
Mellanox FW v. 12.14.2036/XNUMX/XNUMX
Mellanox ConnectX-4 Driver v. 1.35.14894
Enhedens PSID MT_2150110033
Enkelt port tilsluttet / adapter
Ved hjælp af VMFleet blev der rejst 20 virtuelle maskiner på hver node, det vil sige i alt 80 virtuelle maskiner. Hver virtuel maskine blev konfigureret med 1vCPU. VMFleet blev derefter brugt til at køre DISKSPD-værktøjet for at teste lagerydeevne på hver af de 80 noder, værktøjet er tilgængeligt gratis . Testparametrene er som følger - 1 gevind, 512KiB sekventiel aflæsning for 4 I/O-operationer.
Som du kan se på billedet ovenfor, lykkedes det os at opnå et utroligt resultat på 60 gigabyte i sekundet i alt, hvilket er cirka lig med 5 engelske versioner af Wikipedia i komprimeret form (11.5GiB), som downloades hvert sekund. Og hastigheden fra hver virtuel maskine var omkring en cd i sekundet - 750 MB.
Denne test demonstrerer perfekt, hvor effektiv en løsning kan være, når de tre komponenter af computer, lagring og netværk er afbalancerede, hvilket minimerer de potentielle flaskehalse, der kan opstå i et ubalanceret system.
Hvad med platforme fra andre producenter?
Sammenligning af Dell R730xd og HP ProLiant DL380
For at sammenligne ydeevnen valgte vi svagere hardware, end vi tilbyder til leje – servere med en E5-2620v3-processor frem for en E5-2650v4, som er væsentligt mere produktive. Den vigtigste testmetode, der blev brugt til denne sammenligning, var at måle antallet af IOPS. Der blev brugt flere forskellige arbejdsbelastningssimuleringer, nemlig alle Læs og 30 % Læs / 70 % Skriv (analogt med et OLTP-system, et transaktionssystem, ved behandling af små transaktioner, men et stort flow, og klienter skal sikre minimal responstid).
Tests blev udført flere gange for at eliminere den negative indvirkning af skjulte faktorer på systemets ydeevne. Først kørte vi nogle grundlæggende tests på en Dell R730xd og en HP ProLiant DL380, der kun brugte HDD-lagring (5x1TB HDD RAID5) for at give en baseline-ydelsesbenchmark. Det samme sæt test blev derefter kørt med 5x1TB HDD RAID-5-lager ved hjælp af DAS-cache installeret på SAS SSD'er (2xSAS 480GB Samsung SSD RAID1) på en Dell-server og på en HP-server, der bruger HPE SmartCache med et lignende sæt drev til opbevaring og caching. Endelig blev det sidste sæt af test kørt på en Dell-server ved hjælp af DAS Cache på NVMe PCIe SSD-drev (2x400GB Samsung NVMe i software RAID) for at vise det maksimale bidrag fra caching til applikationsydelsesgevinster i læse- og skrivetunge tilfælde. En lignende test blev ikke udført på HP-serveren, fordi Smart Cache ikke understøtter NVMe-drev til cachelagring.
Systemkonfiguration:
Dell PowerEdge R730xd (13. generation)
HP ProLiant DL380 (9. generation)
Server
CPU: x86-64 - Intel Xeon CPU E5-2620 v3 @2.40GHz;
Hukommelse: 32GB DDR4.
CPU: x86-64 - Intel Xeon CPU E5-2620 v3 @2.40GHz;
Hukommelse: 32GB DDR4.
Operativsystem/software
Windows 2012 R2 SP1;
SanDisk DAS Cache v1.4.
Windows 2012 R2 SP1;
HPE SmartCache.
Opbevaring/cache
5x1TB HDD RAID5;
2xSAS 480GB Samsung SSD RAID1;
2x400GB Samsung NVMe Software RAID.
5x1TB HDD RAID5;
2xSAS 480GB Samsung SSD RAID1.
prøve
Simuler OLTP læse-skrive arbejdsbelastning;
300 GB databasestørrelse;
4 samtidige IOMETER-arbejdere med en kødybde på 32.
Simuler OLTP læse-skrive arbejdsbelastning;
300 GB databasestørrelse;
4 samtidige IOMETER-arbejdere med en kødybde på 32.
Flere tilfældige læse/skrive-tests blev udført i forskellige blokstørrelser - 4 og 8 KB. For hver blokstørrelse blev der igen udført tests ved 100 % læseoperationer, samt ved 70 % læseoperationer og 30 % skriveoperationer. Tests, der var relateret til ydeevneacceleration ved hjælp af caching, blev kørt i 900 sekunder (15 minutter) for at give cachen nok tid til at blive fuldt operationel og producere mere nøjagtige resultater.
Ydeevnemåling i IOPS (input/output operationer per sekund):
Server/konfiguration under test
4KB RR
100% læst
4KB RR
70 % læser 30 % skriv
8KB RR
100% læst
8KB RR
70 % læser 30 % skriv
Dell R730xD (ingen cache)
1650
974
1540
1040
HP ProLiant DL380 (ingen cache)
1370
628
1322
630
Dell R730xD
med DAS Cache
138884
66483
98368
56641
HP ProLiant DL380
med SmartCache
41273
33534
35984
39396
Dell R730xD med
DAS Cache og
NVMe PCIe SSD
264750
158157
257150
104490
Ydeevnemåling i % processorudnyttelse:
Server/konfiguration under test
4KB RR
100% læst
4KB RR
70 % læser 30 % skriv
8KB RR
100% læst
8KB RR
70 % læser 30 % skriv
Dell R730xD (ingen cache)
0,4 %
0,28 %
0,42 %
0,3 %
HP ProLiant DL380 (ingen cache)
0,8 %
0,5 %
0,8 %
0,5 %
Dell R730xD
med DAS Cache
13 %
8,8 %
11,34 %
7,83 %
HP ProLiant DL380
med SmartCache
6%
6%
5%
5%
Dell R730xD med
DAS Cache og
NVMe PCIe SSD
16 %
10,1 %
16 %
5,78 %
Testresultater viser betydelige præstationsgevinster for Dell R730xd-platforme ved brug af SanDisk DAS-cache-cache sammenlignet med HPE SmartCache, og NVMe PCIe SSD-understøttelse giver endnu større fordele. I OLTP-simuleringer viste R730xd op til 3 gange højere IOPS på grund af brugen af SanDisk DAS Cache og SAS SSD'er og 6 gange højere på grund af brugen af SanDisk DAS Cache + NVMe PCIe SSD'er sammenlignet med HPE's SmartCache. Den højere CPU-udnyttelse med SanDisk DAS Cache, og den endnu højere CPU-udnyttelse med SanDisk DAS Cache + NVMe PCIe SSD'er, er simpelthen en konsekvens af det meget højere IOPS-antal. og viser tværtimod mere optimalt forbrug af processorressourcer.
Så hvis i HP med 6% udnyttelse er resultatet i IOPS 41 tusinde, det vil sige 1% af processorressourcerne forbruges pr. 0,15 tusind IOPS, så har vi i tilfældet med Dell R730xd 16% forbrug på 264 tusind, hvilket giver en mere effektiv indikator — 0,06 % af processorressourcerne pr. 1000 IOPS.
Det vil sige, hvad angår processorudnyttelse, viser Dell sig også at være bedre (2,5 gange), selvom den har processorudnyttelsesværdier, der er % højere, men som vi kunne verificere, er dette kun en konsekvens af behandlingen et væsentligt større antal operationer, og dermed bedre produktivitet.
Dell R730xd-platformen viser sig således at være væsentligt mere effektiv end HP ProLiant DL380 (mange gange), både hvad angår ydeevne og omkostningseffektivitet.
Resultater af Geekbanch 3-test Dell R730xd med E5-2640 v4-processor eller hvorfor processorinstruktioner og controller-cache er vigtige
Som vi kan se ovenfor, vi kan kun opnå maksimale resultater, når de tre komponenter - computerkraft, lagring og netværk - er afbalancerede, da potentielle flaskehalse, der kan opstå i et ubalanceret system, minimeres.
Men det, der også er ekstremt vigtigt, er platformsprocessorens understøttelse af en række instruktioner og deres effektivitet. Jeg nævnte allerede ovenfor, at en tilsyneladende ubetydelig forskel i generationer kan spille en ret væsentlig rolle i nogle tilfælde. Ifølge resultaterne af uafhængige tests er E5-2650 v4, som vi leverer, således 70 % mere effektiv i tilfælde af kryptering (AES-instruktioner) end E5-2650 v3.
Hvad så med de "velsmagende" løsninger fra konkurrenter fra lavpris-, men ikke premium-segmentet? Hvorfor er vores løsninger bedre? Hvorfor er vores løsninger premium? Svaret er enkelt - vores servere var og er afbalancerede. Selvom de tidligere havde lavere frekvenser eller mindre mængder hukommelse, var de altid afbalanceret i henhold til de tre parametre beskrevet ovenfor. Herunder et pålideligt datacenter med de certifikater, der kræves af virksomhedssegmentet og fremragende eksterne kommunikationskanaler, der giver minimal latens fra Holland, både til resten af Europa og til Rusland og Ukraine, og endda
Men nu har vi givet et konkurrencedygtigt tilbud med hensyn til disse indikatorer, 10 steder på én gang, en i Holland og 9 steder i USA, men lad os ikke tale om os, lad os se på testen. Desværre er denne test i øjeblikket kun tilgængelig for version E5-2640 v4, med 10, ikke 12 kerner, til vores platform.
Det er selvfølgelig ikke særlig objektivt, da det ikke tager højde for alle fordelene ved platformen, den samme SanDisk DAS-cache, som vi talte om, reelle præstationsindikatorer kan vise sig at være meget bedre end syntetiske i en bestemt sag, meget! Men det er stadig muligt at få en vis forståelse.
Lad os være opmærksomme på mange instruktioner. Det mest vejledende kan være den allerede nævnte AES, ved omtrent samme frekvenser kan forskellen mellem værdierne for den 1. kerne være op til 1000 gange afhængigt af processoren, de resterende instruktioner, der blev sammenlignet, viste forskelle i værdier fra flere til 100 gange.
Du kan gøre det selv og lav en sammenligning, men glem ikke, at denne test ikke er helt vejledende, da den ikke tager højde for hardwaren som helhed, men hovedsageligt karakteriserer processoren.
Ikke desto mindre håber jeg, at disse resultater kan være nyttige for dig, når du skal analysere effektiviteten af en bestemt løsning.
Brug af Dell R730xd-servere som Bare Metal, simpelthen bedre!
Nogle af vores kunder besluttede at opgive brugen af VMware cloud-løsninger til fordel for Bare Metal-løsninger (jernservere), og Dell R730xd-platformen hjalp dem meget med dette. Og vi taler her ikke kun om offentlige skyer, men også om private.
Hvorfor træffer folk i stigende grad sådanne beslutninger? Med hensyn til offentlige skyer er alt mere eller mindre klart. Jeg betragter selv offentlige skyer som stor markedsføring, hvis noget falder der (og alle skyer falder før eller siden), så falder det der i lang tid. Et eksempel er den samme velkendte Amazon, som på et tidspunkt lå nede i flere dage sammen med en vigtig tjeneste til indsamling af telemetriske medicinske data, herunder data om hjertetilstanden hos patienter, der bruger en pacemaker, som blev overvåget af læger, flere mennesker døde... Og for nylig, da vores virksomheds Bitrix lå ned, viste det sig, at årsagen var, at de ansatte, der slukkede nogle af maskinerne, som følge af en tastefejl, slukkede for flere noder end nødvendigt, påvirker styringsknuderne, hvilket resulterede i, at de virtuelle maskiner blev genstartet inden for 5 timer på grund af stor klyngestørrelse... Men dette er ikke det eneste mulige problem, det kan ske, at du pludselig får en "flaskehals" på grund af brugen af skyen af nogle andre projekter eller manglen på evne til hurtigt at administrere sin infrastruktur for at opfylde dine egne behov.
Når det kommer til private skyer, forenkler virtualisering i teorien tilgængelighed og gendannelse efter katastrofer. I praksis er der mange situationer, hvor dette simpelthen ikke giver mening:
I tilfælde af tekniske problemer på noden er 15-30 minutters nedetid acceptabel.
Ikke alle projekter har brug for en oppetid på omkring 100 %, bortset fra skolebørn, der er vant til at betale en dollar og kræve 100 %. For nogle projekter er en 99,9% garanteret oppetid mere end en acceptabel mulighed. Fordi 0,1 % er en utilgængelighed på maksimalt 44 minutter om måneden, hvilket kan opstå af forskellige ikke-planlagte årsager – på grund af hardwarefejl eller netværksmangel. Vi garanterer netværksoppetid på 99,99 % for standardløsninger, hvilket tillader utilgængelighed på kun 4 minutter om måneden. Hvis serveren er forbundet til 2 uafhængige kanaler, der passerer gennem forskellige kommunikationsknuder, og hvis trafik behandles af uafhængige kerner, øges den garanterede netværksoppetid flere gange mere. Dette gør det muligt at tilfredsstille oppetidskravene for selv banker, hvor utilgængelighed på omkring 40 minutter om året er acceptabelt, i overensstemmelse med certificering. I virkeligheden er perioder med utilgængelighed ekstremt sjældne. I løbet af 5 års arbejde med datacentret har der aldrig været et tidspunkt, hvor alle servere blev utilgængelige på samme tid på grund af problemer med netværket eller elektriciteten. Selv da der var et globalt blackout i Holland og mange andre datacentre blev utilgængelige - nogle glemte at tanke dieselmotorer, nogle havde ikke tilstrækkelig UPS-strøm, i vores datacenter blev kun mindre end en procent af serverne utilgængelige i en kort periode tidsrum. Nogle af de servere, som kunder lejer af os, endda ret forældet, tilsyneladende forældet hardware, som er mere tilbøjelige til at fejle end nye brandede løsninger, er ikke blevet genstartet en gang om 3 år, ligesom de i 3 år aldrig er gået tabt. . Er utilgængelighed på 30 minutter acceptabelt i 3 år? Mere end, selv for banker.
Og et rimeligt spørgsmål opstår, hvorfor så betale for meget? Det siger sig selv, at du ikke skal stole på tilfældigheder og altid skal gå ud fra princippet om rimelige forbehold. Hovedreglen, som jeg opdagede, er følgende: reservationen bør ikke koste mere end de tab, der måtte opstå i tilfælde af en periode med utilgængelighed på grund af manglen på et sådant forbehold. Det vil sige, at hvis den garanterede oppetid tillader utilgængelighed på 40 minutter om måneden, og i tilfælde af utilgængelighed i en sådan periode, vil tabene beløbe sig til flere hundrede eller endda tusinde dollars - leje af en ekstra løsning for at øge oppetidsgarantien ganske enkelt giver ingen mening. For i virkeligheden vil serverne ikke være utilgængelige hver måned i 40 minutter; 40 minutters utilgængelighed er en garanti, det værste tilfælde. Hvilket ikke implementeres månedligt, som praksis har vist.
På denne måde kan servere være vigtige uden at være missionskritiske, og når projektejere ikke har noget imod manuelt at skifte belastningen til en anden dedikeret server, kan vi undgå kompleksiteten ved at bygge en failover-klynge og delt failover-lager.
Lav produktivitet er uacceptabelt i arbejdsperioden. Mange af vores kunder vælger bare metal-løsninger fra Dell netop af denne grund; det er meget billigere og mere rentabelt at bruge fuld hardware under standarddrift, som praktisk talt ikke er underlagt utilgængelighed, som vi allerede har diskuteret, end at betale for meget for en sky mulighed og samme ydeevne i skyen, hvilket vil koste flere gange mere end en dedikeret løsning. Skyen og klyngedannelsen kan simpelthen ikke tilfredsstille ressourcebehovet og vil ikke være omkostningseffektive for sådanne kunder.
Abonnenter ønsker ikke at betale meget for en tjeneste med begrænsede muligheder. For det meste er vores kunder små virksomheder, der ikke har deres egne tekniske afdelinger og finansiering til at købe deres egen hardware. At købe hardware kan være et hårdt slag for dem og ikke give tilstrækkelig ydeevne, da hardware over tid har en tendens til at blive forældet, og det er en skam at smide dyr hardware væk selv efter 3 år, på et tidspunkt hvor virksomheden er vokset og noget bedre er havde brug for. Lejer du en Dell R730xd hos os, har du mulighed for at skifte til en anden server til enhver tid eller efter et år, hvis du vælger lejemuligheden med en kontrakt på et år. Desuden er der mulighed for at spare på at betale for VMware-licenser.
Brug af Dell R730xd-servere til databaseservere
Mange af vores kunder, der bruger disse databaseservere, er kommet til at elske denne platform. Og ikke kun fordi, i modsætning til Dell R730, kan xd-versionen forsynes med understøttelse af NVMe PCIe SSD-drev, som giver minimal latenstid, hvilket er ekstremt vigtigt for sådanne løsninger. Men også fordi controlleren er utrolig effektiv, når den arbejder selv med konventionelle 2,5" SSD'er, som vi tilbyder til kunder.
Der er selvfølgelig også en ulempe ved Dell R730xd – der er kun 1 controller, mens Dell R730 med 26 drev bruger 2 hardware controllere. Men det er ikke et væsentligt problem, da vi har valgt en platform med 12 drevpladser, og du vil derfor ikke få en flaskehals i form af utilstrækkelig controllerydelse, når du arbejder med denne platform og et stort antal SSD'er. Og fordelen i form af muligheden for at installere en NVMe PCIe SSD dækker fuldstændig denne ulempe.
Som nævnt ovenfor har ikke alle brug for komplekse databaseklynger; den ydeevne, som denne platform kan levere, er meget vigtigere. En af vores kunder gjorde netop det, forlod overskud af virtualisering og opbygning af komplekse klynger, lejede en VPS med dedikerede drev til databasesikkerhedskopiering fra den primære Dell R730xd-server: I tilfælde af et problem med hovedknudepunktet vil der naturligvis være et vist fald i ydeevnen, og der vil være behov for manuel omskiftning, dog er dette en mere end omkostningseffektiv løsning, givet det begrænsede budget.
Vi opfordrer ikke alle til at foretage sådanne besparelser, i nogle tilfælde er det endda meget berettiget. Men ved at øge budgettet med kun $230 pr. måned, har du råd til en identisk E5-2650 v4 node og forbinder dem sammen i et 20-Gigabit lokalt netværk, som i princippet giver dig mulighed for at bygge en lille klynge med acceptabel latency selv uden brug af PCIe NVMe SSD-drev.
Selve løsningen vil se sådan ud (med et grundlæggende sæt drev):
Dell R730xd 2 x Intel Dodeca-Core Xeon E5-2650 v4 128GB DDR4 6x480GB SSD 1Gbps 100 TV + Intel X540-T2 20GBPS LAN – $289/måned
Dell R730xd 2 x Intel Dodeca-Core Xeon E5-2650 v4 128GB DDR4 6x480GB SSD 1Gbps 100 TV + Intel X540-T2 20GBPS LAN – $289/måned
At øge deres antal for at øge produktiviteten giver ikke altid mening. Under test med databaser fandt vi således ud af, at en løsning med 8 SSD'er kun er 4 % mere effektiv end en løsning med 35 SSD'er.
Hvad angår anbefalede RAID-niveauer, kan RAID5 i nogle tilfælde være meget optimalt. Selvfølgelig giver RAID10 bedre ydeevne, men hvad nu hvis drevene er så hurtige, at brugen af dem i RAID10 ville få controlleren til at blive en flaskehals? I sådanne tilfælde er det meget mere rentabelt at bygge et HW RAID-array RAID5 ved at bruge hot-spare-drev end RAID10 (hvis målet ikke er at miste halvdelen af SSD-kvoten).
Skal jeg have controllerens cache aktiveret, eller er det bedre at deaktivere den? En RAID-controller har en meget begrænset mængde hukommelse, hvad er 1GB, når man arbejder med en SSD? I tilfælde med hurtige SSD'er nytter det ikke noget at have læsecachen aktiveret, da vi ved at fylde hukommelsen op med læseoperationer, som ikke bliver hurtigere, da SSD'er allerede er hurtige nok, efterlader vi ikke nok skrivecache, og , som det er kendt, i billige SSD'er — flaskehalsen er skriveoperationer på grund af et fald i ydeevne på grund af utilstrækkelig overforsyning og 100 % udnyttelse af den gratis kvote (et tidoblet fald er muligt). Derfor anbefaler vi kun at lade skrivecachen være aktiveret. Derved sikres maksimal effektivitet af denne løsning.
Betyder NTFS-blokstørrelsen virkelig noget? For de fleste lager er 64 KB angivet som den optimale blokstørrelse for maksimal ydeevne. Men meget ofte støder vi på tilfælde, hvor en klient allerede bruger en databaseserver ved at bruge den indledende konfiguration med en standard NTFS-klyngestørrelse på 4KB. For at løse dette skal du omformatere drevene, men er forskellen virkelig så stor i det generelle tilfælde? Har du brug for at udsætte dig selv for mulig nedetid og gener forbundet med migrering?
Controlleren i Dell R730xd-serveren giver så god ydeevne selv med 4 SSD-drev og skrivecachen aktiveret (et meget vigtigt punkt, læsecachen bør deaktiveres, fordi den ikke giver nogen fordele, men kun reducerer effektiviteten af skriveoperationer pga. til manglen på plads til en fuld cache, som angivet ovenfor), at selv med en standard blokstørrelse på 4KB, får vi meget gode ydeevneindikatorer, ekstremt gode.
Ikke desto mindre er vi altid villige til at mødes og er klar til at tilbyde en lignende platform i en periode for abonnenter til at udføre arbejde, hvis noget ikke blev taget i betragtning af dem.
RAMdrive viser sig stadig at være hurtigere end SSD-drev. Hvis dine forespørgsler kan behandles i TempDB, såsom sortering eller fletning, kan det være meget umagen værd at bruge RAMdisk (et program, der forvandler en del af din RAM til lager). Så efter at have sammenlignet hastigheden på 8 SSD-drev i RAID10 med RAMdrive, fandt vi ud af, at den er omkring 4 gange hurtigere for 4K-skriveoperationer med en kødybde på 32, hvilket nøjagtigt efterligner driften af TempDB-filer. Selv ved at kombinere 8 SSD'er i RAID0 var det ikke muligt at slå resultaterne af RAMdrive.
RAID5 i tilfælde af 8 SSD-drev kan være mere effektiv end RAID10. 4K-læsninger med en kødybde på 32 er omkring 40% hurtigere, hvilket ikke er overraskende i betragtning af funktionerne i RAID5. RAID5 vinder i ydeevne i andre test, for eksempel med sekventiel skrivning er den 20%, den er kun ringere i 4K skriveoperationer med en stor kødybde (i vores tilfælde 32) og viser sig at være mindre effektiv med 30%. Så brugen af RAID5 kan i nogle tilfælde være meget økonomisk begrundet.
Mere lagerplads betyder ikke altid hurtigere. Når vi har at gøre med tilfældige små operationer, forbedrer det slet ikke ydeevnen at tilføje drev til arrayet ud over en vis grænse. Det ser ud til hvorfor? Det viser sig, at alt afhænger af controllerens muligheder, som er tvunget til at skrive data til en hel masse drev. Derfor købte vi platforme med maksimalt 12 drev, for at mindske sandsynligheden for en flaskehals. Du skal dog se på intensiteten af operationer inden for hvert projekt, nogle gange kan 4 større drev, f.eks. 960 GB, være en bedre og mere omkostningseffektiv løsning end en masse 480 GB-drev.
Brug af Dell R730xd-servere til Aerospike NoSQL-dataservere
Aerospike er en open source NoSQL-database, der er flash-optimeret til hastighed og skalerbarhed. Aerospike er designet til at give meget lav latenstid til læseanmodninger og store skrivebelastninger, hvilket opfylder moderne forretningskrav, der kræver evnen til at håndtere et stort antal I/O-operationer. Aerospike administrerer direkte lokal lagring på sine klynge noder, uanset filsystemerne på kildemediet, det være sig DRAM, flash eller traditionelle harddiske. Dette gør det muligt at lagre kritiske data på de hurtigste medier, hvor hurtig behandling er mest kritisk, mens den distribuerede karakter af Aerospike-databasen sikrer en høj grad af pålidelighed i tilfælde af cluster node-fejl.
Dells 13. generation af PowerEdge R730xd-servere leverer en utrolig computerkraft med de nyeste E5-2650 v4-processorer og hurtig DDR4 SDRAM. Og evnen til at bruge NVMe SSD'er, såsom Samsung SM1715, kan hjælpe med at få enorm ydeevne med minimal latenstid i noder med høj belastning. Dette gør det muligt at overholde moderne SLA-krav til behandlingstiden for én transaktion med et pålideligt niveau af beskyttelse mod svindel selv i meget store databaser, hvilket gør løsningen acceptabel selv for den finansielle sektor og bankoverførsler, hvor transaktioner nogle gange udføres inden for flere timer eller endda dage.
Til banksektoren kan vi tilbyde en løsning baseret på disse platforme med et lokalt netværk på 40 og 100 Gbit/s mellem cluster noder og brug af passende switches.
Brug af Dell R730xd-servere i DMZ-netværk
Vi er glade for at kunne tilbyde vores abonnenter de højeste sikkerhedsstandarder. Datacentrene, hvor vi tilbyder disse servere, har mange certificeringer: , , , и .
Men for at opfylde kravene fra samme Google kræver nogle klienter opbygningen af såkaldte demilitariserede netværk (DMZ-netværk) - netværk med øget sikkerhed, hvilket indebærer tilstedeværelsen af en hardware-firewall, der begrænser adgangen til udstyr og giver dig mulighed for at skjul de nødvendige komponenter bag en firewall og mere forbedre sikkerheden mere.
Og alt er ok, når sådan en løsning bestilles med det samme, men det er meget vanskeligt at gennemføre overgangen med stort set ingen nedetid i processen, som for nylig skete for en af vores kunder, med et projekt for behandling af visumansøgninger for borgere fra forskellige lande af verden, hvor der er utilgængelighed selv i timer kan føre til tab på titusindvis af dollars. Men vi fandt en løsning, tog til møde, lagde ekstra udstyr i skabet, flyttede mindre vigtigt udstyr og tændte for firewallen efter skemaet, som kunden ønskede, så han kunne gennemføre migreringen uden nedetid.
Var/blev
Måske vil denne ordning også være nyttig for nogen, når de udfører sådan en migrering, da ingeniører i datacentre ikke altid ønsker at se indlysende ting, men insisterer på en 2-timers nedetid for at skifte bag firewallen, men jeg beder dig venligst - bestil en hardware firewall på forhånd, hvis du har brug for det. Vi er fleksible og altid villige til at imødekomme, men i nogle situationer kan vores muligheder være begrænsede.
I fremtidige publikationer vil vi forsøge at udføre en række yderligere tests og dele yderligere erfaringer med disse platforme, som yderligere vil forbedre forståelsen af valget af den mest effektive løsning. Det er trods alt overraskende at se, at RAID0 af to SSD-drev, i tilfælde af databaser med høj belastning, kan vise sig at være langsommere end et separat skrivedrev, hvorfor vi fra tid til anden modtager anmodninger om NVMe PCIe SSD til tid. Det er sandsynligt, at vi vil vise de mest effektive scenarier til implementering af løsninger, dele yderligere erfaringer, når det er effektivt at bygge flere RAID-arrays inden for en RAID-controller, og vise i hvilke tilfælde to uafhængige RAID10-arrays med 4 drev vil være bedre end én RAID10-array af 8. Hvornår vil det være effektivt at bruge RAID1 til TempDB og RAID5 til alt andet. Og hvordan kan du undvære NVMe PCIe SSD, når du har et begrænset budget.
Dell R730xd: bonus til Habrahabr-læsere
Vi ønsker at give dig det bedste og har gjort alt for dette ved at tilbyde unikke priser for Dell R730xd:
- i Holland
- og i USA
Konfigurationer kan være meget forskellige, f.eks. Følgende er tilgængelige for øjeblikkelig aktivering i Holland::
Dell R730xd 2 x Intel Dodeca-Core Xeon E5-2650 v4 128GB DDR4 6×480 SSD 1Gbps 100 TV -*$249
Dell R730xd 2 x Intel Dodeca-Core Xeon E5-2650 v4 128GB DDR4 12×240 SSD 1Gbps 100 TV -*$249
Dell R730xd 2 x Intel Dodeca-Core Xeon E5-2650 v4 128GB DDR4 4x4TB 4x480 SSD 1Gbps 100 TV — *$249
Dell R730xd 2 x Intel Dodeca-Core Xeon E5-2650 v4 128GB DDR4 12x4TB SATA 1Gbps 100 TV — *$249
Og en ærlig dedikeret 1 Gbps Unmetered (eksklusive trafik) er tilgængelig for dem for +$120/måned. Plus mulighed for at købe en firewall, netværkskort, en switch og bygge et multi-gigabit lokalt netværk. Men prisbetingelsen gælder for en kontrakt på et år.
Vi ønsker at forbedre tilstanden og tilbyde en bonus for kortfristede betalinger og leje uden kontrakt, hvilket gør tilbuddet mere overkommeligt. Enhver, der bestiller og betaler for nogen af de foreslåede muligheder i Holland i en periode på 1 måned, vil vi give nøjagtig den samme server i 1 måned helt gratis, eller vi genberegner den bestilte konfiguration og beregner den bestilte server til samme pris som for en årskontrakt ($249/måned i stedet for $369/måned), hvilket returnerer forskellen til saldoen. For at gøre dette skal du blot efterlade dit ordrenummer i kommentarerne. For dem, der endnu ikke er modnet til dedikerede løsninger, tilbyder vi at leje enhver VPS (KVM) med dedikerede drev i Holland eller USA på disse platforme, f.eks. , og få en bonus på 1-4 måneders brug ved betaling for henholdsvis 1, 3, 6, 12 måneder, med angivelse af ordrenummer i kommentaren. Nu er det blevet nemmere at bygge infrastruktur!
Kilde: www.habr.com