I den här artikeln kommer vi att berätta vilka infrastrukturlösningar våra kunder implementerar med hjälp av Dell R730xd-serverplattformar och varför priset för att hyra denna plattform är med utmärkta kommunikationskanaler till Ukraina och Ryssland, samt , redan med placering och anslutning till ett pris har blivit verklighet. Vi kommer att dela möjliga lösningar baserade på dessa plattformar med hjälp av privat vlan, 10G lokalt nätverk och hårdvarubrandvägg från CISCO, som är tillgängliga för våra kunder på begäran. Och även, i de bästa traditionerna, kommer vi att erbjuda en bonus i form av en gratis period av användning av Dell R730xd-servrar för Habrahabr-läsare.
På senare tid har vi fått fler och fler förfrågningar om att bygga olika företagsinfrastrukturer, och detta hänger tyvärr inte så mycket ihop med det faktum att vi tillhandahåller lösningar av mycket hög kvalitet, utan med priset på dessa lösningar och nivån på säkerhet och rättsstatsprincipen, som tillhandahålls i Nederländerna och USA, men tyvärr ofta inte är tillgänglig i Ukraina och Ryssland. Där sådana lösningar tyvärr bara kostar "astronomiska" pengar, eftersom begreppet "långsiktiga pengar" är främmande för postsovjetiska länder i princip, mot bakgrund av andra risker eller på grund av bristen på nödvändig infrastruktur och nivå av certifiering.
Ett bra exempel här skulle vara skillnaden i priset på hårdvara. T.ex, Dell R730xd-plattform, köpt till våra kunder, i grundkonfigurationen kostar 2 x Intel Dodeca-Core Xeon E5-2650v4 128GB DDR4 6x480GB SSD cirka 9000 XNUMX euro. Det säger sig självt att det inte kan vara fråga om något lågt pris för att hyra denna server i Ukraina eller Ryssland, eftersom hyreskostnaden baseras på återbetalningen av kostnaden för plattformen under en period av 12-18 månader. Detta innebär att det lägsta möjliga hyrespriset, exklusive kostnaden för boende, el och kommunikationskanaler, kommer att ligga i intervallet $500-800/månad, beroende på graden av risk hos leverantören och affärsplanen. Du måste också hitta ett bra datacenter med den nivå av certifiering som krävs och kommunikationskanaler. Tja, glöm inte att ta hänsyn till riskerna för olaglig beslagtagande av utrustning under vissa olagliga utredningsåtgärder som kan uppstå på grund av konkurrens och detaljerna i att göra affärer i en viss region.
Därför är det inte förvånande att vårt förslag väckte stort intresse, särskilt eftersom de datacenter där vi tillhandahåller de föreslagna servrarna har många certifikat som är nödvändiga och viktiga för företagssektorn - , , , и .
Låt oss nu titta på flera fall som kan vara av intresse både för nybörjare och små projekt, och för ganska stora systemintegratörer som bygger lösningar på sina kontor i inneslutningszoner eller i datacenter.
Fördelar med Dell R730xd-plattformar när du bygger datalager med Red Hat Ceph
Det är ingen hemlighet att kraven på datalagring och bearbetning ständigt växer, och i snabbare takt. Om det för några år sedan räckte med 1TB lagring, vilket gav flera hundra IOPS, har nu behoven ökat till tiotusentals IOPS och petabyte utrymme. Dessa krav på kapacitet och prestanda underblåses delvis av en ökning av volymen ostrukturerad data, inklusive musik, bilder, videor, säkerhetskopiering av databas, loggfiler och andra arkiv, finansiell och medicinsk data - data som kallas "Big Data". För att inte tala om de växande kraven på datalagring som ett resultat av spridningen och expansionen av Internet och nya Internetresurser. Så med alla dessa kraftkrav är kundernas förväntningar på hög tillförlitlighet och hög prestanda större än någonsin.
Medan IT-företag försöker lösa problemen med att hantera petabyte och till och med exabyte data, blir molnlagringsmodellen allt vanligare i moderna datacenter. Fler och fler nya mjukvarusystem skrivs som låter dig konfigurera molnmiljöns interaktion med hårdvara på ett optimalt sätt; en av sådana utvecklingar är Ceph.
Ceph är ett distribuerat lagringssystem med öppen källkod designat för att ge hög prestanda, tillförlitlighet och skalbarhet. Ceph implementerar objektlagring på ett distribuerat datorkluster och tillhandahåller gränssnitt för lagring av objekt, block och filer. Ceph tillhandahåller fullt distribuerad lagring utan en enda felpunkt och skalbarhet till petabytenivå. Ceph replikerar data och ger därmed feltolerans. Systemet är utformat på ett sådant sätt att det inte bara ger oberoende återhämtning, utan även hantering, vilket hjälper till att undvika onödiga underhållskostnader. Eftersom Ceph använder hårdvara för allmänna ändamål som kontrolleras av mjukvara och hanteringsfunktioner är tillgängliga via applikationsprogrammeringsgränssnitt (API), klassificeras den som mjukvarudefinierad lagring (SDS).
Red Hat Ceph Storage är ett färdigt lagringssystem, mjukvarudefinierat lagringssystem som är öppet, anpassningsbart, skalbart och stöds överallt. Kombinerar innovationer från öppen källkodsutveckling med teknisk kärna och support från Red Hat. Lösningen ger tät integration med OpenStack och är designad från grunden för att möjliggöra nästa generations lagring för både molnmiljöer och andra arbetsbelastningar.
Här kommer vi att titta på ett exempel på implementering av denna lösning på Dell-servrar, särskilt Dell PowerEdge R730xd, som vi erbjuder att hyra, och överväga fördelarna med att bygga lagring baserat på dessa plattformar. Den här informationen kan vara användbar för arkitekter, ingenjörer och IT-administratörer som vill utforska fördelarna med att använda Red Hat Ceph Storage på Dell PowerEdge-servrar och som måste designa och planera implementeringar med beprövad bästa praxis.
Men i början:
Lite om själva plattformen, vilket alternativ erbjuder vi och varför är det kostnadseffektivt?
Dell PowerEdge R730xd är överlägset en av de bästa plattformarna för företagsuppgifter och mer, den har vunnit många olika utmärkelser och är en ganska effektiv lagringslösning, eftersom den kan tillhandahålla lagring med hög densitet för rimliga pengar.
PowerEdge R730xd finns tillgänglig i tre chassikonfigurationer med olika formfaktorer och drivkombinationer, samt en bakre expansionsenhet som tillval:
- 24 främre åtkomliga 2,5" fack för SAS, SATA eller nearline SAS-enheter plus 2 valfria 2,5" bakre fack. 2,5-tums chassit kan valfritt stödja upp till 4 PCIe Express Flash-enheter från Dell i fronten.
- 12 främre åtkomliga 3,5-tums SAS-, SATA- eller nearline SAS-enhetsfack med 4 valfria interna 3,5-tums enhetsfack, plus två valfria 2,5-tumsfack på baksidan.
- 18 främre åtkomliga 1,8"-fack för SATA, 8 3,5"-fack för SAS-, SATA- eller nearline SAS-enheter, plus 2 valfria 2,5"-fack på baksidan.
Det verkar som att varje chassi är bra för sin typ av uppgift. Detta är säkert. Men är de verkligen lika kostnadseffektiva?
Vi valde det andra alternativet för att tillfredsställa behoven hos ett så stort antal användare som möjligt på ett chassi med 12 enhetsfack. För vi anser att det är det mest effektiva. Och det är varför. Lösningens ekonomiska effektivitet manifesteras redan i dess mångsidighet - enheter av olika formfaktorer kan installeras i detta chassi och det är billigare att köpa, och även, viktigare, kan du få större produktivitet när du arbetar med data med hjälp av flera sammankopplade plattformar snarare än bara en med hög lagringstäthet och uppenbart lägre produktivitet.
Vi tror att genom att ansluta flera liknande plattformar till ett multi-gigabit lokalt nätverk (det är möjligt att ansluta varje nod till ett lokalt nätverk med hastigheter på 20 Gbit/s eller mer, med dubbla portar tio-gigabit Intel X540-T2-kort, som vi tillhandahåller dessutom), kan vi uppnå betydligt bättre resultat och prestanda än plattformar med högre lagringstätheter. Detta är särskilt viktigt för infrastrukturer som använder dessa plattformar för att arbeta med databaser. Tyvärr, med ett stort antal enheter kan styrenheten vara ganska överbelastad, och en extra styrenhet i xd-versionen, tyvärr, är inte tillgänglig. Prestandan som kan uppnås när man använder plattformar med exakt 12 fack och ett lokalt multi-gigabit-nätverk blir mycket högre, och lösningen blir i sin tur mer distribuerad och tillförlitlig. Med ett ord - kostnadseffektivt!
Funktioner av struktur och design, användning av grafikkort
Dell PowerEdge R730xd-plattformen, som endast mäter 2U, stöder upp till 2 Intel Xeon E5-2600 v3-processorer och högre, det vill säga den låter dig få upp till 36 kärnor när du använder 18-kärniga processorer. Vi valde ett mellanliggande alternativ, men den senaste generationen - den 12-kärniga E5-2650 v4-processorn (24 kärnor till ditt förfogande totalt, och med hänsyn till multi-threading - 48 kärnor), eftersom det visade sig vara mest kostnad -effektiv. Så i den fjärde generationen implementeras effektivare processorinstruktioner, till exempel är AES, som ansvarar för datakryptering, 70% effektivare än samma processorer, men den tredje generationen. Samtidigt kan processorn och plattformen stödja upp till 1,54 TB RAM, vilket är viktigt i vissa mycket specifika fall. Vi valde det mest populära alternativet, det mest prisvärda när det gäller pris och driftshastighet - 128 GB DDR4 RAM och gav möjligheten till en uppgradering på begäran av abonnenter.
På frontpanelen på R730xd finns 6 systemstatusindikatorer som kan meddela dig om olika problem, så att du kan undvika många kritiska problem genom att vidta lämpliga åtgärder i tid. DIMM-platser för RAM-minne finns direkt på moderkortet. R730xd stöder registrerade felkorrigerande DIMM-moduler samt LRDIMM (Load Reduced Dual In-Line Memory Modules), en relativt ny typ av minne för servrar. Men vi använder det inte, eftersom LRDIMM:er blir användbara endast för stora mängder minne, när målet är att öka driftshastigheten.
Den interna Dual-SD-modulen (IDSDM) gör det möjligt för kunder att distribuera Dells feltoleranta virtualiseringsteknik, som ger redundans för failover för inbyggda hypervisorer. Även om PowerEdge R730 stöder GPU:er, vilket kan vara mycket användbart i virtuella kontorsmiljöer (virtuella stationära datorer), såväl som för högpresterande datorer och samarbetsprocesser, stöder R730xd inte GPU:er eftersom korrekt kylning inte kan tillhandahållas grafikkort. Än så länge har vi dock liten efterfrågan på denna tjänst och endast en av våra prenumeranter har beställt ett grafikkort till servern. Det är av denna anledning som vi inte beställde R730-plattformar i bulk, utan kan leverera dem på begäran, utrustade med ett av de rekommenderade korten.
På grund av detta kan tyvärr inte priset för att hyra en lösning vara så attraktivt och ökar med mer än 2 gånger, beroende på betalningsperioden och kontraktets löptid. Vi erbjuder att köpa korten själva genom vår leverantör i Nederländerna, priserna anges nedan och endast från denna rekommenderade lista (detta var rekommendationerna från Dell själv när vi gjorde förfrågan), kanske denna information kommer att vara användbar för någon:
NVIDIA Tesla M10 GPU CusKit: 2,884.98 XNUMX EUR
NVIDIA Tesla M40 GPU: 4,913.33 XNUMX EUR
NVIDIA Tesla M40 24GB GPU, Cust Kit: 6,458.95 XNUMX EUR
NVIDIA M60 GPU, Passiv, Kräver GRID 2.0 SW för VDI-funktion, Cust Kit: 5,094.95 XNUMX EUR
Licenser:
Nvidia GRID vApps Prenumerationslicens 3 år, 1 CCU: 20 EUR
Nvidia GRID vPC-prenumerationslicens 3 år, 1 CCU: 95 EUR
Nvidia GRID vWS Prenumerationslicens 3 år, 1 CCU: 480 EUR
Så om du är redo för ett kontrakt på minst 2 år för att hyra en Dell R730-server (inte xd, vilket är anledningen till att lösningen är mycket dyrare) - kontakta [e-postskyddad], vi hjälper dig gärna! Genom att använda ett av grafikkorten som rekommenderas ovan, i DELL R730 2 x E5-2650 v4 / 128GB / 6 x 480GB SSD / 1Gbps 100TB + GPU-konfiguration och ett 2-årskontrakt, kommer det att kosta cirka 6816 USD per år, istället för 2988 USD per år i fallet Dell R730xd+-plattformen som diskuteras i artikeln kommer att kräva betalning för kostnaden för grafikkortet och licensen, eftersom detta är mycket specifik utrustning.
Men även detta pris är mycket mer attraktivt än de priser som datacenter i Ukraina och Ryssland kan erbjuda för sådana lösningar, om de överhuvudtaget vill tillhandahålla sådana lösningar... För konstigt nog i Nederländerna, där samarbetet med Dell etableras direkt, den utlovade leveranstiden för servern med ett grafikkort var nästan 2 månader från det att vår kund gjorde beställningen (klienten gick med på att vänta, eftersom det helt enkelt inte finns några alternativ på marknaden), på grund av denna produkts starka specificitet Dell hade det helt enkelt inte i lager. Trots det var leveransen klar på mindre än en månad. Tack till datacenterförsörjningsavdelningen och killarna från Dell för deras effektivitet. Men för mig var denna upplevelse fortfarande ovanlig, eftersom standard Dell R730xd-plattformar levereras inom några dagar.
PERC Controller kontroller och funktioner
Servern kan hanteras genom den bekväma iDRAC8 (Integrated Dell Remote Access Controller 8) med Dell Lifecycle Controller, vilket minskar tiden som ägnas åt hanteringsuppgifter, minskar sannolikheten för fel, förbättrar säkerheten och förbättrar den övergripande effektiviteten i din IT-miljö.
För våra prenumeranter tillhandahålls åtkomst till iDRAC8 via RMI (Remote Management Interface), som är tillgängligt exklusivt från det privata datacenternätverket för säkerhetsändamål, åtkomst till vilken vi tillhandahåller via en Open VPN-tunnel gratis. När du är inloggad visar iDRAC en systemöversikt samt en virtuell konsolvy via iKVM.
Jag skulle vilja ägna särskild uppmärksamhet åt övervakning; iDRAC8 låter dig få strömförbrukningsstatistik för den senaste timmen, dagen eller veckan och begränsa den maximala strömförbrukningen:
iDRAC-temperaturövervaknings- och registreringssystemet låter dig samla in data från temperatursensorer och bestämma intervallet i vilket det är placerat. Därför anses det vara acceptabelt för processorer att endast vara i varningstemperaturintervallet 10 % av tiden under året och Kritisk under 1 %. Tiden i det kritiska bandet påverkar också den tillåtna tiden i varningsbandet. Temperaturdatainsamlingen börjar när systemet slås på efter att ha lämnat fabriken och kan inte återställas.
Den 13:e generationen av Dell PowerEdge-servrar är utrustad med PERC9-kontroller, där LSI CacheCade-tekniken som tidigare använts i PERC8-kontrollerna har ersatts med en mer effektiv sådan - DAS Cache från SanDisk.
I syntetiska tester accelererar DAS Cache avsevärt prestandan för HDD-arrayer i fall av hybrid HDD+SSD-konfigurationer. Så, i fallet med en array med 5 hårddiskar i RAID6 (nivå 6 är vald för att ge maximal kapacitet) och 5 SSD RAID10 (4 + 1 hot reserve SSD för att maximera prestanda för arrayen) när du använder DAS Cache, prestanda för arrayen är 5 HDD RAID6 + DAS Cache på den angivna SSD-arrayen visade sig vara nära prestandan för själva SSD-arrayen:
Så efter att ha bekantat oss lite med plattformen kan vi nu titta på fördelarna med denna plattform när vi bygger lagringsanläggningar.
Vad gör Dell R730xd-plattformen optimal för distribution av datalager, särskilt Red Hat Ceph?
Red Hat Ceph Storage-miljön använder industristandardservrar för skalbarhet, motståndskraft och prestanda. Dataskyddsmetoder spelar en nyckelroll i kostnaden för lösningen. Ceph låter användaren välja olika säkerhetsmetoder för olika lagringspooler.
Replikerade lagringspooler producerar fullständiga kopior av lagrade objekt och är idealiska för snabb återställning och datamanipulation. I fallet med en replikerad lagringspool använder Ceph som standard en replikeringsfaktor på tre när tre kopior av data finns på tre separata Ceph-noder.
Korruptionsbeständiga lagringspooler ger en enda kopia av data med paritet, vilket är användbart när långtidslagring av data krävs och är kostnadseffektiv.
PowerEdge R730xd är en exceptionellt flexibel och skalbar rackserver med två enheter som levererar högpresterande bearbetning och ett brett utbud av arbetsbelastningsoptimerade lokala lagringsalternativ, inklusive hybridnivåer. Utvecklingen inkluderar ett brett utbud av konfigurationer, vilket är idealiskt för Ceph.
— R730xd ger möjligheten att skapa högeffektiva infrastrukturlösningar för både små och stora företag.
— R730xd minskar idrifttagningstiden med automatiserade distributionsmöjligheter, vilket minskar användarinmatning och minskar mänskliga fel.
"PowerEdge-servrar förbättrar datacentrets IT-prestanda med innovativa hanteringsverktyg som iDRAC Quick Sync och iDRAC Direct, vilket ger omfattande systemtillstånd och snabb implementering.
"PowerEdge-servrar optimerar strömförbrukningen, ger bättre prestanda per watt och mer exakt kontroll över strömförbrukning och kylning.
Dell PowerEdge R730xd ger fördelar som säkerställer maximal produktivitet genom att:
— Accelerera applikationseffektiviteten genom användning av den senaste tekniken och dynamisk lokal lagring.
"Skalningen är enkel och snabb med lagring med frontåtkomst som stöder ett brett utbud av enheter från lågpris SATA-hårddiskar till ultrasnabba 2.5" SSD-enheter, såväl som enheter med ultralåg latens som PowerEdge Express Flash NVMe PCIe SSD.
– R730xd är väl lämpad för hybridlagringsdesigner tack vare användningen av nya cachningsteknologier i PERC-styrenheten, vilket ökar kostnadseffektiviteten för Ceph-lösningen.
Ett exempel på infrastrukturimplementering med Red Hat Ceph Storage, som består av 5 Dell R730xd-servrar, kan du se nedan:
Under oberoende tester av olika konfigurationer av Dell R730xd-plattformar erhölls följande resultat:
Vår version av plattformen visar mycket bra resultat, och när det gäller läsning, kanske det bästa. Och om vi tar hänsyn till det faktum att vi beställde dessa plattformar i stora kvantiteter och på grund av detta kan vi erbjuda ett pris som är mer än 2 gånger lägre än för andra plattformsalternativ - det visar sig vara det bästa konsoliderade för läsning och skrivning. av den kostnadseffektiva parametern. I slutändan är det inget som hindrar dig från att bygga ett kluster med 7-8 plattformar, istället för 5. Samtidigt får du ännu större feltolerans.
Krävs 10-Gigabit-switchar när man bygger sådana infrastrukturer? Nej, inte nödvändigt, en av våra kunder byggde en infrastruktur, om än från 3 servrar, med hjälp av följande lokala nätverksanslutningsschema:
Vilket gjorde det möjligt för honom att spara en hel del - $350 / månad på switchuthyrning, eftersom 10-Gigabit-switchar är ganska dyra och vi tillhandahåller bara det bästa - Arista 7050tx-48-r. Vi ser ingen mening med lösningar för flera portar.
Vad är Dell R730xd-plattformarna kapabla till i princip?
För inte så länge sedan genomförde Microsoft ett intressant test av dessa plattformars prestanda när det gäller att bygga datalager med ett litet antal noder.
Vi använde 4 Dell R730xd-noder, förenade till ett lokalt 100-gigabit-nätverk med en 32-portars Arista DCS-7060CX-32S 100Gb-switch, med EOS-version 4.15.3FX-7060X.1.
Konfigurationen av de använda noderna är som följer:
2x Xeon E5-2660v3 2.6Ghz (10c20t)
256 GB DRAM (16x 16 GB DDR4 2133 MHz DIMM)
4x Samsung PM1725 3.2TB NVME SSD (PCIe 3.0 x8 AIC)
Dell HBA330
4x Intel S3710 800GB SATA SSD
12x Seagate 4TB Enterprise Capacity 3.5” SATA HDD
2x Mellanox ConnectX-4 100 Gb (Dual Port 100 Gb PCIe 3.0 x16)
Mellanox FW v. 12.14.2036/XNUMX/XNUMX
Mellanox ConnectX-4 Driver v. 1.35.14894
Enhetens PSID MT_2150110033
Enport ansluten / adapter
Med VMFleet höjdes 20 virtuella maskiner på varje nod, det vill säga totalt 80 virtuella maskiner. Varje virtuell maskin konfigurerades med 1vCPU. VMFleet användes sedan för att köra DISKSPD-verktyget för att testa lagringsprestanda på var och en av de 80 noderna, verktyget är tillgängligt gratis . Testparametrarna är som följer - 1 tråd, 512KiB sekventiell avläsning för 4 I/O-operationer.
Som du kan se på bilden ovan lyckades vi uppnå ett otroligt resultat på 60 gigabyte per sekund totalt, vilket är ungefär lika med 5 engelska versioner av Wikipedia i komprimerad form (11.5GiB), som laddas ner varje sekund. Och hastigheten från varje virtuell maskin var ungefär en CD per sekund - 750 MB.
Detta test visar perfekt hur effektiv en lösning kan vara när de tre komponenterna beräkning, lagring och nätverk är balanserade, vilket minimerar de potentiella flaskhalsar som kan uppstå i ett obalanserat system.
Hur är det med plattformar från andra tillverkare?
Jämförelse mellan Dell R730xd och HP ProLiant DL380
För att jämföra prestanda valde vi svagare hårdvara än vi erbjuder att hyra – servrar med en E5-2620v3-processor, snarare än en E5-2650v4, som är betydligt mer produktiva. Den huvudsakliga testmetoden som användes för denna jämförelse var att mäta antalet IOPS. Flera olika simuleringar av arbetsbelastning användes, nämligen alla Läs och 30 % Läs / 70 % Skriv (analogt med ett OLTP-system, ett transaktionssystem, vid bearbetning av små transaktioner, men ett stort flöde, och klienter måste säkerställa minimal svarstid).
Tester utfördes flera gånger för att eliminera den negativa inverkan av dolda faktorer på systemets prestanda. Först körde vi några grundläggande tester på en Dell R730xd och en HP ProLiant DL380 med endast HDD-lagring (5x1TB HDD RAID5) för att ge en baslinjeprestanda. Samma uppsättning tester kördes sedan med 5x1TB HDD RAID-5-lagring med DAS-cache installerad på SAS SSD-enheter (2xSAS 480GB Samsung SSD RAID1) på en Dell-server och på en HP-server som använder HPE SmartCache med en liknande uppsättning enheter för lagring och cachelagring. Slutligen kördes den sista uppsättningen tester på en Dell-server med DAS Cache på NVMe PCIe SSD-enheter (2x400GB Samsung NVMe i mjukvaru-RAID) för att visa det maximala bidraget från caching till applikationsprestandavinster i läs- och skrivintensiva fall. Ett liknande test utfördes inte på HP-servern eftersom Smart Cache inte stöder NVMe-enheter för cachning.
Systemkonfiguration:
Dell PowerEdge R730xd (13:e generationen)
HP ProLiant DL380 (9:e generationen)
server
CPU: x86-64 - Intel Xeon CPU E5-2620 v3 @2.40GHz;
Minne: 32GB DDR4.
CPU: x86-64 - Intel Xeon CPU E5-2620 v3 @2.40GHz;
Minne: 32GB DDR4.
Operativsystem/mjukvara
Windows 2012 R2 SP1;
SanDisk DAS Cache v1.4.
Windows 2012 R2 SP1;
HPE SmartCache.
Lagring/cache
5x1TB HDD RAID5;
2xSAS 480GB Samsung SSD RAID1;
2x400GB Samsung NVMe Software RAID.
5x1TB HDD RAID5;
2xSAS 480GB Samsung SSD RAID1.
Test
Simulera OLTP läs-skriv-arbetsbelastning;
300 GB databasstorlek;
4 samtidiga IOMETER-arbetare med ett ködjup på 32.
Simulera OLTP läs-skriv-arbetsbelastning;
300 GB databasstorlek;
4 samtidiga IOMETER-arbetare med ett ködjup på 32.
Flera slumpmässiga läs/skrivtester utfördes i olika blockstorlekar - 4 och 8 KB. För varje blockstorlek utfördes i sin tur tester vid 100 % läsoperationer, samt vid 70 % läsoperationer och 30 % skrivoperationer. Tester som var relaterade till prestandaacceleration med hjälp av caching kördes i 900 sekunder (15 minuter) för att ge tillräckligt med tid för att cachen ska bli fullt funktionsduglig och ge mer exakta resultat.
Prestandamätning i IOPS (ingång/utgångsoperationer per sekund):
Server/konfiguration under test
4KB RR
100% läst
4KB RR
70% Läs 30% Skriv
8KB RR
100% läst
8KB RR
70% Läs 30% Skriv
Dell R730xD (ingen cache)
1650
974
1540
1040
HP ProLiant DL380 (ingen cache)
1370
628
1322
630
Dell R730xD
med DAS-cache
138884
66483
98368
56641
HP ProLiant DL380
med SmartCache
41273
33534
35984
39396
Dell R730xD med
DAS Cache och
NVMe PCIe SSD
264750
158157
257150
104490
Prestandamätning i % processoranvändning:
Server/konfiguration under test
4KB RR
100% läst
4KB RR
70% Läs 30% Skriv
8KB RR
100% läst
8KB RR
70% Läs 30% Skriv
Dell R730xD (ingen cache)
0,4%
0,28%
0,42%
0,3%
HP ProLiant DL380 (ingen cache)
0,8%
0,5%
0,8%
0,5%
Dell R730xD
med DAS-cache
13%
8,8%
11,34%
7,83%
HP ProLiant DL380
med SmartCache
6%
6%
5%
5%
Dell R730xD med
DAS Cache och
NVMe PCIe SSD
16%
10,1%
16%
5,78%
Testresultat visar betydande prestandavinster för Dell R730xd-plattformar när man använder SanDisk DAS-cache-cache jämfört med HPE SmartCache, och NVMe PCIe SSD-stöd ger ännu större fördelar. I OLTP-simuleringar visade R730xd upp till 3 gånger högre IOPS på grund av användningen av SanDisk DAS Cache och SAS SSD och 6 gånger högre på grund av användningen av SanDisk DAS Cache + NVMe PCIe SSD jämfört med HPE:s SmartCache. Det högre CPU-utnyttjandet med SanDisk DAS Cache, och det ännu högre CPU-utnyttjandet med SanDisk DAS Cache + NVMe PCIe SSD, är helt enkelt en konsekvens av det mycket högre IOPS-antalet. och tvärtom visar mer optimal förbrukning av processorresurser.
Så om i HP med 6% utnyttjande är resultatet i IOPS 41 tusen, det vill säga 1% av processorresurserna förbrukas per tusen IOPS, så har vi i fallet med Dell R0,15xd 730% förbrukning vid 16 tusen, vilket ger en mer effektiv indikator — 264 % av processorresurserna per 0,06 IOPS.
Det vill säga när det gäller processoranvändning visar sig Dell också vara bättre (2,5 gånger), även om den har processorutnyttjandevärden som är % högre, men som vi kunde verifiera är detta bara en konsekvens av bearbetning ett betydligt större antal operationer, och därmed bättre produktivitet.
Därmed visar sig Dell R730xd-plattformen vara betydligt mer effektiv än HP ProLiant DL380 (många gånger), både vad gäller prestanda och kostnadseffektivitet.
Resultat av Geekbanch 3-test Dell R730xd med E5-2640 v4-processor eller varför processorinstruktioner och kontrollercache är viktiga
Som vi kan se ovan, vi kan uppnå maximala resultat endast när de tre komponenterna - datorkraft, lagring och nätverk - är balanserade, eftersom potentiella flaskhalsar som kan uppstå i ett obalanserat system minimeras.
Men det som också är extremt viktigt är plattformsprocessorns stöd för ett antal instruktioner och deras effektivitet. Jag nämnde redan ovan att en till synes obetydlig skillnad i generationer kan spela en ganska betydande roll i vissa fall. Enligt resultaten från oberoende tester är E5-2650 v4 som vi tillhandahåller 70 % effektivare i fallet med kryptering (AES-instruktioner) än E5-2650 v3.
Hur är det då med de "goda" lösningarna från konkurrenter från lågprissegmentet, men inte premiumsegmentet? Varför är våra lösningar bättre? Varför är våra lösningar premium? Svaret är enkelt - våra servrar var och är balanserade. Även om de tidigare hade lägre frekvenser eller mindre mängder minne, var de alltid balanserade enligt de tre parametrarna som beskrivs ovan. Inklusive ett pålitligt datacenter med de certifikat som krävs av företagssegmentet och utmärkta externa kommunikationskanaler som ger minimal latens från Nederländerna, både till resten av Europa och till Ryssland och Ukraina, och till och med
Men nu har vi gjort ett konkurrenskraftigt erbjudande när det gäller dessa indikatorer, på 10 platser samtidigt, en i Nederländerna och 9 platser i USA, men låt oss inte prata om oss, låt oss titta på testet. Tyvärr är detta test för närvarande endast tillgängligt för version E5-2640 v4, med 10, inte 12 kärnor, för vår plattform.
Det är naturligtvis inte särskilt objektivt, eftersom det inte tar hänsyn till alla fördelar med plattformen, samma SanDisk DAS-cache som vi pratade om, verkliga prestandaindikatorer kan visa sig vara mycket bättre än syntetiska i en viss fall, mycket! Men det går ändå att få lite förståelse.
Låt oss uppmärksamma många instruktioner. Det mest indikativa kan vara den redan nämnda AES, vid ungefär samma frekvenser kan skillnaden mellan värdena för den första kärnan vara upp till 1 gånger beroende på processorn, de återstående instruktionerna som jämfördes visade skillnader i värden från flera till 1000 gånger.
Du kan göra det själv och gör en jämförelse, men glöm inte att detta test inte är helt vägledande, eftersom det inte tar hänsyn till hårdvaran som helhet, utan främst kännetecknar processorn.
Ändå hoppas jag att dessa resultat kan vara användbara för dig när du analyserar effektiviteten av en viss lösning.
Att använda Dell R730xd-servrar som Bare Metal, helt enkelt bättre!
Några av våra kunder bestämde sig för att överge användningen av VMwares molnlösningar till förmån för Bare Metal-lösningar (järnservrar) och Dell R730xd-plattformen hjälpte dem mycket i detta. Och vi pratar här inte bara om offentliga moln, utan också om privata.
Varför fattar människor allt oftare sådana beslut? När det gäller publika moln är allt mer eller mindre klart. Själv betraktar jag publika moln som stor marknadsföring, faller något där (och alla moln faller förr eller senare) så faller det dit länge. Ett exempel är samma välkända Amazon, som vid ett tillfälle låg kvar i flera dagar tillsammans med en viktig tjänst för att samla in telemetrisk medicinsk data, inklusive data om hjärttillståndet hos patienter som använder pacemaker, som övervakades av läkare, flera människor dog... Och nyligen, när vårt företags Bitrix låg ner, visade det sig att orsaken var att de anställda, som höll på att stänga av några av maskinerna, till följd av ett stavfel, stängde av fler noder än nödvändigt, påverkar hanteringsnoderna, vilket resulterade i att de virtuella maskinerna startades om inom 5 timmar på grund av stor klusterstorlek... Men detta är inte det enda möjliga problemet, det kan hända att du plötsligt får en "flaskhals" på grund av användningen av molnet av några andra projekt eller bristen på förmåga att snabbt hantera dess infrastruktur för att möta dina egna behov.
När det gäller privata moln, i teorin, förenklar virtualisering tillgänglighet och katastrofåterställning. I praktiken finns det många situationer där detta helt enkelt inte är vettigt:
Vid tekniska problem på noden är 15-30 minuters driftstopp acceptabelt.
Alla projekt behöver inte en drifttid på cirka 100 %, förutom skolbarn som är vana vid att betala en dollar och kräva 100 %. För vissa projekt är en garanterad drifttid på 99,9 % mer än ett acceptabelt alternativ. Eftersom 0,1 % är en otillgänglighet på max 44 minuter per månad, vilket kan uppstå av olika oplanerade anledningar – på grund av hårdvarufel eller nätverksavbrott. Vi garanterar nätverksuppetid på 99,99 % för standardlösningar, vilket tillåter en otillgänglighet på endast 4 minuter per månad. Om servern är ansluten till 2 oberoende kanaler som passerar genom olika kommunikationsnoder och vars trafik bearbetas av oberoende kärnor, ökar den garanterade nätverksupptiden flera gånger mer. Detta gör det möjligt att uppfylla kraven på drifttid även hos banker där en otillgänglighet på cirka 40 minuter per år är acceptabel, i enlighet med certifiering. I verkligheten är perioder av otillgänglighet extremt sällsynta. Under 5 års arbete med datacentret har det aldrig funnits en tid då alla servrar blev otillgängliga samtidigt på grund av problem med nätverket eller elen. Även när det var ett globalt strömavbrott i Nederländerna och många andra datacenter blev otillgängliga - några glömde att tanka dieselmotorer, vissa hade inte tillräcklig UPS-kraft, i vårt datacenter blev bara mindre än en procent av servrarna otillgängliga under en kortare tid tidsperiod. Vissa av de servrar som kunder hyr av oss, till och med ganska föråldrad, till synes föråldrad hårdvara, som är mer sannolikt att misslyckas än nya varumärkeslösningar, har inte startat om ens en gång på 3 år, precis som på 3 år har de aldrig gått förlorade. . Är otillgänglighet på 30 minuter acceptabelt i 3 år? Mer än, även för banker.
Och en rimlig fråga uppstår, varför då betala för mycket? Det säger sig självt att man inte ska förlita sig på slumpen och alltid ska utgå från principen om rimliga reservationer. Huvudregeln som jag upptäckte är följande: reservationen bör inte kosta mer än de förluster som kan uppstå vid en period av otillgänglighet på grund av avsaknaden av sådan reservation. Det vill säga, om den garanterade drifttiden tillåter en otillgänglighet på 40 minuter per månad, och i händelse av otillgänglighet under en sådan tidsperiod, kommer förlusterna att uppgå till flera hundra eller till och med tusen dollar - att hyra en extra lösning för att öka drifttidsgarantin helt enkelt är meningslöst. För i verkligheten kommer servrarna inte att vara otillgängliga varje månad under 40 minuter; 40 minuters otillgänglighet är en garanti, det värsta scenariot. Vilket inte implementeras månadsvis, vilket praxis har visat.
På så sätt kan servrar vara viktiga utan att vara uppdragskritiska, och när projektägare inte har något emot att manuellt byta lasten till en annan dedikerad server, kan vi undvika komplexiteten med att bygga ett failover-kluster och delad failover-lagring.
Låg produktivitet är oacceptabelt under arbetsperioden. Många av våra kunder väljer bara metalllösningar från Dell just av denna anledning; det är mycket billigare och mer lönsamt att använda full hårdvara under standarddrift, som praktiskt taget inte är utsatt för otillgänglighet, som vi redan har diskuterat, än att betala för mycket för ett moln alternativ och samma prestanda i molnet, vilket kommer att kosta flera gånger mer än en dedikerad lösning. Molnet och klustringen kan helt enkelt inte tillfredsställa resursbehoven och kommer inte att vara kostnadseffektiva för sådana klienter.
Prenumeranter vill inte betala mycket för en tjänst med begränsad kapacitet. Våra kunder är oftast små företag som inte har egen teknisk avdelning och finansiering för att köpa egen hårdvara. Att köpa hårdvara kan vara ett rejält slag för dem och inte ge tillräcklig prestanda, eftersom hårdvara med tiden tenderar att bli föråldrad, och det är synd att slänga dyr hårdvara även efter 3 år, i en tid då företaget har vuxit och något bättre är behövs. Om du hyr en Dell R730xd av oss har du möjlighet att byta till en annan server när som helst eller efter ett år om du väljer hyresalternativet med ett års kontrakt. Dessutom finns det en möjlighet att spara på att betala för VMware-licenser.
Använda Dell R730xd-servrar för databasservrar
Många av våra kunder som använder dessa databasservrar har kommit att älska den här plattformen. Och inte bara för att, till skillnad från Dell R730, xd-versionen kan förses med stöd för NVMe PCIe SSD-enheter, som ger minimal latens, vilket är extremt viktigt för sådana lösningar. Men också för att kontrollern är otroligt effektiv när den arbetar även med konventionella 2,5" SSD:er som vi erbjuder till kunder.
Naturligtvis finns det också en nackdel med Dell R730xd - det finns bara 1 kontroller, medan Dell R730 med 26 enheter använder 2 hårdvarukontroller. Men detta är inget betydande problem, eftersom vi valde en plattform med 12 enhetsfack och därför kommer du inte få en flaskhals i form av otillräcklig kontrollerprestanda när du arbetar med denna plattform och ett stort antal SSD:er. Och fördelen i form av möjligheten att installera en NVMe PCIe SSD täcker helt denna nackdel.
Som nämnts ovan behöver inte alla komplexa databaskluster, prestandan som denna plattform kan ge är mycket viktigare. En av våra kunder gjorde just det, övergav överdrifterna med virtualisering och byggde komplexa kluster, hyrde en VPS med dedikerade enheter för säkerhetskopiering av databas från Dells huvudserver R730xd: Naturligtvis, i händelse av problem med huvudnoden, kommer det att bli en viss minskning av prestandan och det kommer att finnas behov av manuell växling, dock är detta en mer än kostnadseffektiv lösning med tanke på den begränsade budgeten.
Vi uppmuntrar inte alla att göra sådana besparingar, i vissa fall är det till och med mycket motiverat. Men genom att öka budgeten med endast 230 USD per månad har du råd med en identisk E5-2650 v4-nod och koppla ihop dem i ett 20-Gigabit lokalt nätverk, vilket i princip gör att du kan bygga ett litet kluster med acceptabel latens även utan användning av PCIe NVMe SSD-enheter.
Själva lösningen kommer att se ut så här (med en grundläggande uppsättning enheter):
Dell R730xd 2 x Intel Dodeca-Core Xeon E5-2650 v4 128GB DDR4 6x480GB SSD 1Gbps 100 TV + Intel X540-T2 20GBPS LAN – $289/månad
Dell R730xd 2 x Intel Dodeca-Core Xeon E5-2650 v4 128GB DDR4 6x480GB SSD 1Gbps 100 TV + Intel X540-T2 20GBPS LAN – $289/månad
Att öka antalet för att öka produktiviteten är inte alltid vettigt. Under tester med databaser fann vi alltså att en lösning med 8 SSD:er bara är 4 % effektivare än en lösning med 35 SSD:er.
När det gäller rekommenderade RAID-nivåer kan RAID5 vara mycket optimal i vissa fall. Visst, RAID10 ger bättre prestanda, men vad händer om enheterna är så snabba att användningen av dem i RAID10 skulle göra att kontrollern blir en flaskhals? I sådana fall är det mycket mer lönsamt att bygga en HW RAID-array RAID5 med hot-spare-enheter än RAID10 (om målet inte är att förlora hälften av SSD-kvoten).
Behöver jag aktivera kontrollerns cache eller är det bättre att inaktivera det? En RAID-kontroller har en mycket begränsad mängd minne, vad är 1GB när man arbetar med en SSD? I fall med snabba SSD:er är det ingen idé att ha läscachen aktiverad, eftersom vi genom att fylla upp minnet med läsoperationer, som inte blir snabbare, eftersom SSD:er redan är tillräckligt snabba, lämnar vi inte tillräckligt med skrivcache, och , som bekant, i billiga SSD:er — flaskhalsen är skrivoperationer, på grund av en minskning i prestanda på grund av otillräcklig överprovisionering och 100 % utnyttjande av den fria kvoten (en tiofaldig minskning är möjlig). Därför rekommenderar vi att du endast låter skrivcachen vara aktiverad. Därigenom säkerställs maximal effektivitet hos denna lösning.
Spelar NTFS-blockstorleken någon roll? För de flesta lagringar anges 64KB som den optimala blockstorleken för maximal prestanda. Men väldigt ofta stöter vi på fall där en klient redan använder en databasserver, med den initiala konfigurationen med en standard NTFS-klusterstorlek på 4KB. För att fixa detta måste du formatera om enheterna, men är skillnaden verkligen så stor i det allmänna fallet? Behöver du utsätta dig för eventuella driftstopp och olägenheter i samband med migrering?
Styrenheten i Dell R730xd-servern ger så bra prestanda även med 4 SSD-enheter och skrivcachen aktiverad (en mycket viktig punkt, läscachen bör inaktiveras eftersom det inte ger några fördelar, utan bara minskar effektiviteten i skrivoperationer p.g.a. till bristen på utrymme för en full cache, som anges ovan), att även med en standardblockstorlek på 4KB får vi mycket bra prestandaindikatorer, extremt bra.
Ändå är vi alltid villiga att träffas och är redo att erbjuda en liknande plattform under en period för abonnenter att utföra arbete om något inte togs i beaktande av dem.
RAMdrive visar sig fortfarande vara snabbare än SSD-enheter. Om dina frågor kan bearbetas i TempDB, såsom sortering eller sammanslagning, kan det vara mycket värt att använda RAMdisk (ett program som förvandlar en del av ditt RAM-minne till lagring). Så, efter att ha jämfört hastigheten för 8 SSD-enheter i RAID10 med RAMdrive, fann vi att det är cirka 4 gånger snabbare för 4K-skrivoperationer med ett ködjup på 32, vilket exakt imiterar driften av TempDB-filer. Även om man kombinerade 8 SSD-enheter till RAID0 var det inte möjligt att slå resultaten av RAMdrive.
RAID5 i fallet med 8 SSD-enheter kan vara effektivare än RAID10. 4K-läsningar med ett ködjup på 32 är cirka 40% snabbare, vilket inte är förvånande med tanke på funktionerna i RAID5. RAID5 vinner i prestanda i andra test, till exempel med sekventiell skrivning är den 20%, den är sämre endast i 4K-skrivoperationer med stort ködjup (i vårt fall 32) och visar sig vara mindre effektiv med 30%. Så användningen av RAID5 kan i vissa fall vara mycket ekonomiskt motiverad.
Mer lagring betyder inte alltid snabbare. När vi har att göra med slumpmässiga små operationer, förbättrar inte prestandan alls att lägga till enheter till arrayen över en viss gräns. Det verkar varför? Det visar sig att allt beror på styrenhetens kapacitet, som tvingas skriva data till en hel massa enheter. Det är därför vi köpte plattformar med maximalt 12 enheter, för att minska sannolikheten för en flaskhals. Du måste dock titta på intensiteten i verksamheten inom varje projekt, ibland kan 4 större enheter, säg 960 GB, vara en bättre och mer kostnadseffektiv lösning än ett gäng 480 GB-enheter.
Använder Dell R730xd-servrar för Aerospike NoSQL-dataservrar
Aerospike är en NoSQL-databas med öppen källkod som är flashoptimerad för hastighet och skalbarhet. Aerospike är designad för att ge mycket låg latens för läsbegäranden och tunga skrivbelastningar, vilket uppfyller moderna affärskrav som kräver förmågan att hantera ett stort antal I/O-operationer. Aerospike hanterar lokal lagring direkt på sina klusternoder, oavsett källmediets filsystem, vare sig det är DRAM, flash eller traditionella hårddiskar. Detta gör att kritisk data kan lagras på de snabbaste medierna där snabb bearbetning är mest kritisk, samtidigt som den distribuerade karaktären hos Aerospike-databasen säkerställer en hög grad av tillförlitlighet i händelse av klusternodfel.
Dells 13:e generationens PowerEdge R730xd-servrar levererar otrolig datorkraft med de senaste E5-2650 v4-processorerna och snabba DDR4 SDRAM. Och möjligheten att använda NVMe SSD-enheter, som Samsung SM1715, kan hjälpa till att få enorma prestanda med minimal latens i noder med hög belastning. Detta gör det möjligt att uppfylla moderna SLA-krav för handläggningstiden för en transaktion med en tillförlitlig nivå av skydd mot bedrägerier även i mycket stora databaser, vilket gör lösningen acceptabel även för finanssektorn och banköverföringar, där transaktioner ibland utförs inom flera timmar eller till och med dagar.
För banksektorn kan vi erbjuda en lösning baserad på dessa plattformar med ett lokalt nätverk på 40 och 100 Gbit/s mellan klusternoder och användning av lämpliga switchar.
Använder Dell R730xd-servrar i DMZ-nätverk
Vi är glada att kunna erbjuda våra abonnenter högsta säkerhetsstandard. De datacenter där vi erbjuder dessa servrar har många certifieringar: , , , и .
Men för att uppfylla kraven från samma Google kräver vissa klienter konstruktion av så kallade demilitariserade nätverk (DMZ-nätverk) - nätverk med ökad säkerhet, vilket innebär närvaron av en hårdvarubrandvägg som begränsar åtkomsten till utrustning och låter dig dölj de nödvändiga komponenterna bakom en brandvägg och förbättra säkerheten mer.
Och allt är ok när en sådan lösning beställs omedelbart, men det är mycket svårt att genomföra övergången med praktiskt taget ingen stilleståndstid i processen, vilket nyligen hände med en av våra kunder, med ett projekt för att behandla visumansökningar för medborgare från olika länder av världen, där det finns otillgänglighet även under timmar kan leda till förluster på tiotusentals dollar. Men vi hittade en lösning, gick på ett möte, lade in ytterligare utrustning i garderoben, flyttade mindre viktig utrustning och slog på brandväggen enligt schemat, som kunden önskade, så att han kunde genomföra migreringen utan stillestånd.
Var / Blev
Kanske kommer detta schema också att vara användbart för någon när de utför en sådan migrering, eftersom ingenjörer i datacenter inte alltid vill se uppenbara saker, utan insisterar på en 2-timmars stilleståndstid för att byta bakom brandväggen, men jag ber dig vänligt - beställ en hårdvarubrandvägg i förväg om du behöver det. Vi är flexibla och alltid villiga att tillmötesgå, men i vissa situationer kan vår förmåga vara begränsad.
I framtida publikationer kommer vi att försöka genomföra ett antal ytterligare tester och dela ytterligare erfarenheter med dessa plattformar som ytterligare kommer att förbättra förståelsen för valet av den mest effektiva lösningen. När allt kommer omkring är det förvånande att se det faktum att RAID0 av två SSD-enheter, i fall av databaser med hög belastning, kan visa sig vara långsammare än en separat skrivenhet, vilket är anledningen till att vi får förfrågningar om NVMe PCIe SSD från tid till annan. till tid. Det är troligt att vi kommer att visa de mest effektiva scenarierna för att implementera lösningar, dela ytterligare erfarenheter när det är effektivt att bygga flera RAID-arrayer inom en RAID-kontroller, och visa i vilka fall två oberoende RAID10-arrayer med 4 enheter kommer att vara bättre än en RAID10-array av 8. När kommer det att vara effektivt att använda RAID1 för TempDB och RAID5 för allt annat. Och hur kan du klara dig utan NVMe PCIe SSD när du har en begränsad budget.
Dell R730xd: bonus för Habrahabr-läsare
Vi vill ge dig det bästa och har gjort allt för detta genom att erbjuda unika priser för Dell R730xd:
- i Nederländerna
- och i USA
Konfigurationer kan vara mycket olika, t.ex. Följande är tillgängliga för omedelbar aktivering i Nederländerna::
Dell R730xd 2 x Intel Dodeca-Core Xeon E5-2650 v4 128GB DDR4 6×480 SSD 1Gbps 100 TV -*$249
Dell R730xd 2 x Intel Dodeca-Core Xeon E5-2650 v4 128GB DDR4 12×240 SSD 1Gbps 100 TV -*$249
Dell R730xd 2 x Intel Dodeca-Core Xeon E5-2650 v4 128GB DDR4 4x4TB 4x480 SSD 1Gbps 100 TV — *$249
Dell R730xd 2 x Intel Dodeca-Core Xeon E5-2650 v4 128GB DDR4 12x4TB SATA 1Gbps 100 TV — *$249
Och en ärlig dedikerad 1 Gbps Unmetered (exklusive trafik) är tillgänglig för dem för +$120/månad. Plus möjligheten att köpa en brandvägg, nätverkskort, en switch och bygga ett multi-gigabit lokalt nätverk. Men prisvillkoret gäller ett kontrakt på ett år.
Vi vill förbättra skicket och erbjuda en bonus för korttidsbetalningar och uthyrning utan kontrakt, vilket gör erbjudandet mer överkomligt. Alla som beställer och betalar för något av de föreslagna alternativen i Nederländerna under en period av 1 månad, vi kommer att förse exakt samma server i 1 månad helt gratis, eller så kommer vi att räkna om den beställda konfigurationen och beräkna den beställda servern till samma pris som för ett årskontrakt ($249/månad istället för $369/månad), vilket återför mellanskillnaden till saldot. För att göra detta, lämna bara ditt ordernummer i kommentarerna. För dem som ännu inte har mognat till dedikerade lösningar, erbjuder vi att hyra valfri VPS (KVM) med dedikerade enheter i Nederländerna eller USA på dessa plattformar, till exempel, , och få en bonus på 1-4 månaders användning vid betalning för 1, 3, 6 respektive 12 månader, med angivande av ordernummer i kommentaren. Nu har det blivit lättare att bygga infrastruktur!
Källa: will.com