V tomto článku vám prozradíme, jaká infrastrukturní řešení naši klienti implementují pomocí serverových platforem Dell R730xd a proč je cena za pronájem této platformy s vynikajícími komunikačními kanály na Ukrajinu a Rusko, stejně jako , již s umístěním a konektivitou za cenu se stala realitou. Budeme sdílet možná řešení založená na těchto platformách pomocí privátní vlan, 10G lokální sítě a hardwarového Firewallu od CISCO, které jsou našim klientům k dispozici na vyžádání. A také podle nejlepší tradice nabídneme čtenářům Habrahabr bonus v podobě bezplatné doby používání serverů Dell R730xd.
V poslední době dostáváme stále více požadavků na výstavbu různých firemních infrastruktur a to bohužel souvisí ani ne tak s tím, že poskytujeme velmi kvalitní řešení, ale s cenou těchto řešení a úrovní bezpečnosti a právního státu, který je poskytován v Nizozemsku a USA, ale bohužel je často nedostupný na Ukrajině a v Rusku. Kde bohužel taková řešení stojí prostě „astronomické“ peníze, protože pojem „dlouhodobé peníze“ je postsovětským zemím v zásadě cizí, na pozadí jiných rizik nebo kvůli nedostatku potřebné infrastruktury a úrovně osvědčení.
Dobrým příkladem by zde byl rozdíl v ceně hardwaru. Např, Platforma Dell R730xd, zakoupené pro naše klienty, v základní konfiguraci 2 x Intel Dodeca-Core Xeon E5-2650v4 128GB DDR4 6x480GB SSD stojí cca 9000 eur. Je samozřejmé, že o nějaké nízké ceně za pronájem tohoto serveru na Ukrajině nebo v Rusku nemůže být řeč, protože náklady na pronájem jsou založeny na návratnosti nákladů platformy po dobu 12-18 měsíců. To znamená, že minimální možná cena pronájmu, bez nákladů na ubytování, elektřinu a komunikační kanály, se bude pohybovat v rozmezí 500-800 $ / měsíc, v závislosti na míře rizika poskytovatele a obchodního plánu. Musíte také najít dobré datové centrum s požadovanou úrovní certifikace a komunikačních kanálů. Nezapomeňte vzít v úvahu rizika nezákonného zabavení zařízení během některých nezákonných vyšetřovacích akcí, které mohou nastat kvůli konkurenci a specifikům podnikání v konkrétním regionu.
Není proto divu, že náš návrh vzbudil velký zájem, zvláště když datová centra, ve kterých poskytujeme navrhované servery, mají řadu certifikátů nezbytných a důležitých pro firemní sektor - , , , и .
Nyní se podívejme na několik případů, které mohou být zajímavé jak pro začátečníky a malé projekty, tak pro poměrně velké systémové integrátory, kteří staví řešení ve svých kancelářích v uzavřených zónách nebo v datových centrech.
Výhody platforem Dell R730xd při budování datových skladů pomocí Red Hat Ceph
Není žádným tajemstvím, že požadavky na ukládání a zpracování dat neustále rostou, a to zrychleným tempem. Jestliže před pár lety stačilo mít 1TB úložiště, které poskytovalo několik stovek IOPS, nyní se potřeby zvýšily na desítky tisíc IOPS a petabajtů prostoru. Tyto požadavky na kapacitu a výkon jsou částečně podporovány nárůstem objemu nestrukturovaných dat, včetně hudby, obrázků, videí, záloh databází, log souborů a dalších archivů, finančních a lékařských dat – dat známých jako „Big Data“. Nemluvě o rostoucích požadavcích na ukládání dat v důsledku šíření a rozšiřování internetu a nových internetových zdrojů. Takže se všemi těmito požadavky na napájení jsou očekávání zákazníků ohledně vysoké spolehlivosti a vysokého výkonu větší než kdy dříve.
Zatímco IT společnosti se snaží vyřešit problémy se správou petabajtů a dokonce exabajtů dat, model cloudového úložiště se v moderních datových centrech stává stále běžnějším. Píše se stále více nových softwarových systémů, které umožňují optimální konfiguraci interakce cloudového prostředí s hardwarem, jedním z takových vývojů je Ceph.
Ceph je open source distribuovaný úložný systém navržený tak, aby poskytoval vysoký výkon, spolehlivost a škálovatelnost. Ceph implementuje úložiště objektů na distribuovaném počítačovém clusteru a poskytuje rozhraní pro ukládání objektů, bloků a souborů. Ceph poskytuje plně distribuované úložiště bez jediného bodu selhání a škálovatelnost na úroveň petabajtů. Ceph replikuje data a poskytuje tak odolnost proti chybám. Systém je navržen tak, aby poskytoval nejen nezávislou obnovu, ale také správu, která pomáhá vyhnout se zbytečným nákladům na údržbu. Vzhledem k tomu, že Ceph používá univerzální hardware řízený softwarem a funkce správy jsou dostupné prostřednictvím aplikačních programovacích rozhraní (API), je klasifikován jako softwarově definované úložiště (SDS).
Red Hat Ceph Storage je úložný systém připravený k použití, softwarově definované úložiště, které je otevřené, přizpůsobitelné, škálovatelné a všude podporované. Kombinuje inovace z vývoje open source s technickým jádrem a podporou od Red Hat. Řešení poskytuje těsnou integraci s OpenStack a je od základu navrženo tak, aby umožňovalo úložiště nové generace pro cloudová prostředí i další pracovní zátěže.
Zde se podíváme na příklad implementace tohoto řešení na servery Dell, konkrétně Dell PowerEdge R730xd, který nabízíme k pronájmu, a zvážíme výhody budování úložiště na těchto platformách. Tyto informace mohou být užitečné pro architekty, inženýry a IT administrátory, kteří chtějí prozkoumat výhody používání Red Hat Ceph Storage na serverech Dell PowerEdge a kteří musí navrhovat a plánovat implementace pomocí osvědčených osvědčených postupů.
Ale na začátku:
Něco málo o samotné platformě, jakou možnost nabízíme a proč je nákladově efektivní?
Dell PowerEdge R730xd je zdaleka jednou z nejlepších platforem pro podnikové úkoly i mimo ně, získal mnoho různých ocenění a je docela efektivním řešením úložiště, protože může poskytnout úložiště s vysokou hustotou za rozumné peníze.
PowerEdge R730xd je k dispozici ve třech konfiguracích šasi s různými tvarovými faktory a kombinacemi pohonů a také s volitelnou zadní rozšiřující jednotkou:
- 24 předních přístupných 2,5" pozic pro SAS, SATA nebo nearline SAS disky plus 2 volitelné 2,5" zadní pozice. 2,5palcové šasi může volitelně podporovat až 4 PCIe Express Flash disky od společnosti Dell v přední části.
- 12 zepředu přístupných pozic pro 3,5" SAS, SATA nebo nearline SAS disky se 4 volitelnými interními 3,5" pozicemi pro jednotky vyměnitelné za běhu, plus dvě volitelné 2,5" pozice vzadu.
- 18 zepředu přístupných 1,8" pozic pro SATA, 8 3,5" pozic pro SAS, SATA nebo nearline SAS disky, plus 2 volitelné 2,5" pozice vzadu.
Zdálo by se, že každý podvozek je dobrý pro svůj druh úkolu. To je jisté. Jsou ale skutečně stejně nákladově efektivní?
Rozhodli jsme se pro druhou možnost, abychom uspokojili potřeby co nejširšího spektra uživatelů na šasi s 12 pozicemi pro disky. Protože to považujeme za nejúčinnější. A právě proto. Ekonomická efektivita řešení se projevuje již v jeho univerzálnosti - do tohoto šasi lze instalovat pohony různých tvarů a je levnější na pořízení a také, což je důležité, můžete získat vyšší produktivitu při práci s daty pomocí více propojených platforem. než jen jeden s vysokou hustotou skladování a zjevně nižší produktivitou.
Věříme, že propojením několika podobných platforem do multigigabitové lokální sítě (každý uzel je možné připojit k lokální síti rychlostí 20 Gbit/s nebo více pomocí dvouportových desetigigabitových karet Intel X540-T2, které poskytujeme dodatečně), můžeme dosáhnout výrazně lepších výsledků a výkonu než platformy s vyšší hustotou úložiště. To je zvláště důležité pro infrastruktury, které používají tyto platformy pro práci s databázemi. Bohužel při velkém počtu pohonů může být regulátor dost přetížený a přídavný regulátor ve verzi xd bohužel není k dispozici. Výkon, kterého lze dosáhnout při použití platforem s přesně 12 pozicemi a lokální multigigabitovou sítí, bude mnohem vyšší a řešení bude zase distribuovanější a spolehlivější. Jedním slovem - nákladově efektivní!
Vlastnosti struktury a designu, použití grafických karet
Platforma Dell PowerEdge R730xd, měřící pouze 2U, podporuje až 2 procesory Intel Xeon E5-2600 v3 a vyšší, to znamená, že při použití 36jádrových procesorů umožňuje získat až 18 jader. Vybrali jsme střední možnost, ale nejnovější generace - 12jádrový procesor E5-2650 v4 (celkem k dispozici 24 jader a s přihlédnutím k vícevláknům - 48 jader), protože se ukázalo, že je to nejnákladnější -efektivní. Takže ve čtvrté generaci jsou implementovány efektivnější instrukce procesoru, například AES, který je zodpovědný za šifrování dat, je o 70% efektivnější než stejné procesory, ale třetí generace. Procesor a platforma zároveň mohou podporovat až 1,54 TB RAM, což je v některých velmi specifických případech důležité. Vybrali jsme nejoblíbenější možnost, cenově a provozní rychlostí nejdostupnější - 128 GB DDR4 RAM a poskytli možnost upgradu na žádost předplatitelů.
Na předním panelu R730xd je 6 indikátorů stavu systému, které vás mohou upozornit na různé problémy, takže se můžete vyhnout mnoha kritickým problémům tím, že přijmete vhodná opatření včas. DIMM sloty pro RAM jsou umístěny přímo na základní desce. R730xd podporuje registrované moduly DIMM pro opravu chyb a také moduly LRDIMM (Load Reduced Dual In-Line Memory Modules), což je relativně nový typ paměti pro servery. Ale my to nepoužíváme, protože LRDIMM se stávají užitečnými pouze pro velké množství paměti, kdy je cílem zvýšit provozní rychlost.
Internal Dual-SD Module (IDSDM) umožňuje zákazníkům nasadit virtualizační technologii Dell odolnou proti chybám, která poskytuje redundanci při selhání pro vestavěné hypervizory. Ačkoli PowerEdge R730 podporuje GPU, které mohou být velmi užitečné v prostředích virtuálních kanceláří (virtuální desktopy), stejně jako pro vysoce výkonné výpočty a kolaborativní zpracování, R730xd GPU nepodporuje, protože grafické karty nemohou zajistit správné chlazení. Zatím však máme o tuto službu malý zájem a pouze jeden z našich předplatitelů si pro server objednal grafickou kartu. Z tohoto důvodu jsme platformy R730 neobjednávali hromadně, ale můžeme je na požádání dodat vybavenou některou z doporučených karet.
Z tohoto důvodu bohužel cena za pronájem řešení nemůže být tak atraktivní a zvyšuje se více než 2x v závislosti na době splatnosti a době trvání smlouvy. Samotné karty nabízíme ke koupi přes našeho dodavatele v Nizozemí, ceny jsou uvedeny níže a pouze z tohoto doporučeného seznamu (to byla doporučení samotného Dellu, když jsme vznesli požadavek), snad se tyto informace budou někomu hodit:
NVIDIA Tesla M10 GPU CusKit: 2,884.98 XNUMX EUR
NVIDIA Tesla M40 GPU: 4,913.33 XNUMX EUR
NVIDIA Tesla M40 24GB GPU, vlastní sada: 6,458.95 XNUMX EUR
NVIDIA M60 GPU, pasivní, vyžaduje GRID 2.0 SW pro funkci VDI, vlastní sada: 5,094.95 XNUMX EUR
Licence:
Předplatitelská licence Nvidia GRID vApps 3 roky, 1 CCU: 20 EUR
Předplatitelská licence Nvidia GRID vPC 3 roky, 1 CCU: 95 EUR
Předplatitelská licence Nvidia GRID vWS 3 roky, 1 CCU: 480 EUR
Pokud jste tedy připraveni na minimálně 2letou smlouvu na pronájem serveru Dell R730 (ne xd, proto je řešení mnohem dražší) - kontaktujte [chráněno e-mailem], rádi vám pomůžeme! Použití jedné z výše doporučených grafických karet v konfiguraci DELL R730 2 x E5-2650 v4 / 128 GB / 6 x 480 GB SSD / 1 Gbps 100 TB + GPU a dvouleté smlouvě to bude stát přibližně 2 6816 USD ročně namísto 2988 730 USD. za rok v případě Platforma Dell RXNUMXxd+ popsaná v článku bude vyžadovat platbu za cenu grafické karty a licence, protože se jedná o velmi specifické vybavení.
I tato cena je však mnohem atraktivnější než ceny, které za taková řešení mohou nabídnout datová centra na Ukrajině a v Rusku, pokud taková řešení vůbec chtějí poskytovat... Kupodivu v Nizozemsku, kde spolupráce s Dellem je založen přímo, slíbená dodací lhůta pro server s grafickou kartou byla téměř 2 měsíce od okamžiku, kdy náš klient zadal objednávku (klient souhlasil s čekáním, protože na trhu prostě nejsou žádné alternativy), kvůli silné specifičnosti tohoto produktu Dell ho prostě neměl na skladě. Přesto byla dodávka dokončena za necelý měsíc. Děkujeme oddělení zásobování datových center a klukům z Dellu za jejich efektivitu. Ale pro mě byla tato zkušenost stále neobvyklá, protože standardní platformy Dell R730xd jsou dodávány během několika dnů.
Ovládací prvky a schopnosti řadiče PERC
Server lze spravovat pomocí pohodlného řadiče iDRAC8 (Integrated Dell Remote Access Controller 8) s Dell Lifecycle Controller, který snižuje čas strávený správou, snižuje pravděpodobnost chyb, zlepšuje zabezpečení a zlepšuje celkovou efektivitu vašeho IT prostředí.
Pro naše předplatitele je přístup k iDRAC8 poskytován prostřednictvím rozhraní RMI (Remote Management Interface), které je z bezpečnostních důvodů přístupné výhradně ze sítě privátního datového centra, k němuž poskytujeme přístup zdarma prostřednictvím Open VPN tunelu. Po přihlášení zobrazí řadič iDRAC přehled systému a také zobrazení virtuální konzoly prostřednictvím iKVM.
Chtěl bych věnovat zvláštní pozornost monitorování; iDRAC8 vám umožňuje získat statistiky spotřeby energie za poslední hodinu, den nebo týden a omezit maximální spotřebu energie:
Systém sledování a záznamu teploty iDRAC umožňuje shromažďovat data z teplotních senzorů a určovat rozsah, ve kterém se nachází. Proto se považuje za přijatelné, aby procesory byly v teplotním rozsahu Varování pouze 10 % času během roku a kritické po 1 %. Čas v kritickém pásmu také ovlivňuje přípustný čas ve varovném pásmu. Sběr údajů o teplotě začíná po zapnutí systému po opuštění továrny a nelze jej resetovat.
13. generace serverů Dell PowerEdge je vybavena řadiči PERC9, ve kterých byla technologie LSI CacheCade dříve používaná v řadičích PERC8 nahrazena efektivnější – DAS Cache od SanDisk.
V syntetických testech DAS Cache výrazně zrychluje výkon HDD polí v případech hybridních konfigurací HDD+SSD. Takže v případě pole 5 HDD v RAID6 (úroveň 6 je vybrána pro zajištění maximální kapacity) a 5 SSD RAID10 (4 + 1 hot náhradní SSD pro maximalizaci výkonu pole) při použití mezipaměti DAS, výkon pole je 5 HDD RAID6 + DAS Cache na uvedeném poli SSD se ukázalo být blízko výkonu samotného pole SSD:
Když jsme se tedy s platformou trochu seznámili, můžeme se nyní podívat na výhody této platformy při budování skladovacích zařízení.
Proč je platforma Dell R730xd optimální pro nasazení datových skladů, zejména Red Hat Ceph?
Prostředí Red Hat Ceph Storage využívá standardní servery pro škálovatelnost, odolnost a výkon. Metody ochrany dat hrají klíčovou roli v ceně řešení. Ceph umožňuje uživateli vybrat různé metody zabezpečení pro různé fondy úložišť.
Replikované fondy úložišť vytvářejí úplné kopie uložených objektů a jsou ideální pro rychlou obnovu a manipulaci s daty. V případě replikovaného úložného fondu má Ceph výchozí hodnotu replikačního faktoru tři, když jsou tři kopie dat umístěny na třech samostatných uzlech Ceph.
Úložné fondy odolné proti poškození poskytují jednu kopii dat s paritou, což je užitečné, když je vyžadováno dlouhodobé ukládání dat, a je to nákladově efektivní.
PowerEdge R730xd je výjimečně flexibilní a škálovatelný dvoujednotkový rackový server, který poskytuje vysoce výkonné zpracování a širokou škálu možností lokálního úložiště optimalizovaného pro pracovní zátěž, včetně hybridních vrstev. Vývoj zahrnuje širokou škálu konfigurací, což je pro Ceph ideální.
— R730xd poskytuje možnost vytvářet vysoce efektivní řešení infrastruktury pro malé i velké podniky.
— R730xd zkracuje dobu uvádění do provozu díky automatickým funkcím nasazení, což snižuje vstup uživatele a snižuje lidskou chybu.
„Servery PowerEdge zlepšují výkon IT v datových centrech pomocí inovativních nástrojů pro správu, jako je iDRAC Quick Sync a iDRAC Direct, které poskytují komplexní přehled o stavu systému a rychlé nasazení.
„Servery PowerEdge optimalizují spotřebu energie, poskytují lepší výkon na watt a přesnější kontrolu nad spotřebou energie a chlazením.
Dell PowerEdge R730xd poskytuje výhody, které zajišťují maximální produktivitu:
— Zrychlit efektivitu aplikací pomocí nejnovějších technologií a dynamického místního úložiště.
„Škálování je snadné a rychlé díky úložišti s předním přístupem, které podporuje širokou škálu disků od levných SATA HDD až po ultrarychlé 2.5" SSD disky, stejně jako disky s extrémně nízkou latencí, jako jsou PowerEdge Express Flash NVMe PCIe SSD.
- R730xd se dobře hodí pro návrhy hybridních úložišť díky použití nových technologií ukládání do mezipaměti v řadiči PERC, což zvyšuje nákladovou efektivitu řešení Ceph.
Příklad implementace infrastruktury s Red Hat Ceph Storage, který se skládá z 5 serverů Dell R730xd, můžete vidět níže:
Během nezávislých testů různých konfigurací platforem Dell R730xd byly získány následující výsledky:
Naše verze platformy vykazuje velmi dobré výsledky a v případě čtení možná nejlepší. A pokud vezmeme v úvahu skutečnost, že jsme tyto platformy objednali ve velkém množství a díky tomu můžeme nabídnout cenu více než 2krát nižší než u jiných variant platforem - ukazuje se jako nejlepší konsolidovaná pro čtení a zápis z hlediska nákladově efektivního parametru. Nakonec vám nic nebrání postavit shluk 7-8 platforem místo 5. Zároveň získáte ještě větší odolnost proti chybám.
Jsou při budování takové infrastruktury vyžadovány 10gigabitové přepínače? Ne, není to nutné, jeden z našich klientů vybudoval infrastrukturu, i když ze 3 serverů, pomocí následujícího schématu připojení k místní síti:
Což mu umožnilo ušetřit docela dost – 350 $ měsíčně na pronájmu přepínače, protože 10gigabitové přepínače jsou poměrně drahé a my poskytujeme jen to nejlepší – Arista 7050tx-48-r. Nevidíme žádný smysl v řešení pro více portů.
Co v zásadě umí platformy Dell R730xd?
Není tomu tak dávno, co Microsoft provedl zajímavý test výkonu těchto platforem v případě budování datových skladů s malým počtem uzlů.
Použili jsme 4 uzly Dell R730xd, spojené do místní 100gigabitové sítě pomocí 32portového přepínače Arista DCS-7060CX-32S 100Gb s EOS verze 4.15.3FX-7060X.1.
Konfigurace použitých uzlů je následující:
2x Xeon E5-2660v3 2.6 GHz (10c20t)
256 GB DRAM (16 x 16 GB DDR4 2133 MHz DIMM)
4x Samsung PM1725 3.2TB NVME SSD (PCIe 3.0 x8 AIC)
Dell HBA330
4x Intel S3710 800GB SATA SSD
12x pevný disk Seagate 4TB Enterprise Capacity 3.5” SATA
2x Mellanox ConnectX-4 100Gb (Dual Port 100Gb PCIe 3.0 x16)
Mellanox FW v. 12.14.2036. XNUMX. XNUMX
Ovladač Mellanox ConnectX-4 v. 1.35.14894
PSID zařízení MT_2150110033
Jeden připojený port / adaptér
Pomocí VMFleet bylo na každém uzlu vyvoláno 20 virtuálních strojů, tedy celkem 80 virtuálních strojů. Každý virtuální stroj byl nakonfigurován s 1vCPU. VMFleet byl poté použit ke spuštění nástroje DISKSPD k testování výkonu úložiště na každém z 80 uzlů, nástroj je k dispozici zdarma . Parametry testu jsou následující - 1 vlákno, 512KiB sekvenčního čtení pro 4 I/O operace.
Jak můžete vidět na obrázku výše, celkem se nám podařilo dosáhnout neuvěřitelného výsledku 60 gigabajtů za sekundu, což se přibližně rovná 5 anglickým verzím Wikipedie v komprimované podobě (11.5GiB), které se stahují každou sekundu. A rychlost z každého virtuálního stroje byla asi jedno CD za sekundu - 750 MB.
Tento test dokonale demonstruje, jak efektivní může být řešení, když jsou tři komponenty výpočetní, úložný a síťový systém vyvážené, čímž se minimalizují potenciální úzká místa, která mohou nastat v nevyváženém systému.
A co platformy jiných výrobců?
Srovnání Dell R730xd a HP ProLiant DL380
Pro srovnání výkonu jsme zvolili slabší hardware, než nabízíme k pronájmu – servery s procesorem E5-2620v3 spíše než E5-2650v4, které jsou výrazně produktivnější. Hlavní testovací metodikou použitou pro toto srovnání bylo měření počtu IOPS. Bylo použito několik různých simulací zátěže, jmenovitě všechny čtení a 30 % čtení / 70 % zápis (obdoba systému OLTP, transakčního systému, při zpracování malých transakcí, ale velkého toku a klienti potřebují zajistit minimální dobu odezvy).
Několikrát byly provedeny testy, aby se eliminoval negativní dopad skrytých faktorů na výkon systému. Nejprve jsme provedli několik základních testů na počítačích Dell R730xd a HP ProLiant DL380 s použitím pouze úložiště HDD (5x1TB HDD RAID5), abychom poskytli základní výkonnostní benchmark. Stejná sada testů byla poté spuštěna s úložištěm 5x1TB HDD RAID-5 pomocí mezipaměti DAS nainstalované na discích SAS SSD (2xSAS 480GB Samsung SSD RAID1) na serveru Dell a na serveru HP používajícím HPE SmartCache s podobnou sadou jednotek pro úložiště. a ukládání do mezipaměti. Nakonec byla poslední sada testů spuštěna na serveru Dell pomocí mezipaměti DAS na jednotkách NVMe PCIe SSD (2x400 GB Samsung NVMe v softwarovém RAID), aby se ukázal maximální příspěvek mezipaměti ke zvýšení výkonu aplikací v případech náročných na čtení a zápis. Podobný test nebyl proveden na serveru HP, protože Smart Cache nepodporuje disky NVMe pro ukládání do mezipaměti.
Konfigurace systémů:
Dell PowerEdge R730xd (13. generace)
HP ProLiant DL380 (9. generace)
Server
CPU: x86-64 - Intel Xeon CPU E5-2620 v3 @2.40GHz;
Paměť: 32GB DDR4.
CPU: x86-64 - Intel Xeon CPU E5-2620 v3 @2.40GHz;
Paměť: 32GB DDR4.
Operační systém/software
Windows 2012 R2 SP1;
SanDisk DAS Cache v1.4.
Windows 2012 R2 SP1;
HPE SmartCache.
Úložiště/mezipaměť
5x1TB HDD RAID5;
2xSAS 480GB Samsung SSD RAID1;
Softwarový RAID 2x400 GB Samsung NVMe.
5x1TB HDD RAID5;
2xSAS 480GB Samsung SSD RAID1.
test
Simulovat pracovní zátěž čtení a zápisu OLTP;
velikost databáze 300 GB;
4 simultánní pracovníci IOMETER s hloubkou fronty 32.
Simulovat pracovní zátěž čtení a zápisu OLTP;
velikost databáze 300 GB;
4 simultánní pracovníci IOMETER s hloubkou fronty 32.
Bylo provedeno několik náhodných testů čtení/zápisu při různých velikostech bloku – 4 a 8 KB. Pro každou velikost bloku byly zase provedeny testy při 100 % operací čtení, stejně jako při 70 % operací čtení a 30 % operací zápisu. Testy, které se týkaly zrychlení výkonu pomocí ukládání do mezipaměti, byly spuštěny po dobu 900 sekund (15 minut), aby byla mezipaměť poskytnuta dostatek času, aby se plně zprovoznila a poskytla přesnější výsledky.
Měření výkonu v IOPS (vstupní/výstupní operace za sekundu):
Testovaný server/konfigurace
4 kB RR
100% přečteno
4 kB RR
70 % čtení 30 % psaní
8 kB RR
100% přečteno
8 kB RR
70 % čtení 30 % psaní
Dell R730xD (bez mezipaměti)
1650
974
1540
1040
HP ProLiant DL380 (bez mezipaměti)
1370
628
1322
630
Dell R730xD
s mezipamětí DAS
138884
66483
98368
56641
HP ProLiant DL380
se SmartCache
41273
33534
35984
39396
Dell R730xD s
Mezipaměť DAS a
NVMe PCIe SSD
264750
158157
257150
104490
Měření výkonu v % využití procesoru:
Testovaný server/konfigurace
4 kB RR
100% přečteno
4 kB RR
70 % čtení 30 % psaní
8 kB RR
100% přečteno
8 kB RR
70 % čtení 30 % psaní
Dell R730xD (bez mezipaměti)
0,4%
0,28%
0,42%
0,3%
HP ProLiant DL380 (bez mezipaměti)
0,8%
0,5%
0,8%
0,5%
Dell R730xD
s mezipamětí DAS
13%
8,8%
11,34%
7,83%
HP ProLiant DL380
se SmartCache
6%
6%
5%
5%
Dell R730xD s
Mezipaměť DAS a
NVMe PCIe SSD
16%
10,1%
16%
5,78%
Výsledky testů ukazují výrazné zvýšení výkonu pro platformy Dell R730xd při použití mezipaměti SanDisk DAS ve srovnání s HPE SmartCache a podpora NVMe PCIe SSD poskytuje ještě větší výhody. V simulacích OLTP vykázal R730xd až 3x vyšší IOPS díky použití SanDisk DAS Cache a SAS SSD a 6x vyšší díky použití SanDisk DAS Cache + NVMe PCIe SSD ve srovnání s HPE SmartCache. Vyšší využití CPU u SanDisk DAS Cache a ještě vyšší využití CPU u SanDisk DAS Cache + NVMe PCIe SSD je jednoduše důsledkem mnohem vyššího počtu IOPS. a naopak vykazuje optimálnější spotřebu procesorových prostředků.
Pokud je tedy v HP s 6% vytížením výsledek v IOPS 41 tisíc, tedy 1 % procesorových zdrojů je spotřebováno na 0,15 tisíc IOPS, tak v případě Dell R730xd máme spotřebu 16 % na 264 tis. poskytuje efektivnější ukazatel — 0,06 % procesorových zdrojů na 1000 IOPS.
Tzn., že z hlediska využití procesoru vychází lépe i Dell (2,5krát), má sice hodnoty využití procesoru o % vyšší, ale jak jsme si mohli ověřit, je to pouze důsledek zpracování výrazně větší počet operací, a tedy lepší produktivita.
Platforma Dell R730xd se tedy ukazuje být výrazně efektivnější než HP ProLiant DL380 (mnohonásobně), a to jak z hlediska výkonu, tak z hlediska nákladů.
Výsledky testu Geekbanch 3 Dell R730xd s procesorem E5-2640 v4 aneb proč jsou důležité instrukce procesoru a mezipaměť řadiče
Jak můžeme vidět výše, maximálních výsledků můžeme dosáhnout pouze tehdy, když jsou tři složky – výpočetní výkon, úložiště a sítě – vyvážené, protože potenciální úzká místa, která se mohou vyskytnout v nevyváženém systému, jsou minimalizována.
Co je ale také nesmírně důležité, je podpora procesoru platformy pro řadu instrukcí a jejich efektivita. Již výše jsem zmínil, že zdánlivě nepodstatný generační rozdíl může hrát v některých případech poměrně významnou roli. Podle výsledků nezávislých testů je tedy námi poskytovaný E5-2650 v4 o 70 % efektivnější v případě šifrování (AES instrukce) než E5-2650 v3.
Co pak „chutná“ řešení od konkurentů z lowcostového, ale ne prémiového segmentu? Proč jsou naše řešení lepší? Proč jsou naše řešení prémiová? Odpověď je jednoduchá - naše servery byly a jsou vyrovnané. I když měly dříve nižší frekvence nebo menší množství paměti, byly vždy vyváženy podle tří výše popsaných parametrů. Včetně spolehlivého datového centra s certifikáty požadovanými korporátním segmentem a vynikajících externích komunikačních kanálů, které poskytují minimální latenci z Nizozemska, jak do zbytku Evropy, tak do Ruska a Ukrajiny a dokonce
Nyní jsme ale z hlediska těchto ukazatelů udělali konkurenční nabídku v 10 lokalitách najednou, jednom v Nizozemsku a 9 lokalitách v USA, ale nemluvme o nás, podívejme se na test. Bohužel tento test je v současné době dostupný pouze pro verzi E5-2640 v4 s 10, nikoli 12 jádry pro naši platformu.
Samozřejmě to není příliš objektivní, protože nebere v úvahu všechny výhody platformy, stejnou mezipaměť SanDisk DAS, o které jsme mluvili, skutečné ukazatele výkonu se mohou v konkrétním případě ukázat jako mnohem lepší než syntetické. případ, hodně! Ale stále je možné získat určité porozumění.
Věnujme pozornost mnoha návodům. Nejindikativnější může být již zmíněný AES, na přibližně stejných frekvencích může být rozdíl mezi hodnotami pro 1. jádro až 1000násobný v závislosti na procesoru, zbývající instrukce, které byly srovnávány, vykazovaly rozdíly v hodnotách od několikrát až 100krát.
Můžete sami a proveďte srovnání, ale nezapomeňte, že tento test není zcela orientační, protože nezohledňuje hardware jako celek, ale hlavně charakterizuje procesor.
Přesto doufám, že tyto výsledky vám mohou být užitečné při analýze účinnosti konkrétního řešení.
Použití serverů Dell R730xd jako Bare Metal, prostě lepší!
Někteří naši klienti se rozhodli opustit využívání cloudových řešení VMware ve prospěch řešení Bare Metal (železné servery) a platforma Dell R730xd jim v tom velmi pomohla. A to se tady bavíme nejen o cloudech veřejných, ale i soukromých.
Proč lidé stále častěji dělají taková rozhodnutí? Ohledně veřejných cloudů je vše víceméně jasné. Já sám považuji veřejné cloudy za velký marketing, pokud tam něco spadne (a dříve nebo později padnou všechny mraky), spadne to tam na dlouhou dobu. Příkladem je ten samý známý Amazon, který najednou na několik dní ležel spolu s důležitou službou pro sběr telemetrických lékařských dat, včetně údajů o srdečním stavu pacientů používajících kardiostimulátor, kteří byli sledováni lékaři, několika umírali lidé... A nedávno, když náš firemní Bitrix ležel, se ukázalo, že důvodem bylo, že zaměstnanci, kteří vypínali některé stroje, v důsledku překlepu vypnuli více uzlů, než bylo nutné, ovlivnění uzlů správy, v důsledku čehož došlo k restartu virtuálních strojů do 5 hodin z důvodu velké velikosti clusteru... Není to ale jediný možný problém, může se stát, že najednou dostanete „úzké hrdlo“ kvůli používání cloudu některými jinými projekty nebo nedostatek schopnosti rychle spravovat jeho infrastrukturu tak, aby vyhovovala vašim vlastním potřebám.
Pokud jde o privátní cloudy, teoreticky virtualizace zjednodušuje dostupnost a obnovu po havárii. V praxi existuje mnoho situací, kdy to prostě nedává smysl:
V případě technických problémů na uzlu je akceptovatelný 15-30minutový výpadek.
Ne všechny projekty potřebují dobu provozuschopnosti kolem 100 %, kromě školáků, kteří jsou zvyklí platit dolar a požadovat 100 %. U některých projektů je 99,9% garantovaná dostupnost více než přijatelnou možností. Protože 0,1 % je nedostupnost maximálně 44 minut měsíčně, ke které může dojít z různých neplánovaných důvodů – z důvodu selhání hardwaru nebo nedostupnosti sítě. U standardních řešení garantujeme dostupnost sítě na 99,99 %, což umožňuje nedostupnost pouze 4 minuty za měsíc. Pokud je server připojen ke 2 nezávislým kanálům, které procházejí různými komunikačními uzly a jejichž provoz je zpracováván nezávislými jádry, zvyšuje se garantovaná doba provozu sítě několikanásobně více. To umožňuje uspokojit požadavky na dobu provozu i bank, pro které je v souladu s certifikací přijatelná nedostupnost cca 40 minut ročně. Ve skutečnosti jsou období nedostupnosti extrémně vzácná. Za 5 let práce s datovým centrem se nikdy nestalo, že by všechny servery přestaly být dostupné najednou kvůli problémům se sítí nebo elektřinou. I když došlo v Nizozemsku ke globálnímu výpadku proudu a mnoho dalších datových center se stalo nedostupnými – některá zapomněla natankovat naftové motory, některá neměla dostatečný výkon UPS, v našem datovém centru se na krátkou dobu stalo nedostupným jen méně než procento serverů doba. Některé ze serverů, které si od nás klienti pronajímají, i dosti zastaralý, zdánlivě zastaralý hardware, u kterého je větší pravděpodobnost selhání než u nových značkových řešení, nebyly ani jednou za 3 roky restartovány, stejně jako za 3 roky se nikdy neztratily net . Je nedostupnost 30 minut přijatelná po dobu 3 let? Více než, dokonce i pro banky.
A nabízí se rozumná otázka, proč potom přeplácet? Samozřejmostí je nespoléhat na náhodu a vždy vycházet ze zásady rozumných rezervací. Hlavní pravidlo, které jsem objevil, je následující: rezervace by neměla stát více než ztráty, které by mohly nastat v případě období nedostupnosti z důvodu absence takové rezervace. To znamená, že pokud garantovaná doba provozu umožňuje nedostupnost 40 minut za měsíc a v případě nedostupnosti během takové doby budou ztráty činit několik stovek nebo dokonce tisíc dolarů - jednoduše pronájem dodatečného řešení pro zvýšení záruky dostupnosti nedává to smysl. Protože ve skutečnosti nebudou servery nedostupné každý měsíc po dobu 40 minut, 40 minut nedostupnosti je zárukou, nejhorší scénář. Což se nerealizuje měsíčně, jak ukázala praxe.
Tímto způsobem mohou být servery důležité, aniž by byly kritické, a když vlastníkům projektů nevadí ruční přepínání zátěže na jiný dedikovaný server, můžeme se vyhnout složitosti budování clusteru s podporou převzetí služeb při selhání a sdíleného úložiště pro přepnutí při selhání.
Nízká produktivita je během pracovní doby nepřijatelná. Řada našich klientů volí řešení od Dellu právě z tohoto důvodu, mnohem levnější a výhodnější je při standardním provozu využívat plný hardware, který prakticky nepodléhá nedostupnosti, jak jsme již diskutovali, než přeplácení cloudu možnost a stejný výkon v cloudu, který bude stát několikanásobně více než dedikované řešení. Cloud a clustering jednoduše nemohou uspokojit potřeby zdrojů a pro takové klienty nebudou nákladově efektivní.
Předplatitelé nechtějí platit mnoho za službu s omezenými možnostmi. Našimi klienty jsou většinou malé firmy, které nemají vlastní technická oddělení a financování na nákup vlastního hardwaru. Nákup hardwaru by pro ně mohl být pořádnou ranou a neposkytovat adekvátní výkon, jelikož hardware má časem tendenci zastarávat a je škoda drahý hardware vyhodit i po 3 letech, v době, kdy firma rostla a je něco lepšího. potřeboval. Pokud si od nás pronajmete Dell R730xd, máte možnost přejít na jiný server kdykoli nebo po roce, pokud zvolíte možnost pronájmu se smlouvou na rok. Navíc je zde možnost ušetřit na platbách za licence VMware.
Použití serverů Dell R730xd pro databázové servery
Mnoho našich zákazníků, kteří používají tyto databázové servery, si tuto platformu oblíbilo. A to nejen proto, že na rozdíl od Dell R730 lze u xd verze poskytnout podporu pro NVMe PCIe SSD disky, které poskytují minimální latenci, což je u takových řešení nesmírně důležité. Ale také proto, že řadič je neuvěřitelně efektivní při práci i s běžnými 2,5" SSD, které klientům nabízíme.
V Dell R730xd je samozřejmě také nedostatek - je zde pouze 1 řadič, zatímco Dell R730 s 26 disky používá 2 hardwarové řadiče. Nejedná se ale o zásadní problém, jelikož jsme zvolili platformu s 12 pozicemi pro disky, a proto se při práci s touto platformou a velkým množstvím SSD nedostanete do úzkých v podobě nedostatečného výkonu řadiče. A výhoda v podobě možnosti osadit NVMe PCIe SSD tento nedostatek zcela zakrývá.
Jak již bylo zmíněno výše, ne každý potřebuje komplexní databázové clustery, mnohem důležitější je výkon, který tato platforma dokáže poskytnout. Jeden z našich klientů to udělal, opustil přemíru virtualizace a budování složitých clusterů a pronajal si VPS s vyhrazenými disky pro zálohování databází z hlavního serveru Dell R730xd: Samozřejmě v případě problému s hlavním uzlem dojde k určitému poklesu výkonu a bude potřeba ruční přepínání, nicméně to je vzhledem k omezenému rozpočtu více než cenově výhodné řešení.
Nenabádáme všechny k takovým úsporám, v některých případech je to dokonce velmi oprávněné. Navýšením rozpočtu o pouhých 230 $ měsíčně si však můžete dovolit identický uzel E5-2650 v4 a propojit je dohromady ve 20gigabitové místní síti, což vám v zásadě umožní vybudovat malý cluster s přijatelnou latencí. i bez použití PCIe NVMe SSD disků.
Samotné řešení bude vypadat takto (se základní sadou jednotek):
Dell R730xd 2 x Intel Dodeca-Core Xeon E5-2650 v4 128GB DDR4 6x480GB SSD 1Gbps 100 TV + Intel X540-T2 20GBPS LAN – 289 $/měsíc
Dell R730xd 2 x Intel Dodeca-Core Xeon E5-2650 v4 128GB DDR4 6x480GB SSD 1Gbps 100 TV + Intel X540-T2 20GBPS LAN – 289 $/měsíc
Zvyšování jejich počtu za účelem zvýšení produktivity nemá vždy smysl. Při testech s databázemi jsme tedy zjistili, že řešení s 8 SSD je pouze o 4 % efektivnější než řešení se 35 SSD.
Pokud jde o doporučené úrovně RAID, RAID5 může být v některých případech velmi optimální. Jistě, RAID10 poskytuje lepší výkon, ale co když jsou disky tak rychlé, že jejich použití v RAID10 by způsobilo, že by se řadič stal úzkým hrdlem? V takových případech je stavba HW RAID pole RAID5 mnohem výnosnější pomocí hot-spare disků než RAID10 (pokud není cílem přijít o polovinu kvóty SSD).
Potřebuji mít povolenou mezipaměť řadiče nebo je lepší ji zakázat? Řadič RAID má velmi omezené množství paměti, co je 1 GB při práci s SSD? V případě rychlých SSD nemá smysl mít povolenou mezipaměť pro čtení, protože zaplněním paměti operacemi čtení, které se již nezrychlí, protože SSD jsou již dostatečně rychlé, nenecháváme dostatek mezipaměti pro zápis a , jak známo, u levných SSD disků — úzkým hrdlem jsou operace zápisu kvůli poklesu výkonu kvůli nedostatečnému over-provisioningu a 100% využití volné kvóty (je možný desetinásobný pokles). Proto doporučujeme ponechat povolenou pouze mezipaměť pro zápis. Tím je zajištěna maximální účinnost tohoto řešení.
Opravdu záleží na velikosti bloku NTFS? Pro většinu úložišť je 64 kB označeno jako optimální velikost bloku pro maximální výkon. Velmi často se ale setkáváme s případy, kdy klient již používá databázový server s výchozí konfigurací se standardní velikostí NTFS clusteru 4KB. Chcete-li to vyřešit, musíte přeformátovat disky, ale je rozdíl v obecném případě skutečně tak velký? Potřebujete se vystavit případným prostojům a nepříjemnostem spojeným s migrací?
Řadič na serveru Dell R730xd poskytuje tak dobrý výkon i se 4 SSD disky a povolenou mezipamětí pro zápis (velmi důležitý bod, mezipaměť pro čtení by měla být deaktivována, protože neposkytuje žádné výhody, pouze snižuje efektivitu operací zápisu v důsledku na nedostatek místa pro plnou mezipaměť, jak je uvedeno výše), že i při standardní velikosti bloku 4KB získáme velmi dobré ukazatele výkonu, extrémně dobré.
Přesto jsme vždy ochotni se sejít a jsme připraveni nabídnout obdobnou platformu na určitou dobu pro předplatitele k provedení práce, pokud by něco nebrali v potaz.
RAMdrive se stále ukazuje jako rychlejší než SSD disky. Pokud lze v TempDB zpracovat vaše dotazy, jako je řazení nebo slučování, pak se použití RAMdisk (program, který přemění část vaší RAM na úložiště) může velmi vyplatit. Po srovnání rychlosti 8 SSD disků v RAID10 s RAMdrive jsme tedy zjistili, že je asi 4krát rychlejší pro operace zápisu 4K s hloubkou fronty 32, což přesně napodobuje provoz souborů TempDB. Ani spojením 8 SSD do RAID0 nebylo možné překonat výsledky RAMdrive.
RAID5 v případě 8 SSD disků může být efektivnější než RAID10. Čtení 4K s hloubkou fronty 32 je asi o 40 % rychlejší, což vzhledem k vlastnostem RAID5 není překvapivé. RAID5 vítězí ve výkonu v jiných testech, například u sekvenčního zápisu je to 20 %, horší je pouze v operacích zápisu 4K s velkou hloubkou fronty (v našem případě 32) a ukazuje se jako méně efektivní o 30 %. Takže použití RAID5 může být v některých případech velmi ekonomicky opodstatněné.
Více úložiště nemusí vždy znamenat rychlejší. Když máme co do činění s náhodnými malými operacemi, přidání jednotek do pole za určitý limit vůbec nezlepší výkon. Zdálo by se proč? Ukazuje se, že vše závisí na schopnostech řadiče, který je nucen zapisovat data na celou hromadu jednotek. Proto jsme zakoupili platformy s maximálně 12 disky, abychom snížili pravděpodobnost úzkého hrdla. Musíte se však podívat na intenzitu operací v rámci každého projektu, někdy 4 větší disky, řekněme 960GB, mohou být lepším a cenově výhodnějším řešením než hromada 480GB disků.
Použití serverů Dell R730xd pro datové servery Aerospike NoSQL
Aerospike je open source databáze NoSQL, která je flash optimalizovaná pro rychlost a škálovatelnost. Aerospike je navržen tak, aby poskytoval velmi nízkou latenci pro požadavky na čtení a velké zatížení zápisu, což vyhovuje moderním obchodním požadavkům, které vyžadují schopnost zvládnout velký počet I/O operací. Aerospike přímo spravuje místní úložiště na svých uzlech clusteru, bez ohledu na souborový systém zdrojového média, ať už jde o DRAM, flash nebo tradiční pevné disky. To umožňuje ukládání důležitých dat na nejrychlejší média, kde je rychlé zpracování nejdůležitější, zatímco distribuovaná povaha databáze Aerospike zajišťuje vysoký stupeň spolehlivosti v případě selhání uzlu clusteru.
Servery Dell PowerEdge R13xd 730. generace poskytují neuvěřitelný výpočetní výkon s nejnovějšími procesory E5-2650 v4 a rychlou DDR4 SDRAM. A možnost používat NVMe SSD, jako je Samsung SM1715, může pomoci získat enormní výkon s minimální latencí v uzlech s vysokou zátěží. To umožňuje vyhovět moderním požadavkům SLA na dobu zpracování jedné transakce se spolehlivou úrovní ochrany proti podvodům i ve velmi rozsáhlých databázích, díky čemuž je řešení přijatelné i pro finanční sektor a bankovní převody, kde se někdy transakce provádějí během několika hodin nebo dokonce dnů.
Pro bankovní sektor dokážeme nabídnout řešení založené na těchto platformách s lokální sítí 40 a 100 Gbit/s mezi uzly clusteru a využitím příslušných přepínačů.
Používání serverů Dell R730xd v sítích DMZ
Jsme rádi, že můžeme našim předplatitelům nabídnout nejvyšší bezpečnostní standardy. Datová centra, kde tyto servery nabízíme, mají mnoho certifikací: , , , и .
Aby však vyhověli požadavkům stejného Google, někteří klienti požadují výstavbu tzv. demilitarizovaných sítí (DMZ sítí) - sítí se zvýšenou bezpečností, což znamená přítomnost hardwarového firewallu, který omezuje přístup k zařízení a umožňuje schovat potřebné komponenty za firewall a více zlepšit bezpečnost.
A vše je v pořádku, když je takové řešení objednáno okamžitě, ale je velmi obtížné realizovat přechod prakticky bez výpadku v procesu, což se nedávno stalo jednomu z našich klientů, s projektem zpracování žádostí o víza pro občany z různých zemí světa, kde je nepřístupnost i během hodin, může vést ke ztrátám desítek tisíc dolarů. Ale našli jsme řešení, šli na schůzku, dali do skříně další zařízení, přestěhovali méně důležité zařízení a zapnuli firewall podle schématu, jak si klient přál, aby mohl provést migraci bez výpadků.
Byl / stal se
Možná bude toto schéma také užitečné pro někoho při provádění takové migrace, protože inženýři v datových centrech nechtějí vždy vidět samozřejmé věci, ale trvají na 2hodinové odstávce pro přechod za firewall, ale laskavě vás žádám - objednejte si hardwarový firewall předem, pokud jej budete potřebovat. Jsme flexibilní a vždy ochotni vyjít vstříc, ale v některých situacích mohou být naše možnosti omezené.
V budoucích publikacích se pokusíme provést řadu dalších testů a sdílet další zkušenosti s používáním těchto platforem, které dále zlepší porozumění výběru nejúčinnějšího řešení. Ostatně je překvapivé vidět, že RAID0 dvou SSD disků se v případě databází s vysokou zátěží může ukázat jako pomalejší než samostatný zapisovací disk, a proto občas dostáváme požadavky na NVMe PCIe SSD na čas. Je pravděpodobné, že ukážeme nejúčinnější scénáře implementace řešení, podělíme se o další zkušenosti, když je efektivní vytváření více polí RAID v rámci jednoho řadiče RAID, a ukážeme, v jakých případech budou dvě nezávislá pole RAID10 se 4 jednotkami lepší než jedno pole RAID10. 8. Kdy bude efektivní používat RAID1 pro TempDB a RAID5 pro vše ostatní. A jak se můžete obejít bez NVMe PCIe SSD, když máte omezený rozpočet.
Dell R730xd: bonus pro čtenáře Habrahabr
Chceme vám poskytnout to nejlepší a udělali jsme pro to vše tím, že nabízíme jedinečné ceny pro Dell R730xd:
- V Nizozemsku
- a v USA
Konfigurace mohou být velmi rozmanité, např. V Nizozemsku jsou k okamžité aktivaci k dispozici následující::
Dell R730xd 2 x Intel Dodeca-Core Xeon E5-2650 v4 128GB DDR4 6×480 SSD 1Gbps 100 TV -*249 $
Dell R730xd 2 x Intel Dodeca-Core Xeon E5-2650 v4 128GB DDR4 12×240 SSD 1Gbps 100 TV -*249 $
Dell R730xd 2 x Intel Dodeca-Core Xeon E5-2650 v4 128GB DDR4 4x4TB 4x480 SSD 1Gbps 100 TV — *249 $
Dell R730xd 2 x Intel Dodeca-Core Xeon E5-2650 v4 128GB DDR4 12x4TB SATA 1Gbps 100 TV — *249 $
A poctivý dedikovaný 1Gbps Unmetered (bez provozu) je jim k dispozici za + 120 $ měsíčně. Plus možnost pořídit si firewall, síťové karty, switch a vybudovat multigigabitovou lokální síť. Cenová podmínka ale platí pro smlouvu na rok.
Chceme zlepšit stav a nabídnout bonus za krátkodobé platby a pronájmy bez smlouvy, čímž se nabídka stane dostupnější. Každý, kdo si objedná a zaplatí některou z navrhovaných možností v Nizozemsku po dobu 1 měsíce, zajistíme úplně stejný server na 1 měsíc zcela zdarmanebo přepočítáme objednanou konfiguraci a vypočítáme objednaný server za stejnou cenu jako u roční smlouvy (249 $ / měsíc místo 369 $ / měsíc), přičemž rozdíl vrátíme do zůstatku. Chcete-li to provést, zadejte do komentáře číslo objednávky. Pro ty, kteří ještě nedozráli na dedikovaná řešení, nabízíme na těchto platformách pronájem libovolného VPS (KVM) s dedikovanými disky v Holandsku nebo USA, např. a získejte bonus 1-4 měsíce používání při platbě za 1, 3, 6, 12 měsíců s uvedením čísla objednávky v komentáři. Nyní je budování infrastruktury jednodušší!
Zdroj: www.habr.com