Како да се изгради инфраструктурна корп. класа со употреба на сервери Dell R730xd E5-2650 v4 вредни 9000 евра за денар?

Во оваа статија ќе ви кажеме какви инфраструктурни решенија имплементираат нашите клиенти користејќи ги серверските платформи на Dell R730xd и зошто цената за изнајмување на оваа платформа е Европски центар за податоци TierIII+ ниво со одлични комуникациски канали до Украина и Русија, како и на 9 локации во САД, веќе со пласман и поврзување по цена од 249 долари / месец за 2 x Intel Dodeca-Core Xeon E5-2650 v4 128GB DDR4 6x480 SSD 1Gbps стана реалност. Ќе споделиме можни решенија засновани на овие платформи со користење на приватна vlan, 10G локална мрежа и хардверски заштитен ѕид од CISCO, кои се достапни за нашите клиенти по барање. И, исто така, во најдобрите традиции, ќе понудиме бонус во форма на бесплатен период на користење на серверите Dell R730xd за читателите на Habrahabr.

Во последно време добиваме се повеќе барања за изградба на различни корпоративни инфраструктури, а тоа, за жал, е поврзано не толку со тоа што обезбедуваме многу квалитетни решенија, туку со цената на овие решенија и нивото на безбедност и владеење на правото, што се обезбедува во Холандија и САД, но, за жал, често е недостапно во Украина и Русија. Онаму каде што, за жал, ваквите решенија чинат едноставно „астрономски“ пари, бидејќи концептот на „долгорочни пари“ во принцип е туѓ на постсоветските земји, наспроти позадината на други ризици или поради недостаток на потребна инфраструктура и ниво на сертификација.

Добар пример овде би била разликата во цената на хардверот. На пр. Dell R730xd платформа, купени за нашите клиенти, во основната конфигурација, 2 x Intel Dodeca-Core Xeon E5-2650v4 128GB DDR4 6x480GB SSD чини околу 9000 евра. Се подразбира дека не може да стане збор за ниска цена за изнајмување на овој сервер во Украина или Русија, бидејќи трошоците за изнајмување се засноваат на враќање на цената на платформата во период од 12-18 месеци. Тоа значи дека минималната можна цена за изнајмување, без трошоците за сместување, електрична енергија и комуникациски канали, ќе биде во опсег од 500-800 долари / месец, во зависност од степенот на ризик на давателот и бизнис планот. Исто така, треба да најдете добар центар за податоци со потребното ниво на сертификација и канали за комуникација. Па, не заборавајте да ги земете предвид ризиците од незаконско одземање опрема за време на некои незаконски истражни дејствија што можат да произлезат поради конкуренцијата и спецификите на водење бизнис во одреден регион.

Затоа, не е чудно што нашиот предлог предизвика голем интерес, особено затоа што центрите за податоци во кои ги обезбедуваме предложените сервери имаат многу сертификати неопходни и важни за корпоративниот сектор - ISO 27001, PCI ДСС, SOC 1, HIPAA и NEN 7510.

Сега да погледнеме неколку случаи кои можат да бидат од интерес и за почетници и за мали проекти, и за прилично големи системски интегратори кои градат решенија во нивните канцеларии во зони за задржување или во центри за податоци.

Придобивките од платформите Dell R730xd при градење складишта за податоци користејќи Red Hat Ceph

Не е тајна дека барањата за складирање и обработка на податоци постојано растат и тоа со забрзано темпо. Ако пред неколку години беше доволно да се има простор од 1 TB, што обезбедуваше неколку стотици IOPS, сега потребите се зголемија на десетици илјади IOPS и петабајти простор. Овие барања за капацитет и перформанси делумно се поттикнати од зголемувањето на обемот на неструктурирани податоци, вклучувајќи музика, слики, видеа, резервни копии на базата на податоци, датотеки за евиденција и други архиви, финансиски и медицински податоци - податоци познати како „Големи податоци“. Да не зборуваме за зголемените барања за складирање податоци како резултат на пролиферацијата и проширувањето на Интернетот и новите интернет ресурси. Значи, со сите овие барања за енергија, очекувањата на клиентите за висока доверливост и високи перформанси се поголеми од кога било.

Додека ИТ компаниите се обидуваат да ги решат проблемите на управување со петабајти, па дури и егзабајти податоци, моделот за складирање облак станува сè почест во современите центри за податоци. Се пишуваат се повеќе нови софтверски системи кои ви дозволуваат на оптимален начин да ја конфигурирате интеракцијата на облак-околината со хардверот; еден од таквите случувања е Ceph.

Ceph е дистрибуиран систем за складирање со отворен код дизајниран да обезбеди високи перформанси, доверливост и приспособливост. Ceph имплементира складирање на објекти на дистрибуиран компјутерски кластер и обезбедува интерфејси за складирање на објекти, блокови и датотеки. Ceph обезбедува целосно дистрибуирано складирање без единствена точка на дефект и приспособливост до ниво на петабајти. Ceph ги реплицира податоците и на тој начин обезбедува толеранција на грешки. Системот е дизајниран на таков начин што не само што обезбедува независно обновување, туку и управување, што помага да се избегнат непотребните трошоци за одржување. Бидејќи Ceph користи хардвер за општа намена контролиран од софтвер и функциите за управување се достапни преку интерфејсите за апликативно програмирање (API), тој е класифициран како складирање дефинирано со софтвер (SDS).

Red Hat Ceph Storage е подготвен за употреба систем за складирање, складирање дефинирано со софтвер кој е отворено, приспособливо, скалабилно и поддржано насекаде. Ги комбинира иновациите од развојот на отворен код со техничкото јадро и поддршката од Red Hat. Решението обезбедува цврста интеграција со OpenStack и е дизајнирано од темел за да овозможи складирање од следната генерација и за облак околини и за други оптоварувања.

Овде ќе погледнеме пример за имплементација на ова решение на серверите на Dell, особено на Dell PowerEdge R730xd, кој го нудиме за изнајмување, и ќе ги разгледаме предностите на градењето складирање врз основа на овие платформи. Овие информации може да бидат корисни за архитекти, инженери и ИТ администратори кои сакаат да ги истражат придобивките од користењето на Red Hat Ceph Storage на серверите на Dell PowerEdge и кои мора да дизајнираат и планираат имплементации користејќи докажани најдобри практики.

Но, на почетокот:

Малку за самата платформа, која опција ја нудиме и зошто е исплатлива?

Dell PowerEdge R730xd е убедливо една од најдобрите платформи за деловни задачи и пошироко, има освоено многу различни награди и е прилично ефикасно решение за складирање, бидејќи може да обезбеди складирање со висока густина за разумни пари.

PowerEdge R730xd е достапен во три конфигурации на шасија со различни фактори на форма и комбинации на возење, како и опционална единица за проширување на задната страна:

- 24 предни пристапни полиња од 2,5" за SAS, SATA или блиски SAS погони плус 2 опционални задни полиња од 2,5". Шасијата од 2,5 инчи може опционално да поддржува до 4 PCIe Express Flash-дискови од Dell напред.
- 12 предни достапни 3,5" SAS, SATA или SAS полиња за погон со 4 опционални внатрешни полиња за погон од 3,5" што се менуваат со топлина, плус две опционални полиња од 2,5" одзади.
- 18 предни достапни полиња од 1,8" за SATA, 8 лежишта од 3,5" за SAS, SATA или блиски SAS погони, плус 2 опционални полиња од 2,5" одзади.

Се чини дека секоја шасија е добра за својата задача. Ова е сигурно. Но, дали тие навистина се подеднакво исплатливи?

Се определивме за втората опција со цел да ги задоволиме потребите на најширокиот можен опсег на корисници на шасија со 12 погонски полиња. Затоа што го сметаме за најефективен. И затоа. Економската ефикасност на решението веќе се манифестира во неговата разноврсност - во оваа шасија може да се инсталираат погони од различни форми и е поевтино да се купи, а исто така, најважно, можете да добиете поголема продуктивност кога работите со податоци користејќи неколку платформи меѓусебно поврзани. отколку само еден со висока густина на складирање и очигледно помала продуктивност.

Ние веруваме дека со поврзување на неколку слични платформи во мулти-гигабитна локална мрежа (можно е да се поврзе секој јазол со локална мрежа со брзини од 20 Gbit / s или повеќе, користејќи картички Intel X540-T2 со две порти, десет гигабитни, што ги обезбедуваме дополнително), можеме да постигнеме значително подобри резултати и перформанси од платформите со поголема густина на складирање. Ова е особено критично за инфраструктурите кои ги користат овие платформи за работа со бази на податоци. За жал, со голем број дискови, контролорот може да биде доста преоптоварен, а дополнителен контролер во верзијата xd, за жал, не е достапен. Перформансите што може да се постигнат при користење на платформи со точно 12 заливи и локална мулти-гигабитна мрежа ќе бидат многу повисоки, а решението, пак, ќе биде повеќе дистрибуирано и посигурно. Со еден збор - рентабилно!

Карактеристики на структура и дизајн, употреба на видео картички

Платформата Dell PowerEdge R730xd, која мери само 2U, поддржува до 2 процесори Intel Xeon E5-2600 v3 и повисоки, односно ви овозможува да добиете до 36 јадра кога користите процесори со 18 јадра. Избравме средна опција, но најновата генерација - 12-јадрен процесор E5-2650 v4 (вкупно ви стојат на располагање 24 јадра и земајќи го предвид мулти-нишките - 48 јадра), бидејќи се покажа дека е најтрошната - ефективни. Значи, во четвртата генерација се имплементирани поефикасни инструкции за процесорот, на пример, AES, кој е одговорен за шифрирање на податоците, е 70% поефикасен од истите процесори, но третата генерација. Во исто време, процесорот и платформата можат да поддржат до 1,54 TB RAM, што е важно во некои многу специфични случаи. Ја избравме најпопуларната опција, најприфатливата во однос на цената и брзината на работа - 128 GB DDR4 RAM и обезбедивме можност за надградба на барање на претплатниците.

На предната плоча на R730xd има 6 индикатори за статусот на системот кои можат да ве известат за различни проблеми, така што можете да избегнете многу критични проблеми со навремено преземање соодветни мерки. DIMM-слотови за RAM меморија се наоѓаат директно на матичната плоча. R730xd поддржува регистрирани DIMM за корекција на грешки, како и LRDIMM (Load Reduced Dual In-Line Memory Modules), релативно нов тип на меморија за серверите. Но, ние не го користиме, бидејќи LRDIMM-овите стануваат корисни само за големи количини на меморија, кога целта е да се зголеми брзината на работа.

Внатрешниот модул со двојна SD (IDSDM) им овозможува на клиентите да ја применат технологијата за виртуелизација на Dell толерантна за грешки, која обезбедува вишок на отстапки за вградените хипервизори. Иако PowerEdge R730 поддржува графички процесори, што може да биде многу корисно во виртуелни канцелариски средини (виртуелни работни површини), како и за пресметување со високи перформанси и заедничка обработка, R730xd не поддржува графички процесори бидејќи не може да се обезбеди соодветно ладење на видео картичките. Сепак, досега имаме мала побарувачка за оваа услуга и само еден од нашите претплатници нарача видео картичка за серверот. Поради оваа причина, не нарачавме платформи R730 на големо, туку можеме да ги испорачаме по барање, опремени со една од препорачаните картички.

Поради ова, за жал, цената за изнајмување решение не може да биде толку привлечна и се зголемува за повеќе од 2 пати, во зависност од рокот на плаќање и рокот на договорот. Ние нудиме самите да ги купиме картичките преку нашиот добавувач во Холандија, цените се дадени подолу и само од оваа препорачана листа (ова беа препораките на самиот Dell кога го направивме барањето), можеби оваа информација ќе биде корисна за некого:

NVIDIA Tesla M10 GPU CusKit: 2,884.98 ЕУР
GPU NVIDIA Tesla M40: 4,913.33 ЕУР
NVIDIA Tesla M40 24GB GPU, Cust Kit: 6,458.95 EUR
NVIDIA M60 GPU, пасивен, бара GRID 2.0 SW за VDI функција, Cust Kit: 5,094.95 EUR

Лиценци:
Лиценца за претплата на Nvidia GRID vApps 3 години, 1 CCU: 20 евра
Лиценца за претплата на Nvidia GRID vPC 3 години, 1 CCU: 95 ЕУР
Nvidia GRID vWS лиценца за претплата 3 години, 1 CCU: 480 EUR

Значи, ако сте спремни за минимум 2-годишен договор за изнајмување сервер Dell R730 (не xd, поради што решението е многу поскапо) - контактирајте [заштитена по е-пошта], со задоволство ќе ви помогнеме! Користејќи една од видео картичките препорачани погоре, во DELL R730 2 x E5-2650 v4 / 128GB / 6 x 480GB SSD / 1Gbps 100TB + GPU конфигурација и 2-годишен договор, ќе чини приближно 6816 долари годишно, наместо 2988 долари годишно во случај Платформата Dell R730xd+ за која се дискутира во статијата ќе бара плаќање за цената на видео картичката и лиценцата, бидејќи ова е многу специфична опрема.

Сепак, дури и оваа цена е многу поатрактивна од цените што центрите за податоци во Украина и Русија можат да ги понудат за вакви решенија, доколку воопшто сакаат да дадат такви решенија... За, што е доволно чудно, во Холандија, каде соработката со Dell се воспоставува директно, ветеното време на испорака за серверот со видео картичка беше скоро 2 месеци од моментот кога нашиот клиент ја направи нарачката (клиентот се согласи да почека, бидејќи едноставно нема алтернативи на пазарот), поради силната специфичност на овој производ Dell едноставно го немаше на залиха. И покрај тоа, испораката беше завршена за помалку од еден месец. Благодарност до одделот за снабдување на центарот за податоци и момците од Dell за нивната ефикасност. Но, за мене ова искуство беше сè уште невообичаено, бидејќи стандардните платформи на Dell R730xd се испорачуваат во рок од неколку дена.

Контроли и способности на контролорот PERC

Со серверот може да се управува преку пригодниот iDRAC8 (Integrated Dell Remote Access Controller 8) со Dell Lifecycle Controller, кој го намалува времето поминато на задачите за управување, ја намалува веројатноста за грешки, ја подобрува безбедноста и ја подобрува севкупната ефикасност на вашата ИТ околина.

За нашите претплатници, пристапот до iDRAC8 е овозможен преку RMI (интерфејс за далечинско управување), кој е достапен исклучиво од мрежата на приватниот центар за податоци за безбедносни цели, пристап до кој обезбедуваме преку Open VPN тунел бесплатно. Откако ќе се најавите, iDRAC прикажува преглед на системот, како и преглед на виртуелната конзола преку iKVM.

Би сакал да посветам посебно внимание на следењето; iDRAC8 ви овозможува да добиете статистика за потрошувачката на енергија за последниот час, ден или недела и да ја ограничите максималната потрошувачка на енергија:

Системот за следење и снимање на температурата iDRAC ви овозможува да собирате податоци од сензорите за температура и да го одредите опсегот во кој се наоѓа. Така, се смета дека е прифатливо процесорите да бидат во опсегот на температурата за предупредување само 10% од времето во текот на годината, а Критични за 1%. Времето во критичната лента влијае и на дозволеното време во опсегот за предупредување. Собирањето податоци за температурата започнува кога системот ќе се вклучи по напуштањето на фабриката и не може да се ресетира.

13-тата генерација на сервери на Dell PowerEdge е опремена со PERC9 контролери, во кои технологијата LSI CacheCade која претходно се користеше во контролерите PERC8 е заменета со поефикасна - DAS Cache од SanDisk.

Во синтетичките тестови, DAS Cache значително ги забрзува перформансите на низите на HDD во случаи на хибридни конфигурации HDD+SSD. Значи, во случај на низа од 5 HDD во RAID6 (нивото 6 е избрано за да обезбеди максимален капацитет) и 5 ​​SSD RAID10 (4 + 1 топла резервна SSD за максимизирање на перформансите на низата) кога се користи DAS Cache, перформансите на низата е 5 HDD RAID6 + DAS кешот на наведената SSD низа се покажа дека е блиску до перформансите на самата SSD низа:

Така, откако малку се запознавме со платформата, сега можеме да ги погледнеме предностите на оваа платформа при изградба на капацитети за складирање.

Што ја прави платформата Dell R730xd оптимална за распоредување во складиште на податоци, особено Red Hat Ceph?

Околината Red Hat Ceph Storage користи индустриски стандардни сервери за приспособливост, еластичност и перформанси. Методите за заштита на податоците играат клучна улога во цената на решението. Ceph му овозможува на корисникот да избере различни безбедносни методи за различни базени за складирање.

Реплицираните базени за складирање произведуваат целосни копии на складирани објекти и се идеални за брзо обновување и манипулација со податоци. Во случај на реплициран базен за складирање, Ceph стандардно поставува фактор на репликација од три кога три копии од податоци се наоѓаат на три одделни Ceph јазли.

Базените за складирање отпорни на корупција обезбедуваат една копија на податоци со паритет, што е корисно кога е потребно долгорочно складирање на податоци и е исплатливо.

PowerEdge R730xd е исклучително флексибилен и скалабилен сервер со две единици, кој обезбедува обработка со високи перформанси и широк опсег на опции за локално складирање оптимизирани за оптоварување на работа, вклучувајќи хибридни нивоа. Развојот вклучува широк опсег на конфигурации, што е идеално за Ceph.

— R730xd обезбедува можност за создавање високоефикасни инфраструктурни решенија и за мали и за големи бизниси.
— R730xd го намалува времето на пуштање во работа со можности за автоматско распоредување, што го намалува внесувањето на корисникот и ја намалува човечката грешка.
„PowerEdge серверите ги подобруваат перформансите на ИТ центарот за податоци со иновативни алатки за управување како што се iDRAC Quick Sync и iDRAC Direct, обезбедувајќи сеопфатна видливост на здравјето на системот и брзо распоредување.
„PowerEdge серверите ја оптимизираат употребата на енергија, обезбедувајќи подобри перформанси по вати и попрецизна контрола врз потрошувачката на енергија и ладењето.

Dell PowerEdge R730xd обезбедува придобивки што обезбедуваат максимална продуктивност со:

— Забрзајте ја ефикасноста на апликацијата преку употреба на најновите технологии и динамично локално складирање.
„Скалирањето е лесно и брзо со складирање со преден пристап што поддржува широк опсег на дискови од евтини SATA HDD до ултра брзи SSD-дискови од 2.5“, како и дискови со ултра ниска латентност како што се PowerEdge Express Flash NVMe PCIe SSD-дискови.
— R730xd е добро прилагоден за дизајни за хибридно складирање благодарение на употребата на нови технологии за кеширање во контролерот PERC, што ја зголемува ефикасноста на трошоците на решението Ceph.

Пример за имплементација на инфраструктура со Red Hat Ceph Storage, кој се состои од 5 сервери на Dell R730xd, можете да видите подолу:

При независни тестови на различни конфигурации на Dell R730xd платформи, беа добиени следниве резултати:

Нашата верзија на платформата покажува многу добри резултати, а во случај на читање, можеби и најдобри. И ако го земеме предвид фактот дека ги нарачавме овие платформи во големи количини и поради тоа можеме да понудиме цена повеќе од 2 пати пониска отколку за другите опции на платформата - излегува дека е најдобро консолидирано за читање и пишување во смисла. на рентабилниот параметар. На крајот, ништо не ве спречува да изградите кластер од 7-8 платформи, наместо 5. Во исто време, добивате уште поголема толеранција на грешки.

Дали се потребни 10-гигабитни прекинувачи при изградба на такви инфраструктури? Не, не е потребно, еден од нашите клиенти изгради инфраструктура, иако од 3 сервери, користејќи ја следната шема за поврзување со локална мрежа:

Што му овозможи да заштеди доста - 350 долари / месец при изнајмување прекинувачи, бидејќи прекинувачите од 10 гигабитни се прилично скапи, а ние го обезбедуваме само најдоброто - Arista 7050tx-48-r. Не гледаме никаква смисла во решенијата за повеќе пристаништа.

На што во принцип се способни платформите на Dell R730xd?

Не така одамна, Microsoft спроведе интересен тест за перформансите на овие платформи во случај на изградба на складишта за податоци со мал број јазли.

Користивме 4 јазли на Dell R730xd, обединети во локална мрежа од 100 гигабити со помош на прекинувач со 32 порти Arista DCS-7060CX-32S од 100 Gb, со EOS верзија 4.15.3FX-7060X.1.

Конфигурацијата на користените јазли е како што следува:

2x Xeon E5-2660v3 2.6Ghz (10c20t)
256 GB DRAM (16x 16 GB DDR4 DIMM 2133 MHz)
4x Samsung PM1725 3.2 TB NVME SSD (PCIe 3.0 x8 AIC)
Dell HBA330
4x Intel S3710 800GB SATA SSD
12x Seagate 4TB Enterprise Capacity 3.5” SATA HDD
2x Mellanox ConnectX-4 100Gb (двојна порта 100Gb PCIe 3.0 x16)
Mellanox FW v. 12.14.2036
Mellanox ConnectX-4 Driver v. 1.35.14894
Уред PSID MT_2150110033
Поврзан со една порта / адаптер

Со помош на VMFleet, на секој јазол беа подигнати 20 виртуелни машини, односно вкупно 80 виртуелни машини. Секоја виртуелна машина беше конфигурирана со 1vCPU. VMFleet потоа се користеше за да се изврши алатката DISKSPD за тестирање на перформансите на складирање на секој од 80-те јазли, алатката е достапна бесплатно тука. Параметрите за тестирање се како што следува - 1 нишка, 512KiB секвенцијално читање за 4 I/O операции.

Како што можете да видите на сликата погоре, успеавме да постигнеме неверојатен резултат од вкупно 60 гигабајти во секунда, што е приближно еднакво на 5 англиски верзии на Википедија во компресирана форма (11.5GiB), кои се преземаат секоја секунда. И брзината од секоја виртуелна машина беше околу едно ЦД во секунда - 750 MB.

Овој тест совршено покажува колку може да биде ефикасно решението кога трите компоненти на пресметување, складирање и вмрежување се избалансирани, минимизирајќи ги потенцијалните тесни грла што можат да се појават во неурамнотежен систем.

Што е со платформите од други производители?

Споредба на Dell R730xd и HP ProLiant DL380

За да ги споредиме перформансите, избравме послаб хардвер отколку што нудиме за изнајмување - сервери со процесор E5-2620v3, наместо E5-2650v4, кои се значително попродуктивни. Главната методологија за тестирање што се користеше за оваа споредба беше да се измери бројот на IOPS. Беа користени неколку различни симулации на обемот на работа, имено сите Read и 30% Read / 70% Write (аналогно на OLTP систем, трансакциски систем, кога се обработуваат мали трансакции, но голем проток, а клиентите треба да обезбедат минимално време на одговор).

Тестовите беа спроведени неколку пати за да се елиминира негативното влијание на скриените фактори врз перформансите на системот. Прво, извршивме неколку основни тестови на Dell R730xd и HP ProLiant DL380 користејќи само складирање на HDD (5x1TB HDD RAID5) за да обезбедиме репер за изведба на основната линија. Истиот сет тестови потоа беше извршен со меморија од 5x1TB HDD RAID-5 со користење на кешот DAS инсталиран на SAS SSD-дискови (2xSAS 480 GB Samsung SSD RAID1) на серверот Dell и на серверот HP што користи HPE SmartCache со сличен сет на дискови за складирање и кеширање. Конечно, последниот сет на тестови беше извршен на сервер на Dell користејќи DAS кеш на NVMe PCIe SSD-дискови (2x400 GB Samsung NVMe во софтверски RAID) за да се прикаже максималниот придонес на кеширањето во придобивките од перформансите на апликацијата во случаи со интензивни читања и пишувања. Сличен тест не беше извршен на серверот HP бидејќи Smart Cache не поддржува NVMe дискови за кеширање.

Конфигурација на системи:

Dell PowerEdge R730xd (13-та генерација)
HP ProLiant DL380 (9-та генерација)

сервер
Процесор: x86-64 - Intel Xeon CPU E5-2620 v3 @2.40GHz;
Меморија: 32 GB DDR4.
Процесор: x86-64 - Intel Xeon CPU E5-2620 v3 @2.40GHz;
Меморија: 32 GB DDR4.

Оперативен систем/софтвер
Windows 2012 R2 SP1;
SanDisk DAS Кеш v1.4.
Windows 2012 R2 SP1;
HPE SmartCache.

Складирање/кеш
5x1TB HDD RAID5;
2xSAS 480GB Samsung SSD RAID1;
2x400GB Samsung NVMe Software RAID.
5x1TB HDD RAID5;
2xSAS 480 GB Samsung SSD RAID1.

Тест
Симулирајте OLTP обем на работа за читање-пишување;
300 GB големина на база на податоци;
4 симултани работници на IOMETER со длабочина на редот од 32.

Симулирајте OLTP обем на работа за читање-пишување;
300 GB големина на база на податоци;
4 симултани работници на IOMETER со длабочина на редот од 32.

Беа спроведени неколку случајни тестови за читање/запишување со различни големини на блокови - 4 и 8 KB. За секоја големина на блок, пак, беа извршени тестови при 100% операции за читање, како и за 70% операции за читање и 30% за запишување. Тестовите што беа поврзани со забрзување на перформансите со користење на кеширање беа извршени 900 секунди (15 минути) за да се обезбеди доволно време за целосно да функционира кешот и да произведе попрецизни резултати.

Мерење на перформансите во IOPS (влезни/излезни операции во секунда):

Сервер/конфигурација под тест
4 KB RR
100% прочитано
4 KB RR
70% Читање 30% Пишување
8 KB RR
100% прочитано
8 KB RR
70% Читање 30% Пишување

Dell R730xD (без кеш)
1650
974
1540
1040

HP ProLiant DL380 (без кеш)
1370
628
1322
630

Dell R730xD
со DAS Кеш
138884
66483
98368
56641

HP ProLiant DL380
со SmartCache
41273
33534
35984
39396

Dell R730xD со
DAS Кеш и
NVMe PCIe SSD
264750
158157
257150
104490

Мерење на перформанси во % искористеност на процесорот:

Сервер/конфигурација под тест
4 KB RR
100% прочитано
4 KB RR
70% Читање 30% Пишување
8 KB RR
100% прочитано
8 KB RR
70% Читање 30% Пишување

Dell R730xD (без кеш)
0,4%
0,28%
0,42%
0,3%

HP ProLiant DL380 (без кеш)
0,8%
0,5%
0,8%
0,5%

Dell R730xD
со DAS Кеш
13%
8,8%
11,34%
7,83%

HP ProLiant DL380
со SmartCache
6%
6%
5%
5%

Dell R730xD со
DAS Кеш и
NVMe PCIe SSD
16%
10,1%
16%
5,78%

Резултатите од тестот покажуваат значителни добивки во перформансите за платформите Dell R730xd кога се користи кеширањето на SanDisk DAS во споредба со HPE SmartCache, а поддршката за NVMe PCIe SSD обезбедува уште поголеми придобивки. Во симулациите на OLTP, R730xd покажа до 3 пати поголем IOPS поради употребата на SanDisk DAS Cache и SAS SSD и 6 пати повисок поради употребата на SanDisk DAS Cache + NVMe PCIe SSD во споредба со SmartCache на HPE. Поголемата искористеност на процесорот со SanDisk DAS кешот и уште поголемата искористеност на процесорот со SanDisk DAS Cache + NVMe PCIe SSD, е едноставно последица на многу поголемото броење на IOPS. и, напротив, покажува поголема оптимална потрошувачка на ресурсите на процесорот.

Значи, ако во HP со 6% искористеност резултатот во IOPS е 41 илјада, односно 1% од ресурсите на процесорот се трошат на 0,15 илјада IOPS, тогаш во случајот на Dell R730xd имаме 16% потрошувачка на 264 илјади, што обезбедува поефикасен индикатор - 0,06% од ресурсите на процесорот на 1000 IOPS.

Односно, во однос на искористеноста на процесорот, Dell исто така се покажува подобар (2,5 пати), иако има вредности за користење на процесорот кои се % повисоки, но, како што можевме да потврдиме, ова е само последица на обработката значително поголем број операции, а со тоа и подобра продуктивност.

Така, платформата Dell R730xd се покажува значително поефикасна од HP ProLiant DL380 (многу пати), и во однос на перформансите и во однос на исплатливоста.

Резултати од Geekbanch 3 тестот Dell R730xd со процесор E5-2640 v4 или зошто се важни инструкциите на процесорот и кешот на контролорот

Како што можеме да видиме погоре, можеме да постигнеме максимални резултати само кога трите компоненти - компјутерската моќ, складирањето и вмрежувањето - се избалансирани, бидејќи потенцијалните тесни грла што можат да се појават во неурамнотежен систем се минимизирани.

Но, она што е исто така исклучително важно е поддршката на процесорот на платформата за голем број инструкции и нивната ефикасност. Веќе спомнав погоре дека навидум незначајната разлика во генерациите може да игра прилично значајна улога во некои случаи. Така, според резултатите од независните тестови, E5-2650 v4 што го обезбедуваме е 70% поефективен во случај на шифрирање (инструкции AES) од E5-2650 v3.

Што е тогаш со „вкусните“ решенија од конкурентите од евтиниот, но не и од премиум сегментот? Зошто нашите решенија се подобри? Зошто нашите решенија се премиум? Одговорот е едноставен - нашите сервери беа и се избалансирани. Дури и ако тие претходно имале пониски фреквенции или помали количини на меморија, тие секогаш биле балансирани според трите параметри опишани погоре. Вклучувајќи сигурен центар за податоци со сертификати што ги бара корпоративниот сегмент и одлични надворешни канали за комуникација кои обезбедуваат минимална латентност од Холандија, како до остатокот од Европа, така и до Русија и Украина, па дури и многу мала латентност на океанското дно во САД!

Но, сега дадовме конкурентна понуда во однос на овие индикатори, на 10 локации одеднаш, една во Холандија и 9 локации во САД, но да не зборуваме за нас, да го погледнеме тестот. За жал, овој тест моментално е достапен само за верзијата E5-2640 v4, со 10, а не 12 јадра, за нашата платформа.

https://browser.primatelabs.com/v4/cpu/768278 — результаты теста Geekbanch 3 платформы Dell R730xd c процессором Е5-2640 v4

Тоа, се разбира, не е многу објективно, бидејќи не ги зема предвид сите предности на платформата, истиот кеш SanDisk DAS за кој зборувавме, реалните индикатори за изведба може да испаднат многу подобри од синтетичките во одредено случај, многу! Но, сепак е можно да се стекне одредено разбирање.

Ајде да обрнеме внимание на многу инструкции. Најиндикативен може да биде веќе споменатиот AES, приближно на истите фреквенции разликата помеѓу вредностите за првото јадро може да биде до 1 пати во зависност од процесорот, останатите инструкции што беа споредени покажаа разлики во вредностите од неколку до 1000 пати.

Можете да го направите тоа сами внесете го процесорот во пребарувањето и направете споредба, но не заборавајте дека овој тест не е целосно индикативен, бидејќи не го зема предвид хардверот како целина, туку главно го карактеризира процесорот.

Сепак, се надевам дека овие резултати можат да ви бидат корисни кога ја анализирате ефективноста на одредено решение.

Користење на серверите на Dell R730xd како гол метал, едноставно подобро!

Некои од нашите клиенти решија да ја напуштат употребата на решенијата за облак VMware во корист на решенијата Bare Metal (железни сервери) и платформата Dell R730xd многу им помогна во тоа. И овде не зборуваме само за јавни облаци, туку и за приватни.

Зошто луѓето сè почесто носат такви одлуки? Во однос на јавните облаци, сè е повеќе или помалку јасно. Јас самиот ги сметам јавните облаци како голем маркетинг, ако нешто падне таму (и сите облаци паѓаат порано или подоцна), тоа паѓа таму долго време. Пример е истиот познат Амазон, кој своевремено лежеше неколку дена заедно со важна услуга за собирање телеметриски медицински податоци, вклучително и податоци за состојбата на срцето на пациентите кои користат пејсмејкер, кои беа следени од лекари, неколку луѓе загинаа... А неодамна, кога нашата корпоративна Битрикс лежеше, се покажа дека причината е тоа што вработените, кои исклучуваа некои од машините, како резултат на печатна грешка, исклучија повеќе јазли од потребното, што влијае на управувачките јазли, поради што виртуелните машини беа рестартирани во рок од 5 часа поради големата големина на кластерот... Но, ова не е единствениот можен проблем, може да се случи одеднаш да добиете „тесно грло“ поради употребата на облакот од некои други проекти или недостатокот на способност за брзо управување со неговата инфраструктура за да ги задоволи вашите сопствени потреби.

Кога станува збор за приватни облаци, во теорија, виртуелизацијата ја поедноставува достапноста и враќањето од катастрофи. Во пракса, постојат многу ситуации кога ова едноставно нема смисла:

Во случај на технички проблеми на јазолот, прифатливо е застој од 15-30 минути.
На сите проекти не им е потребно времетраење од околу 100%, освен за учениците кои се навикнати да плаќаат по еден долар и бараат 100%. За некои проекти, 99,9% гарантирано време на работа е повеќе од прифатлива опција. Бидејќи 0,1% е недостапност од максимум 44 минути месечно, што може да се појави од различни непланирани причини - поради дефект на хардверот или недостапност на мрежата. Гарантираме време на работа на мрежата од 99,99% за стандардни решенија, што овозможува недостапност од само 4 минути месечно. Ако серверот е поврзан со 2 независни канали кои минуваат низ различни комуникациски јазли и чиј сообраќај се обработува со независни јадра, гарантираното време на работа на мрежата се зголемува неколку пати повеќе. Ова овозможува да се задоволат барањата за време на работа дури и на банките за кои е прифатлива недостапност од околу 40 минути годишно, во согласност со сертификацијата. Во реалноста, периодите на недостапност се исклучително ретки. За 5 години работа со центарот за податоци, никогаш немало време сите сервери да станат недостапни во исто време поради проблеми со мрежата или електричната енергија. Дури и кога имаше глобално затемнување во Холандија и многу други центри за податоци станаа недостапни - некои заборавија да наполнат гориво на дизел моторите, некои немаа доволно моќност на UPS-от, во нашиот центар за податоци само помалку од процент од серверите станаа недостапни за кратко. временски период. Некои од серверите што клиентите ги изнајмуваат од нас, дури и прилично застарен, навидум застарен хардвер, кој е поверојатно да пропадне од новите брендирани решенија, не се рестартирани ниту еднаш во 3 години, исто како што за 3 години никогаш не биле изгубени. . Дали недостапноста од 30 минути е прифатлива за 3 години? Повеќе од, дури и за банките.

И се поставува разумно прашање, зошто тогаш преплатува? Се подразбира дека не треба да се потпирате на случајноста и секогаш треба да се движите од принципот на разумни резерви. Главното правило што го открив за себе е следново: резервацијата не треба да чини повеќе од загубите што може да настанат во случај на период на недостапност поради недостаток на таква резервација. Односно, ако гарантираното време на работа дозволува недостапност од 40 минути месечно, а во случај на недостапност во таков временски период, загубите ќе изнесуваат неколку стотици или дури илјада долари - изнајмување дополнително решение за зголемување на гаранцијата за време на работа едноставно нема смисла. Бидејќи во реалноста, серверите нема да бидат недостапни секој месец по 40 минути; 40 минути недостапност е гаранција, најлошото сценарио. Што не се спроведува месечно, како што покажа практиката.

На овој начин, серверите можат да бидат важни без да бидат критични за мисијата, а кога на сопствениците на проекти не им пречи рачно да го префрлат оптоварувањето на друг посветен сервер, можеме да ја избегнеме сложеноста на изградбата на кластер за фајлвер и заедничко складирање на фајловер.

Ниската продуктивност е неприфатлива за време на работниот период. Многу од нашите клиенти избираат голи метални решенија од Dell токму поради оваа причина; многу е поевтино и попрофитабилно да се користи целосен хардвер за време на стандардната работа, што практично не е предмет на непристапност, како што веќе разговаравме, отколку да се преплаќа за облак. опција и истите перформанси во облакот, што ќе чини неколку пати повеќе од наменското решение. Облакот и кластерирањето едноставно не можат да ги задоволат потребите за ресурси и нема да бидат исплатливи за таквите клиенти.

Претплатниците не сакаат да плаќаат многу за услуга со ограничени можности. Претежно наши клиенти се мали компании кои немаат свои технички оддели и финансии за купување на сопствен хардвер. Купувањето хардвер може да биде вистински удар за нив и да не обезбеди соодветни перформанси, бидејќи со текот на времето хардверот има тенденција да застарува, а штета е да се фрли скапиот хардвер дури и по 3 години, во време кога компанијата порасна и нешто подобро е потребни. Ако изнајмите Dell R730xd од нас, имате можност да се префрлите на друг сервер во секое време или по една година ако ја изберете опцијата за изнајмување со договор на една година. Покрај тоа, постои можност да заштедите при плаќање за лиценци за VMware.

Користење на сервери на Dell R730xd за сервери за бази на податоци

Многу од нашите клиенти кои ги користат овие сервери за бази на податоци ја засакаа оваа платформа. И не само затоа што, за разлика од Dell R730, xd верзијата може да се обезбеди со поддршка за NVMe PCIe SSD-дискови, кои обезбедуваат минимална латентност, што е исклучително важно за вакви решенија. Но и затоа што контролерот е неверојатно ефикасен кога работи дури и со конвенционалните SSD-дискови од 2,5" што ги нудиме на клиентите.

Секако, има и недостаток кај Dell R730xd - има само 1 контролер, додека Dell R730 со 26 дискови користи 2 хардверски контролери. Но, ова не е значаен проблем, бидејќи избравме платформа со 12 полиња за погон и затоа нема да добиете тесно грло во форма на недоволна изведба на контролорот кога работите со оваа платформа и голем број SSD-дискови. И предноста во форма на можноста за инсталирање на NVMe PCIe SSD целосно го покрива овој недостаток.

Како што споменавме погоре, не секој има потреба од сложени кластери на бази на податоци; перформансите што оваа платформа може да ги обезбеди се многу поважни. Еден од нашите клиенти го направи токму тоа, се откажа од вишокот на виртуелизација и градење сложени кластери, изнајмувајќи VPS со посветени дискови за резервни копии на базата на податоци од главниот сервер Dell R730xd: VPS (KVM) – E5-2650 v4 (24 јадра) / 40GB DDR4 / 4x240GB RAID10 SSD 1Gbps 40TB – 99 долари. Секако, во случај на проблем со главниот јазол, ќе има одредено намалување на перформансите и ќе има потреба од рачно префрлување, сепак, ова е повеќе од исплатливо решение, со оглед на ограничениот буџет.

Не ги охрабруваме сите да прават такви заштеди, во некои случаи тоа е дури и многу оправдано. Меѓутоа, со зголемување на буџетот за само 230 долари месечно, можете да си дозволите идентичен E5-2650 v4 јазол и да ги поврзете заедно во локална мрежа од 20 гигабити, што, во принцип, ќе ви овозможи да изградите мал кластер со прифатлива латентност дури и без употреба на PCIe NVMe SSD-дискови.

Самото решение ќе изгледа вака (со основен сет на дискови):

Dell R730xd 2 x Intel Dodeca-Core Xeon E5-2650 v4 128GB DDR4 6x480GB SSD 1Gbps 100 TV + Intel X540-T2 20GBPS LAN – 289$/месец
Dell R730xd 2 x Intel Dodeca-Core Xeon E5-2650 v4 128GB DDR4 6x480GB SSD 1Gbps 100 TV + Intel X540-T2 20GBPS LAN – 289$/месец

Зголемувањето на нивниот број за да се зголеми продуктивноста не секогаш има смисла. Така, за време на тестовите со бази на податоци, откривме дека решението со 8 SSD дискови е само 4% поефикасно од решението со 35 SSD.

Што се однесува до препорачаните нивоа на RAID, RAID5 може да биде многу оптимален во некои случаи. Секако, RAID10 обезбедува подобри перформанси, но што ако дисковите се толку брзи што нивното користење во RAID10 би предизвикало контролорот да стане тесно грло? Во такви случаи, изградбата на HW RAID низа RAID5 е многу попрофитабилна со користење на топли резервни дискови од RAID10 (ако целта не е да се изгуби половина од квотата на SSD).

Дали ми треба кешот на контролорот да биде овозможен или подобро е да го оневозможам? RAID контролерот има многу ограничена количина на меморија, што е 1GB кога работите со SSD? Во случаите со брзи SSD-дискови, нема смисла да се вклучи кешот за читање, бидејќи со полнење на меморијата со операции за читање, кои нема да станат побрзи, бидејќи SSD-овите се веќе доволно брзи, не оставаме доволно кеш за пишување и , како што е познато, кај евтините SSD-дискови — тесно грло се операциите за запишување, поради пад на перформансите поради недоволно прекумерно обезбедување и 100% искористување на бесплатната квота (можен е десеткратен пад). Затоа, препорачуваме да го оставите вклучен само кешот за пишување. Со тоа се обезбедува максимална ефикасност на ова решение.

Дали големината на блокот NTFS навистина е важна? За повеќето складишта, 64 KB е означена како оптимална големина на блок за максимални перформанси. Но, многу често се среќаваме со случаи кога клиентот веќе користи сервер за база на податоци, користејќи ја почетната конфигурација со стандардна големина на NTFS кластер од 4KB. За да го поправите ова, треба да ги реформатирате погоните, но дали разликата е навистина толку голема во општиот случај? Дали треба да се изложите на можни прекини и непријатности поврзани со миграцијата?

Контролерот во серверот Dell R730xd обезбедува толку добри перформанси дури и со 4 SSD-дискови и овозможена кеш меморија (многу важна точка, кешот за читање треба да се оневозможи бидејќи не дава никакви предности, туку само ја намалува ефикасноста на операциите за пишување поради до недостатокот на простор за целосен кеш, како што е наведено погоре), дека дури и со стандардна големина на блок од 4KB, добиваме многу добри индикатори за перформанси, исклучително добри.

Како и да е, ние секогаш сме подготвени да се сретнеме и сме подготвени да понудиме слична платформа за одреден временски период за претплатниците да извршуваат работа доколку нешто не е земено предвид од нив.

RAMdrive сè уште е побрз од SSD дисковите. Ако вашите барања може да се обработат во TempDB, како што се сортирање или спојување, тогаш користењето на RAMdisk (програма што претвора дел од вашата RAM меморија во складиште) може да биде многу исплатлива. Така, споредувајќи ја брзината на 8 SSD-дискови во RAID10 со RAMdrive, откривме дека е околу 4 пати побрзо за операции за пишување 4K со длабочина на редот од 32, што точно ја имитира работата на датотеките TempDB. Дури и со комбинирање на 8 SSD дискови во RAID0 не беше можно да се надминат резултатите од RAMdrive.

RAID5 во случај на 8 SSD дискови може да биде поефективен од RAID10. Читањата на 4K со длабочина на редот од 32 се околу 40% побрзо, што не е изненадувачки со оглед на карактеристиките на RAID5. RAID5 победува во перформансите во други тестови, на пример, со секвенцијално пишување е 20%, инфериорен е само во операциите за запишување 4K со голема длабочина на редот (во нашиот случај 32) и се покажува дека е помалку ефикасен за 30%. Така, употребата на RAID5 во некои случаи може да биде многу економски оправдана.

Повеќе простор не секогаш значи побрзо. Кога имаме работа со случајни мали операции, додавањето на дискови во низата над одредена граница воопшто не ги подобрува перформансите. Се чини зошто? Излегува дека сè зависи од можностите на контролорот, кој е принуден да запишува податоци на цел куп дискови. Затоа купивме платформи со максимум 12 дискови, со цел да ја намалиме веројатноста за тесно грло. Сепак, треба да го погледнете интензитетот на операциите во рамките на секој проект, понекогаш 4 поголеми дискови, да речеме 960 GB, може да бидат подобро и поисплатливо решение од куп дискови од 480 GB.

Користење на сервери на Dell R730xd за сервери за податоци на Aerospike NoSQL

Aerospike е база на податоци со отворен код NoSQL која е блиц оптимизирана за брзина и приспособливост. Aerospike е дизајниран да обезбеди многу мала доцнење за барања за читање и големи оптоварувања за запишување, што ги задоволува современите деловни барања кои бараат способност за справување со голем број на I/O операции. Aerospike директно управува со локалното складирање на своите кластерски јазли, без оглед на датотечните системи на изворниот медиум, било да е тоа DRAM, флеш или традиционални хард дискови. Ова овозможува да се складираат критичните податоци на најбрзите медиуми каде што брзата обработка е најкритична, додека дистрибуираната природа на базата на податоци на Aerospike обезбедува висок степен на доверливост во случај на дефекти на јазлите на кластерот.

Серверите PowerEdge R13xd од 730-та генерација на Dell обезбедуваат неверојатна компјутерска моќ со најновите процесори E5-2650 v4 и брзиот DDR4 SDRAM. И способноста да се користат NVMe SSD-дискови, како што е Samsung SM1715, може да помогне да се добијат огромни перформанси со минимална латентност во јазлите со големи оптоварувања. Ова овозможува да се усогласат со современите барања SLA за времето на обработка на една трансакција со сигурно ниво на заштита од измама дури и во многу големи бази на податоци, што го прави решението прифатливо дури и за финансискиот сектор и банкарските трансфери, каде што понекогаш се вршат трансакции во рок од неколку часа или дури денови.

За банкарскиот сектор, можеме да понудиме решение засновано на овие платформи со локална мрежа од 40 и 100 Gbit / s помеѓу јазлите на кластерот и употреба на соодветни прекинувачи.

Користење на серверите на Dell R730xd во мрежите DMZ

Со задоволство им нудиме на нашите претплатници највисоки безбедносни стандарди. Центрите за податоци каде што ги нудиме овие сервери имаат многу сертификати: ISO 27001, PCI ДСС, SOC 1, HIPAA и NEN 7510.

Но, за да се задоволат барањата на истиот Google, некои клиенти бараат изградба на таканаречени демилитаризирани мрежи (мрежи DMZ) - мрежи со зголемена безбедност, што подразбира присуство на хардверски заштитен ѕид што го ограничува пристапот до опремата и ви овозможува да скријте ги потребните компоненти зад заштитниот ѕид и повеќе ја подобрувате безбедноста повеќе.

И се е во ред кога ваквото решение се нарача веднаш, но многу е тешко да се спроведе транзицијата практично без застој во процесот, што неодамна му се случи на еден наш клиент, со проект за обработка на барања за виза за граѓани од различни земји. на светот, каде што има непристапност дури и со часови може да доведе до загуби од десетици илјади долари. Но, најдовме решение, отидовме на состанок, ставивме дополнителна опрема во плакарот, поместувајќи ја помалку важната опрема и го вклучивме заштитниот ѕид според шемата, како што сака клиентот, за да може да ја изврши миграцијата без застој.

Беше / стана

Можеби оваа шема ќе биде корисна и за некого при спроведување на таква миграција, бидејќи инженерите во центрите за податоци не сакаат секогаш да гледаат очигледни работи, туку инсистираат на 2-часовен прекин за да се префрлат зад заштитниот ѕид, но љубезно ве замолувам - нарачајте хардверски заштитен ѕид однапред ако ви треба. Ние сме флексибилни и секогаш подготвени да се сместиме, но во некои ситуации нашите можности може да бидат ограничени.

Во идните публикации, ќе се обидеме да спроведеме голем број дополнителни тестови и да споделиме дополнителни искуства со користење на овие платформи кои дополнително ќе го подобрат разбирањето на изборот на најефективното решение. На крајот на краиштата, изненадувачки е да се види фактот дека RAID0 на два SSD дискови, во случаи на бази на податоци со големо оптоварување, може да испадне побавно од посебен диск за запишување, поради што добиваме барања за NVMe PCIe SSD од време на времето. Многу е веројатно дека ќе ги прикажеме најефективните сценарија за имплементација на решенија, ќе споделиме дополнително искуство кога е ефективно градењето на повеќе RAID низи во еден RAID контролер и ќе покажеме во кои случаи две независни RAID10 низи од 4 дискови ќе бидат подобри од една низа RAID10 8. Кога ќе биде ефективно да се користи RAID1 за TempDB, а RAID5 за сè друго. И како можете без NVMe PCIe SSD кога имате ограничен буџет.

Dell R730xd: бонус за читателите на Хабрахабр

Сакаме да ви го обезбедиме најдоброто и направивме сè за ова, нудејќи уникатни цени за Dell R730xd:

ua-hosting.company/serversnl - во Холандија
ua-hosting.company/servers - и во САД

Конфигурациите можат да бидат многу разновидни, на пример, Следниве се достапни за итно активирање во Холандија::

Dell R730xd 2 x Intel Dodeca-Core Xeon E5-2650 v4 128GB DDR4 6×480 SSD 1Gbps 100 ТВ -*249$
Dell R730xd 2 x Intel Dodeca-Core Xeon E5-2650 v4 128GB DDR4 12×240 SSD 1Gbps 100 ТВ -*249$
Dell R730xd 2 x Intel Dodeca-Core Xeon E5-2650 v4 128GB DDR4 4x4TB 4x480 SSD 1Gbps 100 ТВ — *249$
Dell R730xd 2 x Intel Dodeca-Core Xeon E5-2650 v4 128GB DDR4 12x4TB SATA 1Gbps 100 ТВ — *249$

И чесниот посветен 1Gbps Unmetered (со исклучок на сообраќајот) им е достапен за + $120/месец. Плус можност да купите заштитен ѕид, мрежни картички, прекинувач и да изградите мулти-гигабитна локална мрежа. Но, ценовниот услов важи за договор на една година.

Сакаме да ја подобриме состојбата и да понудиме бонус за краткорочни плаќања и изнајмувања без договор, со што понудата ќе биде поприфатлива. Секој кој нарача и плати за која било од предложените опции во Холандија во период од 1 месец, ќе обезбедиме токму истиот сервер 1 месец потполно бесплатен, или повторно ќе ја пресметаме нарачаната конфигурација и ќе го пресметаме нарачаниот сервер по иста цена како и за годишен договор (249 $ / месец наместо 369 $ / месец), враќајќи ја разликата на салдото. За да го направите ова, само оставете го бројот на вашата нарачка во коментарите. За оние кои сè уште не созреале за наменски решенија, нудиме да изнајмите кој било VPS (KVM) со посветен дискови во Холандија или САД на овие платформи, на пример, VPS (KVM) – E5-2650 v4 (6 јадра) 10GB DDR4 240GB SSD 1Gbps 10TB – 29 долари, и добијте бонус од 1-4 месеци користење кога плаќате за 1, 3, 6, 12 месеци, соодветно, наведувајќи го бројот на нарачката во коментар. Сега изградбата на инфраструктура стана полесна!

Извор: www.habr.com