Корпоратсияи инфраструктураро чӣ гуна бояд сохт. синф бо истифодаи серверҳои Dell R730xd E5-2650 v4 ба маблағи 9000 XNUMX евро барои як динор?

Дар ин мақола мо ба шумо мегӯем, ки мизоҷони мо бо истифода аз платформаҳои серверии Dell R730xd кадом ҳалли инфрасохторро амалӣ мекунанд ва чаро нархи иҷораи ин платформа аст Маркази маълумоти аврупоӣ сатҳи TierIII+ бо каналхои аълои алока ба Украина ва Россия, инчунин дар 9 макон дар ШМА, аллакай бо ҷойгиркунӣ ва пайвастшавӣ бо нарх аз $249 / моҳ барои 2 x Intel Dodeca-Core Xeon E5-2650 v4 128GB DDR4 6x480 SSD 1Gbps ба вокеият табдил ёфтааст. Мо ҳалли имконпазирро дар асоси ин платформаҳо бо истифода аз vlan хусусӣ, шабакаи маҳаллӣ 10G ва сахтафзор Firewall аз CISCO мубодила хоҳем кард, ки бо дархости муштариёни мо дастрасанд. Ва инчунин, дар беҳтарин анъанаҳо, мо бонусро дар шакли давраи ройгони истифодаи серверҳои Dell R730xd барои хонандагони Habrahabr пешниҳод хоҳем кард.

Корпоратсияи инфраструктураро чӣ гуна бояд сохт. синф бо истифодаи серверҳои Dell R730xd E5-2650 v4 ба маблағи 9000 XNUMX евро барои як динор?

Вақтҳои охир ба мо дархостҳо оид ба сохтани инфрасохтори гуногуни корпоративӣ торафт бештар ворид шуда истодааст ва ин, мутаассифона, на он қадар ба он вобаста аст, ки мо қарорҳои хеле баландсифатро пешниҳод мекунем, балки бо нархи ин қарорҳо ва сатҳи амният ва волоияти қонун, ки дар Нидерландия ва ИМА пешбинӣ шудааст, аммо, мутаассифона, аксар вақт дар Украина ва Русия дастрас нест. Дар куҷо, мутаассифона, чунин қарорҳо танҳо пули «астрономӣ» арзиш доранд, зеро мафҳуми «пули дарозмуддат» барои кишварҳои пасошӯравӣ дар пасманзари хатарҳои дигар ё аз сабаби мавҷуд набудани инфрасохтори зарурӣ ва сатҳи зарурӣ бегона аст. сертификатсия.

Намунаи хуб дар ин ҷо фарқияти нархи сахтафзор хоҳад буд. Масалан, платформаи Dell R730xd, барои мизоҷони мо харида шудааст, дар конфигуратсияи асосӣ, 2 x Intel Dodeca-Core Xeon E5-2650v4 128GB DDR4 6x480GB SSD тақрибан 9000 евро арзиш дорад. Ногуфта намонад, ки дар бораи нархи пасти иҷораи ин сервер дар Украина ё Русия ҳеҷ гап нест, зеро арзиши иҷора ба баргардонидани арзиши платформа дар тӯли 12-18 моҳ асос ёфтааст. Ин маънои онро дорад, ки нархи ҳадди ақали иҷораи имконпазир, ба истиснои арзиши манзил, нерӯи барқ ​​ва каналҳои алоқа, вобаста ба дараҷаи хавфи провайдер ва нақшаи бизнес дар ҳудуди $500-800 дар як моҳ хоҳад буд. Шумо инчунин бояд як маркази хуби маълумотро бо сатҳи зарурии сертификатсия ва каналҳои алоқа пайдо кунед. Хуб, дар бораи ба назар гирифтани хатарҳои мусодираи ғайриқонунии таҷҳизот ҳангоми баъзе амалҳои ғайриқонунии тафтишотӣ, ки дар натиҷаи рақобат ва хусусиятҳои пешбурди тиҷорат дар як минтақаи муайян ба вуҷуд омадаанд, фаромӯш накунед.

Аз ин рӯ, тааҷҷубовар нест, ки пешниҳоди мо таваҷҷӯҳи зиёдро ба бор овард, алахусус аз он ки марказҳои додаҳо, ки мо серверҳои пешниҳодшударо пешниҳод менамоем, дорои шаҳодатномаҳои зиёди зарурӣ ва муҳим барои бахши корпоративӣ мебошанд - ISO 27001, PCI DSS, SOC 1, HIPAA и NEN 7510.

Корпоратсияи инфраструктураро чӣ гуна бояд сохт. синф бо истифодаи серверҳои Dell R730xd E5-2650 v4 ба маблағи 9000 XNUMX евро барои як динор?

Акнун биёед якчанд парвандаҳоро бубинем, ки ҳам барои шурӯъкунандагон ва ҳам барои лоиҳаҳои хурд ва ҳам барои интеграторҳои хеле калони системавӣ, ки дар офисҳои худ дар минтақаҳои нигоҳдорӣ ё марказҳои додаҳо қарорҳо месозанд, ҷолиб бошанд.

Манфиатҳои платформаҳои Dell R730xd ҳангоми сохтани анборҳои маълумот бо истифода аз Red Hat Ceph

Пӯшида нест, ки талабот ба нигоҳдорӣ ва коркарди маълумот мунтазам ва бо суръати тез меафзояд. Агар чанд сол пеш доштани 1ТБ нигоҳдорӣ кифоя буд, ки чандсад IOPS-ро таъмин мекард, ҳоло талабот ба даҳҳо ҳазор IOPS ва петабайтҳо афзоиш ёфтааст. Ин талабот ба иқтидор ва иҷроиш қисман аз ҳисоби афзоиши ҳаҷми маълумоти сохторнашуда, аз ҷумла мусиқӣ, тасвирҳо, видеоҳо, нусхаҳои эҳтиётии пойгоҳи додаҳо, файлҳои журнал ва бойгониҳои дигар, маълумоти молиявӣ ва тиббӣ - додаҳо бо номи "Маълумоти калон" афзоиш меёбанд. Ногуфта намонад, ки талаботи афзоянда ба нигоҳдории маълумот дар натиҷаи паҳншавӣ ва тавсеаи Интернет ва захираҳои нави интернетӣ. Ҳамин тавр, бо ҳамаи ин талаботҳои қувваи барқ, интизориҳои муштариён дар бораи эътимоднокии баланд ва иҷрои баланд аз ҳарвақта зиёдтаранд.

Дар ҳоле ки ширкатҳои IT кӯшиш мекунанд, ки мушкилоти идоракунии петабайтҳо ва ҳатто экзабайтҳои маълумотро ҳал кунанд, модели нигоҳдории абр дар марказҳои муосири додаҳо бештар маъмул мегардад. Бештар ва бештар системаҳои нави нармафзор навишта мешаванд, ки ба шумо имкон медиҳанд ҳамкории муҳити абрро бо сахтафзор ба таври оптималӣ танзим кунед; яке аз чунин пешрафтҳо Ceph мебошад.

Ceph як системаи нигоҳдории тақсимшудаи кушодаасос мебошад, ки барои таъмини иҷрои баланд, эътимоднокӣ ва миқёспазирӣ пешбинӣ шудааст. Ceph нигаҳдории объектҳоро дар кластери компютерии тақсимшуда амалӣ мекунад ва интерфейсҳоро барои нигоҳ доштани объектҳо, блокҳо ва файлҳо таъмин мекунад. Ceph нигоҳдории пурра тақсимшударо бидуни ягон нуқтаи нокомӣ ва миқёспазирӣ то сатҳи петабайт таъмин мекунад. Ceph маълумотро такрор мекунад ва ҳамин тавр таҳаммулпазирии хатогиҳоро таъмин мекунад. Система тавре тарҳрезӣ шудааст, ки на танҳо барқарорсозии мустақилро таъмин кунад, балки инчунин идоракуниро таъмин кунад, ки барои пешгирӣ кардани хароҷоти нолозими нигоҳдорӣ кӯмак мекунад. Азбаски Ceph сахтафзори умумиро истифода мебарад, ки тавассути нармафзор идора карда мешавад ва функсияҳои идоракунӣ тавассути интерфейсҳои барномасозии барномавӣ (API) дастрасанд, он ҳамчун нигаҳдории нармафзор муайяншуда (SDS) тасниф карда мешавад.

Red Hat Ceph Storage як системаи нигаҳдории барои истифода омода буда, нигаҳдории аз ҷониби нармафзор муайяншуда кушода, мутобиқшаванда, миқёспазир ва дар ҳама ҷо дастгирӣ карда мешавад. Навовариҳоро аз таҳияи сарчашмаҳои кушод бо асосии техникӣ ва дастгирии Red Hat муттаҳид мекунад. Ин ҳалли ҳамгироии зич бо OpenStack-ро таъмин мекунад ва аз ибтидо тарҳрезӣ шудааст, то нигоҳдории насли оянда ҳам барои муҳити абрӣ ва ҳам сарбории дигарро таъмин кунад.

Дар ин ҷо мо намунаи татбиқи ин қарорро дар серверҳои Dell, бахусус Dell PowerEdge R730xd, ки мо барои иҷора пешниҳод мекунем, дида мебароем ва бартариҳои сохтани анбор дар асоси ин платформаҳоро баррасӣ мекунем. Ин маълумот метавонад барои меъморон, муҳандисон ва маъмурони IT муфид бошад, ки мехоҳанд манфиатҳои истифодаи Red Hat Ceph Storage дар серверҳои Dell PowerEdge-ро омӯзанд ва онҳо бояд бо истифода аз таҷрибаҳои беҳтарини собитшуда тарҳрезӣ ва тарҳрезӣ кунанд.

Аммо дар ибтидо:

Каме дар бораи худи платформа, мо кадом вариантро пешниҳод мекунем ва чаро он аз ҷиҳати иқтисодӣ самаранок аст?

Dell PowerEdge R730xd то ба ҳол яке аз беҳтарин платформаҳо барои вазифаҳои корхона мебошад ва берун аз он, он бисёр ҷоизаҳои гуногунро ба даст овардааст ва як ҳалли хеле муассири нигаҳдорӣ мебошад, зеро он метавонад барои пули оқилона нигоҳдории зичии баландро таъмин кунад.

Корпоратсияи инфраструктураро чӣ гуна бояд сохт. синф бо истифодаи серверҳои Dell R730xd E5-2650 v4 ба маблағи 9000 XNUMX евро барои як динор?

PowerEdge R730xd дар се конфигуратсияи шасси бо омилҳои шакл ва таркиби гардонандаи гуногун, инчунин як воҳиди ихтиёрии тавсеаи пушти дастрас аст:

- 24 халтаҳои пеши дастраси 2,5" барои дискҳои SAS, SATA ё наздикии SAS ва 2 халтаҳои пушти 2,5" ихтиёрӣ. Шасси 2,5-дюймаи ихтиёрӣ метавонад то 4 диски PCIe Express Flash-ро аз Dell дар пеш дастгирӣ кунад.
- 12 халтаҳои гардонандаи пеши 3,5" SAS, SATA ё наздики SAS бо 4 халтаҳои дохилии ихтиёрии 3,5" гардонандаи гарм ивазшаванда ва инчунин ду халтаҳои ихтиёрии 2,5" дар қафо.
- 18 халиҷҳои пешинаи 1,8 дюйм барои SATA, 8 3,5 дюйм барои дискҳои SAS, SATA ё наздикии SAS, плюс 2 халтаҳои ихтиёрии 2,5" дар қафо.

Чунин ба назар мерасад, ки ҳар як шасси барои вазифаи худ хуб аст. Ин бешубха. Аммо оё онҳо дар ҳақиқат баробар аз ҷиҳати иқтисодӣ самараноканд?

Корпоратсияи инфраструктураро чӣ гуна бояд сохт. синф бо истифодаи серверҳои Dell R730xd E5-2650 v4 ба маблағи 9000 XNUMX евро барои як динор?

Мо варианти дуюмро интихоб кардем, то эҳтиёҷоти доираи васеи корбаронро дар шасси бо 12 лавҳаи диск қонеъ гардонем. Зеро мо онро самарабахштарин мешуморем. Ва барои хамин. Самаранокии иқтисодии ҳалли он аллакай дар универсалии он зоҳир мешавад - дискҳои омилҳои гуногуни формаро дар ин шасси насб кардан мумкин аст ва хариди он арзонтар аст ва инчунин муҳимтар аз ҳама, шумо метавонед ҳангоми кор бо маълумот бо истифода аз якчанд платформаҳои ба ҳам пайвастшуда ҳосилнокии бештар ба даст оред. на танҳо як дорои зичии баланди нигоҳдорӣ ва баръало пасттар ҳосилнокӣ.

Мо боварӣ дорем, ки тавассути пайваст кардани якчанд платформаҳои шабеҳ ба шабакаи бисёр гигабитии маҳаллӣ (ҳар як гиреҳро бо суръати 20 Гбит / с ё бештар аз он ба шабакаи маҳаллӣ пайваст кардан мумкин аст, бо истифода аз кортҳои дугонаи даҳ-гигабитии Intel X540-T2, ки мо ба таври илова пешниҳод менамоем), мо метавонем нисбат ба платформаҳои зичии нигоҳдории баландтар натиҷаҳо ва иҷроишро ба таври назаррас ба даст орем. Ин махсусан барои инфрасохторҳое, ки ин платформаҳоро барои кор бо пойгоҳи додаҳо истифода мебаранд, муҳим аст. Мутаассифона, бо шумораи зиёди дискҳо, контроллер метавонад хеле пурбор карда шавад ва контролери иловагӣ дар версияи xd, мутаассифона, мавҷуд нест. Корҳое, ки ҳангоми истифодаи платформаҳои дорои 12 халта ва шабакаи маҳаллӣ бисёр гигабит ба даст овардан мумкин аст, хеле баландтар хоҳад буд ва ҳалли он, дар навбати худ, бештар паҳншуда ва боэътимод хоҳад буд. Дар як калима - камхарҷ!

Хусусиятҳои сохтор ва тарҳрезӣ, истифодаи кортҳои видео

Платформаи Dell PowerEdge R730xd, ки ҳамагӣ 2U андоза дорад, то 2 протсессори Intel Xeon E5-2600 v3 ва баландтарро дастгирӣ мекунад, яъне он ба шумо имкон медиҳад, ки ҳангоми истифодаи протсессори 36-аслӣ то 18 ядро ​​ба даст оред. Мо як варианти миёнаро интихоб кардем, аммо насли навтарин - протсессори 12-аслӣ E5-2650 v4 (дар маҷмӯъ 24 ядро ​​дар ихтиёри шумост ва бо дарназардошти чанд ришта - 48 ядро), зеро маълум шуд, ки арзиши он аз ҳама бештар аст. -самаранок. Ҳамин тариқ, дар насли чорум дастурҳои муассири протсессор амалӣ карда мешаванд, масалан, AES, ки барои рамзгузории маълумот масъул аст, нисбат ба ҳамон протсессорҳо 70% самараноктар аст, аммо насли сеюм. Дар айни замон, протсессор ва платформа метавонад то 1,54 ТБ хотираи оперативиро дастгирӣ кунад, ки дар баъзе ҳолатҳо хеле мушаххас муҳим аст. Мо варианти маъмултаринро, ки аз ҷиҳати нарх ва суръати корӣ дастрастарин аст - 128 ГБ DDR4 RAM интихоб кардем ва имкони навсозӣ бо дархости муштариёнро фароҳам овардем.

Дар панели пеши R730xd 6 нишондиҳандаи ҳолати система мавҷуд аст, ки метавонанд шуморо аз мушкилоти гуногун огоҳ созанд, бинобар ин шумо метавонед бо сари вақт андешидани чораҳои дахлдор аз бисёр мушкилоти муҳим канорагирӣ кунед. Слотҳои DIMM барои RAM мустақиман дар motherboard ҷойгиранд. R730xd DIMM-ҳои ба қайд гирифташудаи ислоҳи хатогиҳо ва инчунин LRDIMM-ҳоро (Модулҳои хотираи дучанд дар сатри бор), як навъи нисбатан нави хотираи серверҳоро дастгирӣ мекунад. Аммо мо онро истифода намебарем, зеро LRDIMMҳо танҳо барои миқдори зиёди хотира муфид мешаванд, вақте ки ҳадаф баланд бардоштани суръати кор аст.

Модули дохилии дугонаи SD (IDSDM) ба муштариён имкон медиҳад, ки технологияи виртуализатсияи ба айби таҳаммулпазири Dell-ро истифода баранд, ки изофакориро барои гипервизорҳои дарунсохт таъмин мекунад. Ҳарчанд PowerEdge R730 GPU-ро дастгирӣ мекунад, ки метавонад дар муҳитҳои офиси виртуалӣ (мизҳои кории виртуалӣ) ва инчунин барои ҳисоббарории баландсифат ва коркарди муштарак муфид бошад, R730xd GPU-ҳоро дастгирӣ намекунад, зеро хунуккунии дурустро бо кортҳои видеоӣ таъмин кардан мумкин нест. Аммо то ҳол мо ба ин хидмат талабот кам дорем ва танҳо як муштарии мо барои сервер корти видеоӣ фармоиш додааст. Маҳз аз ин рӯ, мо платформаҳои R730-ро ба таври оммавӣ фармоиш надодаем, аммо метавонем онҳоро тибқи дархост, ки бо яке аз кортҳои тавсияшуда муҷаҳҳаз шудааст, бирасонем.

Аз ин сабаб, мутаассифона, нархи иҷораи қарор ин қадар ҷолиб буда наметавонад ва вобаста ба мӯҳлати пардохт ва мӯҳлати шартнома бештар аз 2 маротиба меафзояд. Мо пешниҳод мекунем, ки кортҳоро тавассути таъминкунандаи худ дар Нидерландия харидорӣ кунем, нархҳо дар зер оварда шудаанд ва танҳо аз рӯи ин рӯйхати тавсияшуда (инҳо тавсияҳои худи Dell ҳангоми дархости мо буданд), шояд ин маълумот барои касе муфид бошад:

NVIDIA Tesla M10 GPU CusKit: 2,884.98 EUR
NVIDIA Tesla M40 GPU: 4,913.33 EUR
NVIDIA Tesla M40 24 ГБ GPU, Маҷмӯаи Cust: 6,458.95 EUR
NVIDIA M60 GPU, ғайрифаъол, GRID 2.0 SW-ро барои функсияи VDI талаб мекунад, маҷмӯаи Cust: 5,094.95 EUR

Литсензияҳо:
Иҷозатномаи обуна барои Nvidia GRID vApps 3 сол, 1 CCU: 20 EUR
Иҷозатномаи обуна барои Nvidia GRID vPC 3 сол, 1 CCU: 95 EUR
Иҷозатномаи обуна барои Nvidia GRID vWS 3 сол, 1 CCU: 480 EUR

Ҳамин тавр, агар шумо барои иҷораи сервери Dell R2 шартномаи ҳадди аққал 730 сол омода бошед (на xd, бинобар ин ҳалли он хеле гаронтар аст) - тамос гиред [почтаи электронӣ ҳифз карда шудааст], мо бо хурсандӣ ба шумо кӯмак хоҳем кард! Бо истифода аз яке аз кортҳои видеоии дар боло тавсияшуда, дар DELL R730 2 x E5-2650 v4 / 128GB / 6 x 480GB SSD / 1Gbps 100TB + конфигуратсияи GPU ва шартномаи 2-сола, он ба ҷои $6816 дар як сол тақрибан $2988 арзиш хоҳад дошт. Дар як сол дар ҳолате, ки платформаи Dell R730xd +, ки дар мақола баррасӣ мешавад, пардохти арзиши корти видео ва иҷозатномаро талаб мекунад, зеро ин таҷҳизоти хеле мушаххас аст.

Корпоратсияи инфраструктураро чӣ гуна бояд сохт. синф бо истифодаи серверҳои Dell R730xd E5-2650 v4 ба маблағи 9000 XNUMX евро барои як динор?

Бо вуҷуди ин, ҳатто ин нарх назар ба нархҳое, ки марказҳои додаҳои Украина ва Русия метавонанд барои чунин қарорҳо пешниҳод кунанд, хеле ҷолибтар аст, агар онҳо мехоҳанд, ки ин гуна қарорҳоро пешниҳод кунанд... Зеро, аҷиб аст, ки дар Ҳолланд, ки ҳамкорӣ бо Dell аст. бевосита таъсис дода мешавад, мӯҳлати ваъдашуда барои сервер бо корти видеоӣ аз лаҳзаи фармоиш додани муштарии мо тақрибан 2 моҳ буд (муштарӣ розӣ шуд, ки интизор шавад, зеро дар бозор алтернативаҳо вуҷуд надоранд), аз сабаби хусусияти пурзури ин махсулот Dell танҳо онро дар саҳҳомӣ надошт. Бо ву-чуди ин, тахеил дар давоми камтар аз як мох анчом ёфт. Ташаккур ба шӯъбаи таъминоти маркази маълумот ва бачаҳо аз Dell барои самаранокии онҳо. Аммо барои ман, ин таҷриба ҳанӯз ғайриоддӣ буд, зеро платформаҳои стандартии Dell R730xd дар давоми чанд рӯз расонида мешаванд.

Назоратҳо ва қобилиятҳои нозири PERC

Серверро тавассути iDRAC8 мувофиқ идора кардан мумкин аст (Integrated Controller Access Remote Dell 8) бо Controller Lifecycle Dell, ки вақти сарфшуда барои иҷрои вазифаҳои идоракуниро коҳиш медиҳад, эҳтимолияти хатогиҳоро коҳиш медиҳад, амниятро беҳтар мекунад ва самаранокии умумии муҳити IT-и шуморо беҳтар мекунад.

Корпоратсияи инфраструктураро чӣ гуна бояд сохт. синф бо истифодаи серверҳои Dell R730xd E5-2650 v4 ба маблағи 9000 XNUMX евро барои як динор?

Барои муштариёни мо, дастрасӣ ба iDRAC8 тавассути RMI (Интерфейси идоракунии дурдаст) таъмин карда мешавад, ки танҳо аз шабакаи хусусии маркази додаҳо бо мақсадҳои амниятӣ дастрас аст ва дастрасӣ ба он мо тавассути нақби Open VPN ройгон пешниҳод мекунем. Пас аз ворид шудан, iDRAC шарҳи система ва инчунин намуди консолҳои виртуалиро тавассути iKVM намоиш медиҳад.

Ман мехоҳам ба мониторинг диққати махсус диҳам; iDRAC8 ба шумо имкон медиҳад, ки омори истеъмоли қувваи барқро дар як соат, рӯз ё ҳафтаи охир ба даст оред ва ҳадди ниҳоии масрафи барқро маҳдуд кунед:

Корпоратсияи инфраструктураро чӣ гуна бояд сохт. синф бо истифодаи серверҳои Dell R730xd E5-2650 v4 ба маблағи 9000 XNUMX евро барои як динор?

Системаи мониторинг ва сабти ҳарорат iDRAC ба шумо имкон медиҳад, ки маълумотро аз сенсорҳои ҳарорат ҷамъоварӣ кунед ва диапазони ҷойгиршавии онро муайян кунед. Ҳамин тариқ, қобили қабул ҳисобида мешавад, ки протсессорҳо дар диапазони ҳарорати Огоҳӣ танҳо дар давоми 10% вақт ва барои 1% Критикӣ бошанд. Вақт дар банди критикӣ инчунин ба вақти иҷозатдодашуда дар банди огоҳкунанда таъсир мерасонад. Ҷамъоварии маълумотҳои ҳарорат вақте оғоз мешавад, ки система пас аз баромадан аз корхона фаъол карда мешавад ва аз нав танзим карда намешавад.

Корпоратсияи инфраструктураро чӣ гуна бояд сохт. синф бо истифодаи серверҳои Dell R730xd E5-2650 v4 ба маблағи 9000 XNUMX евро барои як динор?

Насли 13-уми серверҳои Dell PowerEdge бо контроллерҳои PERC9 муҷаҳҳаз шудааст, ки дар он технологияи LSI CacheCade, ки қаблан дар контроллерҳои PERC8 истифода мешуд, бо технологияи муассиртар иваз карда шудааст - DAS Cache аз SanDisk.

Корпоратсияи инфраструктураро чӣ гуна бояд сохт. синф бо истифодаи серверҳои Dell R730xd E5-2650 v4 ба маблағи 9000 XNUMX евро барои як динор?

Дар озмоишҳои синтетикӣ, DAS Cache иҷрои массивҳои HDD-ро дар ҳолатҳои конфигуратсияҳои гибридии HDD+SSD ба таври назаррас суръат мебахшад. Ҳамин тавр, дар сурати массиви 5 HDD дар RAID6 (сатҳи 6 барои таъмини иқтидори ҳадди аксар интихоб карда мешавад) ва 5 SSD RAID10 (4 + 1 SSD эҳтиётии гарм барои баланд бардоштани самаранокии массив) ҳангоми истифодаи DAS Cache, иҷрои массив 5 HDD RAID6 + Cache DAS дар массиви муайяншудаи SSD аст, ки ба иҷрои худи массиви SSD наздик аст:

Корпоратсияи инфраструктураро чӣ гуна бояд сохт. синф бо истифодаи серверҳои Dell R730xd E5-2650 v4 ба маблағи 9000 XNUMX евро барои як динор?

Корпоратсияи инфраструктураро чӣ гуна бояд сохт. синф бо истифодаи серверҳои Dell R730xd E5-2650 v4 ба маблағи 9000 XNUMX евро барои як динор?

Ҳамин тавр, пас аз каме бо платформа шинос шуда, мо метавонем бартариҳои ин платформаро ҳангоми сохтани анборҳо дида бароем.

Чӣ платформаи Dell R730xd-ро барои ҷойгиркунии анбори додаҳо, бахусус Red Hat Ceph беҳтарин месозад?

Муҳити нигоҳдории Red Hat Ceph серверҳои стандартии соҳаро барои миқёспазирӣ, устуворӣ ва иҷроиш истифода мебарад. Усулҳои ҳифзи додаҳо дар арзиши ҳалли нақши калидӣ мебозанд. Ceph ба корбар имкон медиҳад, ки усулҳои гуногуни амниятро барои ҳавзҳои гуногуни нигаҳдорӣ интихоб кунад.

Ҳавзҳои нигаҳдории такрорӣ нусхаҳои пурраи объектҳои захирашударо тавлид мекунанд ва барои барқарорсозии зуд ва коркарди додаҳо беҳтаринанд. Дар ҳолати ҳавзи нигаҳдории такрорӣ, Ceph ба омили такрории се пешфарз мешавад, вақте ки се нусхаи маълумот дар се гиреҳи алоҳидаи Ceph ҷойгиранд.

Ҳавзҳои нигаҳдории ба фасод тобовар як нусхаи маълумотро бо паритет таъмин мекунанд, ки ин ҳангоми зарурати нигоҳдории дарозмуддати додаҳо муфид аст ва арзиши камхарҷ аст.

PowerEdge R730xd як сервери бениҳоят чандир ва миқёспазир аст, ки коркарди баландсифат ва доираи васеи имконоти нигаҳдории маҳаллии ба сарбории корӣ оптимизатсияшуда, аз ҷумла сатҳҳои гибридӣ пешкаш мекунад. Таҳия доираи васеи конфигуратсияҳоро дар бар мегирад, ки барои Ceph беҳтарин аст.

— R730xd имкон медиҳад, ки барои ҳам барои тиҷорати хурд ва ҳам барои тиҷорати калон қарорҳои хеле самараноки инфрасохторӣ эҷод кунанд.
— R730xd бо қобилиятҳои автоматикунонидашудаи ҷойгиркунӣ вақти ба истифодадиҳиро кам мекунад, ки вуруди корбарро кам мекунад ва хатогиҳои инсониро кам мекунад.
"Серверҳои PowerEdge кори маркази додаҳои IT-ро бо абзорҳои инноватсионии идоракунӣ, аз қабили iDRAC Quick Sync ва iDRAC Direct беҳтар намуда, дидани саломатии ҳамаҷонибаи система ва густариши босуръатро таъмин мекунанд.
"Серверҳои PowerEdge истифодаи нерӯи барқро оптимизатсия карда, иҷрои беҳтар барои як ватт ва назорати дақиқтари масрафи нерӯ ва хунуккуниро таъмин мекунанд.

Dell PowerEdge R730xd бартариҳое медиҳад, ки ҳосилнокии ҳадди аксарро аз тариқи:

— Бо истифода аз технологияҳои навтарин ва нигаҳдории динамикии маҳаллӣ самаранокии барномаҳоро суръат бахшед.
"Миқёскунӣ бо нигаҳдории дастрасии пешина осон ва зуд аст, ки доираи васеи дискҳоро аз HDD-ҳои арзони SATA то 2.5" SSD-ҳои ултра-тез, инчунин дискҳои таъхирнопазири ултра паст, ба монанди PowerEdge Express Flash NVMe PCIe SSD-ҳоро дастгирӣ мекунад.
- R730xd ба шарофати истифодаи технологияҳои нави кэш дар контроллери PERC барои тарҳҳои нигаҳдории гибридӣ хеле мувофиқ аст, ки самаранокии хароҷоти ҳалли Ceph-ро зиёд мекунад.

Намунаи татбиқи инфрасохтор бо Red Hat Ceph Storage, ки аз 5 сервери Dell R730xd иборат аст, шумо метавонед дар зер бубинед:

Корпоратсияи инфраструктураро чӣ гуна бояд сохт. синф бо истифодаи серверҳои Dell R730xd E5-2650 v4 ба маблағи 9000 XNUMX евро барои як динор?

Ҳангоми санҷишҳои мустақили конфигуратсияҳои гуногуни платформаҳои Dell R730xd, натиҷаҳои зерин ба даст оварда шуданд:

Корпоратсияи инфраструктураро чӣ гуна бояд сохт. синф бо истифодаи серверҳои Dell R730xd E5-2650 v4 ба маблағи 9000 XNUMX евро барои як динор?

Корпоратсияи инфраструктураро чӣ гуна бояд сохт. синф бо истифодаи серверҳои Dell R730xd E5-2650 v4 ба маблағи 9000 XNUMX евро барои як динор?

Версияи мо аз платформа натиҷаҳои хеле хуб нишон медиҳад ва дар сурати хондан, шояд беҳтарин. Ва агар мо ба назар гирем, ки мо ин платформаҳоро ба миқдори зиёд фармоиш додаем ва аз ин рӯ, мо метавонем нархро нисбат ба дигар вариантҳои платформа бештар аз 2 маротиба арзонтар пешниҳод кунем - он беҳтаринест барои хондан ва навиштан аз нигоҳи аз параметри камхарҷ. Дар ниҳоят, ҳеҷ чиз ба шумо барои сохтани кластери 7-8 платформа монеъ намешавад, ба ҷои 5. Ҳамзамон, шумо таҳаммулпазирии хатогиҳоро боз ҳам бештар ба даст меоред.

Оё ҳангоми сохтани чунин инфрасохторҳо коммутаторҳои 10-гигабит лозиманд? Не, ҳатмӣ нест, яке аз муштариёни мо инфрасохторро, ҳарчанд аз 3 сервер бо истифода аз схемаи пайвастшавӣ ба шабакаи маҳаллӣ сохтааст:

Корпоратсияи инфраструктураро чӣ гуна бояд сохт. синф бо истифодаи серверҳои Dell R730xd E5-2650 v4 ба маблағи 9000 XNUMX евро барои як динор?

Ин ба ӯ имкон дод, ки каме сарфа кунад - $350 дар як моҳ барои иҷораи коммутатор, зеро коммутаторҳои 10-гигабитӣ хеле гарон ҳастанд ва мо танҳо беҳтаринро пешниҳод мекунем - Arista 7050tx-48-r. Мо дар ҳалли якчанд портҳо ягон нуқтаи назар намебинем.

Принсипи платформаҳои Dell R730xd кадомҳоянд?

Чанде пеш, Microsoft як санҷиши ҷолиби кори ин платформаҳоро дар сурати сохтани анборҳои маълумот бо шумораи ками гиреҳҳо анҷом дод.

Мо 4 гиреҳи Dell R730xd-ро истифода бурдем, ки ба шабакаи маҳаллии 100 гигабитӣ бо истифода аз гузариши 32-порти Arista DCS-7060CX-32S 100Gb муттаҳид шуда, версияи EOS 4.15.3FX-7060X.1 кор мекунад.

Конфигуратсияи гиреҳҳои истифодашуда чунин аст:

2x Xeon E5-2660v3 2.6 ГГц (10c20t)
256 ГБ DRAM (16х 16 ГБ DDR4 2133 МГс DIMM)
4x Samsung PM1725 3.2TB NVME SSD (PCIe 3.0 x8 AIC)
Dell HBA330
4x Intel S3710 800GB SATA SSD
Иқтидори 12х Seagate 4TB Enterprise 3.5 "SATA HDD
2x Mellanox ConnectX-4 100 Гб (Дучанд Порт 100 Гб PCIe 3.0 x16)
Mellanox FW в. 12.14.2036/XNUMX/XNUMX
Ронандаи Mellanox ConnectX-4 v. 1.35.14894
Дастгоҳи PSID MT_2150110033
Порти ягона пайваст / адаптер

Бо истифода аз VMFleet, дар ҳар як гиреҳ 20 мошини виртуалӣ, яъне ҳамагӣ 80 мошини виртуалӣ бардошта шуд. Ҳар як мошини виртуалӣ бо 1vCPU танзим карда шуд. Пас аз он VMFleet барои иҷро кардани утилитаи DISKSPD барои санҷидани кори нигоҳдорӣ дар ҳар як аз 80 гиреҳ истифода шуд, ин утилита ройгон дастрас аст дар ин ҷо. Параметрҳои санҷиш инҳоянд - 1 ришта, 512KiB хониши пайдарпай барои 4 амалиёти ворид/чор.

Корпоратсияи инфраструктураро чӣ гуна бояд сохт. синф бо истифодаи серверҳои Dell R730xd E5-2650 v4 ба маблағи 9000 XNUMX евро барои як динор?

Тавре ки шумо дар тасвири боло мебинед, мо тавонистем натиҷаи бениҳоят 60 гигабайт дар як сонияро ба даст орем, ки тақрибан ба 5 версияи инглисии Википедиа дар шакли фишурда (11.5GiB), ки ҳар сония бор карда мешаванд, баробар аст. Ва суръат аз ҳар як мошини виртуалӣ тақрибан як CD дар як сония буд - 750 МБ.

Ин санҷиш ба таври комил нишон медиҳад, ки ҳалли он то чӣ андоза самаранок буда метавонад, вақте ки се ҷузъи ҳисобкунӣ, нигоҳдорӣ ва шабака мутавозин карда мешаванд ва монеаҳои эҳтимолиро, ки метавонанд дар системаи номутаносиб ба амал оянд, кам кунанд.

Дар бораи платформаҳои истеҳсолкунандагони дигар чӣ гуфтан мумкин аст?

Муқоисаи Dell R730xd ва HP ProLiant DL380

Барои муқоисаи кор, мо сахтафзорҳои заифтареро интихоб кардем, ки барои иҷора пешниҳод мекунем - серверҳои дорои протсессори E5-2620v3, на E5-2650v4, ки ба таври назаррас самараноктаранд. Усули асосии санҷиш, ки барои ин муқоиса истифода мешуд, чен кардани шумораи IOPS буд. Якчанд симулятсияҳои гуногуни сарбории корӣ истифода шуданд, аз ҷумла ҳама Хондан ва 30% Хондан / 70% Навиштан (аналог ба системаи OLTP, системаи транзаксионӣ ҳангоми коркарди транзаксияҳои хурд, аммо ҷараёни калон ва муштариён бояд вақти ҳадди ақали посухро таъмин кунанд).

Барои бартараф кардани таъсири манфии омилҳои пинҳонӣ ба кори система якчанд маротиба санҷишҳо гузаронида шуданд. Аввалан, мо якчанд санҷишҳои асосиро дар Dell R730xd ва HP ProLiant DL380 бо истифода аз нигоҳдории HDD (5x1TB HDD RAID5) гузаронидем, то нишондиҳандаи асосиро таъмин кунад. Сипас ҳамон маҷмӯи санҷишҳо бо нигаҳдории 5x1TB HDD RAID-5 бо истифодаи кэши DAS дар SAS SSDs (2xSAS 480GB Samsung SSD RAID1) дар сервери Dell ва дар сервери HP бо истифода аз HPE SmartCache бо маҷмӯи шабеҳи дискҳо барои нигоҳдорӣ гузаронида шуд. ва кэш. Ниҳоят, маҷмӯи ниҳоии санҷишҳо дар сервери Dell бо истифода аз DAS Cache дар дискҳои NVMe PCIe SSD (2x400GB Samsung NVMe дар RAID нармафзор) барои нишон додани саҳми максималии кэш ба дастовардҳои иҷрои барномаҳо дар ҳолатҳои пуршиддати хондан ва навиштан гузаронида шуд. Санҷиши шабеҳ дар сервери HP гузаронида нашуд, зеро Smart Cache дискҳои NVMe-ро барои кэш дастгирӣ намекунад.

Конфигуратсияи системаҳо:

Dell PowerEdge R730xd (насли 13)
HP ProLiant DL380 (насли 9)

Сервер
CPU: x86-64 - Intel Xeon CPU E5-2620 v3 @2.40GHz;
Хотира: 32 ГБ DDR4.
CPU: x86-64 - Intel Xeon CPU E5-2620 v3 @2.40GHz;
Хотира: 32 ГБ DDR4.

Системаи оператсионӣ/нармафзор
Windows 2012 R2 SP1;
SanDisk DAS Cache v1.4.
Windows 2012 R2 SP1;
HPE SmartCache.

Нигоҳдорӣ/кэш
5x1TB HDD RAID5;
2xSAS 480 ГБ Samsung SSD RAID1;
2x400GB Samsung NVMe Software RAID.
5x1TB HDD RAID5;
2xSAS 480GB Samsung SSD RAID1.

Санҷиш
Сарбории хониш ва навиштанро тақлид кунед;
Андозаи пойгоҳи додаҳо 300 ГБ;
4 коргари ҳамзамон IOMETER бо умқи навбат 32.

Сарбории хониш ва навиштанро тақлид кунед;
Андозаи пойгоҳи додаҳо 300 ГБ;
4 коргари ҳамзамон IOMETER бо умқи навбат 32.

Якчанд санҷишҳои тасодуфии хондан/навиштан дар андозаи блокҳои гуногун - 4 ва 8 КБ гузаронида шуданд. Барои ҳар як андозаи блок, дар навбати худ, санҷишҳо дар 100% амалиёти хониш, инчунин 70% амалиёти хондан ва 30% амалиёти навиштан гузаронида шуданд. Санҷишҳое, ки бо суръатбахшии кор бо истифодаи кэш алоқаманд буданд, дар тӯли 900 сония (15 дақиқа) иҷро карда шуданд, то вақти кофӣ барои фаъол шудани кэш ва ба даст овардани натиҷаҳои дақиқтар таъмин карда шаванд.

Андозагирии самаранокӣ дар IOPS (амалиёти воридот/баромад дар як сония):

Сервер/конфигуратсия зери санҷиш
4KB RR
100% Хондан
4KB RR
70% Хондан 30% Навиштан
8KB RR
100% Хондан
8KB RR
70% Хондан 30% Навиштан

Dell R730xD (бе кеш)
1650
974
1540
1040

HP ProLiant DL380 (бе кэш)
1370
628
1322
630

Dell R730xD
бо DAS Cache
138884
66483
98368
56641

HP ProLiant DL380
бо SmartCache
41273
33534
35984
39396

Dell R730xD бо
DAS кэш ва
NVMe PCIe SSD
264750
158157
257150
104490

Андозагирии самаранокӣ дар % истифодаи протсессор:

Сервер/конфигуратсия зери санҷиш
4KB RR
100% Хондан
4KB RR
70% Хондан 30% Навиштан
8KB RR
100% Хондан
8KB RR
70% Хондан 30% Навиштан

Dell R730xD (бе кеш)
0,4%
0,28%
0,42%
0,3%

HP ProLiant DL380 (бе кэш)
0,8%
0,5%
0,8%
0,5%

Dell R730xD
бо DAS Cache
13%
8,8%
11,34%
7,83%

HP ProLiant DL380
бо SmartCache
6%
6%
5%
5%

Dell R730xD бо
DAS кэш ва
NVMe PCIe SSD
16%
10,1%
16%
5,78%

Натиҷаҳои санҷиш дастовардҳои назарраси иҷрои платформаҳои Dell R730xd ҳангоми истифодаи кэшкунии SanDisk DAS дар муқоиса бо HPE SmartCache нишон медиҳанд ва дастгирии NVMe PCIe SSD манфиатҳои боз ҳам бештар медиҳад. Дар симулятсияҳои OLTP, R730xd аз ҳисоби истифодаи SanDisk DAS Cache ва SAS SSDs то 3 маротиба баландтар IOPS ва аз ҳисоби истифодаи SanDisk DAS Cache + NVMe PCIe SSD дар муқоиса бо SmartCache HPE 6 маротиба баландтар нишон дод. Истифодаи баландтари CPU бо SanDisk DAS Cache ва истифодаи боз ҳам баландтари CPU бо SanDisk DAS Cache + NVMe PCIe SSDs, танҳо натиҷаи зиёд шудани шумораи IOPS мебошад. ва баръакс, истеъмоли оптималии захираҳои коркардкунандаро нишон медиҳад.

Ҳамин тавр, агар дар HP бо истифодаи 6% натиҷа дар IOPS 41 ҳазор бошад, яъне 1% захираҳои протсессор барои 0,15 ҳазор IOPS сарф карда шаванд, пас дар ҳолати Dell R730xd мо 16% истеъмолро дар 264 ҳазор дорем, ки ин нишондиҳандаи самараноктар - 0,06% захираҳои коркардкунанда ба 1000 IOPS таъмин менамояд.

Яъне, аз нуқтаи назари истифодаи протсессор, Dell низ беҳтар аст (2,5 маротиба), гарчанде ки он дорои арзишҳои истифодаи протсессор аст, ки% баландтар аст, аммо тавре ки мо тавонистем тафтиш кардем, ин танҳо натиҷаи коркард аст. шумораи хеле зиёди амалиёт ва аз ин рӯ ҳосилнокии беҳтар.

Ҳамин тариқ, платформаи Dell R730xd нисбат ба HP ProLiant DL380 (бисёр маротиба), ҳам аз ҷиҳати самаранокӣ ва ҳам аз ҷиҳати иқтисодӣ самараноктар аст.

Натиҷаҳои санҷиши Geekbanch 3 Dell R730xd бо протсессори E5-2640 v4 ё чаро дастурҳои протсессор ва кэши контроллер муҳиманд

Тавре ки мо дар боло мебинем, Мо метавонем ба натиҷаҳои максималӣ танҳо дар сурате ноил гардем, ки се ҷузъ - қудрати ҳисоббарорӣ, нигоҳдорӣ ва шабака - мутавозин бошанд, зеро монеаҳои эҳтимолӣ, ки метавонанд дар системаи номутаносиб ба амал оянд, ба ҳадди ақал расонида мешаванд.

Аммо он чизе, ки хеле муҳим аст, дастгирии протсессори платформа барои як қатор дастурҳо ва самаранокии онҳост. Ман дар боло зикр кардам, ки фарқияти ба назар ночиз дар наслҳо метавонад дар баъзе мавридҳо нақши хеле муҳим бозад. Ҳамин тариқ, тибқи натиҷаҳои санҷишҳои мустақил, E5-2650 v4, ки мо пешниҳод мекунем, дар ҳолати рамзгузорӣ (дастурҳои AES) нисбат ба E70-5 v2650 3% самараноктар аст.

Пас дар бораи қарорҳои "болаззат" аз рақибони арзон, аммо на сегменти премиум чӣ гуфтан мумкин аст? Чаро ҳалли мо беҳтар аст? Чаро ҳалли мо премиум аст? Ҷавоб оддӣ аст - серверҳои мо мутавозин буданд ва ҳастанд. Ҳатто агар онҳо қаблан басомадҳои камтар ё миқдори камтари хотира дошта бошанд ҳам, онҳо ҳамеша мувофиқи се параметри дар боло тавсифшуда мутавозин мешуданд. Аз он ҷумла як маркази боэътимоди додаҳо бо сертификатҳое, ки сегменти корпоративӣ талаб мекунанд ва каналҳои аълои иртиботи беруна, ки аз Нидерландия, ҳам ба боқимондаи Аврупо, ҳам ба Русия ва Украина ва ҳатто таъхири ҳадди ақалро таъмин мекунанд. таъхири хеле паст дар қабати уқёнус дар ИМА!

Аммо ҳоло мо аз рӯи ин нишондодҳо дар 10 макон якбора, як дар Нидерландия ва 9 макон дар ИМА пешниҳоди рақобатпазир пешниҳод кардем, аммо биёед дар бораи мо ҳарф назанем, биёед ба санҷиш назар кунем. Мутаассифона, ин санҷиш ҳоло танҳо барои версияи E5-2640 v4, бо 10, на 12 ядро, барои платформаи мо дастрас аст.

https://browser.primatelabs.com/v4/cpu/768278 — результаты теста Geekbanch 3 платформы Dell R730xd c процессором Е5-2640 v4

Ин, албатта, он қадар объективӣ нест, зеро он ҳама бартариҳои платформа, ҳамон кэши SanDisk DAS-ро, ки мо дар бораи он сӯҳбат кардем, ба назар намегирад, нишондиҳандаҳои воқеии фаъолият метавонанд нисбат ба нишондиҳандаҳои синтетикӣ дар алоҳидагӣ хеле беҳтар бошанд. ҳолат, бисёр! Аммо хануз хам баъзе фахмо ба даст овардан мумкин аст.

Биёед ба бисёр дастурҳо диққат диҳем. Нишондиҳандатарин метавонад AES-и қаблан зикршуда бошад, тақрибан дар ҳамон басомадҳо фарқияти байни арзишҳо барои ядрои 1 вобаста ба протсессор метавонад то 1000 маротиба бошад, дастурҳои боқимондаи муқоисашуда фарқияти арзишҳоро аз якчанд то 100 маротиба.

Шумо метавонед худатон протсессорро ба ҷустуҷӯ ворид кунед ва муқоиса кунед, аммо фаромӯш накунед, ки ин санҷиш комилан нишондиҳанда нест, зеро он сахтафзорро дар маҷмӯъ ба назар намегирад, балки асосан протсессоро тавсиф мекунад.

Бо вуҷуди ин, ман умедворам, ки ин натиҷаҳо метавонанд барои шумо ҳангоми таҳлили самаранокии ҳалли мушаххас муфид бошанд.

Истифодаи серверҳои Dell R730xd ҳамчун Metal луч, танҳо беҳтар!

Баъзе аз муштариёни мо тасмим гирифтанд, ки аз истифодаи қарорҳои абрии VMware ба манфиати ҳалли Bare Metal (серверҳои оҳанӣ) даст кашанд ва платформаи Dell R730xd дар ин кор ба онҳо кӯмак кард. Ва мо дар ин ҷо на танҳо дар бораи абрҳои ҷамъиятӣ, балки дар бораи абрҳои хусусӣ низ сухан меронем.

Чаро одамон бештар чунин қарорҳо қабул мекунанд? Дар мавриди абрҳои ҷамъиятӣ, ҳама чиз каму беш равшан аст. Ман худам абрҳои ҷамъиятиро маркетинги калон мешуморам, агар чизе ба он ҷо афтад (ва ҳама абрҳо дер ё зуд меафтанд), он барои муддати тӯлонӣ меафтад. Мисол ҳамон Амазонки маъруф аст, ки дар як вақт чанд рӯз бо хидмати муҳими ҷамъоварии маълумоти тиббии телеметрӣ, аз ҷумла маълумот дар бораи ҳолати қалби беморони бо стимулятор истифодашаванда, ки аз ҷониби табибон таҳти назорат қарор доштанд, якчанд рӯз кор мекард. одамон халок шуданд... Ва чанде пеш, вакте ки ширкати «Битрикс»-и мо хобида буд, маълум шуд, ки сабабаш он аст, ки кор-куноне, ки баъзе дастгоххоро хомуш ме-карданд, дар натичаи хатой хатой аз зарурат зиёд гиреххо хомуш карда шуданд. ба гиреҳҳои идоракунӣ таъсир мерасонад, ки дар натиҷа мошинҳои виртуалӣ аз сабаби андозаи бузурги кластер дар давоми 5 соат бозоғоз карда шуданд... Аммо ин ягона мушкили имконпазир нест; он метавонад рӯй диҳад, ки шумо ногаҳон аз сабаби истифодабарии он "монеъшавӣ" пайдо мекунед. аз абр тавассути баъзе лоиҳаҳои дигар ё набудани қобилияти зуд идора кардани инфрасохтори он барои қонеъ кардани ниёзҳои худ.

Вақте ки сухан дар бораи абрҳои хусусӣ меравад, дар назария, виртуализатсия дастрасӣ ва барқарорсозии офатҳоро осон мекунад. Дар амал, бисёр ҳолатҳо вуҷуд доранд, ки ин маънои онро надорад:

Дар сурати ба амал омадани пробле-махои техникй дар узел 15—30 дакика бекористй кобили кабул аст.
На ҳама лоиҳаҳо ба вақти корӣ тақрибан 100% ниёз доранд, ба истиснои мактаббачаҳое, ки ба пардохти як доллар одат кардаанд ва 100% талаб мекунанд. Барои баъзе лоиҳаҳо, вақти кори 99,9% кафолатнок бештар аз як варианти қобили қабул аст. Зеро 0,1% - ин дастнорас будани ҳадди аксар 44 дақиқа дар як моҳ аст, ки метавонад бо сабабҳои гуногуни ба нақша гирифтанашуда - аз сабаби нокомии сахтафзор ё мавҷуд набудани шабака рух диҳад. Мо барои ҳалли стандартӣ 99,99% вақти кори шабакаро кафолат медиҳем, ки имкон медиҳад дар як моҳ ҳамагӣ 4 дақиқа дастрас набошад. Агар сервер ба 2 канали мустақил, ки аз гиреҳҳои гуногуни иртиботӣ мегузаранд ва трафики онҳо тавассути ядроҳои мустақил коркард карда мешавад, пайваст шуда бошад, вақти кори кафолатноки шабака якчанд маротиба зиёд мешавад. Ин имкон медиҳад, ки талаботи ҳатто бонкҳое, ки мувофиқи сертификатсия мавҷуд набудани тақрибан 40 дақиқа дар як сол қобили қабул аст, қонеъ гардонида шавад. Дар асл, давраҳои дастнорас хеле каманд. Дар тӯли 5 соли кор бо маркази додаҳо, ҳеҷ гоҳ боре набуд, ки ҳама серверҳо дар як вақт бо сабаби мушкилот дар шабака ё нерӯи барқ ​​корношоям шаванд. Ҳатто вақте ки дар Нидерландия хомӯшии ҷаҳонӣ ба амал омад ва бисёр марказҳои дигари додаҳо дастнорас шуданд - баъзеҳо сӯзишвории муҳаррикҳои дизелиро фаромӯш карданд, баъзеҳо қувваи кофии UPS надоштанд, дар маркази маълумоти мо танҳо камтар аз як фоизи серверҳо барои муддати кӯтоҳ дастнорас шуданд. давраи вақт. Баъзе серверҳое, ки муштариён аз мо ба иҷора мегиранд, ҳатто сахтафзорҳои хеле кӯҳна ва ба назар кӯҳнашуда, ки эҳтимоли ноком шудан нисбат ба қарорҳои бренди нав аст, ҳатто дар 3 сол як маротиба аз нав ба кор андохта нашудаанд, чунон ки дар тӯли 3 сол онҳо ҳеҷ гоҳ шабакаро гум накардаанд. . Оё набудани 30 дақиқа барои 3 сол қобили қабул аст? Зиёда аз, ҳатто барои бонкҳо.

Ва саволи оқилона ба миён меояд, ки чаро пас аз ҳад зиёд пардохт кардан лозим аст? Худ аз худ маълум аст, ки шумо набояд ба тасодуф такя кунед ва ҳамеша бояд аз принсипи қайдҳои оқилона истифода баред. Қоидаи асосие, ки ман кашф кардам, ин аст: арзиши брон набояд аз зиёне, ки мумкин аст дар сурати мављуд набудани мўњлати мављуд набудани чунин брон ба амал ояд. Яъне, агар вақти кори кафолатдодашуда имкон диҳад, ки дар як моҳ 40 дақиқа мавҷуд набошад ва дар сурати мавҷуд набудани ин муддат, талафот ба чандсад ё ҳатто ҳазор доллар мерасад - иҷораи як ҳалли иловагӣ барои баланд бардоштани кафолати вақти корӣ танҳо. маъно надорад. Зеро дар асл, серверҳо ҳар моҳ барои 40 дақиқа дастнорас нахоҳанд буд; 40 дақиқа дастнорасӣ кафолат аст, сенарияи бадтарин. ки хар мох ичро карда намешавад, чи тавре ки амалия нишон дод.

Бо ин роҳ, серверҳо метавонанд бидуни муҳим будани вазифа муҳим бошанд ва вақте ки соҳибони лоиҳа зид набошанд, ки сарбориро ба сервери дигари бахшидашуда ба таври дастӣ иваз кунанд, мо метавонем аз мураккабии сохтани кластери такрорӣ ва нигаҳдории муштарак канорагирӣ кунем.

Дар давраи кор паст будани хосилнокии мехнат рох додан мумкин нест. Бисёре аз муштариёни мо маҳз бо ҳамин сабаб маҳлулҳои металлии луч аз Dell-ро интихоб мекунанд; истифода бурдани сахтафзори пурра ҳангоми кори стандартӣ, ки амалан ба дастнорасӣ дучор намешавад, назар ба пардохти изофа барои абр, хеле арзонтар ва фоиданоктар аст. хосият ва иҷрои ҳамон дар абр, ки арзишаш чанд маротиба бештар аз як ҳалли бахшидашуда. Абр ва кластерҳо эҳтиёҷоти захираҳоро қонеъ карда наметавонанд ва барои чунин муштариён камхарҷ нахоҳад буд.

Муштариён намехоҳанд барои хидмате, ки имкониятҳои маҳдуд доранд, пули зиёд пардохт кунанд. Аксари мизоҷони мо ширкатҳои хурде мебошанд, ки шӯъбаҳои техникии худро надоранд ва маблағгузории худро барои харидани таҷҳизоти худ надоранд. Хариди сахтафзор метавонад барои онҳо як зарбаи воқеӣ бошад ва кори мувофиқро таъмин накунад, зеро бо мурури замон сахтафзор кӯҳна мешавад ва ҳатто пас аз 3 сол, дар замоне, ки ширкат рушд кардааст ва чизи беҳтар аст, партофтани таҷҳизоти гаронбаҳо шармовар аст. лозим. Агар шумо Dell R730xd-ро аз мо иҷора гиред, шумо имкон доред, ки дар вақти дилхоҳ ё пас аз як сол ба сервери дигар гузаред, агар шумо имконоти иҷораро бо шартнома барои як сол интихоб кунед. Ғайр аз он, имкони сарфа кардани пардохти литсензияҳои VMware вуҷуд дорад.

Истифодаи серверҳои Dell R730xd барои серверҳои пойгоҳи додаҳо

Бисёре аз муштариёни мо, ки ин серверҳои пойгоҳи додаҳоро истифода мебаранд, ин платформаро дӯст медоранд. Ва на танҳо аз он сабаб, ки бар хилофи Dell R730, версияи xd метавонад бо дастгирии дискҳои NVMe PCIe SSD таъмин карда шавад, ки ҳадди ақали таъхирро таъмин мекунанд, ки барои чунин қарорҳо бениҳоят муҳим аст. Аммо инчунин аз он сабаб, ки контроллер ҳангоми кор ҳатто бо SSD-ҳои муқаррарии 2,5 дюйм, ки мо ба мизоҷон пешниҳод мекунем, бениҳоят самаранок аст.

Албатта, дар Dell R730xd камбуди низ мавҷуд аст - танҳо 1 контроллер мавҷуд аст, дар ҳоле ки Dell R730 бо 26 диск 2 контроллерҳои сахтафзорро истифода мебарад. Аммо ин як мушкили ҷиддӣ нест, зеро мо платформаи дорои 12 лавҳаи дискро интихоб кардем ва аз ин рӯ шумо ҳангоми кор бо ин платформа ва шумораи зиёди SSD-ҳо дар шакли иҷрои нокифояи контроллер монеа нахоҳед дошт. Ва бартарият дар шакли қобилияти насб кардани NVMe PCIe SSD ин нуқсонро пурра фаро мегирад.

Тавре ки дар боло зикр гардид, на ҳама ба кластерҳои мураккаби пойгоҳи додаҳо ниёз доранд; иҷрои он, ки ин платформа метавонад таъмин кунад, хеле муҳимтар аст. Яке аз мизоҷони мо маҳз ҳамин тавр кард, аз зиёдатии виртуализатсия ва сохтани кластерҳои мураккаб даст кашида, VPS-ро бо дискҳои махсус барои нусхабардории пойгоҳи додаҳо аз сервери асосии Dell R730xd иҷора гирифт: VPS (KVM) – E5-2650 v4 (24 ядро) / 40GB DDR4 / 4x240GB RAID10 SSD 1Gbps 40TB – 99 доллар. Албатта, дар сурати ба вуҷуд омадани мушкилот бо гиреҳи асосӣ, каме паст шудани корҳо ба амал меояд ва зарурати ивазкунии дастӣ ба миён меояд, аммо бо назардошти буҷаи маҳдуд, ин роҳи ҳалли камхарҷ аст.

Мо на ҳамаро ба чунин сарфакорӣ ташвиқ мекунем, дар баъзе мавридҳо ин ҳатто хеле асоснок аст. Аммо, бо зиёд кардани буҷет ҳамагӣ 230 доллар дар як моҳ, шумо метавонед як гиреҳи якхелаи E5-2650 v4-ро дастрас кунед ва онҳоро дар як шабакаи маҳаллии 20 гигабит пайваст кунед, ки аслан ба шумо имкон медиҳад, ки кластери хурд бо таъхири қобили қабул созед. ҳатто бе истифодаи дискҳои PCIe NVMe SSD.

Худи ҳалли он чунин хоҳад буд (бо маҷмӯи асосии дискҳо):

Dell R730xd 2 x Intel Dodeca-Core Xeon E5-2650 v4 128GB DDR4 6x480GB SSD 1Gbps 100 ТВ + Intel X540-T2 20GBPS LAN – $289/моҳа
Dell R730xd 2 x Intel Dodeca-Core Xeon E5-2650 v4 128GB DDR4 6x480GB SSD 1Gbps 100 ТВ + Intel X540-T2 20GBPS LAN – $289/моҳа

Зиёд кардани шумораи онхо барои баланд бардоштани хосилнокии мехнат на хамеша маъно дорад. Ҳамин тариқ, ҳангоми санҷишҳо бо пойгоҳи додаҳо мо дарёфтем, ки ҳалли 8 SSD нисбат ба ҳалли 4 SSD танҳо 35% самараноктар аст.

Дар мавриди сатҳҳои тавсияшудаи RAID, RAID5 метавонад дар баъзе ҳолатҳо хеле оптималӣ бошад. Албатта, RAID10 иҷрои беҳтарро таъмин мекунад, аммо чӣ мешавад, агар дискҳо он қадар зуд бошанд, ки истифодаи онҳо дар RAID10 ба контроллер халал мерасонад? Дар чунин ҳолатҳо, сохтани массиви HW RAID RAID5 бо истифода аз дискҳои эҳтиётии гарм назар ба RAID10 фоидаовартар аст (агар ҳадаф аз даст додани нисфи квотаи SSD набошад).

Оё ба ман кэши контроллер лозим аст, ки фаъол карда шавад ё беҳтар аст онро хомӯш кунам? Назоратчии RAID миқдори хеле маҳдуди хотира дорад, ҳангоми кор бо SSD 1 ГБ чанд аст? Дар ҳолатҳои дорои SSD-ҳои зуд, фаъол кардани кэши хондан ҳеҷ маъно надорад, зеро бо пур кардани хотира бо амалиёти хониш, ки он тезтар нахоҳад шуд, зеро SSD-ҳо аллакай ба қадри кофӣ зуд ҳастанд, мо кэши кофии навиштанро тарк намекунем ва , чунон ки маълум аст, дар SSD-ҳои арзон - мушкилӣ амалиёти навиштан аст, аз сабаби паст шудани иҷроиш аз сабаби таъминоти нокифоя ва 100% истифодаи квота ройгон (қафъи даҳ баробар имконпазир аст). Аз ин рӯ, мо тавсия медиҳем, ки танҳо кэши навиштанро фаъол гузорем. Ҳамин тариқ, самаранокии максималии ин ҳалли худро таъмин мекунад.

Оё андозаи блоки NTFS воқеан муҳим аст? Барои аксари анборҳо, 64KB ҳамчун андозаи оптималии блок барои иҷрои ҳадди аксар нишон дода шудааст. Аммо аксар вақт мо бо ҳолатҳое дучор мешавем, ки муштарӣ аллакай сервери пойгоҳи додаҳоро бо истифода аз конфигуратсияи ибтидоӣ бо андозаи стандартии кластери NTFS 4KB истифода мебарад. Барои ислоҳ кардани ин, шумо бояд дискҳоро аз нав формат кунед, аммо оё фарқият дар ҳолати умумӣ ин қадар калон аст? Оё ба шумо лозим аст, ки худро ба бекорӣ ва нороҳатиҳои марбут ба муҳоҷират дучор кунед?

Контроллер дар сервери Dell R730xd чунин кори хубро ҳатто бо 4 диски SSD ва кэши навиштан фаъол таъмин мекунад (нуқтаи хеле муҳим, кэши хондан бояд ғайрифаъол карда шавад, зеро он ягон бартарият намедиҳад, балки танҳо самаранокии амалиёти навиштанро коҳиш медиҳад. ба набудани ҷой барои кэши мукаммал, тавре ки дар боло зикр гардид), ки ҳатто бо андозаи стандартии блоки 4KB, мо нишондиҳандаҳои иҷрои хеле хуб мегирем, бениҳоят хуб.

Бо вуҷуди ин, мо ҳамеша омодаем, ки вохӯрем ва омодаем, ки як платформаи шабеҳро барои муштариён барои анҷом додани кор пешниҳод кунем, агар чизе аз ҷониби онҳо ба назар гирифта нашавад.

RAMdrive ҳоло ҳам аз дискҳои SSD тезтар аст. Агар дархостҳои шумо дар TempDB коркард шаванд, масалан, ҷудо кардан ё якҷоя кардан, он гоҳ истифодаи RAMdisk (барномае, ки як қисми RAM-и шуморо ба анбор табдил медиҳад) метавонад хеле муфид бошад. Ҳамин тавр, суръати 8 диски SSD-ро дар RAID10 бо RAMdrive муқоиса карда, мо дарёфтем, ки он барои амалиёти навиштани 4K бо умқи навбат 4, ки маҳз ба кори файлҳои TempDB тақлид мекунад, тақрибан 32 маротиба тезтар аст. Ҳатто якҷоя кардани 8 SSD дар RAID0, натиҷаҳои RAMdrive-ро мағлуб кардан ғайриимкон буд.

RAID5 дар сурати 8 диски SSD метавонад аз RAID10 самараноктар бошад. Хониши 4K бо умқи навбат 32 тақрибан 40% тезтар аст, ки бо назардошти хусусиятҳои RAID5 тааҷҷубовар нест. RAID5 дар иҷрои дигар санҷишҳо ғолиб меояд, масалан, бо навиштани пайдарпай он 20% -ро ташкил медиҳад, он танҳо дар амалиёти навиштани 4K бо умқи навбати калон (дар ҳолати мо 32) пасттар аст ва 30% камтар самараноктар мешавад. Ҳамин тавр, истифодаи RAID5 метавонад дар баъзе ҳолатҳо аз ҷиҳати иқтисодӣ асоснок бошад.

Захираи бештар на ҳамеша маънои тезтарро дорад. Ҳангоме ки мо бо амалиёти хурди тасодуфӣ сарукор дорем, илова кардани дискҳо ба массив берун аз ҳудуди муайян иҷрои онро тамоман беҳтар намекунад. Чунин ба назар мерасад, ки чаро? Маълум мешавад, ки ҳама чиз аз имкониятҳои контроллер вобаста аст, ки маҷбур аст маълумотро ба як гурӯҳи дискҳо нависад. Аз ин рӯ, мо платформаҳоро бо ҳадди аксар 12 диск харидем, то эҳтимолияти сар задани мушкилотро кам кунем. Бо вуҷуди ин, ба шумо лозим аст, ки ба шиддатнокии амалиёт дар ҳар як лоиҳа назар кунед, баъзан 4 диски калонтар, масалан 960 ГБ, метавонад нисбат ба як даста дискҳои 480 ГБ ҳалли беҳтар ва камхарҷ бошад.

Истифодаи серверҳои Dell R730xd барои серверҳои маълумот Aerospike NoSQL

Aerospike як махзани кушодаи NoSQL мебошад, ки барои суръат ва миқёспазирӣ оптимизатсия шудааст. Aerospike барои таъмини таъхири хеле кам барои дархостҳои хондан ва сарбории вазнини навиштан тарҳрезӣ шудааст, ки ба талаботи муосири тиҷорат, ки қобилияти идора кардани шумораи зиёди амалиёти воридот ва баромадро талаб мекунад, қонеъ мекунад. Aerospike мустақиман нигаҳдории маҳаллиро дар гиреҳҳои кластери худ, новобаста аз системаҳои файлии васоити ахбори омма, хоҳ DRAM, хоҳ флешдор ё дискҳои анъанавӣ идора мекунад. Ин имкон медиҳад, ки маълумоти муҳим дар васоити зудтарин нигоҳ дошта шаванд, ки коркарди зуд аз ҳама муҳим аст, дар ҳоле ки табиати тақсимшудаи пойгоҳи додаҳои Aerospike дараҷаи баланди эътимодро дар ҳолати нокомии гиреҳҳои кластер таъмин мекунад.

Серверҳои насли 13-уми Dell PowerEdge R730xd қудрати бебаҳои компютериро бо протсессори навтарини E5-2650 v4 ва SDRAM-и зуд DDR4 таъмин мекунанд. Ва қобилияти истифодаи NVMe SSDs, ба монанди Samsung SM1715, метавонад ба даст овардани иҷрои бузург бо таъхири ҳадди ақал дар гиреҳҳои дорои бори баланд кӯмак кунад. Ин имкон медиҳад, ки талаботи замонавии SLA оид ба вақти коркарди як транзаксия бо сатҳи боэътимоди муҳофизат аз қаллобӣ ҳатто дар пойгоҳи додаҳои хеле калон риоя карда шавад, ки ҳалли онро ҳатто барои бахши молиявӣ ва интиқоли бонкӣ, ки дар он ҷо баъзан амалиёт анҷом дода мешавад, қобили қабул гардонад. дар давоми якчанд соат ё ҳатто рӯз.

Барои бахши бонкӣ мо метавонем ҳалли худро дар асоси ин платформаҳо бо шабакаи маҳаллии 40 ва 100 Гбит/с байни гиреҳҳои кластерӣ ва истифодаи коммутаторҳои мувофиқ пешниҳод кунем.

Истифодаи серверҳои Dell R730xd дар шабакаҳои DMZ

Мо бо хушнудӣ ба муштариёни худ стандартҳои баландтарини амниятро пешниҳод менамоем. Марказҳои додаҳо, ки мо ин серверҳоро пешниҳод мекунем, дорои сертификатҳои зиёд мебошанд: ISO 27001, PCI DSS, SOC 1, HIPAA и NEN 7510.

Аммо барои қонеъ гардонидани талаботи ҳамон Google, баъзе муштариён сохтмони ба истилоҳ шабакаҳои демилитаризатсияшуда (шабакаҳои DMZ) - шабакаҳои дорои амнияти зиёдро талаб мекунанд, ки мавҷудияти девори сахтафзорро дар назар дорад, ки дастрасӣ ба таҷҳизотро маҳдуд мекунад ва ба шумо имкон медиҳад ҷузъҳои заруриро дар паси девор пинҳон кунед ва бехатариро бештар беҳтар созед.

Ва ҳама чиз хуб аст, вақте ки чунин ҳалли фаврӣ фармоиш дода мешавад, аммо татбиқи гузариш бе таъхир дар раванд, ки ба наздикӣ бо яке аз мизоҷони мо рӯй дод, бо лоиҳаи коркарди дархостҳои раводид барои шаҳрвандони кишварҳои гуногун хеле душвор аст. ҷаҳон, ки ҳатто дар давоми соатҳо дастнорас вуҷуд дорад, метавонад боиси талафоти даҳҳо ҳазор доллар гардад. Вале мо илоче ёфтем, ба мачлис рафтем, тачхизоти иловагиро ба шкаф гузоштем, тачхизоти кам-ахамиятро кашонда, аз руи схема мувофики хохиши мизочон мухочиратро ба кор андозем, то ки вай бе бекористй мухочи-ратро анчом дихад.

Буд / шуд

Корпоратсияи инфраструктураро чӣ гуна бояд сохт. синф бо истифодаи серверҳои Dell R730xd E5-2650 v4 ба маблағи 9000 XNUMX евро барои як динор?Корпоратсияи инфраструктураро чӣ гуна бояд сохт. синф бо истифодаи серверҳои Dell R730xd E5-2650 v4 ба маблағи 9000 XNUMX евро барои як динор?

Шояд ин нақша барои касе ҳангоми гузаронидани чунин муҳоҷират муфид бошад, зеро муҳандисон дар марказҳои додаҳо на ҳамеша чизҳои аёнро дидан мехоҳанд, балки барои гузаштан дар паси брандмауэр 2 соат танаффусро исрор мекунанд, аммо аз шумо эҳтиромона хоҳиш мекунам - агар ба шумо лозим бошад, пешакии девори сахтафзорро фармоиш диҳед. Мо чандир ҳастем ва ҳамеша омодаем, ки дар он ҷо ҷойгир шавем, аммо дар баъзе ҳолатҳо имкониятҳои мо маҳдуд буда метавонанд.

Дар нашрияҳои оянда, мо кӯшиш хоҳем кард, ки як қатор санҷишҳои иловагӣ гузаронем ва таҷрибаҳои иловагиро бо истифода аз ин платформаҳо мубодила кунем, ки фаҳмиши моро дар бораи интихоби ҳалли муассиртарин беҳтар мекунад. Дар ниҳоят, дидани он тааҷҷубовар аст, ки RAID0-и ду диски SSD, дар ҳолатҳои пойгоҳи додаҳои пурбор, метавонад нисбат ба диски алоҳидаи навиштан сусттар шавад, аз ин рӯ мо барои NVMe PCIe SSD дархостҳо мегирем. вақт. Эҳтимол аст, ки мо сенарияҳои муассиртаринро барои татбиқи қарорҳо нишон диҳем, мубодилаи таҷрибаи иловагӣ ҳангоми сохтани массивҳои сершумори RAID дар як контролери RAID самаранок аст ва нишон медиҳем, ки дар кадом ҳолат ду массиви мустақили RAID10 аз 4 диск беҳтар аз як массиви RAID10 8. Истифодаи RAID1 барои TempDB ва RAID5 барои ҳама чизи дигар кай самаранок хоҳад буд. Ва чӣ тавр шумо метавонед бе NVMe PCIe SSD кор кунед, вақте ки шумо буҷаи маҳдуд доред.

Dell R730xd: бонус барои хонандагони Habrahabr

Мо мехоҳем ба шумо беҳтарин чизҳоро пешниҳод кунем ва бо пешниҳоди нархҳои беназир барои Dell R730xd ҳама чизро анҷом додем:

ua-hosting.company/serversnl - дар Нидерландия
ua-hosting.company/serversus - ва дар ИМА

Конфигуратсияҳо метавонанд хеле гуногун бошанд, масалан, Инҳо барои фаъолсозии фаврӣ дар Нидерландия дастрасанд::

Dell R730xd 2 x Intel Dodeca-Core Xeon E5-2650 v4 128GB DDR4 6×480 SSD 1Gbps 100 ТВ -*$249
Dell R730xd 2 x Intel Dodeca-Core Xeon E5-2650 v4 128GB DDR4 12×240 SSD 1Gbps 100 ТВ -*$249
Dell R730xd 2 x Intel Dodeca-Core Xeon E5-2650 v4 128GB DDR4 4x4TB 4x480 SSD 1Gbps 100 ТВ — *$249
Dell R730xd 2 x Intel Dodeca-Core Xeon E5-2650 v4 128GB DDR4 12x4TB SATA 1Gbps 100 ТВ — *$249

Ва барои онҳо як 1Gbps беандоза (ба истиснои трафик) барои +120 доллар дар як моҳ дастрас аст. Илова бар ин, имконияти харидани брандмауэр, кортҳои шабакавӣ, коммутатор ва сохтани шабакаи бисёр-гигабитии маҳаллӣ. Аммо шарти нарх ба шартномаи яксола дахл дорад.

Мо мехоҳем шароитро беҳтар кунем ва барои пардохтҳои кӯтоҳмуддат ва иҷора бидуни шартнома бонус пешниҳод кунем ва ин пешниҳодро дастрастар гардонем. Ҳар касе, ки барои ҳар яке аз имконоти пешниҳодшуда дар Нидерландия ба муддати 1 моҳ фармоиш медиҳад ва пардохт мекунад, таъмин мекунем маҳз ҳамон сервер барои 1 моҳ комилан ройгон, ё мо конфигуратсияи фармоиширо аз нав ҳисоб мекунем ва сервери фармоиширо бо ҳамон нархе, ки барои шартномаи солона ($249 дар як моҳ ба ҷои $369 дар як моҳ) ҳисоб мекунем ва фарқиятро ба тавозун бармегардонем. Барои ин танҳо рақами фармоиши худро дар шарҳҳо гузоред. Барои онҳое, ки ҳанӯз ба ҳалли махсус омода нашудаанд, мо пешниҳод мекунем, ки ҳама гуна VPS (KVM) -ро бо дискҳои махсус дар Нидерландия ё ИМА дар ин платформаҳо иҷора гирем, масалан, VPS (KVM) – E5-2650 v4 (6 ядро) 10 ГБ DDR4 240 ГБ SSD 1 Гб/с 10 ТБ – 29 доллар, ва бонуси 1-4 моҳи истифода ҳангоми пардохт барои 1, 3, 6, 12 моҳ, бо нишон додани рақами фармоиш дар шарҳ. Ҳоло сохтани инфрасохтор осонтар шудааст!

Манбаъ: will.com

Илова Эзоҳ