Прывітанне Хабр! У гэтым матэрыяле мы раскажам, ці варта арганізоўваць RAID-масівы на базе цвёрдацельных рашэнняў SATA SSD і NVMe SSD, і ці будзе ад гэтага сур'ёзны профіт? Мы вырашылі разабрацца ў гэтым пытанні, разгледзеўшы віды і тыпы кантролераў, якія дазваляюць гэта зрабіць, а таксама сферы прымянення такіх канфігурацый.
Так ці інакш, кожны з нас хоць раз у жыцці чуў такія азначэнні, як "RAID", "RAID-масіў", "RAID-кантролер", але ці наўрад надаваў гэтаму сур'ёзнае значэнне, таму што радавому ПК-баярыну ўсё гэта ці наўрад ці цікава. А вось высокіх хуткасцяў ад унутраных назапашвальнікаў і безадмоўнасці іх працы жадаецца ўсім і кожнаму. Бо, якой бы магутнай ні было начынне кампутара, хуткасць працы назапашвальніка становіцца вузкім месцам, калі казаць аб сукупным хуткадзейнасці ПК і сервера.
Так было роўна да таго моманту, пакуль на змену традыцыйным HDD не дашлі сучасныя NVMe SSD са параўнальнай ёмістасцю ў 1 Тбайт і больш. І калі раней у ПК часцей сустракаліся звязкі SATA SSD + парачка ёмістых HDD, то сёння іх пачынае змяняць іншае рашэнне – NVMe SSD + парачка ёмістых SATA SSD. Калі казаць аб карпаратыўных серверах і "аблоках", многія ўжо паспяхова пераехалі на SATA SSD, проста таму што яны хутчэй звычайных "бляшанак" і здольныя апрацоўваць большую колькасць аперацый уводу / вываду адначасова.
Аднак адмоваўстойлівасць сістэмы ўсё роўна знаходзіцца на досыць нізкім узроўні: мы не можам як у "Бітве экстрасэнсаў" прадбачыць з дакладнасцю нават да тыдня, калі той ці іншы цвёрдацельны назапашвальнік загадае доўга жыць. І калі HDD "паміраюць" паступова, дазваляючы ўлавіць сімптомы і прыняць меры, то SSD "мруць" адразу і без папярэджанняў. І вось зараз самы час разабрацца, навошта ўсё гэта ўвогуле трэба? Ці варта арганізоўваць RAID-масівы на базе цвёрдацельных рашэнняў SATA SSD і NVMe SSD, і ці будзе ад гэтага сур'ёзны профіт?
Навошта патрэбен RAID-масіў?
Само слова "масіў" ужо мае на ўвазе тое, што для яго стварэння выкарыстоўваецца некалькі назапашвальнікаў (HDD і SSD), якія аб'ядноўваюцца з дапамогай RAID-кантролера і распазнаюцца АС, як адзінае сховішча дадзеных. Глабальная задача, якую дазваляюць вырашыць RAID-масівы – мінімізацыя часу доступу да дадзеных, павышэнне хуткасці чытання/запісы і надзейнасці, якая дасягаецца дзякуючы магчымасці хуткага аднаўлення ў выпадку збою. Дарэчы, для хатніх бэкапаў выкарыстоўваць RAID зусім не абавязкова. А вось калі ў вас ёсць свой хатні сервер, да якога неабходны пастаянны доступ 24/7 – тут ужо іншая справа.
Існуе звыш дзясятка ўзроўняў RAID-масіўаў, кожны з якіх адрозніваецца колькасцю выкарыстоўваных у ім назапашвальнікаў і мае свае плюсы і мінусы: напрыклад, RAID 0 дазваляе атрымаць высокую прадукцыйнасць без адмоваўстойлівасці, RAID 1 — наладзіць аўтаматычнае люстраванне дадзеных без прыросту хуткасці, а RAID 10 аб'ядноўвае у сабе магчымасці вышэйпералічаных. RAID 0 і 1 – самыя простыя (паколькі не патрабуюць творы праграмных вылічэнняў) і, як следства, – самыя папулярныя. У канчатковым рахунку выбар у карысць таго ці іншага ўзроўня RAID залежыць ад якія ўскладаюцца на дыскавы масіў задач і магчымасцяў RAID-кантролера.
Хатні і карпаратыўны RAID: у чым розніца?
Аснова любога сучаснага бізнэсу - вялікія аб'ёмы дадзеных, якія павінны надзейна захоўвацца на серверах кампаній. А яшчэ, як мы ўжо адзначалі вышэй, да іх павінен забяспечвацца пастаянны доступ 24/7. Зразумелая справа, што нароўні з "жалезам" важная і софтверная частка, але ў дадзеным выпадку мы кажам усёткі аб абсталяванні, якое забяспечвае надзейнае захоўванне і апрацоўку інфармацыі. Ніякі софт не выратуе кампанію ад спусташэння, калі "жалезнае" абсталяванне не адпавядае ўскладзеным на яго задачам.
Для гэтых задач любы вытворца "жалеза" прапануе так званыя карпаратыўныя прылады. У Kingston – гэта магутныя цвёрдацельныя рашэнні ў асобе SATA-мадэляў. и , а таксама NVMe-мадэляў DC1000M U.2 NVMe, DCU1000 U.2 NVMe і DCP-1000 PCI-e, прызначаных для выкарыстання ў ЦАД (цэнтрах апрацоўкі дадзеных) і суперкампутарах. Масівы з такіх назапашвальнікаў, як правіла, выкарыстоўваюцца ў звязку з апаратнымі кантролерамі.
Для спажывецкага ж рынка (гэта значыць для хатніх ПК і NAS-сервераў) даступныя такія назапашвальнікі як NVMe PCIe, але ў гэтым выпадку неабавязкова купляць апаратны кантролер. Можна абмежавацца убудаваным у матчыну плату ПК ці NAS-сервера, калі вы вядома не плануеце самастойна сабраць хатні сервер для нетыповых задач (завесці маленькі хатні хостынг для сяброў, да прыкладу). Да таго ж, хатнія RAID-масівы, як правіла, не мяркуюць наяўнасць сотняў і тысяч назапашвальнікаў, абмяжоўваючыся двума, чатырма і васьмю прыладамі (часцей за SATA).
Віды і тыпы RAID-кантролераў
Існуе тры выгляду RAID-кантролераў, заснаваныя на прынцыпах рэалізацыі RAID-масіваў:
1. Праграмныя, у якіх кіраванне масівам кладзецца на CPU і DRAM (гэта значыць выкананне праграмнага кода адбываецца на працэсары).
2. Інтэграваныя, то бок убудаваныя ў матчыны поплаткі ПК ці NAS-сервера.
3. Апаратныя (модульныя), якія ўяўляюць сабой дыскрэтныя платы пашырэння для раздымаў PCI/PCIe сістэмных поплаткаў.
У чым іх прынцыповае адрозненне адно ад аднаго? Праграмныя RAID-кантролеры саступаюць інтэграваным і апаратным па прадукцыйнасці і адмоваўстойлівасці, але пры гэтым не патрабуюць спецыяльнага абсталявання для працы. Аднак важна пераканацца, што працэсар хост-сістэмы з'яўляецца дастаткова магутным для запуску праграмнага забеспячэння RAID, не аказваючы негатыўнага ўплыву на прадукцыйнасць прыкладанняў, якія таксама працуюць на хасце. Інтэграваныя кантролеры, як правіла, абсталёўваюцца ўласнай кэш-памяццю і задзейнічаюць некаторую колькасць рэсурсаў CPU.
А вось апаратныя валодаюць і ўласнай кэш-памяццю, і ўбудаваным працэсарам для выканання праграмных алгарытмаў. Звычайна яны дазваляюць рэалізаваць усе віды ўзроўняў RAID-масіваў і падтрымліваюць адразу некалькі відаў назапашвальнікаў. Напрыклад, да сучасных апаратных кантролераў кампаніі Broadcom можна адначасова падлучаць SATA-, SAS-і NVMe-прылады, што дазваляе не змяняць кантролер пры апгрэйдзе сервераў: у прыватнасці, пры пераездзе з SATA SSD на NVMe SSD кантролеры мяняць не давядзецца.
Уласна, на гэтай ноце мы падышлі да тыпалагізацыі саміх кантролераў. Калі ёсць трохрэжымныя, павінны быць і нейкія яшчэ? У дадзеным выпадку адказ на гэтае пытанне будзе сцвярджальным. У залежнасці ад функцый і магчымасцяў RAID-кантролеры можна падзяліць на некалькі тыпаў:
1. Звычайныя кантролеры з функцыяй RAID
Ва ўсёй іерархіі гэта самы проста кантролер, які дазваляе аб'ядноўваць HDD і SSD у RAID-масівы ўзроўняў "0", "1" ці "0+1". Праграмна гэта рэалізавана на ўзроўні прашыўкі. Аднак, такія прылады ці наўрад можна рэкамендаваць для выкарыстання ў карпаратыўным сегменце, бо ў іх адсутнічае кэш і не падтрымліваюцца масівы ўзроўняў "5", "3" і да т.п. А вось для хатняга сервера пачатковага ўзроўня яны суцэль падыдуць.
2. Кантралёры, якія працуюць у пары з іншымі RAID-кантролерамі
Гэты тып кантролераў можа працаваць у пары з інтэграванымі кантролерамі матчыных поплаткаў. Рэалізавана гэта па наступным прынцыпе: дыскрэтны RAID-кантролер бярэ на сябе рашэнне "лагічных" задач, а ўбудаваны – функцыі абмену дадзенымі паміж назапашвальнікамі. Але ёсць нюанс: паралельная праца такіх кантролераў магчымая толькі на сумяшчальных сістэмных поплатках, а значыць вобласць іх ужывання сур'ёзна звужаецца.
3. Самастойныя RAID-кантролеры
Гэтыя дыскрэтныя рашэнні ўтрымоўваюць на борце ўсе неабходныя чыпы для працы з серверамі карпаратыўнага класа, валодаючы ўласным BIOS'ам, кэш-памяццю і працэсарам для хуткай карэкцыі памылак і вылічэнні кантрольных сум. Да таго ж яны адказваюць высокім стандартам надзейнасці ў плане выраба і валодаюць высакаякаснымі модулямі памяці.
4. Вонкавыя RAID-кантролеры
Няцяжка здагадацца, што ўсе пералічаныя вышэй кантролеры з'яўляюцца ўнутранымі і атрымліваюць харчаванне праз раз'ём PCIe мацярынскай платы. Пра што гэта гаворыць? А пра тое, што выйсце са строю сістэмнай платы можа прывесці да памылак у працы RAID-масіву і страце дадзеных. Вонкавыя ж кантролеры пазбаўлены ад гэтага непаразумення, бо размяшчаюцца ў асобным корпусе з незалежным блокам сілкавання. У плане надзейнасці такія кантролеры забяспечваюць самы высокі ўзровень захоўвання даных.
, Microsemi Adaptec, Intel, IBM, Dell і Cisco – гэта толькі некаторыя з кампаній, якія прапануюць апаратныя RAID-кантролеры ў цяперашні час.
Рэжымы працы RAID кантролераў SAS/SATA/NVMe
Асноўнай задачай трохрэжымных HBA-і RAID-кантролераў (або кантролераў з функцыяй Tri-Mode) з'яўляецца стварэнне апаратнага RAID на базе NVMe. У кампаніі Broadcom гэта ўмеюць рабіць кантролеры 9400 серыі: напрыклад, . Ён ставіцца да самастойнага тыпу RAID-кантролераў, абсталяваны чатырма раздымамі SFF-8643 і, дзякуючы падтрымцы Tri-Mode, дазваляе канэкціць да сябе SATA/SAS- і NVMe-назапашвальнікі адначасова. Да таго ж гэта яшчэ і адзін з самых энергаэфектыўных кантролераў на рынку (спажывае ўсяго 17 Ват энергіі, пры гэтым менш за 1,1 Ват на кожны з 16 партоў).
Інтэрфейсам падлучэння служыць PCI Express x8 версіі 3.1, што дазваляе рэалізаваць прапускную здольнасць на ўзроўні 64 Гбіт/з (у 2020 году чакаецца з'яўленне кантролераў для PCI Express 4.0). У аснове 16-партовага кантролера ляжыць 2-ядзерны чып і 72-бітная DDR4-2133 SDRAM (4 Гбайт), а таксама рэалізавана магчымасць падлучэння да 240 назапашвальнікаў SATA/SAS-, альбо да 24 NVMe-прылад. Па частцы арганізацыі RAID-масіўаў падтрымліваюцца ўзроўні "0", "1", "5" і "6", а таксама "10", "50" і "60". Дарэчы, кэш-памяць і іншых кантролераў у серыі 9400 абаронена ад збояў напругі дадатковым модулем CacheVault CVPM05.
У аснове трохрэжымнай тэхналогіі ляжыць функцыя пераўтварэнні дадзеных SerDes: пераўтварэнне паслядоўнага падання дадзеных у інтэрфейсах SAS/SATA у раўналежную форму ў PCIe NVMe і наадварот. Гэта значыць кантролер узгадняе хуткасці і пратаколы, каб бесперашкодна працаваць з любым з трох тыпаў прылад захоўвання. Гэта забяспечвае бесперабойны спосаб маштабавання інфраструктур цэнтраў апрацоўкі дадзеных: карыстачы могуць выкарыстоўваць NVMe без істотных змен у іншых канфігурацыях сістэмы.
Аднак пры планаванні канфігурацый з NVMe-назапашвальнікамі, варта ўлічваць, што NVMe-рашэнні выкарыстоўваюць для падлучэння 4 лініі PCIe, а значыць кожны назапашвальнік задзейнічае ўсе лініі партоў SFF-8643. Выходзіць, што наўпрост да кантролера MegaRAID 9460-16i можна падлучыць толькі чатыры назапашвальніка NVMe. Або абмежавацца двума NVMe-рашэннямі пры адначасовым падлучэнні васьмі SAS-назапашвальнікаў (гл. схему падлучэння ніжэй).
На малюнку паказана выкарыстанне раздыма "0" (С0 / Connector 0) і раздыма "1" для падлучэнняў NVMe, а таксама раздымаў "2" і "3" для падлучэнняў SAS. Гэтае размяшчэнне можа быць зменена на зваротнае, але кожны назапашвальнік x4 NVMe павінен быць падлучаны з выкарыстаннем суседніх ліній. Рэжымы працы кантролера усталёўваецца праз канфігурацыйныя ўтыліты StorCLI ці Human Interface Infrastructure (HII), якая працуе ў асяроддзі UEFI.
Рэжым па змаўчанні - профіль "PD64" (падтрымка толькі SAS / SATA). Як мы ўжо казалі вышэй, усяго профіляў тры: рэжым "SAS/SATA only mode" (PD240 / PD64 / PD 16), рэжым "NVMe only mode" (PCIe4) і змяшаны рэжым, у якім могуць працаваць усе тыпы назапашвальнікаў: "PD64 -PCIe4» (падтрымка 64 фізічных і віртуальных дыскаў з 4 NVMe-назапашвальнікамі). У змяшаным рэжыме значэнне зададзенага профіля павінна быць такім – «ProfileID=13». Дарэчы, абраны профіль захоўваецца ў якасці кіроўнага і не скідаецца нават пры адкаце да завадскіх налад праз каманду Set Factory Defaults. Змяніць яго можна будзе толькі ўручную.
Ці варта ствараць RAID-масіў на SSD?
Такім чынам, мы ўжо зразумелі, што RAID-масівы - гэта заклад высокай хуткадзейнасці. Але ці варта збіраць RAID з цвёрдацельных назапашвальнікаў для хатняга і карпаратыўнага выкарыстання? Многія скептыкі гавораць аб тым, што прырост у хуткасці атрымліваецца не гэтак істотным, каб разарацца на NVMe-назапашвальнікі. Але ці так гэта на самой справе? Наўрад ці. Самым вялікім абмежаваннем для выкарыстання SSD у RAID (як у хатніх умовах, так і на карпаратыўным узроўні) можа стаць толькі кошт. Як ні круці, а кошт гігабайта прасторы ў HDD значна танней.
Падлучэнне некалькіх цвёрдацельных "дыскаў" да кантролера RAID для стварэння масіва з SSD у вызначаных канфігурацыях можа аказаць вялікі ўплыў на прадукцыйнасць. Не варта, аднак, забываць, што максімальная прадукцыйнасць абмежавана прапускной здольнасцю самага кантролера RAID. Узроўнем RAID, які прапануе лепшую хуткасць працы, з'яўляецца RAID 0.
Арганізацыя звычайнага RAID 0 з двума SSD-назапашвальнікамі, у якой выкарыстоўваецца метад разбіцця дадзеных на фіксаваныя блокі і іх чаргаванні паміж цвёрдацельнымі сховішчамі, прывядзе да падваення прадукцыйнасці (калі параўноўваць са хуткасцямі, якія выдае адзін SSD). Пры гэтым масіў RAID 0 з чатырма цвёрдацельнымі назапашвальнікамі будзе ўжо ў чатыры разы хутчэй, чым самы павольны SSD у масіве (у залежнасці ад абмежавання прапускной здольнасці на ўзроўні кантролера RAID SSD).
Калі зыходзіць з простай арыфметыкі, SATA SSD прыкладна ў 3 разы хутчэй традыцыйнага SATA HDD. NVMe-рашэнні яшчэ больш эфектыўна – у 10 разоў і больш. Пры ўмове, што два жорсткіх дыска ў RAID'е нулявога ўзроўню пакажуць падвоеную прадукцыйнасць, павялічыўшы яе на 50%, два SATA SSD апынуцца ў 6 разоў хутчэй, а два NVMe SSD – у 20 разоў хутчэй. У прыватнасці, адзін назапашвальнік Kingston KC2000 NVMe PCIe можа дасягаць хуткасці паслядоўнага чытання і запісы да 3200 Мбайт/з, што ў фармаце RAID 0 дасягне вялікіх 6 Гбайт/з. А хуткасць чытання/запісы выпадковых блокаў памерам 4 Кбайт ператворыцца з 350 000 IOPS у 700 000 IOPS. Але… у той жа час "нулявы" RAID не забяспечвае нам надмернасці.
Можна сказаць, што ў хатніх умовах надмернасць сховішчы звычайна і не патрабуецца, таму самай падыходнай канфігурацыяй RAID для SSD сапраўды становіцца RAID 0. Гэта надзейны спосаб атрымаць значнае падвышэнне прадукцыйнасці ў якасці альтэрнатывы выкарыстанню такіх тэхналогій, як цвёрдацельныя назапашвальнікі на базе Intel Optane. А вось як павядуць сябе SSD-рашэнні ў самых папулярных тыпах RAID (“1”, “5”, “10”, “50”) – мы пагаворым у нашым наступным матэрыяле.
Дадзены артыкул падрыхтавана пры падтрымцы нашых калег з Broadcom, якія падаюць свае кантролеры інжынерам Kingston для тэставання з назапашвальнікамі SATA/SAS/NVMe карпаратыўнага класа. Дзякуючы гэтаму сяброўскаму сімбіёзу, кліентам не даводзіцца сумнявацца ў надзейнасці і стабільнасці працы назапашвальнікаў Kingston c HBA-і RAID-кантролерамі вытворчасці. .
Дадатковую інфармацыю аб прадуктах Kingston можна знайсці кампаніі.
Крыніца: habr.com