Behöver man skapa en RAID-matris av SSD och vilka kontroller behövs för det?

Hej Habr! I detta material kommer vi att diskutera huruvida det är värt att organisera RAID-arrayer baserade på SSD-lösningar för SATA och NVMe, och om det verkligen kommer att ge en betydande fördel. Vi har beslutat att granska detta ämne genom att titta på typer och sorter av kontroller som gör detta möjligt, samt användningsområden för sådana konfigurationer.

Oavsett, har vi alla hört termer som "RAID", "RAID-array", "RAID-kontroller" åtminstone en gång i vårt liv, men det är osannolikt att vi har gett det mycket uppmärksamhet, eftersom det är tveksamt att en vanlig PC-användare ser något intressant i detta. Men hög hastighet från interna lagringsenheter och pålitlig drift är något alla vill ha. För hur kraftfull datorns komponenter än är, blir lagringsenhetens hastighet en flaskhals när man pratar om den totala prestandan hos en PC eller server.

Det var så fram till dess att moderna NVMe SSD, med jämförbar kapacitet på 1 TB eller mer, tog över från traditionella HDD. Tidigare var konfigurationer med SATA SSD + några stora HDD vanliga i PC:ar, men nu börjar de ersättas av en annan lösning - NVMe SSD + några stora SATA SSD. När det kommer till företagsservrar och moln har många redan framgångsrikt övergått till SATA SSD, helt enkelt för att de är snabbare än vanliga "hårddiskar" och kan hantera fler I/O-operationer samtidigt.

Men systemets redundans ligger fortfarande på en ganska låg nivå: vi kan inte, som i "Slaget av clairvoyants", med precision förutsäga, inte ens en vecka i förväg, när en viss solid-state lagringsenhet kommer att ge upp. Och medan HDD "dör" gradvis, vilket ger oss möjlighet att fånga symptom och vidta åtgärder, så "dör" SSD omedelbart och utan varningar. Så nu är det dags att granska varför allt detta behövs. Är det värt att organisera RAID-arrayer baserade på SSD-lösningar för SATA och NVMe, och kommer det att ge betydande fördelar?

Vad behövs RAID-array för?

Själva ordet "array" antyder att flera lagringsenheter (HDD och SSD) används för att skapa den, vilka kombineras med hjälp av en RAID-controller och erkänns av operativsystemet som en enhetlig lagringslösning. Den globala uppgift som RAID-arrayer hjälper till att lösa är att minimera åtkomsttiden till data, öka läs- och skrivhastigheten samt säkerheten, vilket uppnås genom möjlighet till snabb återställning vid fel. För övrigt är det inte nödvändigt att använda RAID för hemmabackuperingar. Men om du har en egen hemserver som behöver konstant tillgång 24/7 – då är det en annan sak.

Det finns över ett dussin nivåer av RAID-arrayer, var och en med ett annat antal använda lagringsenheter och sina egna fördelar och nackdelar: till exempel, RAID 0 möjliggör hög prestanda utan redundans, RAID 1 – automatisering av dataspiegeling utan ökning av hastigheten, medan RAID 10 kombinerar möjligheterna från de föregående. RAID 0 och 1 är de enklaste (eftersom de inte kräver programberäkningar) och därmed de mest populära. I slutändan beror valet av nivå på RAID-arrayerna på de uppgifter som åläggs diskarna och RAID-controllerens kapacitet.

Hem- och företags-RAID: vad är skillnaden?

Grunden för varje modernt företag är stora mängder data som måste lagras på företagets servrar på ett pålitligt sätt. Dessutom, som vi nämnt tidigare, måste det finnas konstant tillgång 24/7. Självklart är både hårdvara och mjukvara viktiga, men i det här fallet talar vi fortfarande om utrustning som säkerställer pålitlig lagring och bearbetning av information. Ingen mjukvara kan rädda ett företag från konkurs om den "hårda" utrustningen inte motsvarar de ålagda uppgifterna.

För dessa uppgifter erbjuder alla tillverkare av "hårdvara" så kallade företagslösningar. För Kingston är detta kraftfulla solid-state alternativ i form av SATA-modeller Kingston 450R (DC450R) och serien DC500, samt NVMe-modellerna DC1000M U.2 NVMe, DCU1000 U.2 NVMe och DCP-1000 PCI-e, avsedda för användning i datacenter och superdatorer. Array av sådana lagringsenheter används vanligtvis i kombination med hårdvarukontroller.

För konsumentmarknaden (det vill säga för stationära datorer och NAS-servrar) finns lagringsenheter som Kingston KC2000 NVMe PCIe, men i detta fall är det inte nödvändigt att köpa en hårdvarukontroller. Man kan nöja sig med den som är inbyggd i moderkortet för PC eller NAS-server, om man inte planerar att själv bygga en hemserver för ovanliga uppgifter (till exempel en liten hemmabaserad hosting för vänner). Dessutom förutsätter hemmabaserade RAID-arrayer vanligtvis inte hundratals eller tusentals lagringsenheter, utan begränsar sig till två, fyra eller åtta enheter (oftast SATA).

Typer och slag av RAID-kontroller

Det finns tre typer av RAID-kontroller, baserade på principerna för implementering av RAID-arrayer:

1. Programvarubaserade, där hanteringen av arrayen ligger på CPU och DRAM (det vill säga att utförandet av programkoden sker på processorn).

2. Integrerade, det vill säga inbyggda i moderkorten för PC eller NAS-servrar.

3. Hårdvarubaserade (modulära), som är diskreta expansionskort för PCI/PCIe anslutningar på moderkorten.

Vad är den grundläggande skillnaden mellan dem? Programvarubaserade RAID-kontroller är underlägsna integrerade och hårdvarubaserade när det gäller prestanda och felöverlevnad, men kräver å sin sida ingen speciell hårdvara för att fungera. Det är dock viktigt att säkerställa att CPU:n i värdsystemet är tillräckligt kraftfull för att köra RAID-programvaran utan att negativt påverka prestandan för andra applikationer som också körs på värden. Integrerade kontroller är vanligtvis utrustade med eget cache-minne och använder en viss mängd CPU-resurser.

Maskinvaran har både egen cache-minne och en inbyggd processor för att utföra programalgoritmer. De gör det vanligtvis möjligt att implementera alla typer av RAID-arraynivåer och stöder flera typer av lagringsenheter. Till exempel kan moderna hårdvarukontroller från Broadcom ansluta SATA-, SAS- och NVMe-enheter samtidigt, vilket innebär att kontrollern inte behöver bytas vid uppgradering av servrar: speciellt när man flyttar från SATA SSD till NVMe SSD måste kontrollern inte bytas.

Vi har faktiskt kommit till typologiseringen av själva kontrollerna. Om det finns tredelade kontroller, borde det finnas andra också? I det här fallet är svaret på den frågan bekräftande. Beroende på funktioner och möjligheter kan RAID-kontroller delas in i flera typer:

1. Vanliga kontroller med RAID-funktion
I hela hierarkin är detta den enklaste kontrollern, som gör det möjligt att kombinera HDD och SSD i RAID-arrayer av nivåerna "0", "1" eller "0+1". Detta implementeras programmatiskt på firmware-nivå. Emellertid är sådana enheter knappast rekommenderade för användning i företagssegmentet, då de saknar cache-minne och inte stöder array-nivåer som "5", "3" osv. Men för en hemmaserver av grundläggande typ passar de utmärkt.

2. Kontroller som arbetar i par med andra RAID-kontroller
Denna typ av kontroller kan arbeta i par med integrerade kontroller på moderkort. Detta fungerar enligt följande princip: den diskreta RAID-kontrollern tar på sig „logiska” uppgifter, medan den inbyggda hanterar dataöverföring mellan lagringsenheterna. Men det finns en nuance: den parallella driften av sådana kontroller är endast möjlig på kompatibla moderkort, vilket innebär att deras tillämpningsområde är väsentligt begränsat.

3. Självständiga RAID-kontroller
Dessa diskreta lösningar innehåller alla nödvändiga chip för att arbeta med servrar av företagsklass, har egen BIOS, cache-minne och en processor för snabb felkorrigering och beräkning av kontrollsummor. Dessutom uppfyller de höga tillverkningsstandarder för tillförlitlighet och har högkvalitativa minnesmoduler.

4. Externa RAID-kontroller
Det är inte svårt att gissa att alla de kontroller som nämns ovan är interna och får ström via moderkortets PCIe-kontakt. Vad innebär detta? Jo, det betyder att ett fel på moderkortet kan leda till problem med RAID-arrayen och dataförlust. Externa kontroller är å sin sida befriade från detta problem, eftersom de placeras i ett separat chassi med en oberoende strömförsörjning. När det gäller pålitlighet erbjuder sådana kontroller den högsta nivån av datalagring.

Broadcom, Microsemi Adaptec, Intel, IBM, Dell och Cisco är bara några av de företag som för närvarande erbjuder hårdvaru-RAID-kontroller.

RAID-kontrollens driftslägen SAS/SATA/NVMe

Huvuduppgiften för tredriftsmodalitets HBA- och RAID-kontroller (eller kontroller med Tri-Mode-funktion) är att skapa hårdvaru-RAID baserat på NVMe. Företaget Broadcom kan göra detta med 9400-serien av kontroller; till exempel, MegaRAID 9460-16i. Den tillhör en självständig typ av RAID-kontroller, är utrustad med fyra SFF-8643-kontakter och, tack vare stöd för Tri-Mode, gör det möjligt att ansluta både SATA/SAS- och NVMe-lagringsenheter samtidigt. Dessutom är detta en av de mest energieffektiva kontrollerna på marknaden (den förbrukar bara 17 watt, vilket ger mindre än 1,1 watt per varje av de 16 portar).

Anslutningsgränssnittet är PCI Express x8 version 3.1, vilket ger en kapacitet på 64 Gbit/s (under 2020 väntas kontroller för PCI Express 4.0). Den 16-portiga kontrollern bygger på en 2-kärnig chip SAS3516 och 72-bitars DDR4-2133 SDRAM (4 GB), och möjliggör anslutning av upp till 240 SATA/SAS-lagringsenheter eller upp till 24 NVMe-enheter. När det gäller organisationen av RAID-arrayer stödjer den nivåerna "0", "1", "5" och "6", samt "10", "50" och "60". För övrigt är cache-minnet MegaRAID 9460-16i och andra kontroller i 9400-serien skyddade mot spänningsproblem av en extra modul CacheVault CVPM05.

Den tre-läges teknologin baseras på SerDes datakonverteringsfunktion: konvertering av sekventiell datavisning i SAS/SATA-gränssnitt till parallell form i PCIe NVMe och vice versa. Det innebär att kontrolleraren synkroniserar hastigheter och protokoll för att sömlöst arbeta med någon av de tre lagringstyperna. Detta säkerställer en kontinuerlig metod för att skala datacenterinfrastrukturen: användare kan använda NVMe utan betydande förändringar i andra systemkonfigurationer.

Vid planering av konfigurationer med NVMe-enheter är det dock viktigt att notera att NVMe-lösningar använder 4 PCIe-linjer för anslutning, vilket betyder att varje enhet utnyttjar alla linjer på SFF-8643-portar. Det innebär att endast fyra NVMe-enheter kan kopplas direkt till MegaRAID 9460-16i-kontrolleraren. Alternativt kan man begränsa sig till två NVMe-lösningar vid samtidig anslutning av åtta SAS-enheter (se anslutningsschema nedan).

Bild visar användning av port "0" (C0 / Connector 0) och port "1" för NVMe-anslutningar, samt portar "2" och "3" för SAS-anslutningar. Denna placering kan ändras till motsatt, men varje x4 NVMe-enhet måste kopplas med hjälp av intilliggande linjer. Kontrollerarens driftlägen ställs in via konfigurationverktyg som StorCLI eller Human Interface Infrastructure (HII), som fungerar i UEFI-miljö.

Standardläget är profil "PD64" (endast SAS / SATA stöd). Som nämnt tidigare finns det totalt tre profiler: läge "SAS/SATA only mode" (PD240 / PD64 / PD 16), läge "NVMe only mode" (PCIe4) och blandat läge där alla typer av enheter kan fungera: "PD64-PCIe4" (stöd för 64 fysiska och virtuella diskar med 4 NVMe-enheter). I det blandade läget bör det angivna profilen sättas till – "ProfileID=13". Det valda profilen sparas som ledande och återställs inte ens vid återställning till fabriksinställningar via kommandot Set Factory Defaults. Det kan endast ändras manuellt.

Är det värt att skapa en RAID-matris på SSD?

Så vi har redan förstått att RAID-arrayer är nyckeln till hög prestanda. Men är det värt att bygga RAID med SSD-enheter för både hem- och företagsbruk? Många skeptiker hävdar att hastighetsökningen inte är så betydande att det rättfärdigar investeringen i NVMe-enheter. Men är det verkligen så? Tveksamt. Den största begränsningen för att använda SSD i RAID (både i hemmet och på företagsnivå) kan bara vara priset. Oavsett hur man vänder och vrider på det, är kostnaden per gigabyte för HDD avsevärt lägre.

Att ansluta flera SSD:er till en RAID-kontroller för att skapa en array kan ha enorm påverkan på prestandan i vissa konfigurationer. Man bör dock komma ihåg att maximal prestanda är begränsad av RAID-kontrollerns bandbredd. RAID-nivån som erbjuder bäst hastighet är RAID 0.

Att organisera en vanlig RAID 0 med två SSD-enheter, där metoden för datauppdelning på fasta block och deras växling mellan SSD-lagringarna används, kommer att dubblera prestandan (jämfört med hastigheterna från en enda SSD). En RAID 0-array med fyra SSD-enheter kommer därmed att vara fyra gånger snabbare än den långsammaste SSD-enheten i arrayen (beroende på begränsningen av bandbredd på RAID-kontrollernivå).

Om man ser till enkel aritmetik är SATA SSD ungefär tre gånger snabbare än traditionell SATA HDD. NVMe-lösningar är ännu mer effektiva - tio gånger eller mer. Givet att två hårddiskar i RAID 0 kommer att visa dubblerad prestanda, ökar hastigheten med 50%, kommer två SATA SSD att bli sex gånger snabbare, medan två NVMe SSD blir tjugo gånger snabbare. Särskilt kan en Kingston KC2000 NVMe PCIe-enhet nå sekventiella läshastigheter och skrivhastigheter upp till 3200 MB/s, vilket i RAID 0-format når imponerande 6 GB/s. Och hastigheten för läsning/skrivning av slumpmässiga 4 KB-block kommer att öka från 350 000 IOPS till 700 000 IOPS. Men... samtidigt ger “noll” RAID oss ingen redundans.

Man kan säga att redundans av lagring vanligtvis inte är nödvändig i hemmiljöer, så den mest lämpliga RAID-konfigurationen för SSD blir verkligen RAID 0. Det är ett pålitligt sätt att få en betydande prestandaökning som ett alternativ till att använda teknologier som Intel Optane-baserade SSD:er. Hur SSD-lösningar beter sig i de mest populära RAID-typerna ('1', '5', '10', '50') kommer vi att diskutera i vårt nästa material.

Denna artikel har tagits fram med stöd från våra kollegor på Broadcom, som tillhandahåller sina kontrollerkort till Kingston-ingenjörer för testning med företagsklassens SATA/SAS/NVMe-lagringsenheter. Tack vare denna vänliga symbios behöver kunderna inte tveka om pålitligheten och stabiliteten hos Kingston-lagringsenheter med HBA- och RAID-kontroller från tillverkaren. Broadcom.

Ytterligare information om Kingston-produkter kan hittas på den officiella sajten för företaget.

Källa: habr.com