Vi hävdar grundligt att OceanStor Dorado 18000 V6 är ett verkligt avancerad datalagringssystem med en anständig reserv för de kommande åren. Samtidigt skingra vi vanliga farhågor om All-Flash-lagring och visar hur Huawei får ut det mesta av dem: end-to-end NVMe, ytterligare cachning på SCM och en hel massa andra lösningar.
Nytt datalandskap – ny datalagring
Dataintensiteten ökar i alla branscher. Och banksektorn är en tydlig illustration av detta. Under de senaste åren har antalet banktransaktioner mer än tiodubblats. Som visat , bara i Ryssland, under perioden 2010 till 2018, visade antalet icke-kontanttransaktioner med plastkort en mer än trettiofaldig ökning - från 5,8 till 172 per person och år. Poängen handlar i första hand om mikrobetalningarnas triumf: de flesta av oss har blivit bekanta med nätbanker, och vi har nu banken till hands – på våra telefoner.
Ett kreditinstituts IT-infrastruktur måste vara redo för en sådan utmaning. Och det här är verkligen en utmaning. Bland annat, om banken tidigare behövde säkerställa datatillgänglighet endast under sina öppettider, behöver den nu vara tillgänglig 24/7. Tills nyligen ansågs 5 ms vara en acceptabel latensstandard, men vad så? Nu är till och med 1 ms för mycket. För ett modernt lagringssystem är målvärdet 0,5 ms.
Samma sak är med tillförlitlighet: på 2010-talet bildades en empirisk förståelse att det räcker för att få sin nivå till "fem tior" - 99,999%. Det är sant att denna förståelse har blivit föråldrad. År 2020 är det helt normalt att företag kräver 99,9999 % för lagring och 99,99999 % för den övergripande arkitekturlösningen. Och detta är inte ett infall, utan ett akut behov: antingen finns det inget tidsfönster för underhåll av infrastrukturen, eller så är det litet.
För tydlighetens skull är det bekvämt att projicera dessa indikatorer på pengarnas plan. Det enklaste sättet är att använda exemplet med finansiella organisationer. Diagrammet ovan visar hur mycket var och en av världens 10 bästa banker tjänar per timme. Enbart för Industrial and Commercial Bank of China är detta inte mindre än 5 miljoner dollar. Det är precis vad en timmes driftstopp för IT-infrastrukturen för det största kreditinstitutet i Kina skulle kosta (och beräkningen tar bara hänsyn till förlorade vinster!). Ur detta perspektiv är det tydligt att det är helt rationellt motiverat att minska stilleståndstiden och öka tillförlitligheten, inte bara med några få procent, utan även med en bråkdel av en procent. Inte bara för att öka konkurrenskraften, utan också helt enkelt för att behålla marknadspositionerna.
Jämförbara förändringar sker inom andra branscher. Till exempel inom flygtransporter: före pandemin tog flygresorna bara fart år efter år, och många började använda det nästan som en taxi. När det gäller konsumentmönster har vanan med total tillgänglighet av tjänster slagit rot i samhället: vid ankomst till flygplatsen behöver vi en Wi-Fi-anslutning, tillgång till betaltjänster, en karta över området etc. Som ett resultat av detta belastningen på infrastruktur och tjänster i offentliga utrymmen har ökat många gånger om. Och de metoder för infrastruktur och konstruktion som vi ansåg acceptabla redan för ett år sedan håller snabbt på att bli föråldrade.
Är det för tidigt att byta till All-Flash?
För att lösa problemen som nämnts ovan, när det gäller prestanda, är AFA - all-flash arrays, det vill säga arrays helt byggda på flash - den bästa passformen. Tills nyligen fanns det fortfarande tvivel om huruvida de var jämförbara i tillförlitlighet med de som satts ihop på basis av hårddiskar och hybrider. Trots allt har solid-state flashminne ett mått som kallas medeltid mellan fel, eller MTBF (medeltid mellan fel). Cellnedbrytning på grund av I/O-operationer är tyvärr givet.
Så utsikterna för All-Flash grumlades av frågan om hur man förhindrar dataförlust om SSD:n skulle dö. Säkerhetskopiering är ett vanligt alternativ, men återställningstiden skulle vara oacceptabelt lång baserat på moderna krav. En annan utväg är att ställa in en andra nivå av lagring på spindelenheter, men med detta schema går några av fördelarna med ett "strikt flash"-system förlorade.
Men siffrorna säger något annat: statistik från jättar inom den digitala ekonomin, inklusive Google, de senaste åren visar att flash är många gånger mer tillförlitligt än hårddiskar. Dessutom, både under en kort tidsperiod och över en lång period: i genomsnitt går fyra till sex år innan flash-enheter misslyckas. När det gäller tillförlitligheten för datalagring är de inte på något sätt sämre än enheter på spindelmagnetiska skivor och överträffar dem till och med.
Ett annat traditionellt argument till förmån för spindeldrivningar är deras överkomliga priser. Det råder ingen tvekan om att kostnaden för att lagra en terabyte på en hårddisk fortfarande är relativt låg. Och om man bara tar hänsyn till kostnaderna för hårdvara är det billigare att lagra en terabyte på en spindelenhet än på en SSD. Men i samband med ekonomisk planering spelar det inte bara roll hur mycket en viss enhet köptes, utan också vad den totala kostnaden för att äga den under lång tid är - från tre till sju år.
Ur denna vinkel är allt helt annorlunda. Även om vi tar bort deduplicering och komprimering, som vanligtvis används på flash-arrayer och gör deras drift mer ekonomiskt lönsam, kvarstår sådana egenskaper som utrymmet som upptas av media i racket, värmeavledning och strömförbrukning. Och enligt dem överträffar spolningen sina föregångare. Som ett resultat av detta är TCO för flashlagringssystem, med hänsyn till alla parametrar, ofta nästan hälften så låg som i fallet med arrays på spindelenheter eller hybrider.
Enligt rapporter från ESG-byrån är det på Dorado V6 All-Flash lagringssystem möjligt att uppnå en minskning av ägandekostnaden med upp till 78 % under ett intervall på fem år – inklusive genom effektiv deduplicering och komprimering och på grund av låg effekt förbrukning och värmeavledning. Det tyska analysföretaget DCIG rekommenderar dem också för användning som de optimala tillgängliga idag när det gäller TCO.
Användningen av solid-state-enheter gör det möjligt att spara användbart utrymme, minska antalet fel, minska tiden för service av lösningen och minska energiförbrukningen och värmeavledning av lagringssystem. Och det visar sig att AFA är ekonomiskt åtminstone jämförbar med traditionella arrayer på spindeldrivningar, och ofta överträffar dem.
Royal flush från Huawei
Bland våra All-Flash-lagringar tillhör toppplatsen high-end-systemet OceanStor Dorado 18000 V6. Och inte bara bland oss: i branschen som helhet har den hastighetsrekordet - upp till 20 miljoner IPOS i maximal konfiguration. Dessutom är den extremt pålitlig: även om två styrenheter flyger samtidigt, eller upp till sju styrenheter efter varandra, eller en hel motor på en gång, kommer data att överleva. Den AI som är inbyggd i den ger avsevärda fördelar för "artontusendelen", inklusive flexibilitet vid hantering av interna processer. Låt oss se hur allt detta uppnås.
Huawei har till stor del ett försprång eftersom det är den enda tillverkaren på marknaden som själv tillverkar datalagringssystem – helt och hållet. Vi har våra egna kretsar, vår egen mikrokod och vår egen tjänst.
Styrenheten i OceanStor Dorado-system är byggd på en processor av Huaweis egen design och produktion - Kunpeng 920. Den använder Intelligent Baseboard Management Controller (iBMC), även vår. AI-chippen, nämligen Ascend 310, som optimerar felförutsägelser och ger rekommendationer om inställningar, är också från Huawei, liksom I/O-korten - Smart I/O-modulen. Slutligen designas och tillverkas styrenheterna i solid-state-enheter internt. Allt detta utgjorde grunden för att göra en integrerat balanserad och högpresterande lösning.
Under det senaste året har vi genomfört ett projekt för att implementera detta, vårt toppmoderna lagringssystem, i en av de stora ryska bankerna. Som ett resultat visar mer än 40 enheter av OceanStor Dorado 18000 V6 i tunnelbaneklustret stabila prestanda: mer än en miljon IOPS kan tas bort från varje system, och detta tar hänsyn till förseningar på grund av avstånd.
End-to-end NVMe
De senaste Huawei-lagringssystemen stöder end-to-end NVMe, vilket är något vi fokuserar på av en anledning. Traditionellt använda lagringsåtkomstprotokoll utvecklades under IT:s grymma dagar: de är baserade på SCSI-kommandon (hej, 1980-talet!), som innehåller många funktioner för att säkerställa bakåtkompatibilitet. Oavsett vilken åtkomstmetod du väljer är protokolloverheaden i det här fallet kolossal. Som ett resultat av detta, för lagringsenheter som använder SCSI-baserade protokoll, kan I/O-latensen inte vara lägre än 0,4–0,5 ms. I sin tur, som ett protokoll skapat för att fungera med flashminne och befriat från kryckor för den ökända bakåtkompatibilitetens skull, minskar NVMe - Non-Volatile Memory Express - latensen till 0,1 ms, och inte på lagringssystemet, utan på hela stack, från värd till enheter. Det är inte förvånande att NVMe ligger i linje med utvecklingstrenderna för datalagring under överskådlig framtid. Även vi har lagt våra satsningar på NVMe och går gradvis bort från SCSI. Alla Huaweis lagringssystem som produceras idag, inklusive Dorado-serien, stöder NVMe (dock implementeras det endast på de avancerade modellerna i Dorado V6-serien).
FlashLink: en handfull tekniker
Hörnstenstekniken för hela OceanStor Dorado-linjen är FlashLink. Mer exakt är det en term som kombinerar en integrerad uppsättning tekniker som tjänar till att säkerställa hög prestanda och tillförlitlighet. Detta inkluderar deduplicerings- och komprimeringsteknik, funktionen hos RAID 2.0+ datadistributionssystemet, separeringen av "kall" och "het" data, sekvensiell dataregistrering i alla ränder (slumpmässiga poster, med nya och ändrade data, aggregeras till en stor stack och skrivs sekventiellt, vilket ökar läs-skrivhastigheten).
FlashLink innehåller bland annat två viktiga komponenter – Wear Leveling och Global Garbage Collection. De är värda att uppehålla sig vid separat.
Faktum är att alla solid-state-enheter är ett lagringssystem i miniatyr, med ett stort antal block och en kontroller som säkerställer datatillgänglighet. Och det säkerställs bland annat genom att data från "dödade" celler överförs till "ej dödade". Detta säkerställer att de kan läsas. Det finns olika algoritmer för sådan överföring. I allmänhet försöker styrenheten balansera slitaget på alla lagringsceller. Det finns en nackdel med detta tillvägagångssätt. När data flyttas inuti SSD:n minskar antalet I/O-operationer som den utför dramatiskt. För tillfället är det ett nödvändigt ont.
Således, om ett system har många solid-state-enheter, kommer dess prestandagraf att visa ett "sågtandsmönster" med skarpa upp- och nedgångar. Problemet är att vilken enhet som helst från poolen kan starta datamigrering när som helst, och den övergripande prestandan tas bort samtidigt från alla SSD-enheter i arrayen. Men Huaweis ingenjörer kom på hur man undviker "sågen".
Lyckligtvis är kontrollerna i enheterna, lagringskontrollern och mikrokoden inbyggda i Huawei; dessa processer i OceanStor Dorado 18000 V6 lanseras centralt, synkront på alla enheter i arrayen. Dessutom på kommando av lagringskontrollern och precis när det inte finns någon tung I/O-belastning.
Det artificiella intelligenschippet är också inblandat i att välja rätt ögonblick för att överföra data: baserat på statistiken över förfrågningar under de senaste månaderna kan det med största sannolikhet förutsäga om man kan förvänta sig aktiv I/O inom en snar framtid, och om svaret är negativt, och belastningen på systemet för tillfället är liten, styr styrenheten alla enheter: de som behöver slitageutjämning bör utföra det på en gång och synkront.
Dessutom ser systemkontrollanten vad som händer i varje lagringscell, till skillnad från lagringssystem från konkurrerande tillverkare: de tvingas köpa solid-state media från tredjepartsleverantörer, vilket är anledningen till att detaljer på cellnivå inte är tillgängliga för kontrollerna av sådana förråd.
Som ett resultat har OceanStor Dorado 18000 V6 en mycket kort period av prestandaförlust under slitageutjämning, och den utförs huvudsakligen när den inte stör några andra processer. Detta ger hög, stabil prestanda på löpande basis.
Vad gör OceanStor Dorado 18000 V6 pålitlig?
Moderna datalagringssystem har fyra nivåer av tillförlitlighet:
- hårdvara, på enhetsnivå;
- arkitektonisk, på utrustningsnivå;
- arkitektonisk tillsammans med mjukvarudelen;
- kumulativ, som avser beslutet som helhet.
Eftersom, låt oss påminna dig, vårt företag designar och producerar alla komponenter i själva lagringssystemet, säkerställer vi tillförlitlighet på var och en av de fyra nivåerna, med möjligheten att noggrant övervaka vad som händer på vilken av dem för tillfället.
Drivernas tillförlitlighet garanteras i första hand av den tidigare beskrivna Wear Leveling och Global Garbage Collection. När en SSD ser ut som en svart låda för systemet har den ingen aning om exakt hur cellerna i den slits ut. För OceanStor Dorado 18000 V6 är enheterna transparenta, vilket möjliggör enhetlig balansering över alla enheter i arrayen. På detta sätt är det möjligt att avsevärt förlänga livslängden för SSD-enheter och säkerställa en hög nivå av tillförlitlighet för deras drift.
Drivenhetens tillförlitlighet påverkas också av ytterligare redundanta celler i den. Och tillsammans med en enkel reserv använder lagringssystemet så kallade DIF-celler, som innehåller kontrollsummor, samt ytterligare koder som gör det möjligt att skydda varje block från ett enda fel, förutom skydd på RAID-arraynivå.
Nyckeln till arkitektonisk tillförlitlighet är SmartMatrix-lösningen. Kort sagt är det fyra kontroller som sitter på ett passivt bakplan som en del av en motor. Två sådana motorer - respektive med åtta styrenheter - är kopplade till gemensamma hyllor med drivningar. Tack vare SmartMatrix, även om sju av åtta styrenheter slutar fungera, kommer åtkomsten till all data, både läs och skriv, att finnas kvar. Och om sex av åtta kontroller går förlorade kommer det till och med att vara möjligt att fortsätta cache-operationer.
I/O-kort på samma passiva bakplan är tillgängliga för alla kontroller, både front-end och back-end. Med detta fullmesh-anslutningsschema, oavsett vad som går fel, bibehålls åtkomsten till enheterna alltid.
Det är mest lämpligt att tala om tillförlitligheten hos en arkitektur i samband med felscenarier, mot vilka datalagringssystemet kan ge skydd.
Lagringen kommer att överleva situationen utan förluster om två kontroller "faller av", inklusive samtidigt. Sådan stabilitet uppnås på grund av det faktum att vilket cacheblock som helst har ytterligare två kopior på olika kontroller, det vill säga totalt finns det i tre kopior. Dessutom är minst en på en annan motor. Således, även om hela motorn slutar fungera - med alla fyra av dess styrenheter - garanteras bevarandet av all information som fanns i cacheminnet, eftersom i åtminstone en styrenhet från den återstående motorn kommer cachen att dupliceras. Slutligen, med en daisy-chain-anslutning, kan du förlora upp till sju kontroller, och även om de tas bort i block om två, och återigen kommer all I/O och all data från cacheminnet att bevaras.
Jämfört med hi-end-lagring från andra tillverkare är det tydligt att endast Huawei ger fullständigt dataskydd och full tillgänglighet även efter att två styrenheter eller hela motorn har dött. De flesta leverantörer använder ett schema med så kallade kontrollerpar till vilka enheter är anslutna. Tyvärr, i den här konfigurationen, om två styrenheter misslyckas, finns det en risk att förlora I/O-åtkomst till enheten.
Tyvärr kan fel på en enskild komponent inte objektivt uteslutas. I det här fallet kommer prestandan att lida under en tid: det är nödvändigt att vägarna byggs om och åtkomsten för att I/O-operationer ska återupptas angående de block som antingen kom för skrivning, men som ännu inte har skrivits, eller som har begärts för läsning. OceanStor Dorado 18000 V6 har en genomsnittlig filbytestid på cirka en sekund - betydligt mindre än den närmaste analogen i branschen (4 sekunder). Detta uppnås tack vare samma passiva backplay: när styrenheten misslyckas, ser andra omedelbart dess input-output, och i synnerhet vilket datablock som inte spelades in; Som ett resultat plockar närmaste kontrollant upp processen. Därav möjligheten att återställa produktiviteten bokstavligen på en sekund. Det bör tilläggas att intervallet är stabilt: en sekund för en styrenhet, en andra för en annan, etc.
I det passiva bakplanet OceanStor Dorado 18000 V6 är alla kort tillgängliga för alla kontroller utan ytterligare adressering. Det betyder att vilken styrenhet som helst kan ta upp I/O på vilken port som helst. Oavsett vilken frontend-port som I/O kommer till, kommer kontrollern att vara redo att bearbeta den. Detta resulterar i ett minimalt antal interna överföringar och en märkbar förenkling av balanseringen.
Frontend-balansering utförs med hjälp av multipathing-drivrutinen, och dessutom utförs balansering inom själva systemet, eftersom alla kontroller ser alla I/O-portar.
Traditionellt är alla Huawei-arrayer designade på ett sådant sätt att de inte har en enda felpunkt. Alla komponenter kan hot-swap utan att starta om systemet: styrenheter, kraftmoduler, kylmoduler, I/O-kort, etc.
Teknik som RAID-TP ökar också tillförlitligheten för systemet som helhet. Detta är namnet på en RAID-grupp, som låter dig försäkra dig i händelse av samtidiga fel på upp till tre enheter. Dessutom En ombyggnad på 1 TB tar konsekvent mindre än 30 minuter. Det bästa inspelade resultatet är åtta gånger snabbare än med samma mängd data på en spindelenhet. Således är det möjligt att använda extremt rymliga enheter, säg 7,68 eller till och med 15 TB, och inte oroa dig för systemets tillförlitlighet.
Det är viktigt att ombyggnaden inte utförs i reservenheten, utan i reservutrymmet - reservkapaciteten. Varje enhet har dedikerat utrymme som används för att återställa data efter ett fel. Således utförs restaureringen inte enligt "många till en" -schemat, utan enligt "många till många" -schemat, på grund av vilket det är möjligt att avsevärt påskynda processen. Och så länge det finns ledig kapacitet kan restaureringen fortsätta.
Separat är det värt att nämna tillförlitligheten hos lösningen från flera lagringar - i ett tunnelbanekluster, eller, i Huawei-terminologi, HyperMetro. Sådana system stöds i hela utbudet av våra datalagringssystem och tillåter arbete med både fil- och blockåtkomst. Dessutom fungerar den på blockbasis både via Fibre Channel och Ethernet (inklusive iSCSI).
I huvudsak talar vi om dubbelriktad replikering från ett lagringssystem till ett annat, där det replikerade LUN:et ges samma LUN-ID som det huvudsakliga. Tekniken fungerar främst på grund av konsistensen av cacher från två olika system. För värden spelar det alltså ingen roll vilken sida den är på: både här och där ser den samma logiska enhet. Som ett resultat hindrar ingenting dig från att distribuera ett failover-kluster fördelat på två platser.
För kvorum används en fysisk eller virtuell Linux-maskin. Det kan finnas på en tredje plats och kraven på dess resurser är små. Ett vanligt scenario är att hyra en virtuell webbplats enbart för att vara värd för en kvorum-VM.
Tekniken möjliggör även expansion: två lagringsanläggningar i ett tunnelbanekluster, en ytterligare plats med asynkron replikering.
Historiskt sett har många kunder bildat en "lagringszoo": ett gäng förvaringssystem från olika tillverkare, olika modeller, olika generationer, med olika funktionalitet. Samtidigt kan antalet värdar vara imponerande, och de är ofta virtualiserade. Under sådana förhållanden är en av administrationens prioriterade uppgifter att snabbt, enhetligt och bekvämt tillhandahålla logiska diskar till värdar, helst utan att fördjupa sig i var dessa diskar är fysiskt placerade. Detta är vad vår mjukvarulösning OceanStor DJ är designad för, som enhetligt kan hantera olika datalagringssystem och tillhandahålla tjänster från dem utan att vara bunden till en specifik lagringsmodell.
Samma med AI
Som redan nämnts har OceanStor Dorado 18000 V6 inbyggda processorer med artificiell intelligensalgoritmer - Ascend. De används för det första för att förutsäga misslyckanden, och för det andra för att generera konfigurationsrekommendationer, vilket också ökar lagringens prestanda och tillförlitlighet.
Förutsägelsehorisonten är två månader: AI-motorn antar vad som med största sannolikhet kommer att hända under denna tid, om det är dags att göra en expansion, ändra åtkomstpolicyer etc. Rekommendationer utfärdas i förväg, vilket gör att du kan schemalägga fönster för systemunderhåll i förväg.
Nästa steg i utvecklingen av AI från Huawei innebär att ta det till global nivå. Under serviceunderhåll – felhantering eller rekommendationer – samlar Huawei information från loggningssystem från alla våra kunders lagringsanläggningar. Baserat på vad som samlas in görs en analys av inträffade eller potentiellt möjliga fel och globala rekommendationer görs - inte baserat på hur ett specifikt lagringssystem eller ens ett dussin fungerar, utan på vad som händer och har hänt med tusentals sådana enheter . Urvalet är enormt, och baserat på det börjar AI-algoritmer lära sig extremt snabbt, varför noggrannheten i förutsägelser ökar avsevärt.
Kompatibilitet
Under 2019-2020 kom det många insinuationer om samspelet mellan vår utrustning och VMware-produkter. För att slutligen stoppa dem, förklarar vi ansvarsfullt: VMware är en partner till Huawei. Alla tänkbara tester utfördes för att fastställa kompatibiliteten hos vår hårdvara med dess mjukvara, och som ett resultat av detta, på VMwares webbplats, listar hårdvarukompatibilitetsbladet de för närvarande tillgängliga lagringssystemen för vår produktion utan några reservationer. Med andra ord, med VMwares mjukvarumiljö kan du använda Huawei-lagring, inklusive Dorado V6, med fullt stöd.
Detsamma gäller vårt samarbete med Brocade. Vi fortsätter att samarbeta och testa kompatibiliteten hos våra produkter - och baserat på deras resultat kan vi med säkerhet hävda att våra lagringssystem är helt kompatibla med de senaste Brocade FC-switcharna.
Vad händer nu?
Vi fortsätter att utveckla och förbättra våra processorer: de blir snabbare, mer pålitliga och deras prestanda ökar. Vi förbättrar också AI-chips - moduler produceras utifrån deras bas som påskyndar deduplicering och komprimering. De som har tillgång till vår konfigurator kanske har märkt att i Dorado V6-modeller finns dessa kort redan tillgängliga för beställning.
Vi går också mot ytterligare cachning på Storage Class Memory – icke-flyktigt minne med särskilt låg latens, cirka tio mikrosekunder per läsning. SCM ger bland annat en prestandaboost, framförallt när man arbetar med big data och löser OLTP-problem. Efter nästa uppdatering bör SCM-kort bli tillgängliga för beställning.
Och naturligtvis kommer filåtkomstfunktionaliteten att utökas över hela utbudet av Huawei-datalagringar – håll utkik efter våra uppdateringar.
Källa: will.com