Ma arról fogunk beszélni, hogyan lehet a legjobban tárolni az adatokat egy olyan világban, ahol az ötödik generációs hálózatok, genomszkennerek és önvezető autók több adatot termelnek egy nap alatt, mint amennyit az egész emberiség az ipari forradalom előtt generált.
Világunk egyre több információt generál. Egy része múlandó, és olyan gyorsan elveszik, ahogy összegyűjtik. A másikat érdemes tovább tárolni, a másikat pedig teljesen "évszázadokra" tervezték - legalábbis a jelenből így látjuk. Az információáramlás olyan sebességgel rakódik le az adatközpontokban, hogy minden új megközelítés, bármilyen technológia, amelyet ennek a végtelen "igénynek" kielégítésére terveztek, gyorsan elavulttá válik.
40 éves elosztott tárolási fejlesztés
Az első hálózati tárolók a számunkra megszokott formában az 1980-as években jelentek meg. Sokan találkoztatok már NFS-sel (Network File System), AFS-sel (Andrew File System) vagy Codával. Egy évtizeddel később a divat és a technológia megváltozott, és az elosztott fájlrendszerek átadták helyét a GPFS-en (General Parallel File System), CFS-en (Clustered File Systems) és StorNext-en alapuló fürtözött tárolórendszereknek. Alapként a klasszikus architektúrájú blokktárolókat vették alapul, amelyekre a szoftverréteg segítségével egyetlen fájlrendszert hoztak létre. Ezeket és a hasonló megoldásokat még mindig használják, elfoglalják a rést, és meglehetősen keresettek.
Az ezredfordulón az elosztott tárolási paradigma némileg megváltozott, és az SN (Shared-Nothing) architektúrájú rendszerek kerültek a vezető helyre. Megtörtént az átállás a fürttárolásról a különálló csomópontokon történő tárolásra, amelyek általában klasszikus szerverek voltak megbízható tárolást biztosító szoftverrel; ilyen alapelvek épülnek fel mondjuk a HDFS-re (Hadoop Distributed File System) és a GFS-re (Global File System).
2010-hez közeledve az elosztott tárolórendszerek alapjául szolgáló koncepciók egyre inkább megjelennek a teljes értékű kereskedelmi termékekben, mint például a VMware vSAN, a Dell EMC Isilon és a mi . Az említett platformok mögött már nem egy lelkes közösség áll, hanem konkrét szállítók, akik felelősek a termék funkcionalitásáért, támogatásáért, szervizeléséért és garantálják a további fejlesztését. Az ilyen megoldásokra több területen a legnagyobb a kereslet.
Távközlési szolgáltatók
Az elosztott tárolórendszerek egyik legrégebbi fogyasztója talán a távközlési szolgáltatók. A diagram azt mutatja, hogy az alkalmazások mely csoportjai állítják elő az adatok nagy részét. Az OSS (Operations Support Systems), az MSS (Management Support Services) és a BSS (Business Support Systems) három egymást kiegészítő szoftverréteg, amelyek szükségesek az előfizetők számára történő szolgáltatásnyújtáshoz, a szolgáltatónak nyújtott pénzügyi jelentésekhez és az üzemeltető mérnökeinek nyújtott működési támogatáshoz.
Gyakran ezeknek a rétegeknek az adatai erősen keverednek egymással, és a felesleges másolatok felhalmozódásának elkerülése érdekében elosztott tárolókat használnak, amelyek a működő hálózatból érkező teljes információmennyiséget felhalmozzák. A tárolók egy közös medencébe vannak egyesítve, amelyhez minden szolgáltatás hozzáfér.
Számításaink azt mutatják, hogy a klasszikus tárolórendszerekről a blokkos tárolási rendszerekre való átállás lehetővé teszi a költségvetés akár 70%-át is megtakaríthatja, ha elhagyja a dedikált hi-end tárolórendszereket, és hagyományos klasszikus architektúrájú szervereket használ (általában x86), speciális szoftverekkel együttműködve. A mobilszolgáltatók már régóta jelentős mennyiségben szereznek be ilyen megoldásokat. Az orosz szolgáltatók több mint hat éve használják a Huawei ilyen termékeit.
Igen, számos feladat nem hajtható végre elosztott rendszerekkel. Például megnövekedett teljesítménykövetelmények vagy régebbi protokollokkal való kompatibilitás miatt. De az operátor által feldolgozott adatok legalább 70%-a elhelyezhető egy elosztott készletben.
Banki tevékenység
Minden bankban sokféle informatikai rendszer létezik, a feldolgozástól az automatizált banki rendszerig. Ez az infrastruktúra is hatalmas mennyiségű információval dolgozik, miközben a feladatok többsége nem igényli a tárolórendszerek teljesítményének és megbízhatóságának növelését, mint például fejlesztés, tesztelés, irodai folyamatok automatizálása stb. Itt a klasszikus tárolórendszerek alkalmazása lehetséges , de évről évre egyre kevésbé jövedelmező. Ráadásul ebben az esetben nincs rugalmasság a tárolási erőforrások elköltésében, amelyek teljesítményét a csúcsterhelésből számolják.
Elosztott tárolórendszerek használatakor a csomópontjaik, amelyek valójában közönséges szerverek, bármikor átalakíthatók, például szerverfarmmá, és számítási platformként használhatók.
Adattavak
A fenti diagram a tipikus szolgáltatásfogyasztók listáját mutatja. . Ezek lehetnek e-kormányzati szolgáltatások (például „Gosuslugi”), digitalizáción átesett vállalkozások, pénzügyi struktúrák stb. Mindegyiküknek nagy mennyiségű heterogén információval kell dolgoznia.
A klasszikus tárolórendszerek üzemeltetése az ilyen problémák megoldására nem hatékony, mivel mind a blokk adatbázisokhoz való nagy teljesítményű hozzáférés, mind az objektumként tárolt szkennelt dokumentumok könyvtáraihoz való rendszeres hozzáférés szükséges. Itt például egy webportálon keresztüli rendelési rendszer köthető. Ahhoz, hogy mindezt egy klasszikus tárolóplatformon megvalósíthassa, nagy mennyiségű felszerelésre lesz szüksége a különböző feladatokhoz. Egy vízszintes univerzális tárolórendszer könnyedén lefedheti az összes korábban felsorolt feladatot: csak több medencét kell létrehozni benne, különböző tárolási jellemzőkkel.
Új információk generátorai
A világon tárolt információ mennyisége évente mintegy 30%-kal növekszik. Ez jó hír a tárhelyszállítók számára, de mi az és mi lesz ezeknek az adatoknak a fő forrása?
Tíz évvel ezelőtt a közösségi hálózatok váltak ilyen generátorokká, amelyekhez nagyszámú új algoritmus, hardvermegoldás stb. létrehozására volt szükség. Jelenleg a tárhely növekedésének három fő mozgatórugója van. Az első a felhőalapú számítástechnika. Jelenleg a vállalatok körülbelül 70%-a használ ilyen vagy olyan módon felhőszolgáltatásokat. Ezek lehetnek e-mail rendszerek, biztonsági mentések és más virtualizált entitások.
Az ötödik generációs hálózatok a második meghajtóvá válnak. Ezek új sebességek és új adatátviteli mennyiségek. Előrejelzéseink szerint az 5G széles körű elterjedése a flash memóriakártyák iránti kereslet csökkenéséhez vezet. Hiába van memória a telefonban, akkor is véget ér, és ha a kütyünek van 100 megabites csatornája, akkor nem kell helyben tárolni a fotókat.
A tárolórendszerek iránti kereslet növekedésének harmadik csoportjába tartozik a mesterséges intelligencia rohamos fejlődése, a nagy adatelemzésre való átállás, valamint minden lehetséges dolog univerzális automatizálására irányuló tendencia.
Az „új forgalom” jellemzője az . Ezeket az adatokat anélkül kell tárolnunk, hogy bármilyen módon meghatároznánk a formátumukat. Csak a későbbi olvasáshoz szükséges. Például egy banki pontozási rendszer, amely meghatározza a rendelkezésre álló hitel nagyságát, megvizsgálja a közösségi oldalakon közzétett fényképeket, meghatározva, hogy milyen gyakran jár a tengerhez és az éttermekbe, és egyúttal tanulmányozza a rendelkezésére álló orvosi dokumentumok kivonatait. Ezek az adatok egyrészt átfogóak, másrészt hiányzik belőlük a homogenitás.
A strukturálatlan adatok óceánja
Milyen problémákkal jár az „új adatok” megjelenése? Közülük az első természetesen maga az információ mennyisége és tárolásának becsült időtartama. Egy modern autonóm, vezető nélküli autó önmagában akár 60 TB adatot is generál minden nap minden érzékelőjéből és mechanizmusából. Új mozgásalgoritmusok kifejlesztéséhez ezeket az információkat még ugyanazon a napon belül fel kell dolgozni, különben felhalmozódnak. Ugyanakkor nagyon hosszú ideig - évtizedekig - kell tárolni. Csak így lehet a jövőben nagy analitikai minták alapján következtetéseket levonni.
Egy genetikai szekvenciák megfejtésére szolgáló eszköz körülbelül 6 terabájtot termel naponta. A segítségével összegyűjtött adatok pedig egyáltalán nem jelentenek törlést, vagyis feltételezhetően örökre meg kell őrizni őket.
Végül, ugyanazok az ötödik generációs hálózatok. A továbbított információkon túl egy ilyen hálózat maga is hatalmas adatgenerátor: tevékenységnaplók, hívásrekordok, gépek közötti interakciók közbenső eredményei stb.
Mindehhez új megközelítések, algoritmusok kidolgozása szükséges az információk tárolására és feldolgozására. És ilyen megközelítések vannak kialakulóban.
Az új korszak technológiái
Az információtároló rendszerekkel szemben támasztott új igények kielégítésére kialakított megoldásoknak három csoportja különböztethető meg: a mesterséges intelligencia bevezetése, az adathordozók technikai fejlődése és a rendszerarchitektúra területén megvalósuló innovációk. Kezdjük az AI-val.
Az új Huawei megoldásokban már magának a tárolónak a szintjén alkalmazzák a mesterséges intelligenciát, amely AI processzorral van ellátva, amely lehetővé teszi a rendszer számára, hogy önállóan elemezze állapotát és előre jelezze a hibákat. Ha a tárolórendszer jelentős számítási képességekkel rendelkező szolgáltatásfelhőhöz csatlakozik, a mesterséges intelligencia több információt tud feldolgozni, és javítja hipotézisei pontosságát.
A meghibásodások mellett az ilyen mesterséges intelligencia képes megjósolni a jövőbeli csúcsterhelést és a kapacitás kimerüléséig hátralévő időt. Ez lehetővé teszi a teljesítmény optimalizálását és a rendszer méretezését, mielőtt bármilyen nem kívánt esemény bekövetkezne.
Most az adathordozók fejlődéséről. Az első flash meghajtók SLC (Single-Level Cell) technológiával készültek. Az erre épülő készülékek gyorsak, megbízhatóak, stabilak, de kis kapacitásúak és nagyon drágák voltak. A volumennövekedés és az árcsökkenés bizonyos műszaki engedmények révén valósult meg, aminek köszönhetően csökkent a hajtások sebessége, megbízhatósága és élettartama. Mindazonáltal a tendencia nem érintette magukat a tárolórendszereket, amelyek a különféle építészeti trükkök miatt általában termelékenyebbek és megbízhatóbbak lettek.
De miért volt szüksége All-Flash osztályú tárolórendszerekre? Nem volt elég, ha egy már működő rendszerben lecseréltük a régi HDD-ket azonos formájú új SSD-kre? Erre az új SSD-k összes erőforrásának hatékony kihasználása érdekében volt szükség, ami a régebbi rendszerekben egyszerűen lehetetlen volt.
A Huawei például számos technológiát fejlesztett ki ennek a problémának a megoldására, amelyek közül az egyik az , amely lehetővé tette a lemezvezérlő interakciók lehető legnagyobb mértékű optimalizálását.
Az intelligens azonosítás lehetővé tette az adatok több folyamra való felosztását és számos nemkívánatos jelenséggel való megbirkózást, mint pl. (írási erősítés). Ugyanakkor az új helyreállítási algoritmusok, különösen , megnövelte az átépítés sebességét, teljesen jelentéktelen értékekre csökkentve annak idejét.
Meghibásodás, túlzsúfoltság, szemétszállítás - ezek a tényezők szintén nem befolyásolják a tárolórendszer teljesítményét a vezérlők speciális finomításának köszönhetően.
A blokk adattárak pedig találkozni készülnek . Emlékezzünk vissza, hogy az adathozzáférés megszervezésének klasszikus sémája így működött: a processzor a PCI Express buszon keresztül érte el a RAID vezérlőt. Ez viszont SCSI-n vagy SAS-n keresztül kölcsönhatásba lép a mechanikus lemezekkel. Az NVMe használata a háttérben jelentősen felgyorsította az egész folyamatot, de volt egy hátránya is: a meghajtókat közvetlenül a processzorhoz kellett csatlakoztatni ahhoz, hogy közvetlen memória-hozzáférést biztosítson.
A technológiai fejlesztés következő szakasza, amelyet most látunk, az NVMe-oF (NVMe over Fabrics) használata. Ami a Huawei blokktechnológiáit illeti, ezek már támogatják az FC-NVMe-t (NVMe over Fibre Channel), és az NVMe over RoCE (RDMA over Converged Ethernet) is készül. A tesztmodellek meglehetősen működőképesek, néhány hónap van hátra a hivatalos bemutatóig. Vegye figyelembe, hogy mindez az elosztott rendszerekben is megjelenik, ahol az "Ethernet veszteség nélkül" nagy kereslet lesz.
Az elosztott tárolók munkájának optimalizálásának további módja az adattükrözés teljes elutasítása volt. A Huawei megoldásai már nem használnak n másolatot, mint a szokásos RAID 1-ben, és teljesen átváltanak a mechanizmusra (Kódolás törlése). Egy speciális matematikai csomag meghatározott gyakorisággal számítja ki a vezérlőblokkokat, amelyek lehetővé teszik a közbenső adatok visszaállítását elvesztés esetén.
A deduplikációs és tömörítési mechanizmusok kötelezővé válnak. Ha a klasszikus tárolórendszerekben korlátoz minket a vezérlőkbe telepített processzorok száma, akkor az elosztott, vízszintesen méretezhető tárolórendszerekben minden csomópont tartalmaz mindent, amire szüksége van: lemezek, memória, processzorok és összekapcsolás. Ezek az erőforrások elegendőek a deduplikációhoz és a tömörítéshez, hogy minimális hatást gyakoroljanak a teljesítményre.
És a hardveroptimalizálási módszerekről. Itt további dedikált mikroáramkörök (vagy magában a processzorban lévő dedikált blokkok) segítségével csökkenteni lehetett a központi processzorok terhelését, amelyek szerepet játszanak. (TCP/IP Offload Engine) vagy vállalja az EC matematikai feladatait, a deduplikációt és a tömörítést.
Az adattárolás új megközelítései a dezaggregált (elosztott) architektúrában testesülnek meg. A központosított tárolórendszerekben a Fibre Channelen keresztül csatlakozik egy szervergyár sok tömbbel. Ennek a megközelítésnek a hátránya, hogy nehézségekbe ütközik a skálázás és a garantált szolgáltatási szint (teljesítmény vagy késleltetés tekintetében). A hiperkonvergens rendszerek ugyanazokat a gazdagépeket használják az információ tárolására és feldolgozására. Ez szinte korlátlan mozgásteret biztosít a méretezéshez, de az adatok integritásának fenntartása magas költségekkel jár.
A fentiektől eltérően a dezaggregált architektúra magában foglalja a rendszer particionálása számítási gyárra és vízszintes tárolórendszerre. Ez mindkét architektúra előnyeit biztosítja, és csak annak az elemnek a skálázását teszi lehetővé szinte korlátlanul, amelynek teljesítménye nem elegendő.
Az integrációtól a konvergenciáig
Klasszikus feladat, amelynek jelentősége csak nőtt az elmúlt 15 évben, hogy egyszerre kell biztosítani a blokktárolást, a fájlelérést, az objektumokhoz való hozzáférést, egy farm működtetését a big data számára, stb. A hab a tortán lehet például egy mágnesszalag tartalék rendszere is.
Első lépésben csak ezeknek a szolgáltatásoknak az irányítása lehetett egységes. A heterogén adattároló rendszerek zárva voltak bizonyos speciális szoftverek előtt, amelyeken keresztül az adminisztrátor elosztotta az erőforrásokat a rendelkezésre álló készletekből. De mivel ezek a készletek hardverben különböztek, lehetetlen volt a terhelés áttelepítése közöttük. Az integráció magasabb szintjén a konszolidáció az átjáró szintjén történt. Ha létezne megosztott fájlhozzáférés, akkor azt különböző protokollokon keresztül lehetett megadni.
A jelenleg elérhető legfejlettebb konvergencia módszer egy univerzális hibrid rendszer létrehozása. Pont olyan, amilyennek a miénknek lennie kell . Az univerzális hozzáférés ugyanazokat a hardvererőforrásokat használja, logikailag különböző készletekre osztva, de lehetővé teszi a terhelés áttelepítését. Mindez egyetlen felügyeleti konzolon keresztül is megtehető. Így sikerült megvalósítanunk az „egy adatközpont – egy tárolórendszer” koncepcióját.
Az információ tárolásának költsége ma már számos építészeti döntést meghatároz. És bár nyugodtan előtérbe helyezhető, ma aktív hozzáférésű "élő" tárolásról beszélünk, így a teljesítményt is figyelembe kell venni. A következő generációs elosztott rendszerek másik fontos tulajdonsága az egységesítés. Végtére is, senki sem akarja, hogy több különböző rendszert kezeljenek különböző konzolokról. Mindezek a tulajdonságok megtestesülnek a Huawei új terméksorozatában. .
Következő generációs háttértár
Az OceanStor Pacific hat kilences (99,9999%) megbízhatósági követelményt teljesít, és használható HyperMetro osztályú adatközpont létrehozására. A két adatközpont közötti akár 100 km-es távolság mellett a rendszerek további 2 ms-os késleltetést mutatnak, ami lehetővé teszi bármilyen katasztrófabiztos megoldás megépítését ezek alapján, beleértve a kvórumszervereket is.
Az új sorozat termékei a protokollok terén sokoldalúságot mutatnak. Az OceanStor 100D már támogatja a blokk-hozzáférést, az objektum-hozzáférést és a Hadoop-hozzáférést. A fájlhozzáférés a közeljövőben megvalósul. Nem szükséges több másolatot megőrizni az adatokról, ha azok különböző protokollokon keresztül adhatók ki.
Úgy tűnik, mi köze van a „veszteségmentes hálózat” fogalmának a tároláshoz? Az a tény, hogy az elosztott tárolási rendszerek egy gyors hálózatra épülnek, amely támogatja a megfelelő algoritmusokat és a RoCE mechanizmust. A kapcsolóink által támogatott mesterséges intelligencia rendszer segít tovább növelni a hálózati sebességet és csökkenteni a késleltetést. . A tárolórendszerek teljesítménynövekedése az AI Fabric aktiválásakor elérheti a 20%-ot.
Mi az új OceanStor Pacific elosztott tárolási csomópont? Az 5U méretű megoldás 120 meghajtót tartalmaz, és három klasszikus csomópontot tud helyettesíteni, több mint megkétszerezve a rack helyet. A másolatok tárolásának megtagadása miatt a meghajtók hatékonysága jelentősen megnő (akár + 92%).
Megszoktuk, hogy a szoftveres tároló egy klasszikus szerverre telepített speciális szoftver. Most azonban az optimális paraméterek elérése érdekében ehhez az építészeti megoldáshoz speciális csomópontok is szükségesek. Két ARM processzorokon alapuló szerverből áll, amelyek három hüvelykes meghajtókat kezelnek.
Ezek a szerverek nem alkalmasak hiperkonvergens megoldásokra. Először is kevés az ARM alkalmazás, másodszor pedig nehéz fenntartani a terhelési egyensúlyt. Javasoljuk, hogy váltsunk külön tárolóra: a klasszikus vagy rack szerverek által képviselt számítási fürt külön működik, de kapcsolódik az OceanStor Pacific tárolócsomópontokhoz, amelyek szintén ellátják közvetlen feladataikat. És ez igazolja magát.
Vegyünk például egy klasszikus hiperkonvergens nagy adattárolási megoldást, amely 15 szerverracket foglal el. Ha elosztja a terhelést az egyes OceanStor Pacific számítási szerverek és tároló csomópontok között, elválasztva őket egymástól, a szükséges rackek száma felére csökken! Ez csökkenti az adatközpont üzemeltetési költségeit és a teljes birtoklási költséget. Egy olyan világban, ahol a tárolt információk mennyisége évente 30%-kal növekszik, az ilyen előnyök nem szóródnak szét.
***
A Huawei megoldásairól és alkalmazási forgatókönyveiről további információért látogasson el oldalunkra vagy közvetlenül a cég képviselőivel kapcsolatba lépve.
Forrás: will.com