Bu gün biz beşinci nəsil şəbəkələrin, genom skanerlərinin və özünü idarə edən avtomobillərin bir gündə sənaye inqilabından əvvəl bütün bəşəriyyətin yaratdığından daha çox məlumat istehsal etdiyi bir dünyada məlumatların ən yaxşı şəkildə necə saxlanacağı haqqında danışacağıq.
Dünyamız getdikcə daha çox məlumat yaradır. Onların bir hissəsi keçicidir və toplanan kimi tez itir. Digəri daha uzun müddət saxlanılmalıdır, digəri isə tamamilə "əsrlər boyu" nəzərdə tutulmuşdur - ən azı indiki vaxtdan belə görürük. Məlumat axınları məlumat mərkəzlərində elə sürətlə məskunlaşır ki, bu sonsuz “tələbi” ödəmək üçün nəzərdə tutulmuş istənilən yeni yanaşma, istənilən texnologiya sürətlə köhnəlir.
40 illik paylanmış saxlama inkişafı
Bizə tanış olan formada ilk şəbəkə anbarları 1980-ci illərdə ortaya çıxdı. Bir çoxunuz NFS (Şəbəkə Fayl Sistemi), AFS (Andrew Fayl Sistemi) və ya Coda ilə rastlaşmısınız. On il sonra dəb və texnologiya dəyişdi və paylanmış fayl sistemləri öz yerini GPFS (Ümumi Paralel Fayl Sistemi), CFS (Clustered File Systems) və StorNext əsasında klaster saxlama sistemlərinə verdi. Əsas olaraq klassik arxitekturanın blok yaddaşlarından istifadə edilmişdir, bunun üzərinə proqram səviyyəsindən istifadə edərək vahid fayl sistemi yaradılmışdır. Bu və buna bənzər həllər hələ də istifadə olunur, öz yerlərini tutur və olduqca tələb olunur.
Minilliyin sonunda paylanmış saxlama paradiqması bir qədər dəyişdi və SN (Shared-Nothing) arxitekturasına malik sistemlər liderlik etdi. Bir qayda olaraq, etibarlı saxlama təmin edən proqram təminatı ilə klassik serverlər olan ayrı-ayrı qovşaqlarda klaster anbarından yaddaşa keçid baş verdi; belə prinsiplər, məsələn, HDFS (Hadoop Paylanmış Fayl Sistemi) və GFS (Qlobal Fayl Sistemi) qurulur.
2010-cu ilə yaxın, paylanmış saxlama sistemlərinin əsasını təşkil edən konsepsiyalar VMware vSAN, Dell EMC Isilon və bizim şirkətimiz kimi tam hüquqlu kommersiya məhsullarında getdikcə daha çox əks olunmağa başladı. . Sözügedən platformaların arxasında artıq həvəskarlar birliyi deyil, məhsulun funksionallığına, dəstəyinə, xidmətin saxlanmasına cavabdeh olan və onun gələcək inkişafına zəmanət verən xüsusi satıcılar dayanır. Bu cür həllər bir neçə sahədə ən çox tələb olunur.
Telekommunikasiya operatorları
Bəlkə də paylanmış saxlama sistemlərinin ən qədim istehlakçılarından biri telekommunikasiya operatorlarıdır. Diaqram verilənlərin böyük hissəsini hansı proqram qruplarının istehsal etdiyini göstərir. OSS (Əməliyyatlara Dəstək Sistemləri), MSS (İdarəetmə Dəstək Xidmətləri) və BSS (Biznes Dəstək Sistemləri) abunəçilərə xidmətlərin çatdırılması, provayderə maliyyə hesabatlarının verilməsi və operatorun mühəndislərinə əməliyyat dəstəyi üçün tələb olunan üç tamamlayıcı proqram təbəqəsidir.
Çox vaxt bu təbəqələrin məlumatları bir-biri ilə güclü şəkildə qarışdırılır və lazımsız nüsxələrin yığılmasının qarşısını almaq üçün işləyən şəbəkədən gələn bütün məlumat miqdarını toplayan paylanmış yaddaşlardan istifadə olunur. Anbarlar bütün xidmətlərin daxil olduğu ümumi hovuza birləşdirilib.
Bizim hesablamalarımız göstərir ki, klassikdən blok saxlama sistemlərinə keçid yalnız xüsusi yüksək səviyyəli saxlama sistemlərindən imtina etməklə və xüsusi proqram təminatı ilə birlikdə işləyən adi klassik arxitektura serverlərindən (adətən x70) istifadə etməklə büdcənin 86%-nə qədər qənaət etməyə imkan verir. Mobil operatorlar kifayət qədər uzun müddətdir ki, bu cür həlləri əhəmiyyətli həcmdə əldə edirlər. Xüsusilə, Rusiya operatorları altı ildən çoxdur ki, Huawei-nin belə məhsullarından istifadə edirlər.
Bəli, paylanmış sistemlərdən istifadə etməklə bir sıra tapşırıqlar yerinə yetirilə bilməz. Məsələn, artan performans tələbləri və ya köhnə protokollarla uyğunluq. Lakin operatorun emal etdiyi məlumatların ən azı 70%-i paylanmış hovuza yerləşdirilə bilər.
Bankçılıq
İstənilən bankda emaldan tutmuş avtomatlaşdırılmış bank sisteminə qədər çoxlu müxtəlif İT sistemləri mövcuddur. Bu infrastruktur həm də böyük həcmdə informasiya ilə işləyir, halbuki tapşırıqların əksəriyyəti saxlama sistemlərinin işlənməsi, sınaqdan keçirilməsi, ofis proseslərinin avtomatlaşdırılması və s. kimi yüksək performans və etibarlılıq tələb etmir. Burada klassik saxlama sistemlərindən istifadə etmək mümkündür. , lakin hər il daha az gəlirli olur. Bundan əlavə, bu halda, performansı pik yükdən hesablanan saxlama resurslarının xərclənməsində çeviklik yoxdur.
Paylanmış saxlama sistemlərindən istifadə edərkən, onların əslində adi serverlər olan qovşaqları istənilən vaxt, məsələn, server təsərrüfatına çevrilə və hesablama platforması kimi istifadə edilə bilər.
Məlumat gölləri
Yuxarıdakı diaqram tipik xidmət istehlakçılarının siyahısını göstərir. . Bunlar e-dövlət xidmətləri (məsələn, “Qosuslugi”), rəqəmsallaşmaya məruz qalmış müəssisələr, maliyyə strukturları və s. ola bilər. Onların hamısı böyük həcmdə heterojen informasiya ilə işləməlidir.
Bu cür problemlərin həlli üçün klassik saxlama sistemlərinin işləməsi səmərəsizdir, çünki həm blok verilənlər bazalarına yüksək performanslı giriş, həm də obyekt kimi saxlanılan skan edilmiş sənədlərin kitabxanalarına müntəzəm giriş tələb olunur. Burada, məsələn, bir veb portal vasitəsilə sifarişlər sistemi bağlana bilər. Bütün bunları klassik bir saxlama platformasında həyata keçirmək üçün müxtəlif tapşırıqlar üçün böyük bir avadanlıq dəstinə ehtiyacınız olacaq. Bir üfüqi universal saxlama sistemi əvvəllər sadalanan bütün vəzifələri asanlıqla əhatə edə bilər: sadəcə müxtəlif saxlama xüsusiyyətlərinə malik bir neçə hovuz yaratmaq lazımdır.
Yeni məlumatların generatorları
Dünyada saxlanılan məlumatların həcmi hər il təxminən 30% artır. Bu saxlama satıcıları üçün yaxşı xəbərdir, lakin bu məlumatların əsas mənbəyi nədir və nə olacaq?
On il əvvəl sosial şəbəkələr çoxlu sayda yeni alqoritmlərin, aparat həllərinin və s. yaradılmasını tələb edən belə generatorlara çevrildi. İndi yaddaş artımının üç əsas sürücüsü var. Birincisi bulud hesablamalarıdır. Hazırda şirkətlərin təxminən 70%-i bulud xidmətlərindən bu və ya digər şəkildə istifadə edir. Bunlar e-poçt sistemləri, ehtiyat nüsxələr və digər virtuallaşdırılmış obyektlər ola bilər.
Beşinci nəsil şəbəkələr ikinci sürücüyə çevrilir. Bunlar yeni sürətlər və məlumat ötürülməsinin yeni həcmləridir. Proqnozlarımıza görə, 5G-nin geniş tətbiqi fləş yaddaş kartlarına tələbatın azalmasına səbəb olacaq. Telefonda nə qədər yaddaş olsa da, o, hələ də bitir və gadgetın 100 meqabitlik kanalı varsa, fotoşəkilləri yerli olaraq saxlamağa ehtiyac yoxdur.
Saxlama sistemlərinə tələbatın artmasına səbəb olan üçüncü qrup səbəblərə süni intellektin sürətli inkişafı, böyük verilənlərin analitikasına keçid və mümkün olan hər şeyin universal avtomatlaşdırılması tendensiyası daxildir.
"Yeni trafik"in bir xüsusiyyəti onun . Bu məlumatları heç bir şəkildə formatını təyin etmədən saxlamalıyıq. Yalnız sonrakı oxumaq üçün tələb olunur. Məsələn, mövcud kreditin ölçüsünü müəyyən etmək üçün bank skorinq sistemi sosial şəbəkələrdə yerləşdirdiyiniz fotoşəkillərə baxaraq, dənizə və restoranlara nə qədər tez-tez getdiyinizi müəyyənləşdirəcək və eyni zamanda ona mövcud olan tibbi sənədlərinizdən çıxarışları öyrənəcək. Bu məlumatlar bir tərəfdən əhatəlidir, digər tərəfdən isə homojenlikdən məhrumdur.
Strukturlaşdırılmamış məlumat okeanı
"Yeni məlumatların" ortaya çıxması hansı problemlərə səbəb olur? Onların arasında birincisi, əlbəttə ki, məlumatın özünün miqdarı və onun saxlanmasının təxmin edilən müddətidir. Təkcə müasir avtonom sürücüsüz avtomobil bütün sensor və mexanizmlərindən hər gün 60 TB-a qədər məlumat yaradır. Yeni hərəkət alqoritmlərini hazırlamaq üçün bu məlumat eyni gün ərzində işlənməlidir, əks halda o, yığılmağa başlayacaq. Eyni zamanda, çox uzun müddət - onilliklər ərzində saxlanmalıdır. Yalnız bundan sonra gələcəkdə böyük analitik nümunələr əsasında nəticə çıxarmaq mümkün olacaq.
Genetik ardıcıllığın deşifrə edilməsi üçün bir cihaz gündə təxminən 6 terabayt istehsal edir. Və onun köməyi ilə toplanmış məlumatlar heç bir şəkildə silinmə demək deyil, yəni hipotetik olaraq onlar əbədi olaraq saxlanmalıdır.
Nəhayət, beşinci nəslin bütün eyni şəbəkələri. Özünə ötürülən məlumatdan əlavə, belə bir şəbəkə özü nəhəng bir məlumat generatorudur: fəaliyyət qeydləri, zəng qeydləri, maşından maşına qarşılıqlı əlaqənin aralıq nəticələri və s.
Bütün bunlar informasiyanın saxlanması və emalı üçün yeni yanaşmaların və alqoritmlərin işlənib hazırlanmasını tələb edir. Və belə yanaşmalar ortaya çıxır.
Yeni dövrün texnologiyaları
İnformasiya saxlama sistemlərinə yeni tələblərin öhdəsindən gəlmək üçün nəzərdə tutulmuş üç qrup həlləri ayırd etmək olar: süni intellektin tətbiqi, yaddaş daşıyıcılarının texniki təkamülü və sistem arxitekturası sahəsində yeniliklər. AI ilə başlayaq.
Yeni Huawei həllərində süni intellekt sistemə öz vəziyyətini müstəqil təhlil etməyə və nasazlıqları proqnozlaşdırmağa imkan verən süni intellekt prosessoru ilə təchiz edilmiş yaddaşın özü səviyyəsində artıq istifadə olunur. Saxlama sistemi əhəmiyyətli hesablama imkanlarına malik xidmət buluduna qoşularsa, süni intellekt daha çox məlumatı emal edə və onun fərziyyələrinin dəqiqliyini təkmilləşdirə bilər.
Uğursuzluqlara əlavə olaraq, belə süni intellekt gələcək pik yükü və gücün tükənməsinə qədər qalan vaxtı proqnozlaşdıra bilir. Bu, istənilən arzuolunmaz hadisələr baş verməzdən əvvəl performansı optimallaşdırmağa və sistemi miqyaslandırmağa imkan verir.
İndi məlumat daşıyıcılarının təkamülü haqqında. İlk fleş disklər SLC (Single-Level Cell) texnologiyasından istifadə etməklə hazırlanmışdır. Ona əsaslanan qurğular sürətli, etibarlı, dayanıqlı idi, lakin kiçik tutumlu idi və çox bahalı idi. Həcmin artması və qiymətin azalması müəyyən texniki güzəştlər hesabına əldə edilib ki, bunun sayəsində sürücülərin sürəti, etibarlılığı və ömrü azalıb. Buna baxmayaraq, tendensiya saxlama sistemlərinin özlərinə təsir etmədi ki, bu da müxtəlif memarlıq fəndləri sayəsində ümumilikdə həm daha məhsuldar, həm də daha etibarlı oldu.
Bəs niyə All-Flash sinif saxlama sistemlərinə ehtiyacınız var idi? Artıq işləyən sistemdə köhnə HDD-ləri eyni forma faktorlu yeni SSD-lərlə əvəz etmək kifayət deyildimi? Bu, köhnə sistemlərdə sadəcə mümkün olmayan yeni SSD-lərin bütün resurslarından səmərəli istifadə etmək üçün tələb olunurdu.
Məsələn, Huawei bu problemi həll etmək üçün bir sıra texnologiyalar hazırlayıb ki, onlardan biri də budur , bu, disk-nəzarətçi qarşılıqlı əlaqəsini mümkün qədər optimallaşdırmağa imkan verdi.
Ağıllı identifikasiya məlumatları bir neçə axına parçalamağa və bir sıra arzuolunmaz hadisələrin öhdəsindən gəlməyə imkan verdi, məsələn (gücləndirməni yazın). Eyni zamanda, xüsusilə yeni bərpa alqoritmləri , yenidən qurma sürətini artırdı, vaxtını tamamilə əhəmiyyətsiz dəyərlərə endirdi.
Uğursuzluq, həddindən artıq sıxlıq, zibil yığılması - bu amillər də nəzarətçilərin xüsusi təkmilləşdirilməsi sayəsində saxlama sisteminin işinə artıq təsir göstərmir.
Və blok məlumat mağazaları görüşməyə hazırlaşır . Xatırladaq ki, məlumat girişinin təşkili üçün klassik sxem belə işləyirdi: prosessor RAID nəzarətçisinə PCI Express avtobusu vasitəsilə daxil oldu. Bu, öz növbəsində, SCSI və ya SAS vasitəsilə mexaniki disklərlə qarşılıqlı əlaqədə idi. NVMe-nin arxa planda istifadəsi bütün prosesi əhəmiyyətli dərəcədə sürətləndirdi, lakin bir çatışmazlıq daşıyırdı: yaddaşa birbaşa çıxışı təmin etmək üçün sürücülər prosessora birbaşa qoşulmalı idi.
İndi gördüyümüz texnologiya inkişafının növbəti mərhələsi NVMe-oF (NVMe üzərində parçalar) istifadəsidir. Huawei blok texnologiyalarına gəldikdə, onlar artıq FC-NVMe (Fiber Kanal üzərində NVMe) dəstəkləyir və RoCE üzərində NVMe (Converged Ethernet üzərində RDMA) yoldadır. Test modelləri kifayət qədər funksionaldır, onların rəsmi təqdimatına bir neçə ay qalıb. Qeyd edək ki, bütün bunlar "İtkisiz Ethernet"in böyük tələbat olacağı paylanmış sistemlərdə də görünəcək.
Paylanmış anbarların işini optimallaşdırmağın əlavə bir yolu məlumatların əks olunmasından tamamilə imtina idi. Huawei həlləri artıq adi RAID 1-də olduğu kimi n nüsxədən istifadə etmir və tamamilə mexanizmə keçir. (Silinmə kodu). Xüsusi riyazi paket müəyyən tezlikli idarəetmə bloklarını hesablayır, bu da itirildikdə aralıq məlumatları bərpa etməyə imkan verir.
Təkmilləşdirmə və sıxılma mexanizmləri məcburi olur. Klassik saxlama sistemlərində biz kontrollerlərdə quraşdırılmış prosessorların sayı ilə məhdudlaşırıqsa, paylanmış üfüqi miqyaslı yaddaş sistemlərində hər bir node sizə lazım olan hər şeyi ehtiva edir: disklər, yaddaş, prosessorlar və qarşılıqlı əlaqə. Bu resurslar təkmilləşdirmə və sıxılmanın performansa minimal təsir göstərməsi üçün kifayətdir.
Və hardware optimallaşdırma üsulları haqqında. Burada rolu oynayan əlavə xüsusi mikrosxemlərin (və ya prosessorun özündə xüsusi blokların) köməyi ilə mərkəzi prosessorların yükünü azaltmaq mümkün olmuşdur. (TCP/IP Boşaltma Mühərriki) və ya EC, təkmilləşdirmə və sıxılmanın riyazi tapşırıqlarını yerinə yetirmək.
Məlumatların saxlanmasına yeni yanaşmalar parçalanmış (paylanmış) arxitekturada təcəssüm olunur. Mərkəzləşdirilmiş saxlama sistemlərində Fiber Kanal vasitəsilə qoşulan server fabriki var çoxlu massivlərlə. Bu yanaşmanın dezavantajları miqyaslaşdırma və zəmanətli xidmət səviyyəsini təmin etməkdə çətinliklərdir (performans və ya gecikmə baxımından). Hiperkonverged sistemlər həm məlumatın saxlanması, həm də emalı üçün eyni hostlardan istifadə edir. Bu, miqyaslama üçün demək olar ki, qeyri-məhdud imkan verir, lakin məlumatların bütövlüyünü qorumaq üçün yüksək xərclərə səbəb olur.
Yuxarıda göstərilənlərin hər ikisindən fərqli olaraq, parçalanmış arxitektura nəzərdə tutulur sistemin hesablama fabrikinə və üfüqi saxlama sisteminə bölmək. Bu, hər iki arxitekturanın üstünlüklərini təmin edir və yalnız performansı kifayət qədər olmayan elementin demək olar ki, qeyri-məhdud miqyasına imkan verir.
İnteqrasiyadan konvergensiyaya doğru
Aktuallığı yalnız son 15 il ərzində artan klassik vəzifə, eyni vaxtda blok saxlama, fayllara giriş, obyektlərə giriş, böyük məlumatlar üçün fermanın işləməsi və s. həmçinin, məsələn, maqnit lentinin ehtiyat sistemi ola bilər.
Birinci mərhələdə yalnız bu xidmətlərin idarə edilməsi vahid ola bilərdi. Heterojen məlumat saxlama sistemləri bəzi ixtisaslaşdırılmış proqram təminatına bağlandı, bunun vasitəsilə administrator mövcud hovuzlardan resursları payladı. Lakin bu hovuzlar aparat baxımından fərqli olduğundan aralarındakı yükü köçürmək mümkün deyildi. Daha yüksək inteqrasiya səviyyəsində konsolidasiya şlüz səviyyəsində baş verdi. Əgər ortaq fayl girişi olsaydı, o, müxtəlif protokollar vasitəsilə verilə bilərdi.
İndi bizim üçün mövcud olan ən qabaqcıl yaxınlaşma üsulu universal hibrid sistemin yaradılmasını nəzərdə tutur. Sadəcə bizimkilər belə olmalıdır . Universal giriş məntiqi olaraq müxtəlif hovuzlara bölünmüş, lakin yük miqrasiyasına imkan verən eyni aparat resurslarından istifadə edir. Bütün bunlar vahid idarəetmə konsolu vasitəsilə edilə bilər. Bu yolla biz “bir məlumat mərkəzi – bir yaddaş sistemi” konsepsiyasını həyata keçirməyə nail olduq.
Məlumatın saxlanmasının dəyəri indi bir çox memarlıq qərarlarını müəyyən edir. Təhlükəsiz şəkildə ön plana çəkilə bilsə də, bu gün aktiv girişi olan "canlı" yaddaşı müzakirə edirik, buna görə performans da nəzərə alınmalıdır. Növbəti nəsil paylanmış sistemlərin digər mühüm xüsusiyyəti unifikasiyadır. Axı, heç kim müxtəlif konsollardan idarə olunan bir neçə fərqli sistemə sahib olmaq istəmir. Bütün bu keyfiyyətlər Huawei məhsullarının yeni seriyasında təcəssüm olunub. .
Növbəti nəsil kütləvi saxlama
OceanStor Pacific altı doqquz (99,9999%) etibarlılıq tələblərinə cavab verir və HyperMetro sinif məlumat mərkəzi yaratmaq üçün istifadə edilə bilər. İki məlumat mərkəzi arasında 100 km-ə qədər olan məsafədə sistemlər əlavə 2 ms gecikmə nümayiş etdirir ki, bu da onların əsasında istənilən fəlakətə davamlı həllər, o cümlədən kvorum serverləri olan həllər yaratmağa imkan verir.
Yeni seriyanın məhsulları protokollar baxımından çox yönlülük nümayiş etdirir. Artıq OceanStor 100D blok girişini, obyektə girişi və Hadoop girişini dəstəkləyir. Fayl girişi yaxın gələcəkdə həyata keçiriləcək. Verilənlərin müxtəlif protokollarla verilə bildiyi təqdirdə onların bir neçə nüsxəsini saxlamağa ehtiyac yoxdur.
Belə görünür ki, “itkisiz şəbəkə” anlayışının saxlama ilə nə əlaqəsi var? Fakt budur ki, paylanmış saxlama sistemləri müvafiq alqoritmləri və RoCE mexanizmini dəstəkləyən sürətli şəbəkə əsasında qurulur. Kommutatorlarımız tərəfindən dəstəklənən süni intellekt sistemi şəbəkə sürətini daha da artırmağa və gecikməni azaltmağa kömək edir. . AI Fabric aktivləşdirildikdə yaddaş sistemlərinin performans artımı 20%-ə çata bilər.
Yeni OceanStor Pacific paylanmış saxlama qovşağı nədir? 5U forma faktoru həlli 120 sürücüdən ibarətdir və üç klassik qovşağı əvəz edə bilər, bu da rəf yerini ikiqat artırmaqdır. Nüsxələri saxlamaqdan imtina səbəbindən sürücülərin səmərəliliyi əhəmiyyətli dərəcədə artır (+ 92% -ə qədər).
Proqram təminatı ilə müəyyən edilmiş yaddaşın klassik serverdə quraşdırılmış xüsusi proqram təminatı olduğuna öyrəşmişik. Amma indi optimal parametrlərə nail olmaq üçün bu memarlıq həlli də xüsusi qovşaqlara ehtiyac duyur. O, üç düymlük disklər sırasını idarə edən ARM prosessorlarına əsaslanan iki serverdən ibarətdir.
Bu serverlər hiperkonverged həllər üçün uyğun deyil. Birincisi, ARM üçün proqramlar azdır, ikincisi, yük balansını saxlamaq çətindir. Ayrı yaddaşa keçməyi təklif edirik: klassik və ya raf serverləri ilə təmsil olunan hesablama klasteri ayrıca işləyir, lakin birbaşa vəzifələrini yerinə yetirən OceanStor Pacific saxlama qovşaqlarına qoşulur. Və özünü doğruldur.
Məsələn, 15 server rafını tutan klassik hiperkonverged böyük məlumat saxlama həllini götürək. Yükü fərdi OceanStor Pacific hesablama serverləri və saxlama qovşaqları arasında bölüşdürsəniz, onları bir-birindən ayırsanız, tələb olunan rəflərin sayı iki dəfə azalacaq! Bu, məlumat mərkəzinin istismar xərclərini azaldır və ümumi sahiblik xərclərini azaldır. Saxlanan məlumatların həcminin ildə 30% artdığı bir dünyada bu cür faydalar səpələnmiş deyil.
***
Huawei həlləri və onların tətbiqi ssenariləri haqqında ətraflı məlumat üçün bizimlə əlaqə saxlayın və ya birbaşa şirkətin nümayəndələri ilə əlaqə saxlayaraq.
Mənbə: www.habr.com