[Supercomputing 2019]. Yeni Kingston DC1000M diskləri üçün tətbiq sahəsi kimi çox buludlu saxlama

Təsəvvür edin ki, siz innovativ tibbi biznesə - insan genomunun təhlilinə əsaslanan dərmanların fərdi seçimini işə salırsınız. Hər bir xəstədə 3 milyard gen cütü var və x86 prosessorlarında adi serverin hesablanması bir neçə gün çəkəcək. Bilirsiniz ki, minlərlə mövzuda hesablamaları paralelləşdirən FPGA prosessoru ilə serverdə prosesi sürətləndirə bilərsiniz. Genom hesablamasını təxminən bir saata tamamlayacaq. Belə serverlər Amazon Web Services (AWS)-dən icarəyə götürülə bilər. Ancaq burada bir şey var: müştəri, xəstəxana, genetik məlumatların provayderin buludunda yerləşdirilməsinin qəti əleyhinədir. Mən nə etməliyəm? Kingston və bulud startapı Supercomputing-2019 sərgisində memarlıq nümayiş etdirib Şəxsi MultiCloud Saxlama (PMCS), bu problemi həll edir.

Yüksək performanslı hesablama üçün üç şərt

İnsan genomunun hesablanması yüksək performanslı hesablamalar (HPC, High Performance Computing) sahəsində yeganə vəzifə deyil. Elm adamları fiziki sahələri hesablayır, mühəndislər təyyarə hissələrini hesablayır, maliyyəçilər iqtisadi modelləri hesablayır və birlikdə böyük məlumatları təhlil edir, neyron şəbəkələri qurur və bir çox başqa mürəkkəb hesablamalar aparırlar.

HPC-nin üç şərti böyük hesablama gücü, çox böyük və sürətli yaddaş və yüksək şəbəkə ötürmə qabiliyyətidir. Buna görə də, LPC hesablamalarının aparılması üçün standart təcrübə şirkətin öz məlumat mərkəzində (yerli) və ya buluddakı provayderdədir.

Lakin heç də bütün şirkətlərin öz məlumat mərkəzləri yoxdur və çox vaxt belə olanlar resurs səmərəliliyi baxımından kommersiya məlumat mərkəzlərindən geri qalır (aparat və proqram təminatının alınması və yenilənməsi, yüksək ixtisaslı kadrların ödənilməsi və s. əsaslı xərclər tələb olunur) . Bulud provayderləri, əksinə, “Getdikcə ödə” əməliyyat xərcləri modelinə uyğun olaraq İT resurslarını təklif edirlər, yəni. icarə haqqı yalnız istifadə müddəti üçün tutulur. Hesablamalar başa çatdıqdan sonra serverlər hesabdan silinə və bununla da İT büdcələrinə qənaət edilə bilər. Lakin provayderə məlumat ötürülməsinə qanunvericilik və ya korporativ qadağa varsa, buludda HPC hesablaması mövcud deyil.

Şəxsi MultiCloud Storage

Private MultiCloud Storage arxitekturası verilənlərin özünü müəssisə saytında və ya kolokasiya xidmətindən istifadə edərək məlumat mərkəzinin ayrıca təhlükəsiz bölməsində fiziki olaraq tərk edərkən bulud xidmətlərinə çıxışı təmin etmək üçün nəzərdə tutulmuşdur. Əsasən, bu, bulud serverlərinin şəxsi buluddan uzaq yaddaş sistemləri ilə işlədiyi məlumat mərkəzli paylanmış hesablama modelidir. Müvafiq olaraq, eyni yerli məlumat yaddaşından istifadə edərək, ən böyük provayderlərin bulud xidmətləri ilə işləyə bilərsiniz: AWS, MS Azure, Google Cloud Platform‎ və s.

Supercomputing-2019 sərgisində PMCS-nin tətbiqi nümunəsini göstərən Kingston DC1000M SSD disklərinə əsaslanan yüksək performanslı məlumatların saxlanması sisteminin (SSD) nümunəsini təqdim etdi və bulud startaplarından biri proqram təminatı üçün StorOne S1 idarəetmə proqramını təqdim etdi. əsas bulud provayderləri ilə müəyyən edilmiş saxlama və xüsusi rabitə kanalları.

Qeyd edək ki, PMCS, şəxsi saxlama ilə bulud hesablamasının işləyən modeli kimi, AT&T və Equinix infrastrukturunda dəstəklənən məlumat mərkəzləri arasında inkişaf etmiş şəbəkə bağlantısı ilə Şimali Amerika bazarı üçün nəzərdə tutulub. Beləliklə, istənilən Equinix Cloud Exchange qovşağında kolocation saxlama sistemi ilə AWS bulud arasında ping 1 millisaniyədən azdır (mənbə: ITProToday).

Sərgidə nümayiş etdirilən PMCS arxitekturasının nümayişində DC1000M NVMe disklərində saxlama sistemi kolokasiyada yerləşib, virtual maşınlar isə bir-biri ilə pinglənən AWS, MS Azure və Google Cloud Platform buludlarında quraşdırılıb. Müştəri-server proqramı məlumat mərkəzində Kingston saxlama sistemi və HP DL380 serverləri ilə uzaqdan işləmiş və Equinix rabitə kanalı infrastrukturu vasitəsilə yuxarıda qeyd olunan əsas provayderlərin bulud platformalarına daxil olmuşdur.

Supercomputing-2019 sərgisində Private MultiCloud Storage təqdimatından slayd. Mənbə: Kingston

Şəxsi multibulud yaddaşının arxitekturasını idarə etmək üçün oxşar funksional proqram müxtəlif şirkətlər tərəfindən təklif olunur. Bu arxitekturanın şərtləri də fərqli səslənə bilər - Private MultiCloud Storage və ya Private Storage for Cloud.

“Bugünkü superkompüterlər neft və qaz kəşfiyyatından tutmuş hava proqnozlarına, maliyyə bazarlarına və yeni texnologiyaların inkişafına qədər irəliləyişlərin önündə duran müxtəlif HPC proqramlarını idarə edir,” Kingston-da müəssisə SSD idarəetmə meneceri Keyt Şimmenti bildirib. “Bu HPC tətbiqləri prosessor performansı və I/O sürəti arasında daha böyük uyğunluq tələb edir. Kingston həllərinin dünyanın ən ekstremal hesablama mühitlərində və tətbiqlərində lazım olan performansı təmin edərək hesablama sahəsində irəliləyişlərə necə kömək etdiyini bölüşməkdən qürur duyuruq.”

DC1000M sürücüsü və ona əsaslanan saxlama sisteminin nümunəsi

DC1000M U.2 NVMe SSD Kingston tərəfindən verilənlər mərkəzi üçün dizayn edilib və xüsusi olaraq süni intellekt (AI) və maşın öyrənməsi (ML) tətbiqləri kimi məlumat tutumlu və HPC tətbiqləri üçün nəzərdə tutulub.

DC1000M U.2 NVMe 3.84TB sürücü. Mənbə: Kingston

DC1000M U.2 sürücüləri Silicon Motion SM96 nəzarətçi (PCIe 3 və NVMe 2270) tərəfindən idarə olunan 3.0 qatlı Intel 3.0D NAND yaddaşına əsaslanır. Silicon Motion SM2270, PCIe 16 x3.0 interfeysi, ikili 8-bit DRAM məlumat avtobusu və üç ARM Cortex R32 ikili prosessoru ilə 5 zolaqlı müəssisə NVMe nəzarətçisidir.

Buraxılış üçün müxtəlif tutumlu DC1000M təklif olunur: 0.96-dan 7.68 TB-a qədər (ən məşhur tutumların 3.84 və 7.68 TB olduğu güman edilir). Sürücünün performansı 800 min IOPS olaraq qiymətləndirilir.

10x DC1000M U.2 NVMe 7.68 TB ilə yaddaş sistemi. Mənbə: Kingston

HPC proqramları üçün saxlama sisteminə nümunə olaraq Kingston Supercomputing 2019 sərgisində hər biri 10 TB tutumlu 1000 DC2M U.7.68 NVMe sürücüsü ilə rack həllini təqdim etdi. Saxlama sistemi AIC-dən 122U forma faktorlu platforma olan SB1A-PH-ə əsaslanır. Prosessorlar: 2x Intel Xeon CPU E5-2660, Kingston DRAM 128 GB (8x16 GB) DDR4-2400 (Hissə nömrəsi: KSM24RS4/16HAI). Quraşdırılmış əməliyyat sistemi Ubuntu 18.04.3 LTS, Linux nüvəsi 5.0.0-31 versiyasıdır. Gfio v3.13 testi (Flexible I/O tester) 5.8 Gbit/s ötürmə qabiliyyəti ilə 23.8 milyon IOPS oxuma performansını göstərdi.

Təqdim olunan saxlama sistemi 5,8 milyon IOPS (saniyədə giriş-çıxış əməliyyatları) sabit oxunması baxımından təsir edici xüsusiyyətlər göstərdi. Bu, kütləvi bazar sistemləri üçün SSD-lərdən iki qat daha sürətlidir. Bu oxu sürəti xüsusi prosessorlarda işləyən HPC proqramları üçün lazımdır.

Rusiyada şəxsi saxlama ilə bulud hesablama HPC

Provayderdə yüksək məhsuldar hesablamaların yerinə yetirilməsi, lakin yerli məlumatların fiziki olaraq saxlanması vəzifəsi Rusiya şirkətləri üçün də aktualdır. Yerli biznesdə başqa bir ümumi hal, xarici bulud xidmətlərindən istifadə edərkən məlumatların Rusiya Federasiyasının ərazisində yerləşməsidir. Biz Kingston-un uzun müddətdir partnyoru kimi bulud provayderi Selectel adından bu vəziyyətlərlə bağlı şərh istədik.

“Rusiyada rus dilində xidmət və müştərinin mühasibat departamenti üçün bütün hesabat sənədləri ilə oxşar arxitektura qurmaq mümkündür. Əgər şirkət yerli saxlama sistemlərindən istifadə edərək yüksək məhsuldar hesablamalar həyata keçirməlidirsə, biz Selectel-də müxtəlif növ prosessorları olan serverləri, o cümlədən, icarəyə veririk. FPGA, GPU və ya çox nüvəli CPU. Bundan əlavə, tərəfdaşlar vasitəsilə biz müştərinin ofisi ilə məlumat mərkəzimiz arasında xüsusi optik kanalın çəkilişini təşkil edirik”, - deyə Selectel-in Xidmətlərin İnkişafı üzrə Direktoru Aleksandr Tuqov şərh edir. — Müştəri həmçinin öz saxlama sistemini xüsusi giriş rejimi olan kompüter otağında yerləşdirə və həm bizim serverlərimizdə, həm də AWS, MS Azure, Google Cloud qlobal provayderlərinin buludlarında tətbiqləri işlədə bilər. Əlbəttə ki, sonuncu halda siqnal gecikməsi müştərinin saxlama sistemi ABŞ-da yerləşdiyindən daha yüksək olacaq, lakin genişzolaqlı çoxlu bulud bağlantısı təmin ediləcək”.

Növbəti məqalədə Supercomputing 2019 sərgisində (Denver, Kolorado, ABŞ) təqdim olunan və GPU-lardan istifadə edərək maşın öyrənmə proqramları və böyük verilənlərin təhlili üçün nəzərdə tutulmuş başqa bir Kingston həlli haqqında danışacağıq. Bu, NVMe yaddaşı və GPU prosessor yaddaşı arasında birbaşa məlumat ötürülməsini təmin edən GPUDirect Storage texnologiyasıdır. Bundan əlavə, NVMe disklərindəki raf saxlama sistemində 5.8 milyon IOPS məlumat oxuma sürətinə necə nail olduğumuzu izah edəcəyik.

Kingston Technology məhsulları haqqında ətraflı məlumat üçün müraciət edin şirkət veb saytı.

Mənbə: www.habr.com