[Supercomputing 2019] Yeni Kingston DC1000M diskləri üçün tətbiq kimi çox buludlu yaddaş

Təsəvvür edin ki, siz innovativ tibbi biznesə başlayırsınız - insan genomunun analizinə əsaslanan fərdiləşdirilmiş dərman seçimi. Hər bir xəstənin 3 milyard gen cütü var və x86 prosessorları ilə işləyən tipik bir server onları hesablamaq üçün bir neçə gün çəkəcək. Bilirsiniz ki, minlərlə mövzu üzrə hesablamaları paralelləşdirən FPGA prosessoru olan server ilə prosesi sürətləndirə bilərsiniz. Genom hesablamasını təxminən bir saata tamamlayacaqdı. Bu cür serverlər Amazon Web Services (AWS) tərəfindən icarəyə verilir. Ancaq problem buradadır: xəstəxana müştərisi genetik məlumatların provayderin buludunda saxlanmasına qəti şəkildə qarşıdır. Nə etməli? Kingston və bulud startapı Supercomputing 2019 sərgisində arxitekturanı nümayiş etdirib. Şəxsi MultiCloud Saxlama (PMCS), belə bir problemi həll edən.

Yüksək performanslı hesablama üçün üç şərt

İnsan genomunun hesablanması yüksək performanslı hesablama (HPC) sahəsində yeganə vəzifə deyil. Elm adamları fiziki sahələri hesablayır, mühəndislər təyyarə komponentlərini hesablayır, maliyyəçilər iqtisadi modelləri hesablayır və birlikdə böyük məlumatları təhlil edir, neyron şəbəkələri qurur və bir çox başqa mürəkkəb hesablamaları yerinə yetirirlər.

HPC üçün üç tələb böyük hesablama gücü, yüksək tutumlu və sürətli yaddaş və yüksək şəbəkə ötürmə qabiliyyətidir. Buna görə standart təcrübə HPC hesablamalarını şirkətin öz məlumat mərkəzində (yerli) və ya bulud provayderində aparmaqdır.

Bununla belə, heç də bütün şirkətlərin öz məlumat mərkəzləri yoxdur və onlar resurs səmərəliliyi baxımından çox vaxt kommersiya məlumat mərkəzlərinə uduzurlar (aparat və proqram təminatının alınması və təkmilləşdirilməsi, yüksək ixtisaslı kadrların ödənilməsi və s. əsaslı xərclər tələb olunur). Digər tərəfdən, bulud provayderləri İT resurslarını getdikcə ödə əməliyyat xərcləri modelində təklif edirlər, yəni icarə haqqı yalnız istifadə vaxtı üçün tutulur. Hesablama tamamlandıqdan sonra serverlər hesabdan silinə bilər və bununla da İT büdcələrinə qənaət edilir. Bununla belə, məlumatların provayderə ötürülməsində qanuni və ya korporativ məhdudiyyətlər varsa, buludda HPC hesablaması mövcud deyil.

Şəxsi MultiCloud Storage

Private MultiCloud Storage arxitekturası verilənləri evdə və ya kolokasiya məlumat mərkəzinin ayrıca, təhlükəsiz bölməsində fiziki olaraq saxlayarkən bulud xidmətlərinə çıxışı təmin etmək üçün nəzərdə tutulmuşdur. Əsasən, bu, bulud serverlərinin şəxsi buludda uzaqdan saxlama sistemləri ilə işlədiyi məlumat mərkəzli paylanmış hesablama modelidir. Beləliklə, eyni yerli məlumat yaddaşından istifadə edərək, siz AWS, MS Azure, Google Cloud Platform və digərləri kimi əsas provayderlərin bulud xidmətlərinə daxil ola bilərsiniz.

Supercomputing 2019-da PMCS tətbiqi nümunəsini nümayiş etdirən Kingston, DC1000M SSD-lərə əsaslanan yüksək performanslı məlumat saxlama sistemini (DSS) nümayiş etdirdi, bulud başlanğıcı isə proqram təminatı ilə müəyyən edilmiş saxlama üçün StorOne S1 idarəetmə proqramını və əsas bulud provayderləri ilə xüsusi rabitə kanallarını nümayiş etdirdi.

Qeyd etmək lazımdır ki, PMCS, şəxsi saxlama ilə bulud hesablamaları üçün işləyən model kimi, AT&T və Equinix infrastrukturu tərəfindən dəstəklənən məlumat mərkəzləri arasında təkmil şəbəkə bağlantısı ilə Şimali Amerika bazarı üçün nəzərdə tutulub. Məsələn, hər hansı Equinix Cloud Exchange qovşağında kolocation saxlama sistemi ilə AWS bulud arasında ping vaxtı 1 millisaniyədən azdır (mənbə: ITProToday).

Sərgidə nümayiş etdirilən PMCS arxitekturasının nümayişində DC1000M NVMe saxlama sistemi yerləşdirildi, virtual maşınlar AWS, MS Azure və Google Bulud Platforması buludlarında bir-birinə pinqlə işləyir. Müştəri-server proqramı məlumat mərkəzindəki Kingston saxlama sisteminə və HP DL380 serverlərinə uzaqdan daxil oldu və Equinix-in kommunikasiya infrastrukturu vasitəsilə yuxarıda adı çəkilən əsas provayderlərin bulud platformalarına daxil oldu.

Supercomputing 2019-da Private MultiCloud Storage təqdimatından slayd. Mənbə: Kingston

Bənzər funksionallığı olan özəl multi-bulud saxlama arxitekturasını idarə etmək üçün proqram təminatı müxtəlif şirkətlər tərəfindən təklif olunur. Bu arxitekturanın terminologiyası da dəyişir—Private MultiCloud Storage və ya Private Storage for Cloud.

"Bugünkü superkompüterlər neft və qaz kəşfiyyatından tutmuş hava proqnozlarına, maliyyə bazarlarına və yeni texnologiyaların inkişafına qədər irəliləyişlərin önündə olan geniş spektrli HPC proqramlarını idarə edir" dedi Kingstonda Enterprise SSD İdarəetmə Meneceri Keith Schimmenti. "Bu HPC tətbiqləri prosessor performansı və giriş/çıxış sürəti arasında daha böyük tarazlıq tələb edir. Biz Kingston həllərinin dünyanın ən ekstremal hesablama mühitləri və tətbiqləri üçün lazım olan performansı təqdim edərək hesablama sahəsində irəliləyişlərə necə kömək etdiyini bölüşməkdən qürur duyuruq."

DC1000M sürücüsü və ona əsaslanan saxlama sisteminin nümunəsi

DC1000M U.2 NVMe SSD Kingston tərəfindən məlumat mərkəzləri üçün hazırlanmışdır və xüsusi olaraq süni intellekt (AI) və maşın öyrənməsi (ML) tətbiqləri kimi məlumat tutumlu və HPC iş yükləri üçün nəzərdə tutulub.

DC1000M U.2 NVMe 3.84TB SSD. Mənbə: Kingston

DC1000M U.2 sürücüləri Silicon Motion SM2270 nəzarətçi (PCIe 3.0 və NVMe 3.0) tərəfindən idarə olunan 96 qatlı Intel 3D NAND yaddaşı üzərində qurulub. Silicon Motion SM2270, PCIe 3.0 x8 interfeysi, ikili 32-bit DRAM məlumat avtobusları və üç ARM Cortex R5 ikili prosessoru olan 16 kanallı müəssisə NVMe nəzarətçisidir.

DC1000M 0.96 ilə 7.68 TB arasında dəyişən tutumlarda mövcuddur (3.84 və 7.68 TB-nin ən populyar olacağı gözlənilir). Performans 800 IOPS olaraq qiymətləndirilir.

10x DC1000M U.2 NVMe 7.68 TB ilə yaddaş sistemi. Mənbə: Kingston

HPC tətbiqləri üçün saxlama sisteminə nümunə olaraq, Kingston, Supercomputing 2019 sərgisində hər biri 7.68 TB tutumlu 10 DC1000M U.2 NVMe sürücüsünə malik rack-mount həllini təqdim etdi. Saxlama sistemi AIC-dən olan 1U formfaktor platforması olan SB122A-PH-a əsaslanır. Prosessorlar: 2x Intel Xeon CPU E5-2660, Kingston DRAM 128 GB (8x16 GB) DDR4-2400 (Hissə Nömrəsi: KSM24RS4/16HAI). Əməliyyat sistemi... Ubuntu 18.04.3 LTS, Linux kernel versiyası 5.0.0-31. gfio v3.13 (Çevik Giriş/Çıxış Testeri) testi 23.8 Gbps ötürmə qabiliyyəti ilə 5.8 milyon IOPS oxuma performansı göstərdi.

Təqdim olunan saxlama sistemi 5,8 milyon IOPS (saniyədə giriş/çıxış əməliyyatları) təsirli davamlı oxuma performansını nümayiş etdirdi. Bu, kütləvi bazar SSD-lərdən iki qat daha sürətlidir. Bu oxu sürəti xüsusi prosessorlarda işləyən HPC proqramları üçün vacibdir.

Rusiyada Şəxsi Saxlama ilə HPC Bulud Hesablaması

Yerli məlumatların fiziki olaraq saxlanması zamanı yüksək məhsuldar hesablamaların yerində işləməsi Rusiya şirkətləri üçün də aktualdır. Rusiya bizneslərində başqa bir ümumi vəziyyət, xarici bulud xidmətlərindən istifadə edərkən məlumatların Rusiya daxilində saxlanmasıdır. Bu vəziyyətləri şərh etmək üçün Kingston-un uzun müddətdir tərəfdaşı olan bulud provayderi Selectel-dən xahiş etdik.

"Rusiyada analoji arxitektura, rus dilində dəstək və müştərinin mühasibat departamenti üçün bütün hesabat sənədləri ilə inşa edilə bilər. Əgər şirkət yerli saxlama sistemlərindən istifadə etməklə yüksək məhsuldar hesablamalar həyata keçirməlidirsə, biz Selectel-də müxtəlif prosessor növləri ilə serverləri icarəyə götürürük, o cümlədən. FPGA, GPU "Biz həmçinin tərəfdaşlarımız vasitəsilə müştərinin ofisi və məlumat mərkəzimiz arasında xüsusi fiber optik kanal təklif edirik" deyə Selectel-in Xidmətlərin İnkişafı üzrə Direktoru Aleksandr Tuqov şərh edir. "Müştəri həmçinin saxlama sistemini təhlükəsiz maşın otağında yerləşdirə və həm bizim serverlərimizdə, həm də qlobal provayderlər AWS, MS Azure və Google Cloud buludlarında tətbiqləri işlədə bilər. Əlbəttə ki, sonuncu halda siqnal gecikməsi müştərinin saxlama sistemi ABŞ-da yerləşdiyindən daha yüksək olacaq, lakin genişzolaqlı çoxlu bulud bağlantısı təmin ediləcək."

Növbəti məqaləmizdə biz Supercomputing 2019-da (Denver, Kolorado, ABŞ) nümayiş etdirilən, maşın öyrənməsi və GPU-lardan istifadə edərək böyük verilənlərin analitikası tətbiqləri üçün nəzərdə tutulmuş başqa bir Kingston həllini müzakirə edəcəyik. Bu texnologiya, GPUDirect Storage, NVMe yaddaşı və GPU prosessor yaddaşı arasında birbaşa məlumat ötürməyə imkan verir. Biz həmçinin rafa quraşdırılmış NVMe saxlama sistemində 5.8 milyon IOPS oxuma performansına necə nail olduğumuzu izah edəcəyik.

Kingston Technology məhsulları haqqında ətraflı məlumat üçün müraciət edin şirkət veb saytı.

Mənbə: www.habr.com