IedomÄjieties, ka sÄkat inovatÄ«vu medicÄ«nas biznesu - individuÄlu zÄļu atlasi, pamatojoties uz cilvÄka genoma analÄ«zi. Katram pacientam ir 3 miljardi gÄnu pÄru, un parasta servera uz x86 procesoriem aprÄÄ·inÄÅ”ana prasÄ«s vairÄkas dienas. JÅ«s zinÄt, ka varat paÄtrinÄt procesu serverÄ« ar FPGA procesoru, kas paralÄli veic aprÄÄ·inus tÅ«kstoÅ”iem pavedienu. Tas pabeigs genoma aprÄÄ·inu aptuveni stundas laikÄ. Å Ädus serverus var iznomÄt no Amazon Web Services (AWS). Bet Ŕī ir lieta: klients, slimnÄ«ca, kategoriski iebilst pret Ä£enÄtisko datu ievietoÅ”anu pakalpojumu sniedzÄja mÄkonÄ«. Ko man darÄ«t? Kingston un mÄkoÅdatoÅ”anas startup demonstrÄja arhitektÅ«ru izstÄdÄ Supercomputing-2019 , kas atrisina Å”o problÄmu.
![[SuperskaitļoÅ”ana 2019]. VairÄku mÄkoÅu krÄtuve kÄ pielietojuma joma jaunajiem Kingston DC1000M diskdziÅiem](https://prohoster.info/wp-content/plugins/wp-fastest-cache-premium/pro/images/blank.gif)
TrÄ«s nosacÄ«jumi augstas veiktspÄjas skaitļoÅ”anai
CilvÄka genoma aprÄÄ·inÄÅ”ana nav vienÄ«gais uzdevums augstas veiktspÄjas skaitļoÅ”anas (HPC, High Performance Computing) jomÄ. ZinÄtnieki aprÄÄ·ina fiziskos laukus, inženieri aprÄÄ·ina lidmaŔīnu daļas, finansisti aprÄÄ·ina ekonomiskos modeļus un kopÄ analizÄ lielos datus, veido neironu tÄ«klus un veic daudzus citus sarežģītus aprÄÄ·inus.
TrÄ«s HPC nosacÄ«jumi ir milzÄ«ga skaitļoÅ”anas jauda, āāļoti liela un Ätra krÄtuve un liela tÄ«kla caurlaidspÄja. TÄpÄc standarta prakse LPC aprÄÄ·inu veikÅ”anai ir uzÅÄmuma datu centrÄ (uz vietas) vai pie pakalpojumu sniedzÄja mÄkonÄ«.
TaÄu ne visiem uzÅÄmumiem ir savi datu centri, un tie, kuriem ir, resursu efektivitÄtes ziÅÄ bieži ir zemÄki par komerciÄlajiem datu centriem (kapitÄlie izdevumi ir nepiecieÅ”ami, lai iegÄdÄtos un atjauninÄtu aparatÅ«ru un programmatÅ«ru, samaksÄtu par augsti kvalificÄtu personÄlu utt.). MÄkoÅpakalpojumu sniedzÄji, gluži pretÄji, piedÄvÄ IT resursus pÄc āPay-as-you-goā darbÄ«bas izmaksu modeļa, t.i. Ä«re tiek iekasÄta tikai par lietoÅ”anas laiku. Kad aprÄÄ·ini ir pabeigti, serverus var noÅemt no konta, tÄdÄjÄdi ietaupot IT budžetu. Bet, ja datu pÄrsÅ«tÄ«Å”anai pakalpojumu sniedzÄjam ir noteikts tiesÄ«bu akts vai korporatÄ«vs aizliegums, HPC skaitļoÅ”ana mÄkonÄ« nav pieejama.
PrivÄtÄ MultiCloud krÄtuve
PrivÄtÄ MultiCloud Storage arhitektÅ«ra ir paredzÄta, lai nodroÅ”inÄtu piekļuvi mÄkoÅpakalpojumiem, vienlaikus fiziski atstÄjot paÅ”us datus uzÅÄmuma vietnÄ vai atseviÅ”Ä·Ä droÅ”Ä datu centra nodalÄ«jumÄ, izmantojot izvietoÅ”anas pakalpojumu. BÅ«tÄ«bÄ tas ir uz datiem orientÄts izplatÄ«ts skaitļoÅ”anas modelis, kurÄ mÄkoÅa serveri strÄdÄ ar attÄlinÄtÄm krÄtuves sistÄmÄm no privÄta mÄkoÅa. AttiecÄ«gi, izmantojot vienu un to paÅ”u lokÄlo datu krÄtuvi, varat strÄdÄt ar mÄkoÅpakalpojumiem no lielÄkajiem pakalpojumu sniedzÄjiem: AWS, MS Azure, Google Cloud Platformā utt.
RÄdot PMCS ievieÅ”anas piemÄru izstÄdÄ Supercomputing-2019, Kingston prezentÄja augstas veiktspÄjas datu glabÄÅ”anas sistÄmas (SSD) paraugu, kas balstÄ«ta uz DC1000M SSD diskdziÅiem, un viens no mÄkoÅa starta uzÅÄmumiem prezentÄja StorOne S1 pÄrvaldÄ«bas programmatÅ«ru programmatÅ«rai. noteikta krÄtuve un Ä«paÅ”i saziÅas kanÄli ar galvenajiem mÄkoÅpakalpojumu sniedzÄjiem.
JÄatzÄ«mÄ, ka PMCS kÄ mÄkoÅdatoÅ”anas ar privÄto krÄtuvi darba modelis ir paredzÄts Ziemeļamerikas tirgum ar attÄ«stÄ«tu tÄ«kla savienojumu starp datu centriem, kas tiek atbalstÄ«ts AT&T un Equinix infrastruktÅ«rÄ. TÄdÄjÄdi ping starp izvietoÅ”anas krÄtuves sistÄmu jebkurÄ Equinix Cloud Exchange mezglÄ un AWS mÄkoni ir mazÄks par 1 milisekundi (avots: ).
IzstÄdÄ redzamajÄ PMCS arhitektÅ«ras demonstrÄcijÄ DC1000M NVMe diskos glabÄÅ”anas sistÄma tika izvietota izvietoÅ”anÄ, bet AWS, MS Azure un Google Cloud Platform mÄkoÅos tika uzstÄdÄ«tas virtuÄlÄs maŔīnas, kas pinga viena otru. Klienta-servera lietojumprogramma attÄlinÄti strÄdÄja ar Kingston uzglabÄÅ”anas sistÄmu un HP DL380 serveriem datu centrÄ un, izmantojot Equinix sakaru kanÄlu infrastruktÅ«ru, piekļuva iepriekÅ” minÄto lielÄko pakalpojumu sniedzÄju mÄkoÅu platformÄm.
Slaids no Private MultiCloud Storage prezentÄcijas izstÄdÄ Supercomputing-2019. Avots: Kingston
LÄ«dzÄ«gas funkcionalitÄtes programmatÅ«ru privÄtÄs multimÄkoÅu krÄtuves arhitektÅ«ras pÄrvaldÄ«bai piedÄvÄ dažÄdi uzÅÄmumi. Å Ä«s arhitektÅ«ras termini var izklausÄ«ties arÄ« atŔķirÄ«gi - Private MultiCloud Storage vai Private Storage for Cloud.
"MÅ«sdienu superdatori izmanto dažÄdas HPC lietojumprogrammas, kas ir sasniegumu priekÅ”galÄ, sÄkot ar naftas un gÄzes izpÄti un beidzot ar laikapstÄkļu prognozÄÅ”anu, finanÅ”u tirgiem un jaunu tehnoloÄ£iju attÄ«stÄ«bu," sacÄ«ja KÄ«ts Å imenti, Kingston uzÅÄmuma SSD pÄrvaldÄ«bas vadÄ«tÄjs. āÅ ajÄm HPC lietojumprogrammÄm ir nepiecieÅ”ama daudz lielÄka procesora veiktspÄjas un I/O Ätruma atbilstÄ«ba. MÄs esam lepni dalÄ«ties ar to, kÄ Kingston risinÄjumi palÄ«dz sasniegt sasniegumus skaitļoÅ”anas jomÄ, nodroÅ”inot veiktspÄju, kas nepiecieÅ”ama pasaules ekstrÄmÄkajÄs skaitļoÅ”anas vidÄs un lietojumprogrammÄs.
DC1000M diskdzinis un uz tÄ balstÄ«tas uzglabÄÅ”anas sistÄmas piemÄrs
DC1000M U.2 NVMe SSD ir izstrÄdÄjis Kingston datu centram, un tas ir Ä«paÅ”i izstrÄdÄts datu ietilpÄ«gÄm un HPC lietojumprogrammÄm, piemÄram, mÄkslÄ«gÄ intelekta (AI) un maŔīnmÄcÄ«Å”anÄs (ML) lietojumprogrammÄm.
DC1000M U.2 NVMe 3.84TB disks. Avots: Kingston
DC1000M U.2 diskdziÅi ir balstÄ«ti uz 96 slÄÅu Intel 3D NAND atmiÅu, ko kontrolÄ Silicon Motion SM2270 kontrolleris (PCIe 3.0 un NVMe 3.0). Silicon Motion SM2270 ir 16 joslu uzÅÄmuma NVMe kontrolieris ar PCIe 3.0 x8 interfeisu, dubultu 32 bitu DRAM datu kopni un trÄ«s ARM Cortex R5 diviem procesoriem.
IzlaiÅ”anai tiek piedÄvÄtas dažÄdas ietilpÄ«bas DC1000M: no 0.96 lÄ«dz 7.68 TB (tiek uzskatÄ«ts, ka populÄrÄkÄs ietilpÄ«bas ir 3.84 un 7.68 TB). Tiek lÄsts, ka diska veiktspÄja ir 800 tÅ«kstoÅ”i IOPS.
UzglabÄÅ”anas sistÄma ar 10x DC1000M U.2 NVMe 7.68 TB. Avots: Kingston
KÄ HPC lietojumprogrammu uzglabÄÅ”anas sistÄmas piemÄru Kingstons Supercomputing 2019 prezentÄja statÄ«va risinÄjumu ar 10 DC1000M U.2 NVMe diskdziÅiem, katrs ar ietilpÄ«bu 7.68 TB. UzglabÄÅ”anas sistÄma ir balstÄ«ta uz SB122A-PH, 1U formas faktoru platformu no AIC. Procesori: 2x Intel Xeon CPU E5-2660, Kingston DRAM 128 GB (8x16 GB) DDR4-2400 (daļas numurs: KSM24RS4/16HAI). InstalÄtÄ OS ir Ubuntu 18.04.3 LTS, Linux kodola versija 5.0.0-31. Gfio v3.13 tests (elastÄ«gais I/O testeris) uzrÄdÄ«ja 5.8 miljonu IOPS lasÄ«Å”anas veiktspÄju ar 23.8 Gbps caurlaidspÄju.
PiedÄvÄtÄ uzglabÄÅ”anas sistÄma uzrÄdÄ«ja iespaidÄ«gus raksturlielumus attiecÄ«bÄ uz stabilu 5,8 miljonu IOPS (ievades-izejas operÄciju sekundÄ) nolasÄ«jumu. Tas ir par divÄm kÄrtÄm ÄtrÄk nekÄ SSD masu tirgus sistÄmÄm. Å is lasÄ«Å”anas Ätrums ir nepiecieÅ”ams HPC lietojumprogrammÄm, kas darbojas specializÄtos procesoros.
MÄkoÅskaitļoÅ”anas HPC ar privÄtu krÄtuvi KrievijÄ
Uzdevums veikt augstas veiktspÄjas skaitļoÅ”anu pie pakalpojumu sniedzÄja, bet fiziski glabÄt lokÄlos datus, ir bÅ«tisks arÄ« Krievijas uzÅÄmumiem. VÄl viens izplatÄ«ts gadÄ«jums vietÄjÄ biznesÄ ir, kad, izmantojot Ärvalstu mÄkoÅpakalpojumus, datiem jÄatrodas Krievijas FederÄcijas teritorijÄ. MÄs lÅ«dzÄm komentÄrus par Ŕīm situÄcijÄm mÄkoÅpakalpojumu sniedzÄja Selectel kÄ Kingston ilggadÄja partnera vÄrdÄ.
āKrievijÄ ir iespÄjams uzbÅ«vÄt lÄ«dzÄ«gu arhitektÅ«ru ar apkalpoÅ”anu krievu valodÄ un visiem atskaites dokumentiem klienta grÄmatvedÄ«bas nodaļai. Ja uzÅÄmumam ir nepiecieÅ”ams veikt augstas veiktspÄjas skaitļoÅ”anu, izmantojot lokÄlas uzglabÄÅ”anas sistÄmas, mÄs Selectel nomÄjam serverus ar dažÄda veida procesoriem, t.sk. , vai daudzkodolu CPU. TurklÄt ar partneru starpniecÄ«bu mÄs organizÄjam speciÄla optiskÄ kanÄla ierÄ«koÅ”anu starp klienta biroju un mÅ«su datu centru,ā komentÄ Selectel pakalpojumu attÄ«stÄ«bas direktors Aleksandrs Tugovs. ā Klients var arÄ« izvietot savu krÄtuves sistÄmu izvietoÅ”anÄ datortelpÄ ar Ä«paÅ”u piekļuves režīmu un palaist aplikÄcijas gan mÅ«su serveros, gan globÄlo pakalpojumu sniedzÄju AWS, MS Azure, Google Cloud mÄkoÅos. Protams, signÄla aizkave pÄdÄjÄ gadÄ«jumÄ bÅ«s lielÄka nekÄ tad, ja klienta uzglabÄÅ”anas sistÄma atrastos ASV, taÄu tiks nodroÅ”inÄts platjoslas vairÄku mÄkoÅu savienojums.
NÄkamajÄ rakstÄ mÄs runÄsim par citu Kingston risinÄjumu, kas tika prezentÄts Supercomputing 2019 izstÄdÄ (DenverÄ, KolorÄdo, ASV) un ir paredzÄts maŔīnmÄcÄ«bas lietojumprogrammÄm un lielo datu analÄ«zei, izmantojot GPU. Å Ä« ir GPUDirect Storage tehnoloÄ£ija, kas nodroÅ”ina tieÅ”u datu pÄrsÅ«tÄ«Å”anu starp NVMe krÄtuvi un GPU procesora atmiÅu. Un papildus mÄs paskaidrosim, kÄ mums izdevÄs sasniegt 5.8 miljonu IOPS datu lasÄ«Å”anas Ätrumu statÄ«va uzglabÄÅ”anas sistÄmÄ NVMe diskos.
Lai iegÅ«tu papildinformÄciju par Kingston Technology produktiem, lÅ«dzu, apmeklÄjiet vietni .
Avots: www.habr.com