[सुपरकंप्युटिंग 2019]. नवीन किंग्स्टन DC1000M ड्राइव्हसाठी अर्जाचे क्षेत्र म्हणून मल्टी-क्लाउड स्टोरेज

कल्पना करा की तुम्ही एक नाविन्यपूर्ण वैद्यकीय व्यवसाय सुरू करत आहात - मानवी जीनोमच्या विश्लेषणावर आधारित औषधांची वैयक्तिक निवड. प्रत्येक रुग्णामध्ये 3 अब्ज जीन जोड्या असतात आणि x86 प्रोसेसरवरील नियमित सर्व्हरला गणना करण्यासाठी बरेच दिवस लागतील. तुम्हाला माहित आहे की तुम्ही FPGA प्रोसेसर असलेल्या सर्व्हरवर प्रक्रिया वेगवान करू शकता जे हजारो थ्रेड्समध्ये गणना समांतर करते. ते सुमारे तासाभरात जीनोमची गणना पूर्ण करेल. असे सर्व्हर Amazon Web Services (AWS) वरून भाड्याने दिले जाऊ शकतात. परंतु येथे गोष्ट आहे: ग्राहक, रुग्णालय, प्रदात्याच्या क्लाउडमध्ये अनुवांशिक डेटा ठेवण्याच्या विरोधात आहे. मी काय करू? किंग्स्टन आणि क्लाउड स्टार्टअपने सुपरकॉम्प्युटिंग-2019 प्रदर्शनात आर्किटेक्चर दाखवले खाजगी मल्टीक्लाउड स्टोरेज (PMCS), जे या समस्येचे निराकरण करते.

उच्च कार्यक्षमता संगणनासाठी तीन अटी

उच्च-कार्यक्षमता संगणन (HPC, High Performance Computing) क्षेत्रात मानवी जीनोमची गणना करणे हे एकमेव कार्य नाही. शास्त्रज्ञ भौतिक क्षेत्रांची गणना करतात, अभियंते विमानाच्या भागांची गणना करतात, वित्तपुरवठादार आर्थिक मॉडेल्सची गणना करतात आणि एकत्रितपणे ते मोठ्या डेटाचे विश्लेषण करतात, न्यूरल नेटवर्क तयार करतात आणि इतर अनेक जटिल गणना करतात.

HPC च्या तीन अटी म्हणजे प्रचंड संगणकीय शक्ती, खूप मोठे आणि जलद स्टोरेज आणि उच्च नेटवर्क थ्रूपुट. म्हणून, LPC गणना आयोजित करण्याचा मानक सराव कंपनीच्या स्वतःच्या डेटा सेंटरमध्ये (ऑन-प्रिमाइसेस) किंवा क्लाउडमधील प्रदात्याकडे आहे.

परंतु सर्व कंपन्यांची स्वतःची डेटा केंद्रे नसतात आणि जे सहसा करतात ते संसाधन कार्यक्षमतेच्या दृष्टीने व्यावसायिक डेटा केंद्रांपेक्षा निकृष्ट असतात (हार्डवेअर आणि सॉफ्टवेअर खरेदी आणि अद्यतनित करण्यासाठी भांडवली खर्च आवश्यक असतो, उच्च पात्र कर्मचार्‍यांसाठी पैसे द्यावे लागतात इ.). क्लाउड प्रदाते, त्याउलट, “पे-एज-यू-गो” ऑपरेटिंग कॉस्ट मॉडेलनुसार आयटी संसाधने ऑफर करतात, उदा. भाडे फक्त वापराच्या कालावधीसाठी आकारले जाते. गणना पूर्ण झाल्यावर, सर्व्हर खात्यातून काढले जाऊ शकतात, ज्यामुळे आयटी बजेटची बचत होते. परंतु प्रदात्याला डेटा ट्रान्सफर करण्यावर विधायी किंवा कॉर्पोरेट बंदी असल्यास, क्लाउडमध्ये HPC संगणन उपलब्ध नाही.

खाजगी मल्टीक्लाउड स्टोरेज

खाजगी मल्टीक्लाउड स्टोरेज आर्किटेक्चर एंटरप्राइझ साइटवर किंवा डेटा सेंटरच्या वेगळ्या सुरक्षित कंपार्टमेंटमध्ये कोलोकेशन सेवा वापरून भौतिकरित्या डेटा सोडताना क्लाउड सेवांमध्ये प्रवेश प्रदान करण्यासाठी डिझाइन केलेले आहे. मूलत:, हे डेटा-केंद्रित वितरित संगणन मॉडेल आहे जेथे क्लाउड सर्व्हर खाजगी क्लाउडवरील रिमोट स्टोरेज सिस्टमसह कार्य करतात. त्यानुसार, समान स्थानिक डेटा संचयन वापरून, तुम्ही सर्वात मोठ्या प्रदात्यांकडून क्लाउड सेवांसह कार्य करू शकता: AWS, MS Azure, Google Cloud Platform‎, इ.

सुपरकॉम्प्युटिंग-2019 प्रदर्शनात PMCS च्या अंमलबजावणीचे उदाहरण दाखवत, किंग्स्टनने DC1000M SSD ड्राइव्हवर आधारित उच्च-कार्यक्षमता डेटा स्टोरेज सिस्टम (SSD) चा नमुना सादर केला आणि क्लाउड स्टार्टअपपैकी एकाने StorOne S1 व्यवस्थापन सॉफ्टवेअर सादर केले. मुख्य क्लाउड प्रदात्यांसह परिभाषित स्टोरेज आणि समर्पित संप्रेषण चॅनेल.

हे लक्षात घेतले पाहिजे की PMCS, खाजगी स्टोरेजसह क्लाउड कंप्युटिंगचे कार्यरत मॉडेल म्हणून, AT&T आणि Equinix पायाभूत सुविधांवर समर्थित असलेल्या डेटा केंद्रांमधील विकसित नेटवर्क कनेक्टिव्हिटीसह उत्तर अमेरिकन बाजारपेठेसाठी डिझाइन केलेले आहे. अशा प्रकारे, कोणत्याही इक्विनिक्स क्लाउड एक्सचेंज नोड आणि AWS क्लाउडमधील कोलोकेशन स्टोरेज सिस्टममधील पिंग 1 मिलीसेकंदपेक्षा कमी आहे (स्रोत: ITProToday).

प्रदर्शनात दर्शविलेल्या PMCS आर्किटेक्चरच्या प्रात्यक्षिकात, DC1000M NVMe डिस्क्सवरील स्टोरेज सिस्टम कोलोकेशनमध्ये स्थित होती आणि AWS, MS Azure आणि Google क्लाउड प्लॅटफॉर्म क्लाउडमध्ये व्हर्च्युअल मशीन स्थापित केल्या होत्या, ज्यांनी एकमेकांना पिंग केले होते. क्लायंट-सर्व्हर ऍप्लिकेशनने डेटा सेंटरमधील किंग्स्टन स्टोरेज सिस्टम आणि HP DL380 सर्व्हरसह दूरस्थपणे काम केले आणि Equinix कम्युनिकेशन चॅनेल इन्फ्रास्ट्रक्चरद्वारे, वर नमूद केलेल्या प्रमुख प्रदात्यांच्या क्लाउड प्लॅटफॉर्मवर प्रवेश केला.

सुपरकॉम्प्युटिंग-2019 प्रदर्शनातील प्रायव्हेट मल्टीक्लाउड स्टोरेजच्या सादरीकरणातून स्लाइड करा. स्रोत: किंग्स्टन

खाजगी मल्टीक्लाउड स्टोरेजचे आर्किटेक्चर व्यवस्थापित करण्यासाठी समान कार्यक्षमतेचे सॉफ्टवेअर वेगवेगळ्या कंपन्यांद्वारे ऑफर केले जाते. या आर्किटेक्चरसाठीच्या अटी देखील वेगळ्या वाटू शकतात - खाजगी मल्टीक्लाउड स्टोरेज किंवा क्लाउडसाठी खाजगी स्टोरेज.

“आजचे सुपरकॉम्प्युटर विविध HPC ऍप्लिकेशन्स चालवतात जे तेल आणि वायूच्या शोधापासून ते हवामान अंदाज, वित्तीय बाजार आणि नवीन तंत्रज्ञान विकासापर्यंत प्रगतीमध्ये आघाडीवर आहेत,” किंग्स्टन येथील एंटरप्राइज SSD व्यवस्थापनाचे व्यवस्थापक कीथ शिममेंटी म्हणाले. “या HPC ऍप्लिकेशन्सना प्रोसेसर परफॉर्मन्स आणि I/O स्पीड यांच्यात जास्त जुळणी आवश्यक आहे. किंग्स्टन सोल्यूशन्स कंप्युटिंगमध्ये यश मिळवण्यास, जगातील सर्वात अत्यंत संगणकीय वातावरण आणि अनुप्रयोगांमध्ये आवश्यक कार्यप्रदर्शन वितरीत करण्यात कशी मदत करत आहेत हे सांगताना आम्हाला अभिमान वाटतो.”

DC1000M ड्राइव्ह आणि त्यावर आधारित स्टोरेज सिस्टमचे उदाहरण

DC1000M U.2 NVMe SSD किंग्स्टनने डेटा सेंटरसाठी डिझाइन केले आहे आणि विशेषतः डेटा-केंद्रित आणि HPC ऍप्लिकेशन्स जसे की आर्टिफिशियल इंटेलिजन्स (AI) आणि मशीन लर्निंग (ML) ऍप्लिकेशन्ससाठी डिझाइन केले आहे.

DC1000M U.2 NVMe 3.84TB ड्राइव्ह. स्रोत: किंग्स्टन

DC1000M U.2 ड्राइव्हस् सिलिकॉन मोशन SM96 कंट्रोलर (PCIe 3 आणि NVMe 2270) द्वारे नियंत्रित 3.0-लेयर Intel 3.0D NAND मेमरी वर आधारित आहेत. सिलिकॉन मोशन SM2270 हे PCIe 16 x3.0 इंटरफेस, ड्युअल 8-बिट DRAM डेटा बस आणि तीन ARM Cortex R32 ड्युअल प्रोसेसरसह 5-लेन एंटरप्राइझ NVMe कंट्रोलर आहे.

रिलीझसाठी DC1000M विविध क्षमतेची ऑफर केली जाते: 0.96 ते 7.68 TB पर्यंत (सर्वात लोकप्रिय क्षमता 3.84 आणि 7.68 TB असल्याचे मानले जाते). ड्राइव्हची कामगिरी अंदाजे 800 हजार IOPS आहे.

10x DC1000M U.2 NVMe 7.68 TB सह स्टोरेज सिस्टम. स्रोत: किंग्स्टन

एचपीसी ऍप्लिकेशन्ससाठी स्टोरेज सिस्टमचे उदाहरण म्हणून, किंग्स्टनने सुपरकॉम्प्युटिंग 2019 मध्ये 10 DC1000M U.2 NVMe ड्राइव्हसह रॅक सोल्यूशन सादर केले, प्रत्येकाची क्षमता 7.68 TB आहे. स्टोरेज सिस्टम SB122A-PH, AIC मधील 1U फॉर्म फॅक्टर प्लॅटफॉर्मवर आधारित आहे. प्रोसेसर: 2x Intel Xeon CPU E5-2660, Kingston DRAM 128 GB (8x16 GB) DDR4-2400 (भाग क्रमांक: KSM24RS4/16HAI). उबंटू 18.04.3 एलटीएस, लिनक्स कर्नल 5.0.0-31 वर स्थापित ओएस आहे. gfio v3.13 चाचणी (लवचिक I/O टेस्टर) ने 5.8 Gbps च्या थ्रूपुटसह 23.8 दशलक्ष IOPS ची वाचन कार्यक्षमता दर्शविली.

सादर केलेल्या स्टोरेज सिस्टमने 5,8 दशलक्ष IOPS (प्रति सेकंद इनपुट-आउटपुट ऑपरेशन्स) च्या स्थिर वाचनाच्या दृष्टीने प्रभावी वैशिष्ट्ये दर्शविली. हे मास मार्केट सिस्टम्ससाठी SSD पेक्षा वेगवान दोन ऑर्डर आहेत. विशेष प्रोसेसरवर चालणाऱ्या एचपीसी ऍप्लिकेशन्ससाठी ही वाचन गती आवश्यक आहे.

रशियामधील खाजगी स्टोरेजसह क्लाउड कॉम्प्युटिंग HPC

प्रदात्यावर उच्च-कार्यक्षमता संगणन करण्याचे कार्य, परंतु भौतिकरित्या ऑन-प्रिमाइसेस डेटा संग्रहित करणे, रशियन कंपन्यांसाठी देखील संबंधित आहे. देशांतर्गत व्यवसायातील आणखी एक सामान्य प्रकरण म्हणजे जेव्हा, परदेशी क्लाउड सेवा वापरताना, डेटा रशियन फेडरेशनच्या प्रदेशावर स्थित असणे आवश्यक आहे. किंग्स्टनचा दीर्घकाळ भागीदार म्हणून आम्ही क्लाउड प्रदाता Selectel च्या वतीने या परिस्थितींवर टिप्पणी मागितली.

"रशियामध्ये, रशियन भाषेत सेवा आणि क्लायंटच्या लेखा विभागासाठी सर्व अहवाल दस्तऐवजांसह समान आर्किटेक्चर तयार करणे शक्य आहे. एखाद्या कंपनीला ऑन-प्रिमाइसेस स्टोरेज सिस्टम वापरून उच्च-कार्यक्षमता संगणन करणे आवश्यक असल्यास, आम्ही विविध प्रकारच्या प्रोसेसरसह सिलेक्टेल भाड्याने सर्व्हरवर आहोत, यासह एफपीजीए, GPU द्रुतगती किंवा मल्टी-कोर CPUs. याव्यतिरिक्त, भागीदारांद्वारे, आम्ही क्लायंटचे कार्यालय आणि आमच्या डेटा सेंटर दरम्यान एक समर्पित ऑप्टिकल चॅनेल घालण्याचे आयोजन करतो,” अलेक्झांडर तुगोव्ह, सिलेक्टेल येथील सेवा विकास संचालक टिप्पणी करतात. — क्लायंट त्याची स्टोरेज सिस्टीम एका विशेष ऍक्सेस मोडसह कॉम्प्युटर रूममध्ये कोलोकेशनवर ठेवू शकतो आणि आमच्या सर्व्हरवर आणि AWS, MS Azure, Google Cloud या जागतिक पुरवठादारांच्या क्लाउडमध्ये ऍप्लिकेशन चालवू शकतो. अर्थात, क्लायंटची स्टोरेज सिस्टीम यूएसएमध्‍ये असल्‍यापेक्षा नंतरच्‍या प्रकरणात सिग्नल विलंब जास्त असेल, परंतु ब्रॉडबँड मल्टी-क्लाउड कनेक्शन प्रदान केले जाईल.”

पुढील लेखात आपण आणखी एका किंग्स्टन सोल्यूशनबद्दल बोलू, जे सुपरकॉम्प्युटिंग 2019 प्रदर्शनात (डेन्व्हर, कोलोरॅडो, यूएसए) सादर केले गेले होते आणि GPUs वापरून मशीन लर्निंग ऍप्लिकेशन्स आणि मोठ्या डेटा विश्लेषणासाठी आहे. हे GPUDirect स्टोरेज तंत्रज्ञान आहे, जे NVMe स्टोरेज आणि GPU प्रोसेसर मेमरी दरम्यान थेट डेटा ट्रान्सफर प्रदान करते. आणि या व्यतिरिक्त, आम्ही NVMe डिस्क्सवरील रॅक स्टोरेज सिस्टममध्ये 5.8 दशलक्ष IOPS चा डेटा वाचण्याचा वेग कसा मिळवला हे आम्ही स्पष्ट करू.

किंग्स्टन तंत्रज्ञान उत्पादनांबद्दल अधिक माहितीसाठी, कृपया भेट द्या कंपनीची साइट.

स्त्रोत: www.habr.com