[सुपरकंप्यूटिंग 2019]। नई किंग्स्टन DC1000M ड्राइव के लिए अनुप्रयोग के क्षेत्र के रूप में मल्टी-क्लाउड स्टोरेज

कल्पना कीजिए कि आप एक अभिनव चिकित्सा व्यवसाय शुरू कर रहे हैं - मानव जीनोम के विश्लेषण के आधार पर दवाओं का व्यक्तिगत चयन। प्रत्येक रोगी में 3 बिलियन जीन जोड़े होते हैं, और x86 प्रोसेसर पर एक नियमित सर्वर को गणना करने में कई दिन लगेंगे। आप जानते हैं कि आप एफपीजीए प्रोसेसर वाले सर्वर पर प्रक्रिया को तेज कर सकते हैं जो हजारों थ्रेड्स में गणनाओं को समानांतर करता है। यह लगभग एक घंटे में जीनोम गणना पूरी कर लेगा। ऐसे सर्वर को Amazon Web Services (AWS) से किराए पर लिया जा सकता है। लेकिन यहाँ बात यह है: ग्राहक, अस्पताल, प्रदाता के क्लाउड में आनुवंशिक डेटा रखने के स्पष्ट रूप से खिलाफ है। मुझे क्या करना चाहिए? किंग्स्टन और क्लाउड स्टार्टअप ने सुपरकंप्यूटिंग-2019 प्रदर्शनी में आर्किटेक्चर दिखाया निजी मल्टीक्लाउड स्टोरेज (पीएमसीएस), जो इस समस्या का समाधान करता है।

उच्च प्रदर्शन कंप्यूटिंग के लिए तीन शर्तें

उच्च-प्रदर्शन कंप्यूटिंग (एचपीसी, उच्च प्रदर्शन कंप्यूटिंग) के क्षेत्र में मानव जीनोम की गणना करना एकमात्र कार्य नहीं है। वैज्ञानिक भौतिक क्षेत्रों की गणना करते हैं, इंजीनियर हवाई जहाज के हिस्सों की गणना करते हैं, फाइनेंसर आर्थिक मॉडल की गणना करते हैं, और साथ में वे बड़े डेटा का विश्लेषण करते हैं, तंत्रिका नेटवर्क का निर्माण करते हैं, और कई अन्य जटिल गणनाएँ करते हैं।

एचपीसी की तीन स्थितियाँ हैं विशाल कंप्यूटिंग शक्ति, बहुत बड़ा और तेज़ भंडारण, और उच्च नेटवर्क थ्रूपुट। इसलिए, एलपीसी गणना करने का मानक अभ्यास कंपनी के अपने डेटा सेंटर (ऑन-प्रिमाइसेस) या क्लाउड में एक प्रदाता पर है।

लेकिन सभी कंपनियों के पास अपने स्वयं के डेटा केंद्र नहीं होते हैं, और जिनके पास अक्सर होते हैं वे संसाधन दक्षता के मामले में वाणिज्यिक डेटा केंद्रों से कमतर होते हैं (हार्डवेयर और सॉफ़्टवेयर खरीदने और अपडेट करने, उच्च योग्य कर्मियों के लिए भुगतान करने आदि के लिए पूंजीगत व्यय की आवश्यकता होती है)। इसके विपरीत, क्लाउड प्रदाता "पे-एज़-यू-गो" ऑपरेटिंग लागत मॉडल के अनुसार आईटी संसाधन प्रदान करते हैं, अर्थात। किराया केवल उपयोग की अवधि के लिए लिया जाता है। जब गणना पूरी हो जाती है, तो सर्वर को खाते से हटाया जा सकता है, जिससे आईटी बजट की बचत होती है। लेकिन अगर प्रदाता को डेटा ट्रांसफर पर कोई विधायी या कॉर्पोरेट प्रतिबंध है, तो क्लाउड में एचपीसी कंप्यूटिंग उपलब्ध नहीं है।

निजी मल्टीक्लाउड स्टोरेज

प्राइवेट मल्टीक्लाउड स्टोरेज आर्किटेक्चर को कोलोकेशन सेवा का उपयोग करके डेटा को एंटरप्राइज़ साइट पर या डेटा सेंटर के एक अलग सुरक्षित डिब्बे में भौतिक रूप से छोड़ते समय क्लाउड सेवाओं तक पहुंच प्रदान करने के लिए डिज़ाइन किया गया है। अनिवार्य रूप से, यह एक डेटा-केंद्रित वितरित कंप्यूटिंग मॉडल है जहां क्लाउड सर्वर एक निजी क्लाउड से रिमोट स्टोरेज सिस्टम के साथ काम करते हैं। तदनुसार, समान स्थानीय डेटा संग्रहण का उपयोग करके, आप सबसे बड़े प्रदाताओं की क्लाउड सेवाओं के साथ काम कर सकते हैं: AWS, MS Azure, Google Cloud प्लेटफ़ॉर्म‎, आदि।

सुपरकंप्यूटिंग-2019 प्रदर्शनी में पीएमसीएस के कार्यान्वयन का एक उदाहरण दिखाते हुए, किंग्स्टन ने DC1000M SSD ड्राइव पर आधारित एक उच्च-प्रदर्शन डेटा स्टोरेज सिस्टम (SSD) का एक नमूना प्रस्तुत किया, और क्लाउड स्टार्टअप में से एक ने सॉफ्टवेयर के लिए StorOne S1 प्रबंधन सॉफ्टवेयर प्रस्तुत किया- प्रमुख क्लाउड प्रदाताओं के साथ परिभाषित भंडारण और समर्पित संचार चैनल।

यह ध्यान दिया जाना चाहिए कि पीएमसीएस, निजी भंडारण के साथ क्लाउड कंप्यूटिंग के एक कामकाजी मॉडल के रूप में, डेटा केंद्रों के बीच विकसित नेटवर्क कनेक्टिविटी के साथ उत्तरी अमेरिकी बाजार के लिए डिज़ाइन किया गया है जो एटी एंड टी और इक्विनिक्स बुनियादी ढांचे पर समर्थित है। इस प्रकार, किसी भी इक्विनिक्स क्लाउड एक्सचेंज नोड और एडब्ल्यूएस क्लाउड में कोलोकेशन स्टोरेज सिस्टम के बीच पिंग 1 मिलीसेकंड से कम है (स्रोत: आईटीप्रोटुडे).

प्रदर्शनी में दिखाए गए पीएमसीएस आर्किटेक्चर के प्रदर्शन में, DC1000M NVMe डिस्क पर स्टोरेज सिस्टम कोलोकेशन में स्थित था, और AWS, MS Azure और Google क्लाउड प्लेटफ़ॉर्म क्लाउड में वर्चुअल मशीनें स्थापित की गई थीं, जो एक दूसरे को पिंग करती थीं। क्लाइंट-सर्वर एप्लिकेशन ने डेटा सेंटर में किंग्स्टन स्टोरेज सिस्टम और एचपी डीएल380 सर्वर के साथ दूरस्थ रूप से काम किया और इक्विनिक्स संचार चैनल इंफ्रास्ट्रक्चर के माध्यम से, उपर्युक्त प्रमुख प्रदाताओं के क्लाउड प्लेटफॉर्म तक पहुंच बनाई।

सुपरकंप्यूटिंग-2019 प्रदर्शनी में निजी मल्टीक्लाउड स्टोरेज की प्रस्तुति से स्लाइड। स्रोत: किंग्स्टन

निजी मल्टीक्लाउड स्टोरेज के आर्किटेक्चर के प्रबंधन के लिए समान कार्यक्षमता वाला सॉफ्टवेयर विभिन्न कंपनियों द्वारा पेश किया जाता है। इस आर्किटेक्चर की शर्तें भी अलग-अलग लग सकती हैं - प्राइवेट मल्टीक्लाउड स्टोरेज या क्लाउड के लिए प्राइवेट स्टोरेज।

किंग्स्टन में एंटरप्राइज एसएसडी प्रबंधन के प्रबंधक कीथ शिममेंटी ने कहा, "आज के सुपर कंप्यूटर विभिन्न प्रकार के एचपीसी एप्लिकेशन चलाते हैं जो तेल और गैस की खोज से लेकर मौसम पूर्वानुमान, वित्तीय बाजार और नई प्रौद्योगिकी विकास तक प्रगति में सबसे आगे हैं।" “इन एचपीसी अनुप्रयोगों को प्रोसेसर प्रदर्शन और I/O गति के बीच बहुत अधिक मिलान की आवश्यकता होती है। हमें यह साझा करते हुए गर्व हो रहा है कि कैसे किंग्स्टन समाधान कंप्यूटिंग में सफलताओं को आगे बढ़ाने में मदद कर रहे हैं, दुनिया के सबसे चरम कंप्यूटिंग वातावरण और अनुप्रयोगों में आवश्यक प्रदर्शन प्रदान कर रहे हैं।

DC1000M ड्राइव और उस पर आधारित भंडारण प्रणाली का एक उदाहरण

DC1000M U.2 NVMe SSD को किंग्स्टन द्वारा डेटा सेंटर के लिए डिज़ाइन किया गया है और इसे विशेष रूप से डेटा-सघन और HPC अनुप्रयोगों जैसे कृत्रिम बुद्धिमत्ता (AI) और मशीन लर्निंग (ML) अनुप्रयोगों के लिए डिज़ाइन किया गया है।

DC1000M U.2 NVMe 3.84TB ड्राइव। स्रोत: किंग्स्टन

DC1000M U.2 ड्राइव 96-लेयर Intel 3D NAND मेमोरी पर आधारित हैं, जो सिलिकॉन मोशन SM2270 कंट्रोलर (PCIe 3.0 और NVMe 3.0) द्वारा नियंत्रित होते हैं। सिलिकॉन मोशन SM2270 एक 16-लेन एंटरप्राइज NVMe कंट्रोलर है जिसमें PCIe 3.0 x8 इंटरफ़ेस, डुअल 32-बिट DRAM डेटा बस और तीन ARM Cortex R5 डुअल प्रोसेसर हैं।

रिलीज़ के लिए विभिन्न क्षमताओं के DC1000M की पेशकश की जाती है: 0.96 से 7.68 टीबी तक (सबसे लोकप्रिय क्षमता 3.84 और 7.68 टीबी मानी जाती है)। ड्राइव का प्रदर्शन 800 हजार IOPS अनुमानित है।

10x DC1000M U.2 NVMe 7.68 TB के साथ स्टोरेज सिस्टम। स्रोत: किंग्स्टन

एचपीसी अनुप्रयोगों के लिए भंडारण प्रणाली के एक उदाहरण के रूप में, किंग्स्टन ने सुपरकंप्यूटिंग 2019 में 10 DC1000M U.2 NVMe ड्राइव के साथ एक रैक समाधान प्रस्तुत किया, प्रत्येक की क्षमता 7.68 टीबी है। भंडारण प्रणाली SB122A-PH पर आधारित है, जो AIC का 1U फॉर्म फैक्टर प्लेटफॉर्म है। प्रोसेसर: 2x Intel Xeon CPU E5-2660, किंग्स्टन DRAM 128 GB (8x16 GB) DDR4-2400 (भाग संख्या: KSM24RS4/16HAI)। स्थापित OS Ubuntu 18.04.3 LTS, Linux कर्नेल ver 5.0.0-31 है। जीफियो वी3.13 टेस्ट (फ्लेक्सिबल आई/ओ टेस्टर) ने 5.8 जीबीपीएस के थ्रूपुट के साथ 23.8 मिलियन आईओपीएस का रीड परफॉर्मेंस दिखाया।

प्रस्तुत भंडारण प्रणाली ने 5,8 मिलियन IOPS (प्रति सेकंड इनपुट-आउटपुट संचालन) की स्थिर रीडिंग के संदर्भ में प्रभावशाली विशेषताएं दिखाईं। यह बड़े पैमाने पर बाजार प्रणालियों के लिए एसएसडी की तुलना में दो ऑर्डर तेज है। विशेष प्रोसेसर पर चलने वाले एचपीसी अनुप्रयोगों के लिए यह पढ़ने की गति आवश्यक है।

रूस में निजी भंडारण के साथ क्लाउड कंप्यूटिंग एचपीसी

प्रदाता पर उच्च-प्रदर्शन कंप्यूटिंग करने का कार्य, लेकिन ऑन-प्रिमाइसेस डेटा को भौतिक रूप से संग्रहीत करना, रूसी कंपनियों के लिए भी प्रासंगिक है। घरेलू व्यवसाय में एक और आम मामला यह है कि, विदेशी क्लाउड सेवाओं का उपयोग करते समय, डेटा रूसी संघ के क्षेत्र में स्थित होना चाहिए। हमने किंग्स्टन के दीर्घकालिक भागीदार के रूप में क्लाउड प्रदाता सेलेक्टेल की ओर से इन स्थितियों पर टिप्पणी मांगी।

“रूस में, रूसी में सेवा और ग्राहक के लेखा विभाग के लिए सभी रिपोर्टिंग दस्तावेजों के साथ एक समान वास्तुकला का निर्माण करना संभव है। यदि किसी कंपनी को ऑन-प्रिमाइसेस स्टोरेज सिस्टम का उपयोग करके उच्च-प्रदर्शन कंप्यूटिंग करने की आवश्यकता होती है, तो हम सेलेक्टेल में विभिन्न प्रकार के प्रोसेसर वाले सर्वर किराए पर लेते हैं, जिनमें शामिल हैं FPGA, GPU या मल्टी-कोर सीपीयू। इसके अतिरिक्त, भागीदारों के माध्यम से, हम ग्राहक के कार्यालय और हमारे डेटा सेंटर के बीच एक समर्पित ऑप्टिकल चैनल बिछाने का आयोजन करते हैं,'' सेलेक्टेल में सेवा विकास के निदेशक अलेक्जेंडर टुगोव टिप्पणी करते हैं। - क्लाइंट अपने स्टोरेज सिस्टम को एक विशेष एक्सेस मोड के साथ कंप्यूटर रूम में कोलोकेशन पर रख सकता है और हमारे सर्वर और वैश्विक प्रदाताओं AWS, MS Azure, Google क्लाउड दोनों के क्लाउड में एप्लिकेशन चला सकता है। बेशक, बाद वाले मामले में सिग्नल विलंब उस स्थिति की तुलना में अधिक होगा यदि ग्राहक का स्टोरेज सिस्टम संयुक्त राज्य अमेरिका में स्थित था, लेकिन एक ब्रॉडबैंड मल्टी-क्लाउड कनेक्शन प्रदान किया जाएगा।

अगले लेख में हम एक अन्य किंग्स्टन समाधान के बारे में बात करेंगे, जिसे सुपरकंप्यूटिंग 2019 प्रदर्शनी (डेनवर, कोलोराडो, यूएसए) में प्रस्तुत किया गया था और इसका उद्देश्य जीपीयू का उपयोग करके मशीन लर्निंग अनुप्रयोगों और बड़े डेटा विश्लेषण के लिए है। यह GPUDirect स्टोरेज तकनीक है, जो NVMe स्टोरेज और GPU प्रोसेसर मेमोरी के बीच सीधे डेटा ट्रांसफर प्रदान करती है। और इसके अलावा, हम बताएंगे कि कैसे हम NVMe डिस्क पर रैक स्टोरेज सिस्टम में 5.8 मिलियन IOPS की डेटा रीड स्पीड हासिल करने में कामयाब रहे।

किंग्स्टन टेक्नोलॉजी उत्पादों के बारे में अधिक जानकारी के लिए संपर्क करें: कंपनी की साइट.

स्रोत: www.habr.com