[சூப்பர் கம்ப்யூட்டிங் 2019]. புதிய கிங்ஸ்டன் DC1000M டிரைவ்களுக்கான பயன்பாட்டின் ஒரு பகுதியாக பல கிளவுட் சேமிப்பு

நீங்கள் ஒரு புதுமையான மருத்துவ வணிகத்தைத் தொடங்குகிறீர்கள் என்று கற்பனை செய்து பாருங்கள் - மனித மரபணுவின் பகுப்பாய்வு அடிப்படையில் மருந்துகளின் தனிப்பட்ட தேர்வு. ஒவ்வொரு நோயாளிக்கும் 3 பில்லியன் மரபணு ஜோடிகள் உள்ளன, மேலும் x86 செயலிகளில் ஒரு வழக்கமான சர்வர் கணக்கிட பல நாட்கள் எடுக்கும். ஆயிரக்கணக்கான த்ரெட்களில் கணக்கீடுகளுக்கு இணையான FPGA செயலி மூலம் சேவையகத்தில் செயல்முறையை விரைவுபடுத்த முடியும் என்பது உங்களுக்குத் தெரியும். இது ஒரு மணி நேரத்தில் மரபணுக் கணக்கீட்டை முடித்துவிடும். அத்தகைய சேவையகங்களை Amazon Web Services (AWS) மூலம் வாடகைக்கு எடுக்கலாம். ஆனால் இங்கே விஷயம்: வாடிக்கையாளர், மருத்துவமனை, வழங்குநரின் கிளவுட்டில் மரபணு தரவை வைப்பதற்கு எதிராக திட்டவட்டமாக உள்ளது. நான் என்ன செய்ய வேண்டும்? கிங்ஸ்டன் மற்றும் கிளவுட் ஸ்டார்ட்அப் ஆகியவை சூப்பர்கம்ப்யூட்டிங்-2019 கண்காட்சியில் கட்டிடக்கலையைக் காட்டின தனியார் மல்டிகிளவுட் சேமிப்பகம் (பிஎம்சிஎஸ்), இது இந்த சிக்கலை தீர்க்கிறது.

உயர் செயல்திறன் கம்ப்யூட்டிங்கிற்கான மூன்று நிபந்தனைகள்

மனித மரபணுவை கணக்கிடுவது உயர் செயல்திறன் கணினி துறையில் (HPC, உயர் செயல்திறன் கம்ப்யூட்டிங்) ஒரே பணி அல்ல. விஞ்ஞானிகள் இயற்பியல் துறைகளைக் கணக்கிடுகிறார்கள், பொறியாளர்கள் விமானத்தின் பாகங்களைக் கணக்கிடுகிறார்கள், நிதியாளர்கள் பொருளாதார மாதிரிகளைக் கணக்கிடுகிறார்கள், மேலும் பெரிய தரவுகளை பகுப்பாய்வு செய்கிறார்கள், நரம்பியல் நெட்வொர்க்குகளை உருவாக்குகிறார்கள் மற்றும் பல சிக்கலான கணக்கீடுகளைச் செய்கிறார்கள்.

HPC இன் மூன்று நிபந்தனைகள் மகத்தான கம்ப்யூட்டிங் சக்தி, மிகப் பெரிய மற்றும் வேகமான சேமிப்பு மற்றும் அதிக நெட்வொர்க் செயல்திறன். எனவே, LPC கணக்கீடுகளை நடத்துவதற்கான நிலையான நடைமுறையானது நிறுவனத்தின் சொந்த தரவு மையத்தில் (ஆன்-வளாகத்தில்) அல்லது மேகக்கணியில் வழங்குநரிடம் உள்ளது.

ஆனால் எல்லா நிறுவனங்களும் தங்கள் சொந்த தரவு மையங்களைக் கொண்டிருக்கவில்லை, மேலும் அவை வளத் திறனின் அடிப்படையில் வணிகத் தரவு மையங்களைக் காட்டிலும் குறைவாகவே உள்ளன (வன்பொருள் மற்றும் மென்பொருளை வாங்குவதற்கும் மேம்படுத்துவதற்கும், அதிக தகுதி வாய்ந்த பணியாளர்களுக்கு பணம் செலுத்துவதற்கும், முதலியன மூலதனச் செலவுகள் தேவைப்படுகின்றன) . கிளவுட் வழங்குநர்கள், மாறாக, "நீங்கள் செல்லும்போது பணம் செலுத்துங்கள்" இயக்கச் செலவு மாதிரியின்படி IT ஆதாரங்களை வழங்குகிறார்கள், அதாவது. பயன்பாட்டு காலத்திற்கு மட்டுமே வாடகை வசூலிக்கப்படுகிறது. கணக்கீடுகள் முடிந்ததும், கணக்கிலிருந்து சேவையகங்களை அகற்றலாம், அதன் மூலம் ஐடி பட்ஜெட்களைச் சேமிக்கலாம். ஆனால் வழங்குநருக்கு தரவு பரிமாற்றத்திற்கு சட்டமன்ற அல்லது கார்ப்பரேட் தடை இருந்தால், கிளவுட்டில் HPC கம்ப்யூட்டிங் கிடைக்காது.

தனிப்பட்ட MultiCloud சேமிப்பகம்

தனியார் மல்டிகிளவுட் ஸ்டோரேஜ் கட்டிடக்கலையானது, நிறுவனத் தளத்தில் அல்லது தரவு மையத்தின் தனிப் பாதுகாப்பான பெட்டியில் தரவைக் கலகலேஷன் சேவையைப் பயன்படுத்தி உடல் ரீதியாக விட்டுச்செல்லும் போது கிளவுட் சேவைகளுக்கான அணுகலை வழங்க வடிவமைக்கப்பட்டுள்ளது. அடிப்படையில், இது ஒரு தரவு மையமாக விநியோகிக்கப்பட்ட கம்ப்யூட்டிங் மாடலாகும், அங்கு கிளவுட் சர்வர்கள் ஒரு தனியார் கிளவுட்டில் இருந்து ரிமோட் ஸ்டோரேஜ் சிஸ்டம்களுடன் வேலை செய்கின்றன. அதன்படி, அதே உள்ளூர் தரவு சேமிப்பகத்தைப் பயன்படுத்தி, மிகப்பெரிய வழங்குநர்களின் கிளவுட் சேவைகளுடன் நீங்கள் பணியாற்றலாம்: AWS, MS Azure, Google Cloud Platform, போன்றவை.

Supercomputing-2019 கண்காட்சியில் PMCS செயல்படுத்தப்பட்டதற்கான உதாரணத்தைக் காட்டி, கிங்ஸ்டன் DC1000M SSD டிரைவ்களை அடிப்படையாகக் கொண்ட உயர் செயல்திறன் தரவு சேமிப்பக அமைப்பின் (SSD) மாதிரியை வழங்கினார், மேலும் கிளவுட் ஸ்டார்ட்அப்களில் ஒன்று StorOne S1 மேலாண்மை மென்பொருளை மென்பொருளுக்கு வழங்கியது. முக்கிய கிளவுட் வழங்குநர்களுடன் வரையறுக்கப்பட்ட சேமிப்பு மற்றும் அர்ப்பணிக்கப்பட்ட தொடர்பு சேனல்கள்.

பிஎம்சிஎஸ், தனியார் சேமிப்பகத்துடன் கூடிய கிளவுட் கம்ப்யூட்டிங்கின் வேலை மாதிரியாக, AT&T மற்றும் Equinix உள்கட்டமைப்பில் ஆதரிக்கப்படும் தரவு மையங்களுக்கு இடையே வளர்ந்த நெட்வொர்க் இணைப்புடன் வட அமெரிக்க சந்தைக்காக வடிவமைக்கப்பட்டுள்ளது என்பதைக் கவனத்தில் கொள்ள வேண்டும். எனவே, எந்த ஈக்வினிக்ஸ் கிளவுட் எக்ஸ்சேஞ்ச் நோட் மற்றும் ஏடபிள்யூஎஸ் கிளவுட் ஆகியவற்றில் உள்ள கோலோகேஷன் ஸ்டோரேஜ் சிஸ்டத்திற்கு இடையேயான பிங் 1 மில்லி வினாடிக்கும் குறைவாக இருக்கும் (ஆதாரம்: ITProToday).

கண்காட்சியில் காட்டப்பட்ட PMCS கட்டமைப்பின் செயல்விளக்கத்தில், DC1000M NVMe டிஸ்க்குகளில் உள்ள சேமிப்பக அமைப்பு, AWS, MS Azure மற்றும் Google Cloud Platform மேகங்களில் ஒன்றை ஒன்று பிங் செய்ததில் மெய்நிகர் இயந்திரங்கள் நிறுவப்பட்டன. கிளையன்ட்-சர்வர் பயன்பாடு, தரவு மையத்தில் உள்ள கிங்ஸ்டன் சேமிப்பக அமைப்பு மற்றும் HP DL380 சேவையகங்களுடன் தொலைநிலையில் வேலை செய்தது மற்றும் Equinix தொடர்பு சேனல் உள்கட்டமைப்பு மூலம், மேலே குறிப்பிடப்பட்ட முக்கிய வழங்குநர்களின் கிளவுட் தளங்களை அணுகியது.

Supercomputing-2019 கண்காட்சியில் தனியார் MultiCloud சேமிப்பகத்தின் விளக்கக்காட்சியிலிருந்து ஸ்லைடு. ஆதாரம்: கிங்ஸ்டன்

தனியார் மல்டிகிளவுட் சேமிப்பகத்தின் கட்டமைப்பை நிர்வகிப்பதற்கான ஒத்த செயல்பாட்டின் மென்பொருள் வெவ்வேறு நிறுவனங்களால் வழங்கப்படுகிறது. இந்தக் கட்டிடக்கலைக்கான விதிமுறைகளும் வித்தியாசமாக ஒலிக்கலாம் - தனியார் மல்டிகிளவுட் சேமிப்பகம் அல்லது கிளவுடிற்கான தனியார் சேமிப்பகம்.

"இன்றைய சூப்பர் கம்ப்யூட்டர்கள் பல்வேறு ஹெச்பிசி பயன்பாடுகளை இயக்குகின்றன, அவை எண்ணெய் மற்றும் எரிவாயு ஆய்வு முதல் வானிலை முன்னறிவிப்பு, நிதிச் சந்தைகள் மற்றும் புதிய தொழில்நுட்ப மேம்பாடு வரை முன்னேற்றங்களில் முன்னணியில் உள்ளன" என்று கிங்ஸ்டனில் உள்ள நிறுவன SSD நிர்வாகத்தின் மேலாளர் கீத் ஷிம்மென்டி கூறினார். "இந்த HPC பயன்பாடுகளுக்கு செயலி செயல்திறன் மற்றும் I/O வேகம் ஆகியவற்றுக்கு இடையே அதிக பொருத்தம் தேவைப்படுகிறது. கிங்ஸ்டன் தீர்வுகள் எவ்வாறு கம்ப்யூட்டிங்கில் முன்னேற்றங்களை ஏற்படுத்த உதவுகின்றன, உலகின் மிகத் தீவிரமான கணினி சூழல்கள் மற்றும் பயன்பாடுகளில் தேவையான செயல்திறனை வழங்குவதில் நாங்கள் பெருமிதம் கொள்கிறோம்.

DC1000M இயக்கி மற்றும் அதன் அடிப்படையிலான சேமிப்பக அமைப்பின் எடுத்துக்காட்டு

DC1000M U.2 NVMe SSD ஆனது, தரவு மையத்திற்காக கிங்ஸ்டனால் வடிவமைக்கப்பட்டது மற்றும் செயற்கை நுண்ணறிவு (AI) மற்றும் இயந்திர கற்றல் (ML) பயன்பாடுகள் போன்ற தரவு-தீவிர மற்றும் HPC பயன்பாடுகளுக்காக வடிவமைக்கப்பட்டுள்ளது.

DC1000M U.2 NVMe 3.84TB இயக்கி. ஆதாரம்: கிங்ஸ்டன்

DC1000M U.2 இயக்கிகள் 96-லேயர் இன்டெல் 3D NAND நினைவகத்தை அடிப்படையாகக் கொண்டவை, சிலிக்கான் மோஷன் SM2270 கட்டுப்படுத்தி (PCIe 3.0 மற்றும் NVMe 3.0) மூலம் கட்டுப்படுத்தப்படுகிறது. சிலிக்கான் மோஷன் SM2270 என்பது PCIe 16 x3.0 இடைமுகம், இரட்டை 8-பிட் DRAM டேட்டா பஸ் மற்றும் மூன்று ARM கார்டெக்ஸ் R32 இரட்டைச் செயலிகளுடன் கூடிய 5-லேன் நிறுவன NVMe கன்ட்ரோலர் ஆகும்.

DC1000M வெவ்வேறு திறன்கள் வெளியீட்டிற்கு வழங்கப்படுகின்றன: 0.96 முதல் 7.68 TB வரை (மிகவும் பிரபலமான திறன்கள் 3.84 மற்றும் 7.68 TB என நம்பப்படுகிறது). இயக்ககத்தின் செயல்திறன் 800 ஆயிரம் IOPS என மதிப்பிடப்பட்டுள்ளது.

10x DC1000M U.2 NVMe 7.68 TB கொண்ட சேமிப்பக அமைப்பு. ஆதாரம்: கிங்ஸ்டன்

HPC பயன்பாடுகளுக்கான சேமிப்பக அமைப்பிற்கு உதாரணமாக, கிங்ஸ்டன் 2019 DC10M U.1000 NVMe டிரைவ்களுடன் கூடிய ரேக் தீர்வை சூப்பர்கம்ப்யூட்டிங் 2 இல் வழங்கினார், ஒவ்வொன்றும் 7.68 TB திறன் கொண்டது. சேமிப்பக அமைப்பு AIC இலிருந்து 122U படிவ காரணி தளமான SB1A-PH ஐ அடிப்படையாகக் கொண்டது. செயலிகள்: 2x Intel Xeon CPU E5-2660, Kingston DRAM 128 GB (8x16 GB) DDR4-2400 (பகுதி எண்: KSM24RS4/16HAI). நிறுவப்பட்ட OS Ubuntu 18.04.3 LTS, Linux kernel ver 5.0.0-31. gfio v3.13 சோதனை (Flexible I/O tester) 5.8 Gbps த்ரோபுட் உடன் 23.8 மில்லியன் IOPS வாசிப்பு செயல்திறனைக் காட்டியது.

வழங்கப்பட்ட சேமிப்பக அமைப்பு 5,8 மில்லியன் IOPS (வினாடிக்கு உள்ளீடு-வெளியீட்டு செயல்பாடுகள்) நிலையான வாசிப்பின் அடிப்படையில் ஈர்க்கக்கூடிய பண்புகளைக் காட்டியது. வெகுஜன சந்தை அமைப்புகளுக்கான SSDகளை விட இது இரண்டு அளவு வேகமாக உள்ளது. சிறப்புச் செயலிகளில் இயங்கும் HPC பயன்பாடுகளுக்கு இந்த வாசிப்பு வேகம் தேவைப்படுகிறது.

ரஷ்யாவில் தனியார் சேமிப்பகத்துடன் கூடிய கிளவுட் கம்ப்யூட்டிங் HPC

வழங்குநரிடம் உயர்-செயல்திறன் கம்ப்யூட்டிங் செய்யும் பணி, ஆனால் வளாகத்தில் தரவை உடல் ரீதியாக சேமிப்பது, ரஷ்ய நிறுவனங்களுக்கும் பொருத்தமானது. உள்நாட்டு வணிகத்தில் மற்றொரு பொதுவான வழக்கு, வெளிநாட்டு கிளவுட் சேவைகளைப் பயன்படுத்தும் போது, ​​ரஷ்ய கூட்டமைப்பின் பிரதேசத்தில் தரவு இருக்க வேண்டும். கிங்ஸ்டனின் நீண்டகால கூட்டாளியாக, கிளவுட் வழங்குநரான Selectel சார்பாக, இந்தச் சூழ்நிலைகள் குறித்து கருத்துக் கேட்டோம்.

"ரஷ்யாவில், ரஷ்ய மொழியில் சேவை மற்றும் வாடிக்கையாளரின் கணக்கியல் துறைக்கான அனைத்து அறிக்கை ஆவணங்களுடன், இதேபோன்ற கட்டிடக்கலையை உருவாக்க முடியும். ஒரு நிறுவனம் வளாகத்தில் உள்ள சேமிப்பக அமைப்புகளைப் பயன்படுத்தி உயர்-செயல்திறன் கொண்ட கம்ப்யூட்டிங்கை மேற்கொள்ள வேண்டும் என்றால், நாங்கள் செலக்டலில் உள்ள பல்வேறு வகையான செயலிகளைக் கொண்ட சர்வர்களை வாடகைக்கு விடுகிறோம். எஃப்பிஜிஏ, ஜி.பீ. அல்லது பல மைய CPUகள். கூடுதலாக, கூட்டாளர்கள் மூலம், வாடிக்கையாளரின் அலுவலகத்திற்கும் எங்கள் தரவு மையத்திற்கும் இடையில் ஒரு பிரத்யேக ஆப்டிகல் சேனலை அமைப்பதை நாங்கள் ஏற்பாடு செய்கிறோம், ”என்று செலக்டலில் சேவைகள் மேம்பாட்டு இயக்குனர் அலெக்சாண்டர் துகோவ் கருத்து தெரிவிக்கிறார். — வாடிக்கையாளர் தனது சேமிப்பக அமைப்பை ஒரு கணினி அறையில் ஒரு சிறப்பு அணுகல் பயன்முறையில் வைக்கலாம் மற்றும் எங்கள் சேவையகங்கள் மற்றும் உலகளாவிய வழங்குநர்களான AWS, MS Azure, Google Cloud ஆகிய இரண்டிலும் பயன்பாடுகளை இயக்கலாம். நிச்சயமாக, வாடிக்கையாளரின் சேமிப்பக அமைப்பு அமெரிக்காவில் இருந்ததை விட பிந்தைய வழக்கில் சமிக்ஞை தாமதம் அதிகமாக இருக்கும், ஆனால் ஒரு பிராட்பேண்ட் மல்டி கிளவுட் இணைப்பு வழங்கப்படும்.

அடுத்த கட்டுரையில் மற்றொரு கிங்ஸ்டன் தீர்வைப் பற்றி பேசுவோம், இது சூப்பர் கம்ப்யூட்டிங் 2019 கண்காட்சியில் (டென்வர், கொலராடோ, அமெரிக்கா) வழங்கப்பட்டது மற்றும் ஜிபியுகளைப் பயன்படுத்தி இயந்திர கற்றல் பயன்பாடுகள் மற்றும் பெரிய தரவு பகுப்பாய்வுக்காக வடிவமைக்கப்பட்டுள்ளது. இது GPUDirect சேமிப்பக தொழில்நுட்பமாகும், இது NVMe சேமிப்பகத்திற்கும் GPU செயலி நினைவகத்திற்கும் இடையே நேரடி தரவு பரிமாற்றத்தை வழங்குகிறது. மேலும், NVMe வட்டுகளில் உள்ள ரேக் சேமிப்பக அமைப்பில் 5.8 மில்லியன் IOPS தரவு வாசிப்பு வேகத்தை எவ்வாறு அடைந்தோம் என்பதை விளக்குவோம்.

கிங்ஸ்டன் டெக்னாலஜி தயாரிப்புகள் பற்றிய கூடுதல் தகவலுக்கு, தயவுசெய்து பார்வையிடவும் நிறுவனத்தின் தளம்.

ஆதாரம்: www.habr.com