ஐந்தாம் தலைமுறை நெட்வொர்க்குகள், ஜீனோம் ஸ்கேனர்கள் மற்றும் சுய-ஓட்டுநர் கார்கள் ஆகியவை தொழில்துறை புரட்சிக்கு முன்னர் உருவாக்கப்பட்ட அனைத்து மனிதகுலத்தையும் விட ஒரு நாளில் அதிக தரவை உருவாக்கும் உலகில் தரவை எவ்வாறு சேமிப்பது என்பது பற்றி இன்று பேசுவோம்.
நமது உலகம் மேலும் மேலும் தகவல்களை உருவாக்குகிறது. அவற்றில் சில விரைவானவை மற்றும் சேகரிக்கப்பட்டவுடன் விரைவாக இழக்கப்படுகின்றன. மற்றொன்று நீண்ட நேரம் சேமிக்கப்பட வேண்டும், மற்றொன்று முற்றிலும் "பல நூற்றாண்டுகளாக" வடிவமைக்கப்பட்டுள்ளது - குறைந்தபட்சம் நிகழ்காலத்திலிருந்து நாம் அதைப் பார்க்கிறோம். எந்தவொரு புதிய அணுகுமுறையும், இந்த முடிவற்ற "தேவையை" பூர்த்தி செய்ய வடிவமைக்கப்பட்ட எந்தவொரு தொழில்நுட்பமும் விரைவாக வழக்கற்றுப் போகும் வகையில், தரவு மையங்களில் தகவல் ஓட்டங்கள் விரைவாகக் குடியேறுகின்றன.
விநியோகிக்கப்பட்ட சேமிப்பு மேம்பாட்டின் 40 ஆண்டுகள்
1980 களில் எங்களுக்கு நன்கு தெரிந்த வடிவத்தில் முதல் நெட்வொர்க் சேமிப்பகங்கள் தோன்றின. உங்களில் பலர் NFS (நெட்வொர்க் கோப்பு முறைமை), AFS (ஆண்ட்ரூ கோப்பு முறைமை) அல்லது கோடாவைப் பார்த்திருப்பீர்கள். ஒரு தசாப்தத்திற்குப் பிறகு, ஃபேஷன் மற்றும் தொழில்நுட்பம் மாறியது, மற்றும் விநியோகிக்கப்பட்ட கோப்பு முறைமைகள் GPFS (பொது இணை கோப்பு முறைமை), CFS (கிளஸ்டர்டு கோப்பு முறைமைகள்) மற்றும் StorNext ஆகியவற்றின் அடிப்படையில் கிளஸ்டர்டு சேமிப்பக அமைப்புகளுக்கு வழிவகுத்தன. ஒரு அடிப்படையாக, கிளாசிக்கல் கட்டிடக்கலையின் தொகுதி சேமிப்பகங்கள் பயன்படுத்தப்பட்டன, அதன் மேல் ஒரு ஒற்றை கோப்பு முறைமை மென்பொருள் அடுக்கைப் பயன்படுத்தி உருவாக்கப்பட்டது. இவை மற்றும் ஒத்த தீர்வுகள் இன்னும் பயன்படுத்தப்படுகின்றன, அவற்றின் முக்கிய இடத்தை ஆக்கிரமித்துள்ளன மற்றும் மிகவும் தேவைப்படுகின்றன.
மில்லினியத்தின் தொடக்கத்தில், விநியோகிக்கப்பட்ட சேமிப்பக முன்னுதாரணம் ஓரளவு மாறியது, மேலும் SN (பகிரப்பட்ட-நத்திங்) கட்டமைப்பைக் கொண்ட அமைப்புகள் முன்னிலை வகித்தன. கிளஸ்டர் சேமிப்பகத்திலிருந்து தனித்தனி முனைகளில் சேமிப்பகத்திற்கு ஒரு மாற்றம் இருந்தது, இது ஒரு விதியாக, நம்பகமான சேமிப்பகத்தை வழங்கும் மென்பொருளைக் கொண்ட கிளாசிக் சர்வர்கள்; அத்தகைய கொள்கைகள் கட்டமைக்கப்பட்டுள்ளன, அதாவது, HDFS (ஹடூப் விநியோகிக்கப்பட்ட கோப்பு முறைமை) மற்றும் GFS (உலகளாவிய கோப்பு முறைமை).
2010 க்கு அருகில், விநியோகிக்கப்பட்ட சேமிப்பக அமைப்புகளின் அடிப்படையிலான கருத்துக்கள் VMware vSAN, Dell EMC Isilon மற்றும் எங்கள் போன்ற முழு அளவிலான வணிக தயாரிப்புகளில் பெருகிய முறையில் பிரதிபலிக்கத் தொடங்கின. . குறிப்பிடப்பட்ட தளங்களுக்குப் பின்னால் இனி ஆர்வலர்களின் சமூகம் இல்லை, ஆனால் உற்பத்தியின் செயல்பாடு, ஆதரவு, சேவை பராமரிப்பு மற்றும் அதன் மேலும் வளர்ச்சிக்கு உத்தரவாதம் அளிக்கும் குறிப்பிட்ட விற்பனையாளர்கள். இத்தகைய தீர்வுகள் பல பகுதிகளில் மிகவும் தேவைப்படுகின்றன.
தொலைத்தொடர்பு ஆபரேட்டர்கள்
விநியோகிக்கப்பட்ட சேமிப்பக அமைப்புகளின் பழமையான நுகர்வோரில் ஒருவர் தொலைத்தொடர்பு ஆபரேட்டர்கள். எந்தெந்தப் பயன்பாடுகளின் குழுக்கள் பெரும்பாலான தரவுகளை உருவாக்குகின்றன என்பதை வரைபடம் காட்டுகிறது. OSS (செயல்பாட்டு ஆதரவு அமைப்புகள்), MSS (மேலாண்மை ஆதரவு சேவைகள்) மற்றும் BSS (வணிக ஆதரவு அமைப்புகள்) ஆகியவை சந்தாதாரர்களுக்கு சேவை வழங்குதல், வழங்குநருக்கு நிதி அறிக்கை செய்தல் மற்றும் ஆபரேட்டரின் பொறியாளர்களுக்கான செயல்பாட்டு ஆதரவு ஆகியவற்றிற்கு தேவையான மூன்று நிரப்பு மென்பொருள் அடுக்குகளாகும்.
பெரும்பாலும், இந்த அடுக்குகளின் தரவு ஒருவருக்கொருவர் வலுவாக கலக்கப்படுகிறது, மேலும் தேவையற்ற பிரதிகள் குவிவதைத் தவிர்க்க, விநியோகிக்கப்பட்ட சேமிப்பகங்கள் பயன்படுத்தப்படுகின்றன, அவை வேலை செய்யும் நெட்வொர்க்கிலிருந்து வரும் முழு தகவலையும் குவிக்கும். சேமிப்பகங்கள் ஒரு பொதுவான குளமாக இணைக்கப்பட்டு, அனைத்து சேவைகளையும் அணுகும்.
கிளாசிக் முதல் பிளாக் ஸ்டோரேஜ் சிஸ்டங்களுக்கு மாறுவது, பிரத்யேக ஹை-எண்ட் சேமிப்பக அமைப்புகளை கைவிட்டு, வழக்கமான கிளாசிக்கல் ஆர்கிடெக்சர் சர்வர்களை (பொதுவாக x70) பயன்படுத்துவதன் மூலம் மட்டுமே பட்ஜெட்டில் 86% வரை சேமிக்க முடியும் என்பதை எங்கள் கணக்கீடுகள் காட்டுகின்றன. செல்லுலார் ஆபரேட்டர்கள் நீண்ட காலமாக இத்தகைய தீர்வுகளை குறிப்பிடத்தக்க அளவுகளில் பெற்று வருகின்றனர். குறிப்பாக, ரஷ்ய ஆபரேட்டர்கள் ஆறு ஆண்டுகளுக்கும் மேலாக Huawei இலிருந்து இத்தகைய தயாரிப்புகளைப் பயன்படுத்துகின்றனர்.
ஆம், விநியோகிக்கப்பட்ட அமைப்புகளைப் பயன்படுத்தி பல பணிகளைச் செய்ய முடியாது. எடுத்துக்காட்டாக, அதிகரித்த செயல்திறன் தேவைகள் அல்லது பழைய நெறிமுறைகளுடன் இணக்கம். ஆனால் ஆபரேட்டர் செயலாக்கும் தரவுகளில் குறைந்தது 70% விநியோகிக்கப்பட்ட குளத்தில் வைக்கப்படலாம்.
வங்கித் துறை
எந்தவொரு வங்கியிலும், செயலாக்கம் முதல் தானியங்கு வங்கி அமைப்பு வரை பலதரப்பட்ட தகவல் தொழில்நுட்ப அமைப்புகள் உள்ளன. இந்த உள்கட்டமைப்பு ஒரு பெரிய அளவிலான தகவலுடன் செயல்படுகிறது, அதே நேரத்தில் பெரும்பாலான பணிகளுக்கு சேமிப்பு அமைப்புகளின் அதிகரித்த செயல்திறன் மற்றும் நம்பகத்தன்மை தேவையில்லை, அதாவது மேம்பாடு, சோதனை, அலுவலக செயல்முறைகளின் ஆட்டோமேஷன் போன்றவை. இங்கே, உன்னதமான சேமிப்பக அமைப்புகளின் பயன்பாடு சாத்தியமாகும். , ஆனால் ஒவ்வொரு ஆண்டும் அது குறைந்த லாபம் தரும். கூடுதலாக, இந்த விஷயத்தில், சேமிப்பக வளங்களை செலவழிப்பதில் நெகிழ்வுத்தன்மை இல்லை, இதன் செயல்திறன் உச்ச சுமையிலிருந்து கணக்கிடப்படுகிறது.
விநியோகிக்கப்பட்ட சேமிப்பக அமைப்புகளைப் பயன்படுத்தும் போது, அவற்றின் முனைகள், உண்மையில் சாதாரண சேவையகங்கள், எந்த நேரத்திலும், எடுத்துக்காட்டாக, ஒரு சர்வர் பண்ணையாக மாற்றப்பட்டு கணினி தளமாக பயன்படுத்தப்படலாம்.
தரவு ஏரிகள்
மேலே உள்ள வரைபடம் வழக்கமான சேவை நுகர்வோரின் பட்டியலைக் காட்டுகிறது. . இவை மின்-அரசு சேவைகளாக இருக்கலாம் (உதாரணமாக, "கோசுஸ்லுகி"), டிஜிட்டல்மயமாக்கலுக்கு உட்பட்ட நிறுவனங்கள், நிதி கட்டமைப்புகள் போன்றவை. இவை அனைத்தும் பெரிய அளவிலான பன்முகத் தகவல்களுடன் வேலை செய்ய வேண்டும்.
இத்தகைய சிக்கல்களைத் தீர்ப்பதற்கான கிளாசிக்கல் சேமிப்பக அமைப்புகளின் செயல்பாடு திறமையற்றது, ஏனெனில் பிளாக் தரவுத்தளங்களுக்கான உயர் செயல்திறன் அணுகல் மற்றும் பொருள்களாக சேமிக்கப்பட்ட ஸ்கேன் செய்யப்பட்ட ஆவணங்களின் நூலகங்களுக்கான வழக்கமான அணுகல் இரண்டும் தேவைப்படுகின்றன. இங்கே, எடுத்துக்காட்டாக, ஒரு வலை போர்ட்டல் மூலம் ஆர்டர்களின் அமைப்பை இணைக்க முடியும். கிளாசிக் ஸ்டோரேஜ் பிளாட்ஃபார்மில் இதையெல்லாம் செயல்படுத்த, வெவ்வேறு பணிகளுக்கு உங்களுக்கு பெரிய அளவிலான உபகரணங்கள் தேவைப்படும். ஒரு கிடைமட்ட உலகளாவிய சேமிப்பக அமைப்பு முன்னர் பட்டியலிடப்பட்ட அனைத்து பணிகளையும் எளிதில் மறைக்க முடியும்: நீங்கள் வெவ்வேறு சேமிப்பக பண்புகளுடன் பல குளங்களை உருவாக்க வேண்டும்.
புதிய தகவல்களை உருவாக்குபவர்கள்
உலகில் சேமிக்கப்படும் தகவல்களின் அளவு ஆண்டுக்கு சுமார் 30% அதிகரித்து வருகிறது. சேமிப்பக விற்பனையாளர்களுக்கு இது ஒரு நல்ல செய்தி, ஆனால் இந்தத் தரவின் முக்கிய ஆதாரம் என்ன?
பத்து ஆண்டுகளுக்கு முன்பு, சமூக வலைப்பின்னல்கள் அத்தகைய ஜெனரேட்டர்களாக மாறியது, இதற்கு அதிக எண்ணிக்கையிலான புதிய வழிமுறைகள், வன்பொருள் தீர்வுகள் போன்றவற்றை உருவாக்க வேண்டியிருந்தது. இப்போது சேமிப்பு வளர்ச்சியின் மூன்று முக்கிய இயக்கிகள் உள்ளன. முதலாவது கிளவுட் கம்ப்யூட்டிங். தற்போது, ஏறத்தாழ 70% நிறுவனங்கள் கிளவுட் சேவைகளை ஏதோ ஒரு வகையில் பயன்படுத்துகின்றன. இவை மின்னஞ்சல் அமைப்புகள், காப்புப்பிரதிகள் மற்றும் பிற மெய்நிகராக்கப்பட்ட நிறுவனங்களாக இருக்கலாம்.
ஐந்தாம் தலைமுறை நெட்வொர்க்குகள் இரண்டாவது இயக்கி வருகின்றன. இவை புதிய வேகம் மற்றும் தரவு பரிமாற்றத்தின் புதிய தொகுதிகள். எங்கள் கணிப்புகளின்படி, 5G இன் பரவலான தத்தெடுப்பு ஃபிளாஷ் மெமரி கார்டுகளுக்கான தேவை குறைவதற்கு வழிவகுக்கும். தொலைபேசியில் எவ்வளவு நினைவகம் இருந்தாலும், அது இன்னும் முடிவடைகிறது, மேலும் கேஜெட்டில் 100 மெகாபிட் சேனல் இருந்தால், புகைப்படங்களை உள்ளூரில் சேமிக்க வேண்டிய அவசியமில்லை.
செயற்கை நுண்ணறிவின் விரைவான வளர்ச்சி, பெரிய தரவு பகுப்பாய்வுக்கு மாறுதல் மற்றும் சாத்தியமான அனைத்தையும் தன்னியக்கமாக்குவதற்கான போக்கு ஆகியவை சேமிப்பக அமைப்புகளுக்கான தேவை அதிகரித்து வருவதற்கான காரணங்களின் மூன்றாவது குழு.
"புதிய போக்குவரத்தின்" ஒரு அம்சம் அது . இந்தத் தரவை எந்த வகையிலும் அதன் வடிவமைப்பை வரையறுக்காமல் சேமிக்க வேண்டும். அடுத்த வாசிப்புக்கு மட்டுமே இது தேவைப்படுகிறது. எடுத்துக்காட்டாக, கிடைக்கக்கூடிய கடனின் அளவைக் கண்டறிய வங்கி மதிப்பெண் அமைப்பு, சமூக வலைப்பின்னல்களில் நீங்கள் இடுகையிட்ட புகைப்படங்களைப் பார்த்து, நீங்கள் எவ்வளவு அடிக்கடி கடல் மற்றும் உணவகங்களுக்குச் செல்கிறீர்கள் என்பதைத் தீர்மானிக்கும், அதே நேரத்தில் உங்கள் மருத்துவ ஆவணங்களிலிருந்து எடுக்கப்பட்ட சாறுகளைப் படிக்கும். இந்தத் தரவு, ஒருபுறம், விரிவானது, மறுபுறம், அவை ஒரே மாதிரியான தன்மையைக் கொண்டிருக்கவில்லை.
கட்டமைக்கப்படாத தரவுகளின் கடல்
"புதிய தரவு" தோன்றுவதில் என்ன சிக்கல்கள் உள்ளன? அவற்றில் முதலாவது, நிச்சயமாக, தகவலின் அளவு மற்றும் அதன் சேமிப்பகத்தின் மதிப்பிடப்பட்ட காலம். ஒரு நவீன தன்னாட்சி இயக்கி இல்லாத கார் மட்டும் அதன் அனைத்து சென்சார்கள் மற்றும் பொறிமுறைகளிலிருந்தும் ஒவ்வொரு நாளும் 60TB தரவை உருவாக்குகிறது. புதிய இயக்க வழிமுறைகளை உருவாக்க, இந்தத் தகவல் ஒரே நாளில் செயலாக்கப்பட வேண்டும், இல்லையெனில் அது குவியத் தொடங்கும். அதே நேரத்தில், அது மிக நீண்ட காலமாக சேமிக்கப்பட வேண்டும் - பல தசாப்தங்களாக. அப்போதுதான் எதிர்காலத்தில் பெரிய பகுப்பாய்வு மாதிரிகளின் அடிப்படையில் முடிவுகளை எடுக்க முடியும்.
மரபணு வரிசைகளை புரிந்துகொள்வதற்கான ஒரு சாதனம் ஒரு நாளைக்கு சுமார் 6 டெராபைட்களை உற்பத்தி செய்கிறது. அதன் உதவியுடன் சேகரிக்கப்பட்ட தரவு நீக்குவதைக் குறிக்கவில்லை, அதாவது, அனுமானமாக, அவை எப்போதும் சேமிக்கப்பட வேண்டும்.
இறுதியாக, ஐந்தாவது தலைமுறையின் ஒரே நெட்வொர்க்குகள். அனுப்பப்படும் தகவல்களுக்கு மேலதிகமாக, அத்தகைய நெட்வொர்க் ஒரு பெரிய தரவு ஜெனரேட்டராகும்: செயல்பாட்டு பதிவுகள், அழைப்பு பதிவுகள், இயந்திரம்-இயந்திர தொடர்புகளின் இடைநிலை முடிவுகள் போன்றவை.
இவை அனைத்திற்கும் தகவல்களைச் சேமிப்பதற்கும் செயலாக்குவதற்கும் புதிய அணுகுமுறைகள் மற்றும் வழிமுறைகளின் வளர்ச்சி தேவைப்படுகிறது. மேலும் இதுபோன்ற அணுகுமுறைகள் உருவாகி வருகின்றன.
புதிய சகாப்தத்தின் தொழில்நுட்பங்கள்
தகவல் சேமிப்பக அமைப்புகளுக்கான புதிய தேவைகளை சமாளிக்க வடிவமைக்கப்பட்ட தீர்வுகளின் மூன்று குழுக்களை வேறுபடுத்தி அறியலாம்: செயற்கை நுண்ணறிவு அறிமுகம், சேமிப்பு ஊடகத்தின் தொழில்நுட்ப பரிணாமம் மற்றும் கணினி கட்டமைப்பு துறையில் புதுமைகள். AI உடன் ஆரம்பிக்கலாம்.
புதிய Huawei தீர்வுகளில், செயற்கை நுண்ணறிவு ஏற்கனவே சேமிப்பகத்தின் மட்டத்தில் பயன்படுத்தப்படுகிறது, இது AI செயலியுடன் பொருத்தப்பட்டுள்ளது, இது கணினி அதன் நிலையை சுயாதீனமாக பகுப்பாய்வு செய்து தோல்விகளை கணிக்க அனுமதிக்கிறது. சேமிப்பக அமைப்பு குறிப்பிடத்தக்க கம்ப்யூட்டிங் திறன்களைக் கொண்ட சேவை மேகத்துடன் இணைக்கப்பட்டிருந்தால், செயற்கை நுண்ணறிவு கூடுதல் தகவல்களைச் செயலாக்கி அதன் கருதுகோள்களின் துல்லியத்தை மேம்படுத்தும்.
தோல்விகளுக்கு கூடுதலாக, அத்தகைய AI ஆனது எதிர்கால உச்ச சுமை மற்றும் திறன் தீர்ந்து போகும் வரை மீதமுள்ள நேரத்தை கணிக்க முடியும். எந்தவொரு தேவையற்ற நிகழ்வுகளும் நிகழும் முன் செயல்திறனை மேம்படுத்தவும் கணினியை அளவிடவும் இது உங்களை அனுமதிக்கிறது.
இப்போது தரவு கேரியர்களின் பரிணாமம் பற்றி. முதல் ஃபிளாஷ் டிரைவ்கள் SLC (Single-level Cell) தொழில்நுட்பத்தைப் பயன்படுத்தி உருவாக்கப்பட்டன. அதன் அடிப்படையிலான சாதனங்கள் வேகமானவை, நம்பகமானவை, நிலையானவை, ஆனால் சிறிய திறன் கொண்டவை மற்றும் மிகவும் விலை உயர்ந்தவை. அளவு அதிகரிப்பு மற்றும் விலையில் குறைவு சில தொழில்நுட்ப சலுகைகள் மூலம் அடையப்பட்டது, இதன் காரணமாக டிரைவ்களின் வேகம், நம்பகத்தன்மை மற்றும் ஆயுள் குறைக்கப்பட்டது. ஆயினும்கூட, போக்கு சேமிப்பக அமைப்புகளையே பாதிக்கவில்லை, இது பல்வேறு கட்டடக்கலை தந்திரங்களின் காரணமாக, பொதுவாக, அதிக உற்பத்தி மற்றும் நம்பகமானதாக மாறியது.
ஆனால் உங்களுக்கு ஏன் ஆல்-ஃப்ளாஷ் கிளாஸ் சேமிப்பக அமைப்புகள் தேவைப்பட்டன? ஏற்கனவே இயங்கும் அமைப்பில் உள்ள பழைய HDDகளை அதே படிவக் காரணியின் புதிய SSDகளுடன் மாற்றினால் மட்டும் போதாதா? புதிய SSD களின் அனைத்து வளங்களையும் திறமையாகப் பயன்படுத்துவதற்கு இது தேவைப்பட்டது, இது பழைய கணினிகளில் வெறுமனே சாத்தியமற்றது.
எடுத்துக்காட்டாக, Huawei இந்த சிக்கலை தீர்க்க பல தொழில்நுட்பங்களை உருவாக்கியுள்ளது, அவற்றில் ஒன்று , இது டிஸ்க்-கண்ட்ரோலர் இடைவினைகளை முடிந்தவரை மேம்படுத்துவதை சாத்தியமாக்கியது.
புத்திசாலித்தனமான அடையாளம் தரவுகளை பல ஸ்ட்ரீம்களாக சிதைப்பது மற்றும் பல விரும்பத்தகாத நிகழ்வுகளைச் சமாளிப்பது போன்றவற்றை சாத்தியமாக்கியது. (பெருக்கத்தை எழுதவும்). அதே நேரத்தில், புதிய மீட்பு வழிமுறைகள், குறிப்பாக , மறுகட்டமைப்பின் வேகத்தை அதிகரித்தது, அதன் நேரத்தை முற்றிலும் முக்கியமற்ற மதிப்புகளுக்கு குறைக்கிறது.
தோல்வி, நெரிசல், குப்பை சேகரிப்பு - கட்டுப்படுத்திகளின் சிறப்பு சுத்திகரிப்புக்கு நன்றி சேமிப்பக அமைப்பின் செயல்திறனை இந்த காரணிகள் இனி பாதிக்காது.
மற்றும் பிளாக் டேட்டா ஸ்டோர்ஸ் சந்திக்க தயாராகி வருகின்றன . தரவு அணுகலை ஒழுங்கமைப்பதற்கான கிளாசிக் திட்டம் இதுபோல் செயல்பட்டது என்பதை நினைவில் கொள்க: செயலி பிசிஐ எக்ஸ்பிரஸ் பஸ் வழியாக RAID கட்டுப்படுத்தியை அணுகியது. அது, SCSI அல்லது SAS வழியாக இயந்திர வட்டுகளுடன் தொடர்பு கொண்டது. பின்தளத்தில் NVMe இன் பயன்பாடு முழு செயல்முறையையும் கணிசமாக விரைவுபடுத்தியது, ஆனால் ஒரு குறைபாட்டைக் கொண்டுள்ளது: இயக்கிகள் நேரடியாக நினைவக அணுகலை வழங்க செயலியுடன் நேரடியாக இணைக்கப்பட வேண்டும்.
இப்போது நாம் பார்க்கும் தொழில்நுட்ப வளர்ச்சியின் அடுத்த கட்டம் NVMe-oF (NVMe over Fabrics) பயன்பாடு ஆகும். Huawei பிளாக் தொழில்நுட்பங்களைப் பொறுத்தவரை, அவை ஏற்கனவே FC-NVMe (NVMe வழியாக ஃபைபர் சேனல்) ஐ ஆதரிக்கின்றன, மேலும் NVMe ஓவர் RoCE (RDMA ஓவர் கன்வெர்ஜ்டு ஈதர்நெட்) வரும். சோதனை மாதிரிகள் மிகவும் செயல்பாட்டுடன் உள்ளன, அவற்றின் அதிகாரப்பூர்வ விளக்கக்காட்சிக்கு சில மாதங்கள் உள்ளன. இவை அனைத்தும் விநியோகிக்கப்பட்ட அமைப்புகளிலும் தோன்றும் என்பதை நினைவில் கொள்க, அங்கு "ஈதர்நெட் இழப்பு இல்லாமல்" அதிக தேவை இருக்கும்.
விநியோகிக்கப்பட்ட சேமிப்பகங்களின் வேலையை மேம்படுத்துவதற்கான கூடுதல் வழி தரவு பிரதிபலிப்பை முழுமையாக நிராகரிப்பதாகும். Huawei தீர்வுகள் வழக்கமான RAID 1 இல் உள்ளதைப் போல, n நகல்களைப் பயன்படுத்தாது, மேலும் முற்றிலும் பொறிமுறைக்கு மாறுகின்றன. (அழித்தல் குறியீட்டு முறை). ஒரு சிறப்பு கணித தொகுப்பு ஒரு குறிப்பிட்ட அதிர்வெண் கொண்ட கட்டுப்பாட்டு தொகுதிகளை கணக்கிடுகிறது, இது இழப்பு ஏற்பட்டால் இடைநிலை தரவை மீட்டெடுக்க உங்களை அனுமதிக்கிறது.
இரட்டிப்பு மற்றும் சுருக்க வழிமுறைகள் கட்டாயமாகின்றன. கிளாசிக்கல் ஸ்டோரேஜ் சிஸ்டங்களில் நாம் கட்டுப்படுத்திகளில் நிறுவப்பட்ட செயலிகளின் எண்ணிக்கையால் வரையறுக்கப்பட்டிருந்தால், விநியோகிக்கப்பட்ட கிடைமட்டமாக அளவிடக்கூடிய சேமிப்பக அமைப்புகளில், ஒவ்வொரு முனையிலும் உங்களுக்குத் தேவையான அனைத்தையும் கொண்டுள்ளது: வட்டுகள், நினைவகம், செயலிகள் மற்றும் இன்டர்கனெக்ட். செயல்திறனில் குறைந்த தாக்கத்தை ஏற்படுத்த, குறைப்பு மற்றும் சுருக்கத்திற்கு இந்த ஆதாரங்கள் போதுமானவை.
மற்றும் வன்பொருள் தேர்வுமுறை முறைகள் பற்றி. இங்கே, கூடுதல் பிரத்யேக மைக்ரோ சர்க்யூட்கள் (அல்லது செயலியில் உள்ள அர்ப்பணிப்பு தொகுதிகள்) உதவியுடன் மத்திய செயலிகளின் சுமையை குறைக்க முடிந்தது. (TCP/IP Offload Engine) அல்லது EC, துப்பறிதல் மற்றும் சுருக்கத்தின் கணிதப் பணிகளை மேற்கொள்வது.
தரவு சேமிப்பகத்திற்கான புதிய அணுகுமுறைகள் பிரிக்கப்பட்ட (விநியோகிக்கப்பட்ட) கட்டமைப்பில் பொதிந்துள்ளன. மையப்படுத்தப்பட்ட சேமிப்பக அமைப்புகளில், ஃபைபர் சேனல் வழியாக இணைக்கப்பட்ட சர்வர் தொழிற்சாலை உள்ளது நிறைய வரிசைகளுடன். இந்த அணுகுமுறையின் தீமைகள் அளவிடுதல் மற்றும் உத்தரவாதமான அளவிலான சேவையை வழங்குவதில் உள்ள சிரமங்கள் (செயல்திறன் அல்லது தாமதத்தின் அடிப்படையில்). ஹைப்பர்கான்வெர்ஜ் செய்யப்பட்ட அமைப்புகள் தகவல்களைச் சேமிப்பதற்கும் செயலாக்குவதற்கும் ஒரே ஹோஸ்ட்களைப் பயன்படுத்துகின்றன. இது அளவிடுதலுக்கான வரம்பற்ற வாய்ப்பை வழங்குகிறது, ஆனால் தரவு ஒருமைப்பாட்டை பராமரிக்க அதிக செலவுகளை ஏற்படுத்துகிறது.
மேற்கூறிய இரண்டையும் போலல்லாமல், ஒரு பிரிக்கப்பட்ட கட்டிடக்கலை குறிக்கிறது கணினியை ஒரு கணினி தொழிற்சாலை மற்றும் ஒரு கிடைமட்ட சேமிப்பக அமைப்பாக பிரிக்கிறது. இது இரண்டு கட்டமைப்புகளின் நன்மைகளை வழங்குகிறது மற்றும் அதன் செயல்திறன் போதுமானதாக இல்லாத தனிமத்தின் கிட்டத்தட்ட வரம்பற்ற அளவிடுதலை அனுமதிக்கிறது.
ஒருங்கிணைப்பு முதல் ஒருங்கிணைப்பு வரை
ஒரு உன்னதமான பணி, கடந்த 15 ஆண்டுகளில் மட்டுமே வளர்ந்துள்ளது, ஒரே நேரத்தில் தொகுதி சேமிப்பு, கோப்பு அணுகல், பொருட்களை அணுகல், பெரிய தரவுகளுக்கான பண்ணையின் செயல்பாடு போன்றவற்றை வழங்குவது அவசியம். எடுத்துக்காட்டாக, காந்த நாடாவிற்கான காப்புப்பிரதி அமைப்பு.
முதல் கட்டத்தில், இந்த சேவைகளின் நிர்வாகத்தை மட்டுமே ஒருங்கிணைக்க முடியும். பன்முக தரவு சேமிப்பக அமைப்புகள் சில சிறப்பு மென்பொருள்களுக்கு மூடப்பட்டன, இதன் மூலம் நிர்வாகி கிடைக்கக்கூடிய குளங்களில் இருந்து வளங்களை விநியோகித்தார். ஆனால் இந்த குளங்கள் வன்பொருளில் வித்தியாசமாக இருந்ததால், அவற்றுக்கிடையே சுமைகளை நகர்த்துவது சாத்தியமற்றது. ஒருங்கிணைப்பின் உயர் மட்டத்தில், ஒருங்கிணைப்பு நுழைவாயில் மட்டத்தில் நடந்தது. பகிரப்பட்ட கோப்பு அணுகல் இருந்தால், அது வெவ்வேறு நெறிமுறைகள் மூலம் வழங்கப்படலாம்.
இப்போது நமக்குக் கிடைக்கக்கூடிய மிகவும் மேம்பட்ட ஒருங்கிணைப்பு முறையானது உலகளாவிய கலப்பின அமைப்பை உருவாக்குவதை உள்ளடக்கியது. நம்முடையது எப்படி இருக்க வேண்டும் . யுனிவர்சல் அணுகல் அதே வன்பொருள் ஆதாரங்களைப் பயன்படுத்துகிறது, தர்க்கரீதியாக வெவ்வேறு குளங்களாகப் பிரிக்கப்படுகிறது, ஆனால் சுமை இடம்பெயர்வை அனுமதிக்கிறது. இவை அனைத்தையும் ஒரே மேலாண்மை கன்சோல் மூலம் செய்ய முடியும். இந்த வழியில், "ஒரு தரவு மையம் - ஒரு சேமிப்பக அமைப்பு" என்ற கருத்தை நாங்கள் செயல்படுத்த முடிந்தது.
தகவல்களைச் சேமிப்பதற்கான செலவு இப்போது பல கட்டடக்கலை முடிவுகளை தீர்மானிக்கிறது. இது பாதுகாப்பாக முன்னணியில் வைக்கப்படலாம் என்றாலும், செயலில் உள்ள அணுகலுடன் "நேரடி" சேமிப்பிடத்தைப் பற்றி இன்று விவாதிக்கிறோம், எனவே செயல்திறனையும் கணக்கில் எடுத்துக்கொள்ள வேண்டும். அடுத்த தலைமுறை விநியோகிக்கப்பட்ட அமைப்புகளின் மற்றொரு முக்கியமான சொத்து ஒருங்கிணைப்பு ஆகும். எல்லாவற்றிற்கும் மேலாக, வெவ்வேறு கன்சோல்களில் இருந்து நிர்வகிக்கப்படும் பல வேறுபட்ட அமைப்புகளை யாரும் விரும்பவில்லை. இந்த குணங்கள் அனைத்தும் Huawei தயாரிப்புகளின் புதிய தொடரில் பொதிந்துள்ளன. .
அடுத்த தலைமுறை வெகுஜன சேமிப்பு
OceanStor பசிபிக் ஆறு ஒன்பதுகள் (99,9999%) நம்பகத்தன்மை தேவைகளை பூர்த்தி செய்கிறது மற்றும் ஹைப்பர்மெட்ரோ வகுப்பு தரவு மையத்தை உருவாக்க பயன்படுத்தலாம். 100 கிமீ வரையிலான இரண்டு டேட்டா சென்டர்களுக்கு இடையே உள்ள தூரத்தில், கணினிகள் 2 எம்எஸ் கூடுதல் தாமதத்தைக் காட்டுகின்றன, இது கோரம் சர்வர்கள் உட்பட, அவற்றின் அடிப்படையில் எந்த பேரழிவு-ஆதார தீர்வுகளையும் உருவாக்குவதை சாத்தியமாக்குகிறது.
புதிய தொடரின் தயாரிப்புகள் நெறிமுறைகளின் அடிப்படையில் பல்துறைத்திறனைக் காட்டுகின்றன. ஏற்கனவே, OceanStor 100D தடுப்பு அணுகல், பொருள் அணுகல் மற்றும் ஹடூப் அணுகலை ஆதரிக்கிறது. கோப்பு அணுகல் எதிர்காலத்தில் செயல்படுத்தப்படும். வெவ்வேறு நெறிமுறைகள் மூலம் தரவை வழங்க முடிந்தால், பல நகல்களை வைத்திருக்க வேண்டிய அவசியமில்லை.
"இழப்பற்ற நெட்வொர்க்" என்ற கருத்து சேமிப்பகத்துடன் என்ன செய்ய வேண்டும் என்று தோன்றுகிறது? உண்மை என்னவென்றால், விநியோகிக்கப்பட்ட சேமிப்பக அமைப்புகள் வேகமான நெட்வொர்க்கின் அடிப்படையில் கட்டமைக்கப்படுகின்றன, இது பொருத்தமான வழிமுறைகள் மற்றும் RoCE பொறிமுறையை ஆதரிக்கிறது. எங்கள் சுவிட்சுகளால் ஆதரிக்கப்படும் செயற்கை நுண்ணறிவு அமைப்பு நெட்வொர்க் வேகத்தை மேலும் அதிகரிக்கவும் தாமதத்தைக் குறைக்கவும் உதவுகிறது . AI ஃபேப்ரிக் செயல்படுத்தப்படும் போது சேமிப்பக அமைப்புகளின் செயல்திறன் ஆதாயம் 20% ஐ எட்டும்.
புதிய OceanStor பசிபிக் விநியோகிக்கப்பட்ட சேமிப்பக முனை என்ன? 5U படிவ காரணி தீர்வு 120 டிரைவ்களை உள்ளடக்கியது மற்றும் ரேக் இடத்தை இரட்டிப்பாக்குவதை விட மூன்று கிளாசிக் நோட்களை மாற்றும். நகல்களை சேமிக்க மறுப்பதால், டிரைவ்களின் செயல்திறன் கணிசமாக அதிகரிக்கிறது (+ 92% வரை).
மென்பொருளால் வரையறுக்கப்பட்ட சேமிப்பகம் என்பது கிளாசிக் சர்வரில் நிறுவப்பட்ட ஒரு சிறப்பு மென்பொருளாகும். ஆனால் இப்போது, உகந்த அளவுருக்களை அடைவதற்கு, இந்த கட்டடக்கலை தீர்வுக்கு சிறப்பு முனைகளும் தேவைப்படுகின்றன. இது மூன்று அங்குல இயக்கிகளின் வரிசையை நிர்வகிக்கும் ARM செயலிகளை அடிப்படையாகக் கொண்ட இரண்டு சேவையகங்களைக் கொண்டுள்ளது.
இந்த சேவையகங்கள் மிகைப்படுத்தப்பட்ட தீர்வுகளுக்கு மிகவும் பொருத்தமானவை அல்ல. முதலாவதாக, ARM க்கு சில பயன்பாடுகள் உள்ளன, இரண்டாவதாக, சுமை சமநிலையை பராமரிப்பது கடினம். தனி சேமிப்பகத்திற்கு மாறுமாறு நாங்கள் பரிந்துரைக்கிறோம்: கிளாசிக் அல்லது ரேக் சர்வர்களால் குறிப்பிடப்படும் ஒரு கம்ப்யூட்டிங் கிளஸ்டர், தனித்தனியாக இயங்குகிறது, ஆனால் OceanStor பசிபிக் சேமிப்பக முனைகளுடன் இணைக்கப்பட்டுள்ளது, இது அவற்றின் நேரடிப் பணிகளையும் செய்கிறது. மேலும் அது தன்னை நியாயப்படுத்துகிறது.
எடுத்துக்காட்டாக, 15 சர்வர் ரேக்குகளை ஆக்கிரமித்துள்ள ஒரு உன்னதமான ஹைபர்கான்வெர்ஜ் செய்யப்பட்ட பெரிய தரவு சேமிப்பக தீர்வை எடுத்துக் கொள்வோம். நீங்கள் தனிப்பட்ட OceanStor பசிபிக் கம்ப்யூட் சர்வர்கள் மற்றும் சேமிப்பக முனைகளுக்கு இடையில் சுமைகளை விநியோகித்தால், அவற்றை ஒருவருக்கொருவர் பிரித்தால், தேவையான ரேக்குகளின் எண்ணிக்கை பாதியாக குறைக்கப்படும்! இது தரவு மையத்தை இயக்குவதற்கான செலவைக் குறைக்கிறது மற்றும் உரிமையின் மொத்த செலவைக் குறைக்கிறது. சேமிக்கப்பட்ட தகவல்களின் அளவு ஆண்டுக்கு 30% அதிகரித்து வரும் உலகில், அத்தகைய நன்மைகள் சிதறவில்லை.
***
Huawei தீர்வுகள் மற்றும் அவற்றின் பயன்பாட்டுக் காட்சிகள் பற்றிய கூடுதல் தகவலுக்கு, தயவுசெய்து எங்களைப் பார்வையிடவும் அல்லது நிறுவனத்தின் பிரதிநிதிகளை நேரடியாகத் தொடர்புகொள்வதன் மூலம்.
ஆதாரம்: www.habr.com