புதிய பொருள் சேமிப்பக அளவீடுகள்

நெலே-டீல் எழுதிய பறக்கும் கோட்டை

S3 பொருள் சேமிப்பக கட்டளை Mail.ru கிளவுட் ஸ்டோரேஜ் ஒரு பொருள் சேமிப்பகத்தைத் தேர்ந்தெடுக்கும்போது என்ன அளவுகோல்கள் முக்கியம் என்பதைப் பற்றிய கட்டுரையை மொழிபெயர்த்தார். ஆசிரியரின் பார்வையில் பின்வரும் உரை உள்ளது.

பொருள் சேமிப்பகத்தைப் பொறுத்தவரை, மக்கள் பொதுவாக ஒரு விஷயத்தைப் பற்றி மட்டுமே நினைக்கிறார்கள்: ஒரு TB/GB விலை. நிச்சயமாக, இந்த அளவீடு முக்கியமானது, ஆனால் இது அணுகுமுறையை ஒருதலைப்பட்சமாக்குகிறது மற்றும் ஒரு காப்பக சேமிப்பக கருவியுடன் பொருள் சேமிப்பகத்தை சமன் செய்கிறது. கூடுதலாக, இந்த அணுகுமுறை நிறுவன தொழில்நுட்ப அடுக்கிற்கான பொருள் சேமிப்பகத்தின் முக்கியத்துவத்தை குறைக்கிறது.

பொருள் சேமிப்பகத்தைத் தேர்ந்தெடுக்கும்போது, ​​​​நீங்கள் ஐந்து பண்புகளுக்கு கவனம் செலுத்த வேண்டும்:

• செயல்திறன்;
• அளவீடல்;
• S3 இணக்கமானது;
• தோல்விகளுக்கு பதில்;
• நேர்மை.

இந்த ஐந்து பண்புகள் பொருள் சேமிப்பிற்கான புதிய அளவீடுகள், விலையுடன். அவற்றையெல்லாம் பார்ப்போம்.

உற்பத்தித்

பாரம்பரிய பொருள் கடைகளில் செயல்திறன் இல்லை. சேவை வழங்குநர்கள் குறைந்த விலையைப் பின்தொடர்வதில் தொடர்ந்து அதை தியாகம் செய்தனர். இருப்பினும், நவீன பொருள் சேமிப்பு விஷயங்கள் வேறுபட்டவை.

பல்வேறு சேமிப்பக அமைப்புகள் ஹடூப்பின் வேகத்தை அணுகுகின்றன அல்லது மீறுகின்றன. படிக்க மற்றும் எழுதும் வேகத்திற்கான நவீன தேவைகள்: ஹார்ட் டிரைவ்களுக்கு 10 ஜிபி/வி, என்விஎம்இக்கு 35 ஜிபி/வி வரை. 

பகுப்பாய்வு அடுக்கில் உள்ள ஸ்பார்க், ப்ரெஸ்டோ, டென்சர்ஃப்ளோ, டெராடேட்டா, வெர்டிகா, ஸ்ப்ளங்க் மற்றும் பிற நவீன கணினி கட்டமைப்புகளுக்கு இந்த செயல்திறன் போதுமானது. பொருள் சேமிப்பகத்திற்காக MPP தரவுத்தளங்கள் கட்டமைக்கப்படுகின்றன என்பது முதன்மை சேமிப்பகமாக அதிகளவில் பயன்படுத்தப்படுகிறது என்பதைக் காட்டுகிறது.

உங்கள் சேமிப்பக அமைப்பு உங்களுக்குத் தேவையான வேகத்தை வழங்கவில்லை என்றால், நீங்கள் தரவைப் பயன்படுத்த முடியாது மற்றும் அதிலிருந்து மதிப்பைப் பிரித்தெடுக்க முடியாது. நீங்கள் ஆப்ஜெக்ட் சேமிப்பகத்திலிருந்து தரவை இன்-மெமரி செயலாக்க கட்டமைப்பிற்கு மீட்டெடுத்தாலும், தரவை நினைவகத்திற்கு மற்றும் நினைவகத்திலிருந்து மாற்றுவதற்கு அலைவரிசை தேவைப்படும். பாரம்பரிய பொருள் கடைகளில் போதுமான அளவு இல்லை.

இது முக்கிய அம்சம்: புதிய செயல்திறன் அளவீடு செயல்திறன், தாமதம் அல்ல. அளவிலான தரவுகளுக்கு இது தேவைப்படுகிறது மற்றும் நவீன தரவு உள்கட்டமைப்பில் இது விதிமுறை.

பெஞ்ச்மார்க்குகள் செயல்திறனைத் தீர்மானிக்க ஒரு சிறந்த வழியாகும், சூழலில் பயன்பாட்டை இயக்கும் முன் அதைத் துல்லியமாக அளவிட முடியாது. மென்பொருள், வட்டுகள், நெட்வொர்க் அல்லது கம்ப்யூட்டிங் மட்டத்தில், சிக்கல் எங்குள்ளது என்பதை அதன் பிறகுதான் சொல்ல முடியும்.

அளவீடல்

அளவிடுதல் என்பது ஒரு பெயர்வெளியில் பொருந்தக்கூடிய பெட்டாபைட்டுகளின் எண்ணிக்கையைக் குறிக்கிறது. விற்பனையாளர்கள் கூறுவது எளிதான அளவிடுதல், அவர்கள் சொல்லாதது என்னவென்றால், அவர்கள் அளவிடும்போது, ​​பாரிய ஒற்றைக்கல் அமைப்புகள் உடையக்கூடியதாகவும், சிக்கலானதாகவும், நிலையற்றதாகவும் மற்றும் விலை உயர்ந்ததாகவும் மாறும்.

நீங்கள் சேவை செய்யக்கூடிய பெயர்வெளிகள் அல்லது கிளையண்டுகளின் எண்ணிக்கையே அளவிடக்கூடிய புதிய அளவீடு ஆகும். மெட்ரிக் நேரடியாக ஹைப்பர்ஸ்கேலர்களிடமிருந்து எடுக்கப்படுகிறது, அங்கு சேமிப்பக கட்டுமானத் தொகுதிகள் சிறியவை ஆனால் பில்லியன் கணக்கான அலகுகளுக்கு அளவிடப்படுகின்றன. பொதுவாக, இது ஒரு கிளவுட் மெட்ரிக்.

கட்டுமானத் தொகுதிகள் சிறியதாக இருக்கும்போது, ​​பாதுகாப்பு, அணுகல் கட்டுப்பாடு, கொள்கை மேலாண்மை, வாழ்க்கைச் சுழற்சி மேலாண்மை மற்றும் இடையூறு இல்லாத புதுப்பிப்புகளை மேம்படுத்துவது எளிதாக இருக்கும். இறுதியில் உற்பத்தித்திறனை உறுதி செய்கிறது. கட்டிடத் தொகுதியின் அளவு என்பது தோல்விப் பகுதியின் கட்டுப்பாட்டின் ஒரு செயல்பாடாகும், இது மிகவும் மீள்திறன் அமைப்புகள் எவ்வாறு கட்டமைக்கப்படுகின்றன.

பல குத்தகைக்கு பல பண்புகள் உள்ளன. நிறுவனங்கள் தரவு மற்றும் பயன்பாடுகளுக்கான அணுகலை எவ்வாறு வழங்குகின்றன என்பதைப் பற்றி பரிமாணம் பேசும் அதே வேளையில், இது பயன்பாடுகள் மற்றும் அவற்றை ஒருவருக்கொருவர் தனிமைப்படுத்துவதன் பின்னணியில் உள்ள தர்க்கத்தையும் குறிக்கிறது.

பல வாடிக்கையாளர்களுக்கான நவீன அணுகுமுறையின் பண்புகள்:

• குறுகிய காலத்தில், வாடிக்கையாளர்களின் எண்ணிக்கை பல நூறு முதல் பல மில்லியன் வரை உயரும்.
• வாடிக்கையாளர்கள் ஒருவருக்கொருவர் முற்றிலும் தனிமைப்படுத்தப்பட்டுள்ளனர். இது ஒரே மென்பொருளின் வெவ்வேறு பதிப்புகளை இயக்கவும், வெவ்வேறு கட்டமைப்புகள், அனுமதிகள், அம்சங்கள், பாதுகாப்பு மற்றும் பராமரிப்பு நிலைகளுடன் பொருட்களை சேமிக்கவும் அனுமதிக்கிறது. புதிய சேவையகங்கள், புதுப்பிப்புகள் மற்றும் புவியியல் ஆகியவற்றை அளவிடும்போது இது அவசியம்.
• சேமிப்பு மீள் அளவிடக்கூடியது, தேவைக்கேற்ப வளங்கள் வழங்கப்படுகின்றன.
• ஒவ்வொரு செயல்பாடும் API ஆல் கட்டுப்படுத்தப்படுகிறது மற்றும் மனித தலையீடு இல்லாமல் தானியங்கு செய்யப்படுகிறது.
• மென்பொருளை கொள்கலன்களில் ஹோஸ்ட் செய்யலாம் மற்றும் குபெர்னெட்ஸ் போன்ற நிலையான ஆர்கெஸ்ட்ரேஷன் அமைப்புகளைப் பயன்படுத்தலாம்.

S3 இணக்கமானது

Amazon S3 API என்பது பொருள் சேமிப்பிற்கான நடைமுறை தரநிலையாகும். ஒவ்வொரு பொருள் சேமிப்பக மென்பொருள் விற்பனையாளரும் அதனுடன் இணக்கத்தன்மையைக் கோருகின்றனர். S3 உடன் இணக்கமானது பைனரி: ஒன்று அது முழுமையாக செயல்படுத்தப்பட்டது அல்லது இல்லை.

நடைமுறையில், நூற்றுக்கணக்கான அல்லது ஆயிரக்கணக்கான விளிம்பு காட்சிகள் உள்ளன, அங்கு பொருள் சேமிப்பகத்தைப் பயன்படுத்தும் போது ஏதோ தவறு ஏற்படுகிறது. குறிப்பாக தனியுரிம மென்பொருள் மற்றும் சேவைகளை வழங்குபவர்களிடமிருந்து. இதன் முக்கிய பயன்பாட்டு நிகழ்வுகள் நேரடி காப்பகப்படுத்தல் அல்லது காப்புப்பிரதி ஆகும், எனவே API ஐ அழைப்பதற்கு சில காரணங்கள் உள்ளன, பயன்பாட்டு நிகழ்வுகள் ஒரே மாதிரியானவை.

திறந்த மூல மென்பொருள் குறிப்பிடத்தக்க நன்மைகளைக் கொண்டுள்ளது. அளவு மற்றும் பல்வேறு பயன்பாடுகள், இயக்க முறைமைகள் மற்றும் வன்பொருள் கட்டமைப்புகள் ஆகியவற்றின் அடிப்படையில் இது பெரும்பாலான விளிம்பு காட்சிகளை உள்ளடக்கியது.

பயன்பாட்டு டெவலப்பர்களுக்கு இவை அனைத்தும் முக்கியம், எனவே சேமிப்பக வழங்குநர்களுடன் பயன்பாட்டைச் சோதிப்பது மதிப்பு. திறந்த மூலமானது செயல்முறையை எளிதாக்குகிறது - உங்கள் பயன்பாட்டிற்கு எந்த தளம் சரியானது என்பதைப் புரிந்துகொள்வது எளிது. சேமிப்பகத்திற்குள் நுழைவதற்கான ஒரு புள்ளியாக வழங்குநரைப் பயன்படுத்தலாம், அதாவது இது உங்கள் தேவைகளைப் பூர்த்தி செய்யும். 

ஓப்பன் சோர்ஸ் என்றால்: பயன்பாடுகள் விற்பனையாளருடன் இணைக்கப்படவில்லை மற்றும் மிகவும் வெளிப்படையானவை. இது நீண்ட பயன்பாட்டு வாழ்க்கைச் சுழற்சியை உறுதி செய்கிறது.

மேலும் ஓப்பன் சோர்ஸ் மற்றும் எஸ்3 பற்றிய சில குறிப்புகள். 

நீங்கள் ஒரு பெரிய டேட்டா அப்ளிகேஷனை இயக்குகிறீர்கள் என்றால், S3 SELECT ஆனது செயல்திறன் மற்றும் செயல்திறனை ஒரு வரிசையில் மேம்படுத்துகிறது. சேமிப்பகத்திலிருந்து உங்களுக்குத் தேவையான பொருட்களை மட்டும் மீட்டெடுக்க SQL ஐப் பயன்படுத்தி இதைச் செய்கிறது.

முக்கிய அம்சம் பக்கெட் அறிவிப்புகளுக்கான ஆதரவு. பக்கெட் அறிவிப்புகள் சர்வர்லெஸ் கம்ப்யூட்டிங்கை எளிதாக்குகிறது, இது ஒரு சேவையாக வழங்கப்படும் மைக்ரோ சர்வீஸ் கட்டமைப்பின் முக்கிய அங்கமாகும். ஆப்ஜெக்ட் ஸ்டோரேஜ் என்பது திறம்பட கிளவுட் ஸ்டோரேஜ் என்பதால், கிளவுட்-அடிப்படையிலான பயன்பாடுகளால் ஆப்ஜெக்ட் ஸ்டோரேஜ் பயன்படுத்தப்படும்போது இந்த திறன் முக்கியமானதாகிறது.

இறுதியாக, S3 செயல்படுத்தல் Amazon S3 சர்வர் பக்க குறியாக்க APIகளை ஆதரிக்க வேண்டும்: SSE-C, SSE-S3, SSE-KMS. இன்னும் சிறப்பாக, S3 உண்மையிலேயே பாதுகாப்பான டேம்பர் பாதுகாப்பை ஆதரிக்கிறது. 

தோல்விகளுக்கு பதில்

கணினி தோல்விகளை எவ்வாறு கையாளுகிறது என்பது பெரும்பாலும் கவனிக்கப்படாத ஒரு மெட்ரிக். பல்வேறு காரணங்களுக்காக தோல்விகள் ஏற்படுகின்றன, மேலும் பொருள் சேமிப்பகம் அனைத்தையும் கையாள வேண்டும்.

எடுத்துக்காட்டாக, தோல்வியின் ஒற்றை புள்ளி உள்ளது, இதன் மெட்ரிக் பூஜ்யம்.

துரதிர்ஷ்டவசமாக, பல பொருள் சேமிப்பக அமைப்புகள் சிறப்பு முனைகளைப் பயன்படுத்துகின்றன, அவை கிளஸ்டர் சரியாகச் செயல்படுவதற்கு இயக்கப்பட வேண்டும். இவற்றில் பெயர் முனைகள் அல்லது மெட்டாடேட்டா சேவையகங்கள் அடங்கும் - இது தோல்வியின் ஒரு புள்ளியை உருவாக்குகிறது.

தோல்வியின் பல புள்ளிகள் இருந்தாலும், பேரழிவு தோல்விகளைத் தாங்கும் திறன் மிக முக்கியமானது. வட்டுகள் தோல்வியடைகின்றன, சேவையகங்கள் தோல்வியடைகின்றன. தோல்வியை ஒரு சாதாரண நிலையில் கையாள வடிவமைக்கப்பட்ட மென்பொருளை உருவாக்குவதே முக்கியமானது. வட்டு அல்லது முனை தோல்வியுற்றால், அத்தகைய மென்பொருள் மாற்றங்கள் இல்லாமல் தொடர்ந்து வேலை செய்யும்.

தரவு அழித்தல் மற்றும் தரவு சிதைவு ஆகியவற்றிற்கு எதிரான உள்ளமைக்கப்பட்ட பாதுகாப்பானது, நீங்கள் சமநிலைத் தொகுதிகளை வைத்திருக்கும் பல வட்டுகள் அல்லது முனைகளை இழக்க நேரிடும் என்பதை உறுதிப்படுத்துகிறது - பொதுவாக பாதி வட்டுகள். அப்போதுதான் மென்பொருளால் தரவைத் திரும்பப் பெற முடியாது.

சுமையின் கீழ் தோல்வி அரிதாகவே சோதிக்கப்படுகிறது, ஆனால் அத்தகைய சோதனை தேவைப்படுகிறது. சுமை தோல்வியை உருவகப்படுத்துவது, தோல்விக்குப் பிறகு ஏற்படும் மொத்த செலவுகளைக் காண்பிக்கும்.

நிலைத்தன்மையும்

100% நிலைத்தன்மை மதிப்பெண் கண்டிப்பான நிலைத்தன்மை என்றும் அழைக்கப்படுகிறது. எந்தவொரு சேமிப்பக அமைப்பிலும் நிலைத்தன்மை ஒரு முக்கிய அங்கமாகும், ஆனால் வலுவான நிலைத்தன்மை அரிதானது. எடுத்துக்காட்டாக, Amazon S3 ListObject கண்டிப்பாக சீரானதாக இல்லை, அது முடிவில் மட்டுமே சீரானது.

கடுமையான நிலைத்தன்மை என்றால் என்ன? உறுதிப்படுத்தப்பட்ட PUT செயல்பாட்டைத் தொடர்ந்து அனைத்து செயல்பாடுகளுக்கும், பின்வருபவை நிகழ வேண்டும்:

• எந்த முனையிலிருந்தும் படிக்கும்போது புதுப்பிக்கப்பட்ட மதிப்பு தெரியும்.
• புதுப்பிப்பு கணு தோல்வி பணிநீக்கத்திலிருந்து பாதுகாக்கப்படுகிறது.

அதாவது ரெக்கார்டிங்கின் நடுவில் சொருகி இழுத்தால் ஒன்றும் இழக்கப்படாது. கணினி ஒருபோதும் சிதைந்த அல்லது காலாவதியான தரவை வழங்காது. பரிவர்த்தனை பயன்பாடுகள் முதல் காப்புப்பிரதி மற்றும் மீட்டெடுப்பு வரை பல சூழ்நிலைகளில் இது முக்கியமான பட்டியாகும்.

முடிவுக்கு

இவை இன்றைய நிறுவனங்களில் பயன்பாட்டு முறைகளைப் பிரதிபலிக்கும் புதிய பொருள் சேமிப்பக அளவீடுகள் ஆகும், இதில் செயல்திறன், நிலைத்தன்மை, அளவிடுதல், தவறான டொமைன்கள் மற்றும் S3 இணக்கத்தன்மை ஆகியவை கிளவுட் பயன்பாடுகள் மற்றும் பெரிய தரவு பகுப்பாய்வுகளுக்கான கட்டுமானத் தொகுதிகளாகும். நவீன தரவு அடுக்குகளை உருவாக்கும்போது விலைக்கு கூடுதலாக இந்தப் பட்டியலைப் பயன்படுத்த பரிந்துரைக்கிறேன். 

Mail.ru Cloud Solutions ஆப்ஜெக்ட் சேமிப்பிடம் பற்றி: S3 கட்டிடக்கலை. Mail.ru கிளவுட் சேமிப்பகத்தின் 3 வருட பரிணாம வளர்ச்சி.

வேறு என்ன படிக்க வேண்டும்:

1. S3 ஆப்ஜெக்ட் ஸ்டோரேஜ் Mail.ru Cloud Solutions இல் webhooks அடிப்படையிலான நிகழ்வால் இயக்கப்படும் பயன்பாட்டின் எடுத்துக்காட்டு.
2. Ceph ஐ விட அதிகம்: MCS கிளவுட் தொகுதி சேமிப்பகம் 
3. Mail.ru கிளவுட் சொல்யூஷன்ஸ் S3 ஆப்ஜெக்ட் சேமிப்பகத்துடன் கோப்பு முறைமையாக வேலை செய்கிறது.
4. S3 சேமிப்பகம் மற்றும் பிற தயாரிப்புகளுக்கான புதுப்பிப்புகள் பற்றிய செய்திகளுடன் எங்கள் டெலிகிராம் சேனல். 

ஆதாரம்: www.habr.com