குபெர்னெட்ஸில் தரவு சேமிப்பு முறைகள்

ஹே ஹப்ர்!

மிகவும் சுவாரசியமான மற்றும் பயனுள்ள இன்னொன்றை வெளியிட்டுள்ளோம் என்பதை நினைவூட்டுகிறோம் ஒரு புத்தகம் குபெர்னெட்ஸ் வடிவங்களைப் பற்றி. இது எல்லாம் தொடங்கியது "வடிவங்கள்" பிரெண்டன் பர்ன்ஸ், மேலும், இந்த பிரிவில் எங்களுக்கு வேலை இருக்கிறது கொதிக்கிறது. இன்று, MinIO வலைப்பதிவிலிருந்து ஒரு கட்டுரையைப் படிக்க உங்களை அழைக்கிறோம், இது Kubernetes இல் தரவு சேமிப்பக முறைகளின் போக்குகள் மற்றும் பிரத்தியேகங்களை சுருக்கமாக கோடிட்டுக் காட்டுகிறது.

குபெர்னெட்ஸ் பாரம்பரிய பயன்பாட்டு மேம்பாடு மற்றும் வரிசைப்படுத்தல் முறைகளை அடிப்படையில் மாற்றியுள்ளார். இப்போது ஒரு குழு சில நாட்களில் ஒரு பயன்பாட்டை உருவாக்கலாம், சோதிக்கலாம் மற்றும் வரிசைப்படுத்தலாம் - பல சூழல்களில், அனைத்தும் குபெர்னெட்ஸ் கிளஸ்டர்களுக்குள். முந்தைய தலைமுறை தொழில்நுட்பத்துடன் இதுபோன்ற வேலைகள் வழக்கமாக வாரங்கள், மாதங்கள் இல்லையென்றால்.

இந்த முடுக்கம் Kubernetes வழங்கிய சுருக்கத்தால் சாத்தியமாகிறது - அதாவது, Kubernetes தானே உடல் அல்லது மெய்நிகர் இயந்திரங்களின் குறைந்த-நிலை விவரங்களுடன் தொடர்பு கொள்கிறது, பயனர்கள் விரும்பிய செயலி, விரும்பிய அளவு நினைவகம் மற்றும் கொள்கலனின் எண்ணிக்கையை அறிவிக்க அனுமதிக்கிறது. நிகழ்வுகள், மற்ற அளவுருக்கள் மத்தியில். குபெர்னெட்ஸை ஆதரிக்கும் ஒரு பெரிய சமூகம் மற்றும் அதன் தத்தெடுப்பு தொடர்ந்து விரிவடைந்து வருவதால், குபெர்னெட்ஸ் அனைத்து கொள்கலன் ஆர்கெஸ்ட்ரேஷன் தளங்களிலும் பரந்த வித்தியாசத்தில் முன்னணியில் உள்ளார்.

குபெர்னெட்டஸின் பயன்பாடு வளரும்போது, ​​அதன் சேமிப்பு முறைகள் பற்றிய குழப்பமும் அதிகரிக்கிறது..

குபெர்னெட்டஸ் பையின் (அதாவது, தரவு சேமிப்பு) ஒரு துண்டுக்காக அனைவரும் போட்டியிடுவதால், தரவு சேமிப்பகத்திற்கு வரும்போது, ​​சிக்னல் அதிக சத்தத்தில் மூழ்கடிக்கப்படுகிறது.
பயன்பாட்டு மேம்பாடு, வரிசைப்படுத்தல் மற்றும் மேலாண்மைக்கான நவீன மாதிரியை குபெர்னெட்டஸ் உள்ளடக்கியுள்ளது. இந்த நவீன மாதிரியானது கணக்கீட்டிலிருந்து தரவு சேமிப்பகத்தை துண்டிக்கிறது. குபெர்னெட்டஸின் சூழலில் பற்றின்மையை முழுமையாகப் புரிந்து கொள்ள, நிலையான மற்றும் நிலையற்ற பயன்பாடுகள் என்ன என்பதையும், தரவு சேமிப்பகம் அதற்கு எவ்வாறு பொருந்துகிறது என்பதையும் நீங்கள் புரிந்து கொள்ள வேண்டும். மற்ற தீர்வுகளின் POSIX/CSI அணுகுமுறையை விட S3 ஆல் பயன்படுத்தப்படும் REST API அணுகுமுறை தெளிவான நன்மைகளைக் கொண்டுள்ளது.

இந்தக் கட்டுரையில், குபெர்னெட்ஸில் உள்ள தரவு சேமிப்பக முறைகளைப் பற்றி பேசுவோம், மேலும் அவற்றுக்கிடையேயான வேறுபாடு என்ன, அது ஏன் முக்கியமானது என்பதை நன்கு புரிந்துகொள்வதற்கு மாநில மற்றும் நிலையற்ற பயன்பாடுகளுக்கு இடையிலான விவாதத்தைத் தொடுவோம். கன்டெய்னர்கள் மற்றும் குபெர்னெட்ஸுடன் வேலை செய்வதற்கான சிறந்த நடைமுறைகளின் வெளிச்சத்தில் மீதமுள்ள உரை பயன்பாடுகள் மற்றும் அவற்றின் தரவு சேமிப்பக வடிவங்களைப் பார்க்கும்.

நிலையற்ற கொள்கலன்கள்

கொள்கலன்கள் இயல்பிலேயே இலகுரக மற்றும் இடைக்காலம். அவற்றை எளிதாக நிறுத்தலாம், அகற்றலாம் அல்லது மற்றொரு முனைக்கு அனுப்பலாம் - அனைத்தும் நொடிகளில். ஒரு பெரிய கொள்கலன் ஆர்கெஸ்ட்ரேஷன் அமைப்பில், இதுபோன்ற செயல்பாடுகள் எல்லா நேரத்திலும் நடக்கும், மேலும் பயனர்கள் அத்தகைய மாற்றங்களைக் கூட கவனிக்க மாட்டார்கள். இருப்பினும், கொள்கலன் அது அமைந்துள்ள முனையில் எந்த சார்புகளையும் கொண்டிருக்கவில்லை என்றால் மட்டுமே நகர்வுகள் சாத்தியமாகும். அத்தகைய கொள்கலன்கள் வேலை செய்யும் என்று கூறப்படுகிறது நிலையற்ற.

மாநிலமான கொள்கலன்கள்

ஒரு கொள்கலன் உள்நாட்டில் இணைக்கப்பட்ட சாதனங்களில் (அல்லது ஒரு தொகுதி சாதனத்தில்) தரவைச் சேமித்து வைத்தால், தோல்வி ஏற்பட்டால், அது இருக்கும் தரவுக் களஞ்சியத்தை கொள்கலனுடன் சேர்த்து புதிய முனைக்கு நகர்த்த வேண்டும். இது முக்கியமானது, இல்லையெனில் கன்டெய்னரில் இயங்கும் அப்ளிகேஷன் சரியாகச் செயல்பட முடியாது, ஏனெனில் அது உள்ளூர் மீடியாவில் சேமிக்கப்பட்ட தரவை அணுக வேண்டும். அத்தகைய கொள்கலன்கள் வேலை செய்யும் என்று கூறப்படுகிறது மாநிலமான.

முற்றிலும் தொழில்நுட்பக் கண்ணோட்டத்தில், மாநில கொள்கலன்களை மற்ற முனைகளுக்கு நகர்த்தலாம். இது பொதுவாக விநியோகிக்கப்பட்ட கோப்பு முறைமைகளைப் பயன்படுத்தி அடையப்படுகிறது அல்லது அனைத்து முனைகளில் இயங்கும் கொள்கலன்களிலும் இணைக்கப்பட்ட பிணைய சேமிப்பிடத்தைத் தடுக்கிறது. இந்த வழியில், கொள்கலன்கள் நிலையான தரவு சேமிப்பிற்கான தொகுதிகளை அணுகுகின்றன, மேலும் தகவல் நெட்வொர்க் முழுவதும் அமைந்துள்ள வட்டுகளில் சேமிக்கப்படும். நான் இந்த முறையை அழைக்கிறேன் "மாநில கொள்கலன் அணுகுமுறை", மற்றும் மீதமுள்ள கட்டுரையில் நான் அதை சீரான தன்மைக்காக அழைப்பேன்.

ஒரு பொதுவான நிலையிலான கொள்கலன் அணுகுமுறையில், அனைத்து பயன்பாட்டுப் பாட்களும் ஒரே விநியோகிக்கப்பட்ட கோப்பு முறைமையுடன் இணைக்கப்பட்டுள்ளன—ஒரு வகையான பகிரப்பட்ட சேமிப்பகம், இதில் எல்லா பயன்பாட்டுத் தரவுகளும் இருக்கும். சில மாறுபாடுகள் சாத்தியம் என்றாலும், இது ஒரு உயர்நிலை அணுகுமுறை.

இப்போது மேகத்தை மையமாகக் கொண்ட உலகில் மாநிலக் கொள்கலன் அணுகுமுறை ஏன் எதிர்ப்பு வடிவமாக இருக்கிறது என்பதைப் பார்ப்போம்.

கிளவுட்-சொந்த பயன்பாட்டு வடிவமைப்பு

பாரம்பரியமாக, பயன்பாடுகள் தகவல் மற்றும் உள்ளூர் வட்டுகளின் கட்டமைக்கப்பட்ட சேமிப்பகத்திற்கு தரவுத்தளங்களைப் பயன்படுத்துகின்றன அல்லது அனைத்து கட்டமைக்கப்படாத அல்லது அரை-கட்டமைக்கப்பட்ட தரவுகள் கொட்டப்படும் விநியோகிக்கப்பட்ட கோப்பு முறைமைகள். கட்டமைக்கப்படாத தரவுகளின் அளவுகள் அதிகரித்ததால், டெவலப்பர்கள் POSIX மிகவும் அரட்டையடிக்கப்பட்டது, குறிப்பிடத்தக்க மேல்நிலையைக் கொண்டிருந்தது, மேலும் உண்மையான பெரிய அளவுகளுக்கு நகரும் போது பயன்பாட்டின் செயல்திறனைத் தடுக்கிறது.

இது முக்கியமாக தரவு சேமிப்பகத்திற்கான ஒரு புதிய தரநிலையின் தோற்றத்திற்கு பங்களித்தது, அதாவது கிளவுட் அடிப்படையிலான சேமிப்பகம், முதன்மையாக REST API ஐ அடிப்படையாகக் கொண்டு செயல்படுகிறது மற்றும் உள்ளூர் தரவு சேமிப்பகத்தின் சுமையான பராமரிப்பிலிருந்து பயன்பாட்டை விடுவித்தது. இந்த வழக்கில், பயன்பாடு நிலையற்ற பயன்முறையில் திறம்பட செல்கிறது (மாநிலம் தொலை சேமிப்பகத்தில் இருப்பதால்). நவீன பயன்பாடுகள் இந்த காரணியை மனதில் கொண்டு புதிதாக உருவாக்கப்பட்டுள்ளன. ஒரு விதியாக, ஒரு வகையான (பதிவுகள், மெட்டாடேட்டா, குமிழ்கள், முதலியன) தரவை செயலாக்கும் எந்தவொரு நவீன பயன்பாடும் கிளவுட்-சார்ந்த முன்னுதாரணத்தின்படி கட்டமைக்கப்படுகிறது, அங்கு மாநிலமானது அதன் சேமிப்பகத்திற்காக பிரத்யேகமாக அர்ப்பணிக்கப்பட்ட மென்பொருள் அமைப்புக்கு மாற்றப்படுகிறது.

மாநிலமான கொள்கலன் அணுகுமுறை இந்த முழு முன்னுதாரணத்தையும் அது தொடங்கிய இடத்திலேயே திரும்பச் செலுத்துகிறது!

தரவைச் சேமிப்பதற்கு POSIX இடைமுகங்களைப் பயன்படுத்துவதன் மூலம், பயன்பாடுகள் நிலைத்தன்மையுடன் செயல்படுகின்றன, இதன் காரணமாக, கிளவுட்-மைய வடிவமைப்பின் மிக முக்கியமான கொள்கைகளிலிருந்து அவை புறப்படுகின்றன, அதாவது உள்வரும் பயன்பாட்டைப் பொறுத்து பயன்பாட்டுத் தொழிலாளி நூல்களின் அளவை மாற்றும் திறன். உள்ளீடு. ஏற்றுதல், தற்போதைய முனை தோல்வியுற்றவுடன் புதிய முனைக்கு நகர்த்துதல் மற்றும் பல.

இந்தச் சூழ்நிலையை உன்னிப்பாகப் பார்த்தால், ஒரு தரவுக் கடையைத் தேர்ந்தெடுக்கும்போது, ​​நாம் மீண்டும் மீண்டும் POSIX vs. REST API இக்கட்டான நிலையை எதிர்கொள்கிறோம், ஆனால் Kubernetes சூழல்களின் பரவலான தன்மை காரணமாக POSIX சிக்கல்களின் கூடுதல் மோசமடைவதைக் காண்கிறோம். குறிப்பாக,

• POSIX என்பது அரட்டை: POSIX செமாண்டிக்ஸ் ஒவ்வொரு செயல்பாட்டிற்கும் மெட்டாடேட்டா மற்றும் செயல்பாட்டின் நிலையை பராமரிக்க உதவும் கோப்பு விளக்கங்களுடன் தொடர்புடையதாக இருக்க வேண்டும். இது உண்மையான மதிப்பு இல்லாத குறிப்பிடத்தக்க செலவுகளை விளைவிக்கிறது. ஆப்ஜெக்ட் ஸ்டோரேஜ் ஏபிஐகள், குறிப்பாக எஸ்3 ஏபிஐ, இந்த தேவைகளை நீக்கி, பயன்பாட்டை சுட அனுமதிக்கிறது, பின்னர் அழைப்பை "மறக்க" செய்கிறது. செயல் வெற்றிகரமாக இருந்ததா இல்லையா என்பதை சேமிப்பக அமைப்பு பதில் குறிக்கிறது. அது தோல்வியுற்றால், பயன்பாடு மீண்டும் முயற்சி செய்யலாம்.
• நெட்வொர்க் கட்டுப்பாடுகள்: ஒரு விநியோகிக்கப்பட்ட அமைப்பில், அதே இணைக்கப்பட்ட மீடியாவில் தரவை எழுத முயற்சிக்கும் பல பயன்பாடுகள் இருக்கலாம் என்று குறிக்கப்படுகிறது. எனவே, தரவு பரிமாற்ற அலைவரிசைக்கு (ஊடகத்திற்கு தரவை அனுப்ப) பயன்பாடுகள் ஒன்றோடு ஒன்று போட்டியிடுவது மட்டுமல்லாமல், இயற்பியல் வட்டுகள் முழுவதும் தரவை அனுப்புவதன் மூலம் சேமிப்பக அமைப்பே இந்த அலைவரிசைக்கு போட்டியிடும். POSIX இன் லாவகத்தன்மை காரணமாக, நெட்வொர்க் அழைப்புகளின் எண்ணிக்கை பல மடங்கு அதிகரிக்கிறது. மறுபுறம், S3 API ஆனது கிளையண்டிலிருந்து சேவையகத்திற்கு வரும் நெட்வொர்க் அழைப்புகளுக்கும் சேவையகத்திற்குள் நிகழும் அழைப்புகளுக்கும் இடையே தெளிவான வேறுபாட்டை வழங்குகிறது.
• பாதுகாப்பு: POSIX பாதுகாப்பு மாதிரியானது செயலில் உள்ள மனித பங்கேற்பிற்காக வடிவமைக்கப்பட்டுள்ளது: நிர்வாகிகள் ஒவ்வொரு பயனர் அல்லது குழுவிற்கும் குறிப்பிட்ட அணுகல் நிலைகளை உள்ளமைக்கிறார்கள். இந்த முன்னுதாரணமானது மேகத்தை மையமாகக் கொண்ட உலகத்திற்கு மாற்றியமைப்பது கடினம். நவீன பயன்பாடுகள் API-அடிப்படையிலான பாதுகாப்பு மாதிரிகளைச் சார்ந்தது, அணுகல் உரிமைகள் கொள்கைகளின் தொகுப்பாக வரையறுக்கப்படுகின்றன, சேவை கணக்குகள், தற்காலிக நற்சான்றிதழ்கள் போன்றவை ஒதுக்கப்படுகின்றன.
• கட்டுப்பாட்டுத்: ஸ்டேட்ஃபுல் கன்டெய்னர்கள் சில மேலாண்மை மேல்நிலைகளைக் கொண்டுள்ளன. தரவுக்கான இணையான அணுகலை ஒத்திசைத்தல், தரவு நிலைத்தன்மையை உறுதி செய்தல் பற்றி நாங்கள் பேசுகிறோம், இவை அனைத்திற்கும் எந்த தரவு அணுகல் வடிவங்களைப் பயன்படுத்த வேண்டும் என்பதை கவனமாகக் கருத்தில் கொள்ள வேண்டும். கூடுதல் மென்பொருளை நிறுவ வேண்டும், கண்காணிக்க வேண்டும் மற்றும் கட்டமைக்க வேண்டும், கூடுதல் மேம்பாட்டு முயற்சியைக் குறிப்பிடவில்லை.

கொள்கலன் தரவு சேமிப்பு இடைமுகம்

கன்டெய்னர் ஸ்டோரேஜ் இன்டர்ஃபேஸ் (சிஎஸ்ஐ) குபெர்னெட்ஸ் வால்யூம் லேயரின் பெருக்கத்திற்கு பெரும் உதவியாக இருந்தபோதிலும், அதை மூன்றாம் தரப்பு சேமிப்பக விற்பனையாளர்களுக்கு ஓரளவு அவுட்சோர்சிங் செய்வதன் மூலம், ஸ்டேட்ஃபுல் கன்டெய்னர் அணுகுமுறையே பரிந்துரைக்கப்பட்ட முறையாகும் என்ற நம்பிக்கைக்கு கவனக்குறைவாக பங்களித்தது. குபெர்னெட்ஸில் தரவைச் சேமிக்கிறது.

குபெர்னெட்ஸில் இயங்கும் போது மரபு பயன்பாடுகளுக்கு தன்னிச்சையான தொகுதி மற்றும் கோப்பு சேமிப்பக அமைப்புகளை வழங்குவதற்கான ஒரு தரநிலையாக CSI உருவாக்கப்பட்டது. மேலும், இந்தக் கட்டுரையில் காட்டப்பட்டுள்ளபடி, ஆப்ஜெக்ட் ஸ்டோரேஜ் ஏபிஐக்கு ஆதரவைச் சேர்க்க இயலாது, பயன்பாடே ஒரு மரபு அமைப்பாக இருக்கும் போது மட்டுமே நிலைநிறுத்தப்பட்ட கொள்கலன் அணுகுமுறை (மற்றும் அதன் தற்போதைய வடிவத்தில் CSI) அர்த்தமுள்ளதாக இருக்கும். .

CSI ஐ அதன் தற்போதைய வடிவத்தில் பயன்படுத்துவது, அதாவது நவீன பயன்பாடுகளுடன் பணிபுரியும் போது தொகுதிகளை ஏற்றுவது, POSIX பாணியில் தரவு சேமிப்பகம் ஒழுங்கமைக்கப்பட்ட கணினிகளில் எழும் தோராயமான அதே சிக்கல்களை நாங்கள் சந்திப்போம் என்பதைப் புரிந்துகொள்வது அவசியம்.

ஒரு சிறந்த அணுகுமுறை

இந்த வழக்கில், பெரும்பாலான பயன்பாடுகள் இயல்பாக அல்லது நிலையற்ற வேலைக்காக குறிப்பாக வடிவமைக்கப்படவில்லை என்பதைப் புரிந்துகொள்வது அவசியம். இந்த நடத்தை ஒட்டுமொத்த கணினி கட்டமைப்பு மற்றும் குறிப்பிட்ட வடிவமைப்பு தேர்வுகளை சார்ந்துள்ளது. மாநில பயன்பாடுகளைப் பற்றி கொஞ்சம் பேசலாம்.

கொள்கையளவில், அனைத்து பயன்பாட்டுத் தரவையும் பல பரந்த வகைகளாகப் பிரிக்கலாம்:

• பதிவு தரவு
• நேரமுத்திரை தரவு
• பரிவர்த்தனை தரவு
• மெட்டாடேட்டா
• கொள்கலன் படங்கள்
• குமிழ் (பைனரி பெரிய பொருள்) தரவு

இந்த தரவு வகைகள் அனைத்தும் நவீன சேமிப்பக இயங்குதளங்களில் சிறப்பாக ஆதரிக்கப்படுகின்றன, மேலும் இந்த குறிப்பிட்ட வடிவங்கள் ஒவ்வொன்றிலும் தரவை வழங்குவதற்கு பல கிளவுட்-நேட்டிவ் இயங்குதளங்கள் உள்ளன. எடுத்துக்காட்டாக, பரிவர்த்தனை தரவு மற்றும் மெட்டாடேட்டா CockroachDB, YugaByte போன்ற நவீன கிளவுட்-நேட்டிவ் தரவுத்தளத்தில் இருக்கலாம். கொள்கலன் படங்கள் அல்லது குமிழ் தரவு MinIO அடிப்படையில் ஒரு டோக்கர் பதிவேட்டில் சேமிக்கப்படும். டைம்ஸ்டாம்ப் தரவை InfluxDB போன்ற நேரத் தொடர் தரவுத்தளத்தில் சேமிக்க முடியும். ஒவ்வொரு தரவு வகையையும் அதன் பயன்பாடுகளையும் பற்றி இங்கு விரிவாகப் பேச மாட்டோம், ஆனால் உள்ளூர் வட்டு மவுண்டிங்கைச் சார்ந்திருக்கும் நிலையான தரவு சேமிப்பைத் தவிர்ப்பதே பொதுவான யோசனை.

கூடுதலாக, பயன்பாடுகளுக்கான தற்காலிக கோப்பு சேமிப்பகமாக செயல்படும் தற்காலிக கேச்சிங் லேயரை வழங்குவது பெரும்பாலும் பயனுள்ளதாக இருக்கும், ஆனால் பயன்பாடுகள் உண்மையின் ஆதாரமாக இந்த லேயரை சார்ந்து இருக்கக்கூடாது.

மாநில பயன்பாட்டு சேமிப்பு

பெரும்பாலான சந்தர்ப்பங்களில் பயன்பாடுகளை நிலையற்றதாக வைத்திருப்பது பயனுள்ளது என்றாலும், தரவுத்தளங்கள், பொருள் அங்காடிகள், முக்கிய மதிப்புக் கடைகள் போன்ற தரவைச் சேமிப்பதற்காக வடிவமைக்கப்பட்ட பயன்பாடுகள் நிலையானதாக இருக்க வேண்டும். இந்த பயன்பாடுகள் ஏன் குபெர்னெட்டஸில் பயன்படுத்தப்படுகின்றன என்பதைப் பார்ப்போம். MinIO ஐ எடுத்துக்கொள்வோம், ஆனால் இதே போன்ற கொள்கைகள் வேறு எந்த பெரிய கிளவுட்-நேட்டிவ் சேமிப்பக அமைப்புக்கும் பொருந்தும்.

கிளவுட்-நேட்டிவ் அப்ளிகேஷன்கள் கொள்கலன்களில் உள்ளார்ந்த நெகிழ்வுத்தன்மையை முழுமையாகப் பயன்படுத்த வடிவமைக்கப்பட்டுள்ளன. இதன் பொருள், அவர்கள் பயன்படுத்தப்படும் சூழல் குறித்து அவர்கள் எந்த அனுமானமும் செய்யவில்லை. எடுத்துக்காட்டாக, MinIO ஆனது உள்ளக அழித்தல் குறியீட்டு பொறிமுறையைப் பயன்படுத்தி, பாதி டிஸ்க்குகள் செயலிழந்தாலும், செயல்பாட்டில் இருக்க போதுமான மீள்தன்மையை கணினிக்கு வழங்குகிறது. MinIO தனியுரிம சர்வர் பக்க ஹாஷிங் மற்றும் குறியாக்கத்தைப் பயன்படுத்தி தரவு ஒருமைப்பாடு மற்றும் பாதுகாப்பை நிர்வகிக்கிறது.

இத்தகைய கிளவுட்-சென்ட்ரிக் பயன்பாடுகளுக்கு, லோக்கல் பெர்சிஸ்டண்ட் வால்யூம்கள் (பிவி) காப்புப் பிரதி சேமிப்பகமாக மிகவும் வசதியானவை. மூலத் தரவைச் சேமிப்பதற்கான திறனை உள்ளூர் PV வழங்குகிறது, அதே சமயம் இந்த PVகளின் மேல் இயங்கும் பயன்பாடுகள் தரவை அளவிடுவதற்கும் வளர்ந்து வரும் தரவுத் தேவைகளை நிர்வகிப்பதற்கும் தகவல்களைச் சேகரிக்கின்றன.

இந்த அணுகுமுறை சிஎஸ்ஐ-அடிப்படையிலான பிவிகளை விட மிகவும் எளிமையானது மற்றும் கணிசமாக அளவிடக்கூடியது. முக்கிய விஷயம் என்னவென்றால், இந்த அடுக்குகள் வழக்கமாக வடிவமைக்கப்பட்ட பயன்பாடுகளுடன் முரண்படுகின்றன.

கணக்கீடுகளிலிருந்து தரவை துண்டிக்க ஒரு வலுவான இயக்கம்

இந்த கட்டுரையில், நிலையைச் சேமிக்காமல் பயன்பாடுகள் எவ்வாறு செயல்படுகின்றன என்பதைப் பற்றி பேசினோம், அல்லது வேறுவிதமாகக் கூறினால், தரவைச் சேமிப்பது கணினியிலிருந்து துண்டிக்கப்படுகிறது. முடிவில், இந்த போக்கின் சில உண்மையான எடுத்துக்காட்டுகளைப் பார்ப்போம்.

ஸ்பார்க், ஒரு முக்கிய தரவு பகுப்பாய்வு தளம், பாரம்பரியமாக நிலையானது மற்றும் HDFS இல் பயன்படுத்தப்படுகிறது. இருப்பினும், ஸ்பார்க் ஒரு கிளவுட்-மைய உலகில் நகரும் போது, ​​இயங்குதளமானது `s3a` ஐப் பயன்படுத்தி நிலையற்றதாகப் பயன்படுத்தப்படுகிறது. ஸ்பார்க் மற்ற அமைப்புகளுக்கு நிலையை மாற்ற s3a ஐப் பயன்படுத்துகிறது, அதே சமயம் ஸ்பார்க் கொள்கலன்கள் முற்றிலும் நிலையற்ற முறையில் செயல்படுகின்றன. பெரிய தரவு பகுப்பாய்வு துறையில் மற்ற முக்கிய நிறுவன வீரர்கள், குறிப்பாக, வெர்டிகா, டெரடாட்டா, கிரீன்பிளம் தரவு சேமிப்பகத்தைப் பிரித்தல் மற்றும் அவற்றின் மீதான கணக்கீடுகளுடன் பணிபுரியவும் அவை நகர்கின்றன.

Presto, Tensorflow to R, Jupyter உள்ளிட்ட பிற பெரிய பகுப்பாய்வு தளங்களிலும் இதே போன்ற வடிவங்களைக் காணலாம். ரிமோட் கிளவுட் ஸ்டோரேஜ் சிஸ்டங்களுக்கு நிலையை ஆஃப்லோட் செய்வதன் மூலம், உங்கள் பயன்பாட்டை நிர்வகிப்பது மற்றும் அளவிடுவது மிகவும் எளிதாகிறது. கூடுதலாக, இது பல்வேறு சூழல்களுக்கு பயன்பாட்டின் பெயர்வுத்திறனை எளிதாக்குகிறது.

ஆதாரம்: www.habr.com