Amazon Redshift பேரலல் ஸ்கேலிங் வழிகாட்டி மற்றும் சோதனை முடிவுகள்

ஸ்கையெங்கில், இணையான அளவீடு உட்பட Amazon Redshift ஐப் பயன்படுத்துகிறோம், எனவே intermix.io க்காக dotgo.com இன் நிறுவனர் Stefan Gromoll இன் இந்தக் கட்டுரையை நாங்கள் கண்டறிந்தோம். மொழிபெயர்ப்பிற்குப் பிறகு, தரவுப் பொறியாளர் டானியார் பெல்கோட்ஜேவ்விடமிருந்து எங்கள் அனுபவம்.

அமேசான் ரெட்ஷிஃப்ட் கட்டிடக்கலை கிளஸ்டரில் புதிய முனைகளைச் சேர்ப்பதன் மூலம் அளவிடுதலை அனுமதிக்கிறது. கோரிக்கைகளின் உச்ச எண்ணிக்கையைச் சமாளிக்க வேண்டிய அவசியம் முனைகளை அதிகமாக வழங்குவதற்கு வழிவகுக்கும். கன்கரன்சி ஸ்கேலிங், புதிய முனைகளைச் சேர்ப்பதற்கு மாறாக, தேவைக்கேற்ப கணினி சக்தியை அதிகரிக்கிறது.

அமேசான் ரெட்ஷிஃப்ட் பேரலல் ஸ்கேலிங் ரெட்ஷிஃப்ட் கிளஸ்டர்களுக்கு உச்ச கோரிக்கை தொகுதிகளைக் கையாள கூடுதல் திறனை வழங்குகிறது. பின்னணியில் உள்ள புதிய "இணை" கிளஸ்டர்களுக்கு கோரிக்கைகளை நகர்த்துவதன் மூலம் இது செயல்படுகிறது. WLM உள்ளமைவு மற்றும் விதிகளின் அடிப்படையில் கோரிக்கைகள் அனுப்பப்படுகின்றன.

இணையான அளவிடுதல் விலையானது இலவச அடுக்குடன் கூடிய கிரெடிட் மாடலை அடிப்படையாகக் கொண்டது. இலவச கிரெடிட்களுக்கு மேல், பேரலல் ஸ்கேலிங் கிளஸ்டர் கோரிக்கைகளை செயலாக்கும் நேரத்தை அடிப்படையாகக் கொண்டது.

ஆசிரியர் உள் கிளஸ்டர்களில் ஒன்றில் இணையான அளவிடுதலை சோதித்தார். இந்த இடுகையில், அவர் சோதனை முடிவுகளைப் பற்றி பேசுவார் மற்றும் எப்படி தொடங்குவது என்பதற்கான உதவிக்குறிப்புகளை வழங்குவார்.

கிளஸ்டர் தேவைகள்

இணையான அளவிடுதலைப் பயன்படுத்த, உங்கள் Amazon Redshift கிளஸ்டர் பின்வரும் தேவைகளைப் பூர்த்தி செய்ய வேண்டும்:

- நடைமேடை: EC2-VPC;
- முனை வகை: dc2.8xlarge, ds2.8xlarge, dc2.large அல்லது ds2.xlarge;
- முனைகளின் எண்ணிக்கை: 2 முதல் 32 வரை (ஒற்றை முனை கிளஸ்டர்கள் ஆதரிக்கப்படவில்லை).

ஏற்றுக்கொள்ளக்கூடிய கோரிக்கை வகைகள்

அனைத்து வகையான வினவல்களுக்கும் இணையான அளவிடுதல் பொருந்தாது. முதல் பதிப்பில், இது மூன்று நிபந்தனைகளை பூர்த்தி செய்யும் வாசிப்பு கோரிக்கைகளை மட்டுமே செயலாக்குகிறது:

— SELECT வினவல்கள் படிக்க மட்டுமே (மேலும் வகைகள் திட்டமிடப்பட்டிருந்தாலும்);
— வினவல் INTERLEAVED வரிசையாக்க பாணியைக் கொண்ட அட்டவணையைக் குறிப்பிடவில்லை;
- வினவல் வெளிப்புற அட்டவணைகளைக் குறிப்பிட Amazon Redshift Spectrum ஐப் பயன்படுத்தாது.

பேரலல் ஸ்கேலிங் கிளஸ்டருக்கு அனுப்ப, கோரிக்கை வரிசையில் இருக்க வேண்டும். கூடுதலாக, வரிசைக்குத் தகுதியான வினவல்கள் SQA (குறுகிய வினவல் முடுக்கம்), இணை அளவிலான கிளஸ்டர்களில் இயங்காது.

வரிசைகள் மற்றும் SQA க்கு சரியான கட்டமைப்பு தேவை Redshift பணிச்சுமை மேலாண்மை (WLM). முதலில் உங்கள் WLM ஐ மேம்படுத்த பரிந்துரைக்கிறோம் - இது இணையான அளவிடுதலின் தேவையை குறைக்கும். மேலும் இது முக்கியமானது, ஏனெனில் இணை அளவீடு ஒரு குறிப்பிட்ட மணிநேரங்களுக்கு மட்டுமே இலவசம். 97% வாடிக்கையாளர்களுக்கு இணையான அளவீடு இலவசமாக இருக்கும் என்று AWS கூறுகிறது, இது விலை நிர்ணயம் பற்றிய சிக்கலுக்கு நம்மைக் கொண்டுவருகிறது.

இணையான அளவிடுதலுக்கான செலவு

AWS இணையான அளவிடுதலுக்கான கடன் மாதிரியை வழங்குகிறது. ஒவ்வொரு செயலில் உள்ள கிளஸ்டரும் அமேசான் ரெட்ஷிஃப்ட் ஒரு மணிநேரத்திற்கு ஒரு மணிநேரம் வரை கிரெடிட்களை குவிக்கிறது, ஒரு நாளைக்கு ஒரு மணிநேரம் இலவச இணையான அளவிடுதல் கிரெடிட்கள்

உங்கள் பேரலல் ஸ்கேலிங் கிளஸ்டர்களின் பயன்பாடு நீங்கள் பெற்ற வரவுகளின் அளவை விட அதிகமாக இருந்தால் மட்டுமே நீங்கள் பணம் செலுத்துவீர்கள்.

இலவச விகிதத்திற்கு மேல் பயன்படுத்தப்படும் இணையான கிளஸ்டருக்கான விலை வினாடிக்கு ஆன்-டிமாண்ட் விகிதத்தில் கணக்கிடப்படுகிறது. உங்கள் கோரிக்கைகளின் காலத்திற்கு மட்டுமே கட்டணம் விதிக்கப்படும், ஒவ்வொரு முறையும் பேரலல் ஸ்கேலிங் கிளஸ்டர் செயல்படுத்தப்படும்போது குறைந்தபட்சம் ஒரு நிமிடம் கட்டணம் வசூலிக்கப்படும். ஒரு வினாடிக்கான தேவை விகிதம் பொதுவான விலைக் கொள்கைகளின் அடிப்படையில் கணக்கிடப்படுகிறது அமேசான் ரெட்ஷிஃப்ட், அதாவது, இது கணு வகை மற்றும் உங்கள் கிளஸ்டரில் உள்ள முனைகளின் எண்ணிக்கையைப் பொறுத்தது.

இணையான அளவிடுதலைத் தொடங்குதல்

ஒவ்வொரு WLM வரிசைக்கும் இணையான அளவிடுதல் தூண்டப்படுகிறது. AWS Redshift கன்சோலுக்குச் சென்று இடது வழிசெலுத்தல் மெனுவிலிருந்து பணிச்சுமை மேலாண்மையைத் தேர்ந்தெடுக்கவும். பின்வரும் கீழ்தோன்றும் மெனுவிலிருந்து உங்கள் கிளஸ்டரின் WLM அளவுருக் குழுவைத் தேர்ந்தெடுக்கவும்.

ஒவ்வொரு வரிசைக்கும் அடுத்துள்ள "ஒத்திசைவு அளவீட்டு முறை" என்ற புதிய நெடுவரிசையைக் காண்பீர்கள். இயல்புநிலை "முடக்கப்பட்டது". "திருத்து" என்பதைக் கிளிக் செய்து, ஒவ்வொரு வரிசையிலும் அமைப்புகளை மாற்றலாம்.

கட்டமைப்பு

புதிய பிரத்யேக கிளஸ்டர்களுக்கு பொருத்தமான கோரிக்கைகளை அனுப்புவதன் மூலம் இணையான அளவிடுதல் செயல்படுகிறது. புதிய க்ளஸ்டர்கள் முக்கிய கிளஸ்டரின் அதே அளவு (வகை மற்றும் முனைகளின் எண்ணிக்கை) கொண்டிருக்கும்.

மொத்தமாக பத்து (1) க்ளஸ்டர்கள் வரை உள்ளமைக்கும் திறனுடன், இணை அளவிடுதலுக்கு பயன்படுத்தப்படும் கிளஸ்டர்களின் இயல்புநிலை எண்ணிக்கை ஒன்று (10).
இணை அளவிடுதலுக்கான மொத்த கிளஸ்டர்களின் எண்ணிக்கையை max_concurrency_scaling_clusters அளவுருவால் அமைக்கலாம். இந்த அளவுருவின் மதிப்பை அதிகரிப்பது கூடுதல் தேவையற்ற கிளஸ்டர்களை வழங்குகிறது.

கண்காணிப்பு

AWS Redshift கன்சோலில் பல கூடுதல் வரைபடங்கள் உள்ளன. மேக்ஸ் கட்டமைக்கப்பட்ட கன்கரன்சி ஸ்கேலிங் கிளஸ்டர்கள் விளக்கப்படம் காலப்போக்கில் max_concurrency_scaling_clusters இன் மதிப்பைக் காட்டுகிறது.

செயலில் உள்ள அளவிடுதல் கிளஸ்டர்களின் எண்ணிக்கை, "ஒத்திசைவு அளவிடுதல் செயல்பாடு" பிரிவில் உள்ள பயனர் இடைமுகத்தில் காட்டப்படும்:

வினவல்கள் தாவலில், வினவல் பிரதான கிளஸ்டரில் அல்லது இணையான அளவிடுதல் கிளஸ்டரில் செயல்படுத்தப்பட்டதா என்பதைக் குறிக்கும் நெடுவரிசை உள்ளது:

ஒரு குறிப்பிட்ட வினவல் பிரதான கிளஸ்டரில் செயல்படுத்தப்பட்டதா அல்லது இணையான அளவிடுதல் கிளஸ்டர் மூலம் செயல்படுத்தப்பட்டதா என்பதைப் பொருட்படுத்தாமல், அது stl_query.concurrency_scaling_status இல் சேமிக்கப்படும்.

1 இன் மதிப்பு, வினவல் இணை அளவிலான கிளஸ்டரில் செயல்படுத்தப்பட்டதைக் குறிக்கிறது, மற்ற மதிப்புகள் முதன்மை கிளஸ்டரில் செயல்படுத்தப்பட்டதைக் குறிக்கிறது.

உதாரணம்:

SVCS_CONCURRENCY_SCALING_USAGE போன்ற வேறு சில அட்டவணைகள் மற்றும் காட்சிகளில் கன்கரன்சி ஸ்கேலிங் தகவல் சேமிக்கப்படுகிறது. கூடுதலாக, இணை அளவிடுதல் பற்றிய தகவல்களைச் சேமிக்கும் அட்டவணை அட்டவணைகள் பல உள்ளன.

Результаты

ஆசிரியர்கள் 18/30/00 அன்று தோராயமாக 29.03.2019:3:20 GMT மணிக்கு உள் கிளஸ்டரில் ஒரு வரிசையில் இணையான அளவைத் தொடங்கினார்கள். max_concurrency_scaling_clusters அளவுருவை 30/00/29.03.2019 அன்று தோராயமாக XNUMX:XNUMX:XNUMX மணிக்கு XNUMX ஆக மாற்றினர்.

கோரிக்கை வரிசையை உருவகப்படுத்த, இந்த வரிசைக்கான இடங்களின் எண்ணிக்கையை 15ல் இருந்து 5 ஆகக் குறைத்துள்ளோம்.

கீழே உள்ள intermix.io டாஷ்போர்டு விளக்கப்படம், ஸ்லாட்டுகளின் எண்ணிக்கையைக் குறைத்த பிறகு, கோரிக்கைகள் இயங்கும் மற்றும் வரிசையில் நிற்கும்.

வரிசையில் கோரிக்கைகளுக்கான காத்திருப்பு நேரம் அதிகரித்திருப்பதைக் காண்கிறோம், அதிகபட்ச நேரம் 5 நிமிடங்களுக்கு மேல்.

இந்த நேரத்தில் என்ன நடந்தது என்பது பற்றிய AWS கன்சோலில் இருந்து தொடர்புடைய தகவல் இங்கே:

Redshift கட்டமைக்கப்பட்ட மூன்று (3) இணையான அளவிடுதல் கிளஸ்டர்களை அறிமுகப்படுத்தியது. எங்கள் கிளஸ்டரில் பல கோரிக்கைகள் வரிசையாக இருந்தாலும், இந்த கிளஸ்டர்கள் குறைவாகப் பயன்படுத்தப்பட்டதாகத் தெரிகிறது.

பயன்பாட்டு வரைபடம் அளவிடுதல் செயல்பாட்டு வரைபடத்துடன் தொடர்புடையது:

சில மணிநேரங்களுக்குப் பிறகு, ஆசிரியர்கள் வரிசையைச் சரிபார்த்தனர், மேலும் 6 கோரிக்கைகள் இணையான அளவீட்டில் இயங்குவது போல் தெரிகிறது. பயனர் இடைமுகம் மூலம் இரண்டு கோரிக்கைகளை நாங்கள் தோராயமாக சோதித்தோம். பல இணையான கிளஸ்டர்கள் ஒரே நேரத்தில் செயலில் இருக்கும்போது இந்த மதிப்புகளை எவ்வாறு பயன்படுத்துவது என்பதை நாங்கள் சரிபார்க்கவில்லை.

கண்டுபிடிப்புகள்

பேரலல் ஸ்கேலிங், உச்ச சுமைகளின் போது வரிசையில் செலவழிக்கும் நேரத்தைக் குறைக்கலாம்.

அடிப்படை சோதனையின் முடிவுகளின் அடிப்படையில், கோரிக்கைகளை ஏற்றுவதற்கான நிலைமை ஓரளவு மேம்பட்டுள்ளது. இருப்பினும், இணை அளவீடு மட்டுமே அனைத்து ஒத்திசைவு சிக்கல்களையும் தீர்க்கவில்லை.

இதற்கு இணையான அளவிடுதலைப் பயன்படுத்தக்கூடிய வினவல் வகைகளின் மீதான கட்டுப்பாடுகள் காரணமாகும். எடுத்துக்காட்டாக, ஆசிரியர்களிடம் பல அட்டவணைகள் உள்ளடங்கிய வரிசை விசைகள் உள்ளன, மேலும் எங்கள் பணிச்சுமையின் பெரும்பகுதி எழுதுவதுதான்.

டபிள்யூஎல்எம் அமைப்பதற்கு இணையான அளவிடுதல் உலகளாவிய தீர்வாக இல்லை என்றாலும், இந்த அம்சத்தைப் பயன்படுத்துவது எளிமையானது மற்றும் நேரடியானது.

எனவே, உங்கள் WLM வரிசைகளுக்கு இதைப் பயன்படுத்த ஆசிரியர் பரிந்துரைக்கிறார். புதிய கிளஸ்டர்கள் முழுமையாகப் பயன்படுத்தப்படுகிறதா என்பதைத் தீர்மானிக்க, ஒரு இணையான கிளஸ்டருடன் தொடங்கி, கன்சோல் மூலம் உச்ச சுமையைக் கண்காணிக்கவும்.

கூடுதல் வினவல் வகைகள் மற்றும் அட்டவணைகளுக்கான ஆதரவை AWS சேர்ப்பதால், இணை அளவீடு படிப்படியாக மேலும் மேலும் திறமையாக மாற வேண்டும்.

Daniar Belkhodzhaev, Skyeng தரவுப் பொறியாளர் கருத்து

ஸ்கைங்கில் உள்ள நாங்கள் இணையான அளவிடுதலின் வெளிப்படும் சாத்தியத்தை உடனடியாகக் கவனித்தோம்.
செயல்பாடு மிகவும் கவர்ச்சிகரமானதாக உள்ளது, குறிப்பாக பெரும்பாலான பயனர்கள் கூடுதல் கட்டணம் செலுத்த வேண்டியதில்லை என்று AWS மதிப்பிட்டுள்ளது.

ஏப்ரல் நடுப்பகுதியில், ரெட்ஷிஃப்ட் கிளஸ்டருக்கான கோரிக்கைகளின் அசாதாரண அலைச்சல் எங்களுக்கு இருந்தது. இந்த காலகட்டத்தில், நாங்கள் அடிக்கடி கன்கரன்சி ஸ்கேலிங்கை நாடினோம்; சில நேரங்களில் கூடுதல் கிளஸ்டர் 24 மணிநேரமும் நிறுத்தாமல் வேலை செய்யும்.

வரிசைகளில் உள்ள சிக்கலை முழுமையாக தீர்க்க முடியாவிட்டால், குறைந்தபட்சம் சூழ்நிலையை ஏற்றுக்கொள்ள இது சாத்தியமாக்கியது.

எங்கள் அவதானிப்புகள் பெரும்பாலும் intermix.io இலிருந்து வரும் தோழர்களின் பதிவுகளுடன் ஒத்துப்போகின்றன.

கோரிக்கைகள் வரிசையில் காத்திருந்தாலும், அனைத்து கோரிக்கைகளும் உடனடியாக இணை கிளஸ்டருக்கு அனுப்பப்படவில்லை என்பதையும் நாங்கள் கவனித்தோம். இணையான கிளஸ்டர் தொடங்க இன்னும் நேரம் எடுக்கும் என்பதால் வெளிப்படையாக இது நடக்கிறது. இதன் விளைவாக, குறுகிய கால உச்ச சுமைகளின் போது எங்களிடம் இன்னும் சிறிய வரிசைகள் உள்ளன, அதனுடன் தொடர்புடைய அலாரங்கள் தூண்டுவதற்கு நேரம் உள்ளது.

ஏப்ரல் மாதத்தில் அசாதாரண சுமைகளிலிருந்து விடுபட்டு, AWS எதிர்பார்த்தபடி, எப்போதாவது பயன்பாட்டு பயன்முறையில் நுழைந்தோம் - இலவச விதிமுறைக்குள்.
AWS காஸ்ட் எக்ஸ்ப்ளோரரில் உங்கள் இணையான அளவிடுதல் செலவுகளைக் கண்காணிக்கலாம். நீங்கள் Service - Redshift, Usage Type - CS ஐ தேர்ந்தெடுக்க வேண்டும், எடுத்துக்காட்டாக USW2-CS:dc2.large.

ரஷ்ய மொழியில் விலைகளைப் பற்றி மேலும் படிக்கலாம் இங்கே.

ஆதாரம்: www.habr.com