Skyeng හිදී අපි සමාන්තර පරිමාණය ඇතුළුව Amazon Redshift භාවිතා කරමු, එබැවින් අපට intermix.io රසවත් සඳහා dotgo.com හි නිර්මාතෘ Stefan Gromoll විසින් මෙම ලිපිය සොයා ගන්නා ලදී. පරිවර්තනයෙන් පසුව, දත්ත ඉංජිනේරු Daniar Belkhodzhaev වෙතින් අපගේ අත්දැකීම් ටිකක්.
පොකුරට නව නෝඩ් එකතු කිරීමෙන් පරිමාණයට ඉඩ සලසයි. උපරිම ඉල්ලීම් ගණනකට මුහුණ දීමේ අවශ්‍යතාවය නෝඩ් අධික ලෙස සැපයීමට හේතු විය හැක. සමගාමී පරිමාණය, නව නෝඩ් එකතු කිරීමට ප්‍රතිවිරුද්ධව, අවශ්‍ය පරිදි පරිගණක බලය වැඩි කරයි.
Amazon Redshift සමාන්තර පරිමාණය Redshift පොකුරුවලට උපරිම ඉල්ලීම් පරිමාවන් හැසිරවීමට අමතර ධාරිතාවක් ලබා දෙයි. එය පසුබිමේ ඇති නව "සමාන්තර" පොකුරු වෙත ඉල්ලීම් ගෙනයාමෙන් ක්‍රියා කරයි. WLM වින්‍යාසය සහ රීති මත පදනම්ව ඉල්ලීම් යොමු කෙරේ.
සමාන්තර පරිමාණ මිලකරණය නිදහස් ස්ථරයක් සහිත ණය ආකෘතියක් මත පදනම් වේ. නොමිලේ බැර කිරීම්වලට ඉහළින්, ගෙවීම් සමාන්තර පරිමාණ පොකුරේ ඉල්ලීම් කරන කාලය මත පදනම් වේ.
කතුවරයා අභ්‍යන්තර පොකුරු වලින් එකක සමාන්තර පරිමාණය පරීක්ෂා කළේය. මෙම පෝස්ට් එකේ, ඔහු පරීක්ෂණ ප්රතිඵල ගැන කතා කරන අතර ආරම්භ කරන්නේ කෙසේද යන්න පිළිබඳ උපදෙස් ලබා දෙනු ඇත.
පොකුරු අවශ්යතා
සමාන්තර පරිමාණය භාවිතා කිරීමට, ඔබේ Amazon Redshift පොකුර පහත අවශ්යතා සපුරාලිය යුතුය:
- වේදිකාව: EC2-VPC;
- නෝඩ් වර්ගය: dc2.8xlarge, ds2.8xlarge, dc2.large හෝ ds2.xlarge;
- නෝඩ් ගණන: 2 සිට 32 දක්වා (තනි නෝඩ් පොකුරු සඳහා සහය නොදක්වයි).
පිළිගත හැකි ඉල්ලීම් වර්ග
සමාන්තර පරිමාණය සියලු ආකාරයේ විමසුම් සඳහා සුදුසු නොවේ. පළමු අනුවාදයේ, එය කොන්දේසි තුනක් සපුරාලන කියවීමේ ඉල්ලීම් පමණක් සකසයි:
- SELECT විමසුම් කියවීමට පමණි (තවත් වර්ග සැලසුම් කර ඇතත්);
- විමසුම INTERLEAVED වර්ග කිරීමේ විලාසය සහිත වගුවක් ගැන සඳහන් නොකරයි;
- විමසුම බාහිර වගු යොමු කිරීමට Amazon Redshift Spectrum භාවිතා නොකරයි.
Parallel Scaling Cluster වෙත යොමු කිරීමට, ඉල්ලීම පෝලිම් කළ යුතුය. අතිරේකව, පෝලිම සඳහා සුදුසුකම් ඇති විමසුම් , සමාන්තර පරිමාණ පොකුරු මත ධාවනය නොවේ.
පෝලිම් සහ SQA සඳහා නිසි වින්‍යාසයක් අවශ්‍ය වේ . අපි මුලින්ම ඔබේ WLM ප්‍රශස්ත කිරීමට නිර්දේශ කරමු - මෙය සමාන්තර පරිමාණයේ අවශ්‍යතාවය අඩු කරයි. තවද මෙය වැදගත් වන්නේ සමාන්තර පරිමාණය නිශ්චිත පැය ගණනකට පමණක් නොමිලේ වන බැවිනි. AWS ප්‍රකාශ කරන්නේ සමාන්තර පරිමාණය පාරිභෝගිකයින්ගෙන් 97%ක් සඳහා නොමිලේ වන අතර එය මිලකරණය පිළිබඳ ප්‍රශ්නයට අපව ගෙන එයි.
සමාන්තර පරිමාණයේ පිරිවැය
AWS සමාන්තර පරිමාණය සඳහා ණය ආකෘතියක් ඉදිරිපත් කරයි. එක් එක් ක්රියාකාරී පොකුරු දිනකට පැයක් දක්වා නොමිලේ සමාන්තර පරිමාණ ණය එකතු කරයි.
ඔබ ගෙවන්නේ ඔබේ සමාන්තර පරිමාණ පොකුරු භාවිතය ඔබට ලැබී ඇති බැර ප්‍රමාණය ඉක්මවන විට පමණි.
ගාස්තුව ගණනය කරනු ලබන්නේ නිදහස් අනුපාතයට වඩා ඉහලින් භාවිතා කරන සමාන්තර පොකුරක් සඳහා තත්පරයකට ඉල්ලුම මත අනුපාතයකටය. සමාන්තර පරිමාණ පොකුරක් සක්‍රිය කරන සෑම අවස්ථාවකම අවම වශයෙන් විනාඩියක ගාස්තුවක් සමඟින්, ඔබෙන් අය කරනු ලබන්නේ ඔබේ ඉල්ලීම්වල කාලසීමාව සඳහා පමණි. සාමාන්‍ය මිලකරණ මූලධර්ම මත පදනම්ව තත්පරයකට ඉල්ලුමේ අනුපාතය ගණනය කෙරේ , එනම්, එය නෝඩ් වර්ගය සහ ඔබේ පොකුරේ ඇති නෝඩ් ගණන මත රඳා පවතී.
සමාන්තර පරිමාණය දියත් කිරීම
එක් එක් WLM පෝලිම සඳහා සමාන්තර පරිමාණය ක්‍රියාරම්භ කරනු ලැබේ. AWS Redshift කොන්සෝලය වෙත ගොස් වම් සංචාලන මෙනුවෙන් Workload Management තෝරන්න. පහත පතන මෙනුවෙන් ඔබේ පොකුරු WLM පරාමිති සමූහය තෝරන්න.
සෑම පෝලිමකටම යාබදව "සමගාමී පරිමාණ කිරීමේ මාදිලිය" නමින් නව තීරුවක් ඔබට පෙනෙනු ඇත. පෙරනිමිය "ආබාධිත" වේ. "සංස්කරණය කරන්න" ක්ලික් කරන්න, ඔබට එක් එක් පෝලිම් සඳහා සැකසුම් වෙනස් කළ හැකිය.
වින්‍යාසය
නව කැප වූ පොකුරු වෙත සුදුසු ඉල්ලීම් ඉදිරිපත් කිරීමෙන් සමාන්තර පරිමාණය ක්‍රියා කරයි. නව පොකුරු වල ප්‍රධාන පොකුරට සමාන ප්‍රමාණය (වර්ගය සහ නෝඩ් ගණන) ඇත.
සමාන්තර පරිමාණය සඳහා භාවිතා කරන ලද පෙරනිමි පොකුරු සංඛ්‍යාව එකකි (1), සම්පූර්ණ පොකුරු දහයක් (10) දක්වා වින්‍යාස කිරීමේ හැකියාව ඇත.
සමාන්තර පරිමාණය සඳහා වන මුළු පොකුරු ගණන max_concurrency_scaling_clusters පරාමිතිය මඟින් සැකසිය හැක. මෙම පරාමිතියේ අගය වැඩි කිරීම අතිරේක අතිරික්ත පොකුරු සපයයි.
අධීක්ෂණය
AWS Redshift කොන්සෝලය තුළ අමතර ප්‍රස්ථාර කිහිපයක් තිබේ. Max Concurrency Scaling_clusters ප්‍රස්ථාරය කාලයත් සමඟ max_concurrency_scaling_clusters හි අගය පෙන්වයි.
සක්‍රිය පරිමාණ පොකුරු සංඛ්‍යාව පරිශීලක අතුරුමුහුණතෙහි “සමගාමී පරිමාණ ක්‍රියාකාරකම්” කොටසේ සංදර්ශන කෙරේ:
විමසුම් පටිත්තෙහි, විමසුම ක්‍රියාත්මක කළේ ප්‍රධාන පොකුරේද නැතිනම් සමාන්තර පරිමාණ පොකුරේද යන්න දැක්වෙන තීරුවක් ඇත:
කිසියම් විමසුමක් ප්‍රධාන පොකුරේ හෝ සමාන්තර පරිමාණ පොකුරක් හරහා ක්‍රියාත්මක කළේද යන්න නොසලකා, එය stl_query.concurrency_scaling_status හි ගබඩා කර ඇත.
1 අගයක් මඟින් විමසුම සමාන්තර පරිමාණ පොකුරේ ක්‍රියාත්මක වූ බව පෙන්නුම් කරන අතර අනෙකුත් අගයන් පෙන්නුම් කරන්නේ එය ප්‍රාථමික පොකුරේ ක්‍රියාත්මක වූ බවයි.
උදාහරණ:
SVCS_CONCURRENCY_SCALING_USAGE වැනි වෙනත් වගු සහ දර්ශනවල ද සමගාමී පරිමාණ තොරතුරු ගබඩා කර ඇත. මීට අමතරව, සමාන්තර පරිමාණය පිළිබඳ තොරතුරු ගබඩා කරන නාමාවලි වගු ගණනාවක් තිබේ.
ප්රතිඵල
කතුවරුන් 18/30/00 දින GMT ආසන්න වශයෙන් 29.03.2019:3:20 ට අභ්‍යන්තර පොකුරේ එක් පෝලිමක් සඳහා සමාන්තර පරිමාණය කිරීම ආරම්භ කළහ. max_concurrency_scaling_clusters පරාමිතිය 30/00/29.03.2019 දින XNUMX:XNUMX:XNUMX ට XNUMX දක්වා වෙනස් කරන ලදී.
ඉල්ලීම් පෝලිමක් අනුකරණය කිරීමට, අපි මෙම පෝලිම සඳහා තව් ගණන 15 සිට 5 දක්වා අඩු කළෙමු.
පහත දැක්වෙන්නේ intermix.io උපකරණ පුවරු ප්‍රස්ථාරයක් වන අතර එය තව් සංඛ්‍යාව අඩු කිරීමෙන් පසු ක්‍රියාත්මක වන සහ පෝලිමේ සිටින ඉල්ලීම් සංඛ්‍යාව පෙන්වයි.
පෝලිමේ ඉල්ලීම් සඳහා රැඳී සිටීමේ කාලය වැඩි වී ඇති බව අපට පෙනේ, උපරිම කාලය විනාඩි 5 කට වඩා වැඩි වේ.
මෙම කාලය තුළ සිදු වූ දේ පිළිබඳ AWS කොන්සෝලයෙන් අදාළ තොරතුරු මෙන්න:
Redshift විසින් වින්‍යාස කර ඇති පරිදි සමාන්තර පරිමාණ පොකුරු තුනක් (3) දියත් කරන ලදී. අපේ පර්ෂදයේ බොහෝ ඉල්ලීම් පෝලිම් ගැසී තිබුණද, මෙම පොකුරු ඌන ප්‍රයෝජනයට ගෙන ඇති බව පෙනේ.
භාවිත ප්‍රස්ථාරය පරිමාණ ක්‍රියාකාරකම් ප්‍රස්ථාරය සමඟ සහසම්බන්ධ වේ:
පැය කිහිපයකට පසු, කතුවරුන් පෝලිම පරීක්ෂා කළ අතර, ඉල්ලීම් 6ක් සමාන්තර පරිමාණයෙන් ක්‍රියාත්මක වන බවක් දිස් විය. අපි පරිශීලක අතුරුමුහුණත හරහා ඉල්ලීම් දෙකක් අහඹු ලෙස පරීක්ෂා කළෙමු. සමාන්තර පොකුරු කිහිපයක් එකවර ක්‍රියාත්මක වන විට මෙම අගයන් භාවිතා කරන්නේ කෙසේදැයි අපි පරීක්ෂා කර නැත.
සොයා ගැනීම්
සමාන්තර පරිමාණය මඟින් උපරිම පැටවීමේදී පෝලිමේ ගත කරන කාලය ඉල්ලීම් අඩු කළ හැක.
මූලික පරීක්ෂණයේ ප්රතිඵල මත පදනම්ව, පැටවීමේ ඉල්ලීම් සමඟ තත්වය අර්ධ වශයෙන් වැඩිදියුණු වී ඇති බව පෙනී ගියේය. කෙසේ වෙතත්, සමාන්තර පරිමාණය පමණක් සියලු සමගාමී ගැටළු විසඳුවේ නැත.
මෙයට හේතුව සමාන්තර පරිමාණය භාවිතා කළ හැකි විමසුම් වර්ග වල සීමාවන් නිසාය. උදාහරණයක් ලෙස, කතුවරුන් සතුව අන්තර් සම්බන්ධිත වර්ග කිරීමේ යතුරු සහිත වගු රාශියක් ඇති අතර අපගේ වැඩ ප්‍රමාණයෙන් වැඩි ප්‍රමාණයක් ලිවීම වේ.
සමාන්තර පරිමාණය WLM පිහිටුවීම සඳහා විශ්වීය විසඳුමක් නොවුනත්, මෙම විශේෂාංගය භාවිතා කිරීම සරල සහ සරල ය.
එබැවින්, ඔබේ WLM පෝලිම් සඳහා එය භාවිතා කිරීමට කතුවරයා නිර්දේශ කරයි. එක් සමාන්තර පොකුරකින් ආරම්භ කර නව පොකුරු සම්පූර්ණයෙන්ම භාවිතා කරන්නේද යන්න තීරණය කිරීම සඳහා කොන්සෝලය හරහා උපරිම භාරය නිරීක්ෂණය කරන්න.
AWS අමතර විමසුම් වර්ග සහ වගු සඳහා සහය එක් කරන බැවින්, සමාන්තර පරිමාණය ක්‍රමයෙන් වඩ වඩාත් කාර්යක්ෂම විය යුතුය.
Skyeng දත්ත ඉංජිනේරු Daniar Belkhodzhaev වෙතින් අදහස්
Skyeng හි අපි ද සමාන්තරව පරිමාණය කිරීමේ මතුවන හැකියාව වහාම දුටුවෙමු.
ක්‍රියාකාරීත්වය ඉතා ආකර්ශනීයයි, විශේෂයෙන් AWS ඇස්තමේන්තු කරන්නේ බොහෝ පරිශීලකයින්ට ඒ සඳහා අමතර මුදලක් ගෙවීමට පවා සිදු නොවන බවයි.එය එසේ වූයේ අප්‍රේල් මැද භාගයේදී අපට Redshift පොකුරට අසාමාන්‍ය ලෙස ඉල්ලීම් රාශියක් ඇති විය. මෙම කාල පරිච්ෙඡ්දය තුළ, අපි බොහෝ විට සමගාමී පරිමාණයට යොමු වූවෙමු; සමහර විට අමතර පොකුරක් නොනවත්වා දවසේ පැය 24ම වැඩ කළේය.
මෙය පෝලිම් සමඟ ගැටළුව සම්පූර්ණයෙන්ම විසඳීමට නොහැකි නම්, අවම වශයෙන් තත්වය පිළිගත හැකි බවට පත් කිරීමට මෙය හැකි විය.
අපගේ නිරීක්ෂණ බොහෝ දුරට intermix.io හි සිටින පුද්ගලයින්ගේ හැඟීම් සමඟ සමපාත වේ.
පෝලිමේ ඉල්ලීම් තිබුණත් සියලුම ඉල්ලීම් වහාම සමාන්තර පොකුරට යොමු නොකළ බවද අපට පෙනී ගියේය. පෙනෙන විදිහට මෙය සිදු වන්නේ සමාන්තර පොකුර ආරම්භ කිරීමට තවමත් කාලය ගත වන බැවිනි. එහි ප්රතිඵලයක් වශයෙන්, කෙටි කාලීන උපරිම බර පැටවීමේදී අපට තවමත් කුඩා පෝලිම් ඇති අතර, අනුරූප අනතුරු ඇඟවීම් අවුලුවාලීමට කාලය තිබේ.
අප්‍රේල් මාසයේදී අසාමාන්‍ය පැටවීම් වලින් මිදීමෙන් පසු, අපි, AWS අපේක්ෂා කළ පරිදි, ඉඳහිට භාවිත මාදිලියට - නිදහස් සම්මතය තුළට ඇතුළු වුණෙමු.
ඔබට AWS Cost Explorer හි ඔබගේ සමාන්තර පරිමාණ කිරීමේ පිරිවැය නිරීක්ෂණය කළ හැක. ඔබට Service - Redshift, Usage Type - CS තෝරාගත යුතුය, උදාහරණයක් ලෙස USW2-CS:dc2.large.ඔබට රුසියානු භාෂාවෙන් මිල ගණන් ගැන වැඩිදුර කියවිය හැකිය
මූලාශ්රය: www.habr.com