Amazon Redshift ትይዩ ልኬት መመሪያ እና የፈተና ውጤቶች

Skyeng ላይ Amazon Redshiftን እንጠቀማለን፣ ትይዩ ልኬትን ጨምሮ፣ስለዚህ ይህን ጽሑፍ የdotgo.com መስራች Stefan Gromoll ለ intermix.io አስደሳች ሆኖ አግኝተነዋል። ከትርጉሙ በኋላ፣ ከዳታ መሐንዲስ ዳኒየር ቤልሆድዛይቭ ትንሽ ልምዳችን።

Amazon Redshift አርክቴክቸር አዲስ አንጓዎችን ወደ ክላስተር በማከል ልኬትን ይፈቅዳል። ከፍተኛ ቁጥር ያላቸውን ጥያቄዎችን የመቋቋም አስፈላጊነት የአንጓዎችን ከመጠን በላይ አቅርቦትን ያስከትላል። አዲስ ኖዶችን ከመጨመር በተቃራኒ የኮንኩሬሲንግ ስካሊንግ እንደ አስፈላጊነቱ የኮምፒዩተር ሃይልን ይጨምራል።

የአማዞን Redshift ትይዩ ልኬት ለ Redshift ስብስቦች ከፍተኛ የጥያቄ መጠኖችን ለመቆጣጠር ተጨማሪ አቅም ይሰጣል። ጥያቄዎችን ከበስተጀርባ ወደ አዲስ "ትይዩ" ስብስቦች በማንቀሳቀስ ይሰራል። ጥያቄዎች የሚተላለፉት በWLM ውቅር እና ደንቦች ላይ በመመስረት ነው።

ትይዩ የዋጋ አወጣጥ ዋጋ በነጻ ደረጃ ባለው የብድር ሞዴል ላይ የተመሰረተ ነው። ከነጻ ክሬዲቶች በላይ፣ ክፍያ የሚከፈለው ትይዩ ስካሊንግ ክላስተር በጠየቀ ጊዜ ነው።

ደራሲው ከውስጣዊ ዘለላዎች በአንዱ ላይ ትይዩ ልኬትን ሞክሯል። በዚህ ልኡክ ጽሁፍ ላይ ስለ ፈተናው ውጤት ይናገራል እና እንዴት እንደሚጀመር ጠቃሚ ምክሮችን ይሰጣል.

የክላስተር መስፈርቶች

ትይዩ ልኬትን ለመጠቀም፣ የእርስዎ Amazon Redshift ክላስተር የሚከተሉትን መስፈርቶች ማሟላት አለበት፡

- መድረክ; EC2-VPC;
- የመስቀለኛ መንገድ ዓይነት; dc2.8xlarge፣ ds2.8xlarge፣ dc2.ትልቅ ወይም ds2.xlarge;
- የአንጓዎች ብዛት; ከ 2 እስከ 32 (ነጠላ አንጓዎች ስብስቦች አይደገፉም).

ተቀባይነት ያላቸው የጥያቄ ዓይነቶች

ትይዩ ልኬት ለሁሉም አይነት መጠይቆች ተስማሚ አይደለም። በመጀመሪያው ስሪት ውስጥ ሶስት ሁኔታዎችን የሚያሟሉ ጥያቄዎችን ማንበብ ብቻ ነው የሚያስኬደው፡-

— የመምረጥ መጠይቆች ተነባቢ-ብቻ ናቸው (ምንም እንኳን ተጨማሪ ዓይነቶች የታቀዱ ቢሆኑም)
- መጠይቁ ከ INTERLEAVED የመደርደር ዘይቤ ጋር ሠንጠረዥን አይጠቅስም።
- መጠይቁ የአማዞን Redshift Spectrum የውጭ ጠረጴዛዎችን ለመጥቀስ አይጠቀምም።

ወደ ትይዩ ስካሊንግ ክላስተር ለመምራት ጥያቄው ወረፋ መያዝ አለበት። በተጨማሪም፣ ለወረፋው ብቁ የሆኑ መጠይቆች SQA (አጭር መጠይቅ ማጣደፍ)፣ በትይዩ ሚዛን ዘለላዎች አይሄድም።

ወረፋዎች እና SQA ትክክለኛ ውቅር ያስፈልጋቸዋል Redshift የስራ ጫና አስተዳደር (WLM). በመጀመሪያ የእርስዎን WLM እንዲያሻሽሉ እንመክራለን - ይህ ትይዩ ልኬትን አስፈላጊነት ይቀንሳል። እና ይህ አስፈላጊ ነው ምክንያቱም ትይዩ ልኬት ለተወሰነ ሰዓታት ብቻ ነፃ ነው። AWS ትይዩ ልኬት ለ97% ደንበኞች ነፃ እንደሚሆን ይናገራል፣ ይህም ወደ ዋጋ አወሳሰን ጉዳይ ያመጣናል።

ትይዩ ልኬት ዋጋ

AWS ለትይዩ ልኬት የክሬዲት ሞዴል ያቀርባል። እያንዳንዱ ንቁ ስብስብ የአማዞን Redshift ክሬዲቶችን በየሰዓቱ ይሰበስባል፣ በቀን እስከ አንድ ሰዓት የሚደርስ ነጻ ትይዩ የማስኬጃ ክሬዲቶች።

የሚከፍሉት የእርስዎ ትይዩ ስኬሊንግ ክላስተር አጠቃቀም ከተቀበሉት የክሬዲት መጠን ሲበልጥ ብቻ ነው።

ዋጋው በሰከንድ የፍላጎት መጠን ይሰላል ለትይዩ ክላስተር ከነጻው ተመን በላይ ጥቅም ላይ ይውላል። የሚከፍሉት ለጥያቄዎችዎ የቆይታ ጊዜ ብቻ ነው፣ በእያንዳንዱ ጊዜ ትይዩ ስካሊንግ ክላስተር በነቃ ጊዜ በትንሹ ለአንድ ደቂቃ ክፍያ። በሰከንድ የፍላጎት መጠን በአጠቃላይ የዋጋ አወጣጥ መርሆዎች ላይ ተመስርቶ ይሰላል የአማዞን Redshift, ያም ማለት እንደ መስቀለኛ መንገድ አይነት እና በክላስተርዎ ውስጥ ባሉ የአንጓዎች ብዛት ይወሰናል.

ትይዩ ልኬትን በማስጀመር ላይ

ለእያንዳንዱ የWLM ወረፋ ትይዩ ልኬት ይነሳል። ወደ AWS Redshift ኮንሶል ይሂዱ እና ከግራ አሰሳ ምናሌ ውስጥ የስራ ጭነት አስተዳደርን ይምረጡ። ከሚከተለው ተቆልቋይ ሜኑ የክላስተርዎን WLM መለኪያ ቡድን ይምረጡ።

ከእያንዳንዱ ወረፋ ቀጥሎ "Concurrency Scaling Mode" የሚባል አዲስ አምድ ታያለህ። ነባሪው "ተሰናክሏል" ነው። "አርትዕ" ን ጠቅ ያድርጉ እና ለእያንዳንዱ ወረፋ ቅንጅቶችን መቀየር ይችላሉ.

ውቅር

ትይዩ ልኬት የሚሰራው ተገቢ ጥያቄዎችን ወደ አዲስ የወሰኑ ዘለላዎች በማስተላለፍ ነው። አዲስ ስብስቦች ልክ እንደ ዋናው ዘለላ ተመሳሳይ መጠን (የኖዶች ዓይነት እና ቁጥር) አላቸው።

ለትይዩ ልኬት ጥቅም ላይ የሚውለው ነባሪ የክላስተር ቁጥር አንድ (1) ሲሆን በአጠቃላይ እስከ አስር (10) ዘለላዎችን የማዋቀር ችሎታ አለው።
ለትይዩ ልኬት አጠቃላይ ስብስቦች ብዛት በ max_concurrency_scaling_clusters መለኪያ ሊዘጋጅ ይችላል። የዚህን ግቤት እሴት መጨመር ተጨማሪ ተጨማሪ ዘለላዎችን ያቀርባል.

ክትትል

በAWS Redshift ኮንሶል ውስጥ ብዙ ተጨማሪ ግራፎች አሉ። ከፍተኛው የተዋቀረ የኮንኩሪየር ልኬት ክላስተር ገበታ በጊዜ ሂደት የ max_concurrency_scaling_clusters ዋጋን ያሳያል።

የንቁ ስኬል ዘለላዎች ቁጥር በተጠቃሚ በይነገጽ በ“ኮንኩሬሲንግ ማካካሻ እንቅስቃሴ” ክፍል ውስጥ ይታያል፡

በጥያቄዎች ትሩ ውስጥ፣ መጠይቁ የተፈፀመው በዋናው ክላስተር ወይም በትይዩ የስኬል ክላስተር ውስጥ መሆኑን የሚያመለክት አምድ አለ።

አንድ የተወሰነ ጥያቄ በዋናው ክላስተር ውስጥ ወይም በትይዩ ስኬል ክላስተር የተከናወነ ቢሆንም፣ በ stl_query.concurrency_scaling_status ውስጥ ተከማችቷል።

የ 1 እሴት የሚያመለክተው መጠይቁ በትይዩ ሚዛን ክላስተር ውስጥ መፈጸሙን ነው፣ ሌሎች እሴቶች ግን በዋና ክላስተር ውስጥ መፈጸሙን ያመለክታሉ።

ለምሳሌ:

የተመጣጣኝ ልኬት መረጃ እንደ SVCS_CONCURRENCY_SCALING_USAGE ባሉ ሌሎች ሠንጠረዦች እና እይታዎች ውስጥም ተከማችቷል። በተጨማሪም, ስለ ትይዩ ልኬት መረጃን የሚያከማቹ በርካታ የካታሎግ ሰንጠረዦች አሉ.

ውጤቶች

ደራሲዎቹ በ18/30/00 ከቀኑ 29.03.2019፡3፡20 ጂኤምቲ ላይ ለአንድ ወረፋ ትይዩ ማስኬድ ጀመሩ።የmax_concurrency_scaling_clusters መለኪያን በ30/00/29.03.2019 በግምት XNUMX፡XNUMX፡XNUMX ላይ ወደ XNUMX ቀይረውታል።

የጥያቄ ወረፋን ለማስመሰል፣ ለዚህ ​​ወረፋ የቦታዎችን ብዛት ከ15 ወደ 5 ዝቅ አድርገናል።

ከዚህ በታች የ intermix.io ዳሽቦርድ ገበታ የቦታዎች ብዛት ከቀነሱ በኋላ የሚሄዱ እና የሚሰለፉ የጥያቄዎች ብዛት የሚያሳይ ነው።

በወረፋው ውስጥ ለጥያቄዎች የሚቆይበት ጊዜ እንደጨመረ እና ከፍተኛው ጊዜ ከ 5 ደቂቃዎች በላይ እንደሆነ እናያለን።

በዚህ ጊዜ ውስጥ ስለተከሰተው ነገር ከAWS ኮንሶል የተገኘ ጠቃሚ መረጃ ይኸውና፡

Redshift እንደ ተዋቀረ ሶስት (3) ትይዩ የመጠን ስብስቦችን ጀምሯል። ምንም እንኳን በክላስተር ውስጥ ያሉ ብዙ ጥያቄዎች ቢሰለፉም እነዚህ ዘለላዎች ጥቅም ላይ ያልዋሉ ይመስላል።

የአጠቃቀም ግራፉ ከማሳያ እንቅስቃሴ ግራፍ ጋር ይዛመዳል፡-

ከጥቂት ሰአታት በኋላ ደራሲዎቹ ወረፋውን ፈትሸው እና 6 ጥያቄዎች በትይዩ ስኬል እየሄዱ ያሉ ይመስላል። እንዲሁም በተጠቃሚ በይነገጽ በኩል ሁለት ጥያቄዎችን በዘፈቀደ ሞክረናል። ብዙ ትይዩ ዘለላዎች በአንድ ጊዜ ንቁ ሲሆኑ እነዚህን እሴቶች እንዴት እንደምንጠቀም አላረጋገጥንም።

ግኝቶች

ትይዩ ልኬት በከፍተኛ ጭነቶች ጊዜ ጥያቄዎች በወረፋው ላይ የሚያሳልፉትን ጊዜ ሊቀንስ ይችላል።

በመሠረታዊ የፈተና ውጤቶች ላይ በመመስረት, የመጫን ጥያቄዎች ሁኔታው ​​በከፊል ተሻሽሏል. ነገር ግን፣ ትይዩ ልኬታ ብቻውን ሁሉንም የተመጣጠነ ችግሮችን ሊፈታ አልቻለም።

ይህ የሆነበት ምክንያት ትይዩ ልኬትን ሊጠቀሙ በሚችሉ የጥያቄ ዓይነቶች ላይ ባሉ ገደቦች ምክንያት ነው። ለምሳሌ፣ ደራሲዎቹ የተጠላለፉ የመደርደር ቁልፎች ያሏቸው ብዙ ሰንጠረዦች አሏቸው፣ እና አብዛኛው የስራ ጫናችን በመፃፍ ላይ ነው።

ምንም እንኳን ትይዩ ልኬት WLM ን ለማዋቀር ሁለንተናዊ መፍትሄ ባይሆንም ይህንን ባህሪ መጠቀም ቀላል እና ቀላል ነው።

ስለዚህ፣ ደራሲው ለWLM ወረፋዎችዎ እንዲጠቀሙበት ይመክራል። አዲሶቹ ዘለላዎች ሙሉ በሙሉ ጥቅም ላይ እየዋሉ መሆናቸውን ለማወቅ በአንድ ትይዩ ክላስተር ይጀምሩ እና በኮንሶሉ ውስጥ ያለውን ከፍተኛ ጭነት ይቆጣጠሩ።

AWS ለተጨማሪ መጠይቅ ዓይነቶች እና ሠንጠረዦች ድጋፍን ሲያክል፣ ትይዩ ልኬት ቀስ በቀስ የበለጠ እና የበለጠ ቀልጣፋ መሆን አለበት።

ከ Daniyar Belkhodzhaev, Skyeng የውሂብ መሐንዲስ አስተያየት

እኛ ስካይንግ የምንገኝ ደግሞ ትይዩ የመሆን እድልን ወዲያውኑ አስተውለናል።
ተግባራቱ በጣም ማራኪ ነው፣ በተለይ AWS እንደሚገምተው ብዙ ተጠቃሚዎች ለእሱ ተጨማሪ ክፍያ እንኳን እንደማይከፍሉ ግምት ውስጥ ያስገባ ነው።

በኤፕሪል አጋማሽ ላይ ለሬድሺፍት ክላስተር ያልተለመደ የጥያቄ ግርግር አጋጥሞን ነበር። በዚህ ወቅት፣ ብዙ ጊዜ ወደ ኮንኩሬሲንግ ስካሊንግ እንጠቀም ነበር፤ አንዳንድ ጊዜ ተጨማሪ ክላስተር በቀን 24 ሰዓት ያለምንም ማቆም ይሠራ ነበር።

ይህም ችግሩን በሰልፍ ሙሉ በሙሉ ለመፍታት ካልሆነ ቢያንስ ሁኔታውን ተቀባይነት እንዲኖረው አስችሎታል።

የእኛ ምልከታዎች በአብዛኛው ከ intermix.io ወንዶቹ አስተያየት ጋር ይጣጣማሉ።

በወረፋው ላይ የሚጠበቁ ጥያቄዎች ቢኖሩም፣ ሁሉም ጥያቄዎች ወዲያውኑ ወደ ትይዩ ክላስተር እንዳልተላለፉ አስተውለናል። ይህ የሆነበት ምክንያት ትይዩ ክላስተር ገና ለመጀመር ጊዜ ስለሚወስድ ነው። በውጤቱም, በአጭር ጊዜ ከፍተኛ ጭነቶች ውስጥ አሁንም ትናንሽ ወረፋዎች አሉን, እና ተጓዳኝ ማንቂያዎች ለመቀስቀስ ጊዜ አላቸው.

በሚያዝያ ወር ላይ ያልተለመዱ ሸክሞችን ካስወገድን በኋላ፣ እኛ፣ AWS እንደጠበቀው፣ አልፎ አልፎ ወደ መጠቀሚያ ሁነታ ገብተናል - በነጻ መደበኛ።
የእርስዎን ትይዩ የማስኬጃ ወጪዎች በAWS Cost Explorer ውስጥ መከታተል ይችላሉ። አገልግሎት - Redshift, Usage Type - CS, ለምሳሌ USW2-CS:dc2.large መምረጥ ያስፈልግዎታል.

በሩሲያኛ ስለ ዋጋዎች የበለጠ ማንበብ ይችላሉ እዚህ.

ምንጭ: hab.com