Amazon Redshift समानान्तर स्केलिंग गाइड र परीक्षण परिणामहरू

Skyeng मा हामी समानान्तर स्केलिंग सहित Amazon Redshift प्रयोग गर्छौं, त्यसैले हामीले dotgo.com का संस्थापक स्टेफन ग्रोमोलको यो लेख intermix.io चाखलाग्दो भेट्टायौं। अनुवाद पछि, डाटा इन्जिनियर Daniyar Belkhodzhaev हाम्रो अनुभव को एक सानो।

अमेजन रेडशिफ्ट वास्तुकला क्लस्टरमा नयाँ नोडहरू थपेर स्केलिङलाई अनुमति दिन्छ। अनुरोधहरूको शिखर संख्याको सामना गर्न आवश्यक नोडहरूको अति-प्रविजनको नेतृत्व गर्न सक्छ। Concurrency Scaling, नयाँ नोडहरू थप्ने विपरित, आवश्यकता अनुसार कम्प्युटिङ पावर बढाउँछ।

Amazon Redshift समानान्तर स्केलिंगले Redshift क्लस्टरहरूलाई शिखर अनुरोध भोल्युमहरू ह्यान्डल गर्न थप क्षमता दिन्छ। यसले पृष्ठभूमिमा नयाँ "समानान्तर" क्लस्टरहरूमा अनुरोधहरू सारेर काम गर्छ। अनुरोधहरू WLM कन्फिगरेसन र नियमहरूमा आधारित छन्।

समानान्तर स्केलिंग मूल्य निर्धारण नि:शुल्क टियर भएको क्रेडिट मोडेलमा आधारित हुन्छ। माथि नि:शुल्क क्रेडिटहरू, भुक्तानी समानान्तर स्केलिङ क्लस्टरले अनुरोधहरूको प्रक्रियामा आधारित हुन्छ।

लेखकले आन्तरिक क्लस्टरहरू मध्ये एकमा समानान्तर स्केलिङ परीक्षण गरे। यस पोष्टमा, उसले परीक्षण नतिजाहरूको बारेमा कुरा गर्नेछ र कसरी सुरू गर्ने भन्ने बारे सुझावहरू दिनेछ।

क्लस्टर आवश्यकताहरू

समानान्तर स्केलिंग प्रयोग गर्न, तपाईंको Amazon Redshift क्लस्टरले निम्न आवश्यकताहरू पूरा गर्नुपर्छ:

- प्लेटफर्म: EC2-VPC;
- नोड प्रकार: dc2.8xlarge, ds2.8xlarge, dc2.large वा ds2.xlarge;
- नोड्स संख्या: 2 देखि 32 सम्म (एकल नोड क्लस्टरहरू समर्थित छैनन्)।

स्वीकार्य अनुरोध प्रकारहरू

समानान्तर मापन सबै प्रकारका प्रश्नहरूको लागि उपयुक्त छैन। पहिलो संस्करणमा, यसले तीनवटा सर्तहरू पूरा गर्ने पढ्ने अनुरोधहरूलाई मात्र प्रक्रिया गर्छ:

— SELECT क्वेरीहरू पढ्नका लागि मात्र हुन् (यद्यपि थप प्रकारहरू योजनाबद्ध छन्);
- क्वेरीले INTERLEAVED क्रमबद्ध शैलीको साथ तालिकालाई सन्दर्भ गर्दैन;
- क्वेरीले बाह्य तालिकाहरू सन्दर्भ गर्न Amazon Redshift स्पेक्ट्रम प्रयोग गर्दैन।

समानान्तर स्केलिङ क्लस्टरमा रुट गर्न, अनुरोधलाई लामबद्ध गर्नुपर्छ। थप रूपमा, लामका लागि योग्य प्रश्नहरू SQA (छोटो क्वेरी एक्सेलेरेशन), समानान्तर स्केल क्लस्टरहरूमा चल्ने छैन।

लाम र SQA लाई उचित कन्फिगरेसन चाहिन्छ Redshift Workload Management (WLM)। हामी तपाइँको WLM लाई पहिले अनुकूलन गर्न सिफारिस गर्छौं - यसले समानान्तर मापनको आवश्यकतालाई कम गर्नेछ। र यो महत्त्वपूर्ण छ किनभने समानान्तर स्केलिंग केवल निश्चित घण्टाको लागि निःशुल्क छ। AWS दावी गर्दछ कि समानान्तर स्केलिंग 97% ग्राहकहरूको लागि निःशुल्क हुनेछ, जसले हामीलाई मूल्य निर्धारणको मुद्दामा ल्याउँछ।

समानान्तर मापन लागत

AWS समानान्तर स्केलिंगको लागि क्रेडिट मोडेल प्रदान गर्दछ। प्रत्येक सक्रिय क्लस्टर अमेजन रेडशिफ्ट प्रति दिन एक घण्टा सम्म नि:शुल्क समानान्तर स्केलिंग क्रेडिटहरू प्रति घण्टामा जम्मा गर्दछ।

तपाईंले मात्र भुक्तानी गर्नुहुन्छ जब तपाईंको समानान्तर स्केलिङ क्लस्टरहरूको प्रयोगले तपाईंले प्राप्त गर्नुभएको क्रेडिटको मात्रा भन्दा बढी हुन्छ।

लागत एक समानान्तर क्लस्टरको लागि प्रति-सेकेन्ड-मा-माग दरमा गणना गरिन्छ जुन नि: शुल्क दर माथि प्रयोग गरिन्छ। तपाइँलाई तपाइँको अनुरोधको अवधिको लागि मात्र चार्ज गरिन्छ, प्रत्येक पटक समानान्तर स्केलिङ क्लस्टर सक्रिय हुँदा एक मिनेटको न्यूनतम शुल्कको साथ। प्रति-सेकेन्ड अन-डिमांड दर सामान्य मूल्य निर्धारण सिद्धान्तहरूमा आधारित हुन्छ अमेजन रेडशिफ्ट, त्यो हो, यो नोडको प्रकार र तपाईंको क्लस्टरमा नोडहरूको संख्यामा निर्भर गर्दछ।

समानान्तर स्केलिङ सुरु गर्दै

प्रत्येक WLM लामको लागि समानान्तर स्केलिंग ट्रिगर गरिएको छ। AWS Redshift कन्सोलमा जानुहोस् र बायाँ नेभिगेसन मेनुबाट वर्कलोड व्यवस्थापन चयन गर्नुहोस्। निम्न ड्रप-डाउन मेनुबाट आफ्नो क्लस्टरको WLM प्यारामिटर समूह चयन गर्नुहोस्।

तपाईंले प्रत्येक लामको छेउमा "कन्करन्सी स्केलिङ मोड" भनिने नयाँ स्तम्भ देख्नुहुनेछ। पूर्वनिर्धारित "असक्षम" हो। "सम्पादन गर्नुहोस्" मा क्लिक गर्नुहोस् र तपाइँ प्रत्येक लामको लागि सेटिङहरू परिवर्तन गर्न सक्नुहुन्छ।

कन्फिगरेसन

नयाँ समर्पित क्लस्टरहरूमा उपयुक्त अनुरोधहरू फर्वार्ड गरेर समानान्तर मापन कार्य गर्दछ। नयाँ क्लस्टरहरूमा मुख्य क्लस्टरको रूपमा समान आकार (नोडहरूको प्रकार र संख्या) छ।

समानान्तर मापनका लागि प्रयोग गरिएका क्लस्टरहरूको पूर्वनिर्धारित संख्या एक (1) हो, कुल दस (10) क्लस्टरहरू सम्म कन्फिगर गर्ने क्षमताको साथ।
समानान्तर मापनका लागि क्लस्टरहरूको कुल संख्या max_concurrency_scaling_clusters प्यारामिटरद्वारा सेट गर्न सकिन्छ। यस प्यारामिटरको मान बढाउनाले अतिरिक्त अनावश्यक क्लस्टरहरू प्रदान गर्दछ।

निगरानी गर्दै

AWS Redshift कन्सोलमा धेरै अतिरिक्त ग्राफहरू उपलब्ध छन्। अधिकतम कन्फिगर गरिएको कन्करन्सी स्केलिङ क्लस्टर चार्टले समयसँगै max_concurrency_scaling_clusters को मान देखाउँछ।

सक्रिय स्केलिंग क्लस्टरहरूको संख्या प्रयोगकर्ता इन्टरफेसमा "कन्करन्सी स्केलिंग गतिविधि" सेक्सनमा प्रदर्शित हुन्छ:

क्वेरी ट्याबमा, क्वेरी मुख्य क्लस्टरमा वा समानान्तर स्केलिङ क्लस्टरमा कार्यान्वयन गरिएको थियो कि भनेर संकेत गर्ने एउटा स्तम्भ छ:

कुनै विशेष क्वेरी मुख्य क्लस्टरमा वा समानान्तर स्केलिङ क्लस्टर मार्फत कार्यान्वयन गरिएको भए तापनि, यो stl_query.concurrency_scaling_status मा भण्डारण गरिन्छ।

१ को मानले प्रश्न समानान्तर स्केल क्लस्टरमा कार्यान्वयन भएको संकेत गर्छ, जबकि अन्य मानहरूले यो प्राथमिक क्लस्टरमा कार्यान्वयन भएको संकेत गर्छ।

उदाहरण:

कन्करन्सी स्केलिङ जानकारी केही अन्य तालिका र दृश्यहरूमा पनि भण्डार गरिएको छ, जस्तै SVCS_CONCURRENCY_SCALING_USAGE। थप रूपमा, त्यहाँ धेरै क्याटलग तालिकाहरू छन् जुन समानान्तर स्केलिंगको बारेमा जानकारी भण्डारण गर्दछ।

Результаты

लेखकहरूले 18/30/00 मा लगभग 29.03.2019:3:20 GMT मा आन्तरिक क्लस्टरमा एउटा लामको लागि समानान्तर मापन सुरु गरे। 30/00/29.03.2019/XNUMX मा लगभग XNUMX:XNUMX:XNUMX बजे max_concurrency_scaling_clusters प्यारामिटरलाई XNUMX मा परिवर्तन गर्नुभयो।

अनुरोध लाम अनुकरण गर्न, हामीले यस लामको लागि स्लटहरूको संख्या 15 बाट 5 मा घटाएका छौं।

तल एक intermix.io ड्यासबोर्ड चार्ट छ जुन स्लटहरूको संख्या घटाए पछि चलिरहेको र लामबद्ध अनुरोधहरूको संख्या देखाउँछ।

हामी देख्छौं कि लाममा अनुरोधहरूको लागि पर्खने समय बढेको छ, अधिकतम समय 5 मिनेट भन्दा बढी भएको छ।

यस समयमा के भयो भन्ने बारे AWS कन्सोलबाट सान्दर्भिक जानकारी यहाँ छ:

Redshift ले कन्फिगर गरिएको रूपमा तीन (3) समानान्तर स्केलिंग क्लस्टरहरू सुरू गर्यो। हाम्रो क्लस्टरमा धेरै अनुरोधहरू लामबद्ध भए तापनि यी क्लस्टरहरूलाई कम प्रयोग गरिएको जस्तो देखिन्छ।

प्रयोग ग्राफ स्केलिंग गतिविधि ग्राफसँग सम्बन्धित छ:

केही घण्टा पछि, लेखकहरूले लाम जाँच गरे र 6 अनुरोधहरू समानान्तर स्केलिङमा चलिरहेको जस्तो देखिन्थ्यो। हामीले प्रयोगकर्ता इन्टरफेस मार्फत अनियमित रूपमा दुई अनुरोधहरू पनि परीक्षण गर्यौं। हामीले यी मानहरू कसरी प्रयोग गर्ने भनेर जाँच गरेका छैनौं जब धेरै समानान्तर क्लस्टरहरू एकै पटक सक्रिय हुन्छन्।

निष्कर्ष

समानान्तर स्केलिंगले शिखर लोडको समयमा लाममा बिताउने समय अनुरोधहरूलाई कम गर्न सक्छ।

आधारभूत परीक्षणको नतिजाको आधारमा, यो बाहिरियो कि लोडिङ अनुरोधहरूको साथ स्थिति आंशिक रूपमा सुधार भएको छ। यद्यपि, समानान्तर स्केलिंगले मात्र सबै समसामयिक समस्याहरू समाधान गर्दैन।

यो समानान्तर स्केलिंग प्रयोग गर्न सक्ने प्रश्नहरूको प्रकारहरूमा प्रतिबन्धको कारणले हो। उदाहरणका लागि, लेखकहरूसँग इन्टरलिभ गरिएको क्रमबद्ध कुञ्जीहरू भएका धेरै तालिकाहरू छन्, र हाम्रो कामको भारमध्ये धेरैजसो लेखन हो।

यद्यपि समानान्तर मापन WLM सेटअप गर्नको लागि विश्वव्यापी समाधान होइन, यो सुविधा प्रयोग गरेर सरल र सीधा छ।

तसर्थ, लेखकले तपाइँको WLM लामहरूको लागि यसलाई प्रयोग गर्न सिफारिस गर्दछ। एक समानान्तर क्लस्टरको साथ सुरु गर्नुहोस् र नयाँ क्लस्टरहरू पूर्ण रूपमा प्रयोग भइरहेको छ कि छैन भनेर निर्धारण गर्न कन्सोल मार्फत पीक लोड मोनिटर गर्नुहोस्।

AWS ले अतिरिक्त क्वेरी प्रकारहरू र तालिकाहरूको लागि समर्थन थपेको रूपमा, समानान्तर स्केलिङ क्रमशः अधिक र अधिक कुशल हुनुपर्दछ।

Daniyar Belkhodzhaev, Skyeng डाटा इन्जिनियरबाट टिप्पणी

हामीले Skyeng मा पनि तुरुन्तै समानान्तर स्केलिंगको उदीयमान सम्भावना देख्यौं।
कार्यक्षमता धेरै आकर्षक छ, विशेष गरी AWS ले अनुमान गर्दछ कि धेरै प्रयोगकर्ताहरूले यसको लागि अतिरिक्त तिर्नु पर्दैन।

यो यस्तो भयो कि अप्रिलको मध्यमा हामीसँग रेडशिफ्ट क्लस्टरमा अनुरोधहरूको असामान्य लहर थियो। यस अवधिमा, हामीले प्राय: कन्करन्सी स्केलिङको सहारा लियौं; कहिलेकाहीँ अतिरिक्त क्लस्टरले दिनको 24 घण्टा काम नगरी काम गर्‍यो।

यसले यो सम्भव बनायो, यदि लामहरूबाट समस्या पूर्ण रूपमा समाधान गर्न होइन, कम्तिमा परिस्थितिलाई स्वीकार्य बनाउन।

हाम्रा अवलोकनहरू धेरै हदसम्म intermix.io बाट केटाहरूको प्रभावसँग मेल खान्छ।

हामीले यो पनि याद गर्यौं कि कतारमा अनुरोधहरू पर्खिरहेका भए तापनि, सबै अनुरोधहरू तुरुन्तै समानान्तर क्लस्टरमा फर्वार्ड गरिएको थिएन। स्पष्ट रूपमा यो हुन्छ किनभने समानान्तर क्लस्टर अझै सुरु हुन समय लाग्छ। नतिजाको रूपमा, छोटो अवधिको पीक लोडको समयमा हामीसँग अझै पनि सानो लामहरू छन्, र सम्बन्धित अलार्महरू ट्रिगर गर्न समय छ।

अप्रिलमा असामान्य भारहरूबाट छुटकारा पाएपछि, AWS ले अपेक्षा गरे अनुसार, हामीले नि:शुल्क मानक भित्र - सामयिक प्रयोग मोडमा प्रवेश गर्यौं।
तपाईं AWS लागत एक्सप्लोररमा आफ्नो समानान्तर स्केलिंग लागतहरू ट्र्याक गर्न सक्नुहुन्छ। तपाईंले सेवा चयन गर्न आवश्यक छ - Redshift, प्रयोग प्रकार - CS, उदाहरणका लागि USW2-CS:dc2.large।

तपाईं रूसी मा मूल्यहरु बारे थप पढ्न सक्नुहुन्छ यहाँ।

स्रोत: www.habr.com