Amazon Redshift समांतर स्केलिंग मार्गदर्शक आणि चाचणी परिणाम

Skyeng येथे आम्ही समांतर स्केलिंगसह Amazon Redshift वापरतो, त्यामुळे आम्हाला dotgo.com चे संस्थापक Stefan Gromoll यांचा हा लेख intermix.io मनोरंजक वाटला. भाषांतरानंतर, डेटा अभियंता दानियार बेलखोडझाएव यांच्याकडून आमचा थोडासा अनुभव.

ऍमेझॉन रेडशिफ्ट आर्किटेक्चर क्लस्टरमध्ये नवीन नोड्स जोडून स्केलिंगला अनुमती देते. विनंत्यांच्या शिखर संख्येचा सामना करण्याची गरज नोड्सच्या अति-तरतुदीस कारणीभूत ठरू शकते. कॉन्करन्सी स्केलिंग, नवीन नोड्स जोडण्याच्या विरूद्ध, आवश्यकतेनुसार संगणकीय शक्ती वाढवते.

Amazon Redshift समांतर स्केलिंग रेडशिफ्ट क्लस्टर्सना पीक रिक्वेस्ट व्हॉल्यूम हाताळण्यासाठी अतिरिक्त क्षमता देते. हे पार्श्वभूमीतील नवीन "समांतर" क्लस्टरवर विनंत्या हलवून कार्य करते. WLM कॉन्फिगरेशन आणि नियमांवर आधारित विनंत्या राउट केल्या जातात.

समांतर स्केलिंग किंमत विनामूल्य श्रेणीसह क्रेडिट मॉडेलवर आधारित आहे. वरील विनामूल्य क्रेडिट्स, पेमेंट समांतर स्केलिंग क्लस्टरने विनंती केलेल्या वेळेवर आधारित आहे.

लेखकाने एका अंतर्गत क्लस्टरवर समांतर स्केलिंगची चाचणी केली. या पोस्टमध्ये, तो चाचणीच्या निकालांबद्दल बोलेल आणि सुरुवात कशी करावी याबद्दल टिपा देईल.

क्लस्टर आवश्यकता

समांतर स्केलिंग वापरण्यासाठी, तुमच्या Amazon Redshift क्लस्टरने खालील आवश्यकता पूर्ण करणे आवश्यक आहे:

- प्लॅटफॉर्म: EC2-VPC;
— नोड प्रकार: dc2.8xlarge, ds2.8xlarge, dc2.large किंवा ds2.xlarge;
— नोड्सची संख्या: 2 ते 32 पर्यंत (सिंगल नोड क्लस्टर समर्थित नाहीत).

स्वीकार्य विनंती प्रकार

समांतर स्केलिंग सर्व प्रकारच्या क्वेरीसाठी योग्य नाही. पहिल्या आवृत्तीमध्ये, ते फक्त तीन अटी पूर्ण करणाऱ्या वाचन विनंत्यांवर प्रक्रिया करते:

— SELECT क्वेरी केवळ वाचनीय आहेत (जरी अधिक प्रकार नियोजित आहेत);
— क्वेरी इंटरलीव्हेड सॉर्टिंग शैलीसह टेबलचा संदर्भ देत नाही;
- क्वेरी बाह्य सारण्यांचा संदर्भ देण्यासाठी Amazon Redshift Spectrum वापरत नाही.

समांतर स्केलिंग क्लस्टरकडे जाण्यासाठी, विनंती रांगेत असणे आवश्यक आहे. याव्यतिरिक्त, रांगेसाठी पात्र असलेल्या क्वेरी SQA (शॉर्ट क्वेरी प्रवेग), समांतर स्केल क्लस्टरवर चालणार नाही.

रांगा आणि SQA साठी योग्य कॉन्फिगरेशन आवश्यक आहे रेडशिफ्ट वर्कलोड मॅनेजमेंट (WLM). आम्ही प्रथम तुमचे WLM ऑप्टिमाइझ करण्याची शिफारस करतो - यामुळे समांतर स्केलिंगची आवश्यकता कमी होईल. आणि हे महत्त्वाचे आहे कारण समांतर स्केलिंग केवळ ठराविक तासांसाठी विनामूल्य आहे. AWS दावा करते की समांतर स्केलिंग 97% ग्राहकांसाठी विनामूल्य असेल, जे आम्हाला किंमतीच्या समस्येवर आणते.

समांतर स्केलिंगची किंमत

AWS समांतर स्केलिंगसाठी क्रेडिट मॉडेल ऑफर करते. प्रत्येक सक्रिय क्लस्टर अ‍ॅमेझॉन रेडशिफ्ट दर तासाला क्रेडिट जमा करते, दररोज एक तासापर्यंत विनामूल्य समांतर स्केलिंग क्रेडिट्स.

तुमचा समांतर स्केलिंग क्लस्टर्सचा वापर तुम्हाला मिळालेल्या क्रेडिटच्या रकमेपेक्षा जास्त असेल तेव्हाच तुम्ही पैसे द्याल.

समांतर क्लस्टरसाठी प्रति-सेकंद ऑन-डिमांड दराने किंमत मोजली जाते जी विनामूल्य दरापेक्षा जास्त वापरली जाते. समांतर स्केलिंग क्लस्टर सक्रिय झाल्यावर प्रत्येक वेळी किमान एक मिनिट शुल्कासह, तुमच्याकडून फक्त तुमच्या विनंत्या कालावधीसाठी शुल्क आकारले जाते. प्रति-सेकंद ऑन-डिमांड दर सामान्य किंमतीच्या तत्त्वांवर आधारित मोजला जातो अ‍ॅमेझॉन रेडशिफ्ट, म्हणजे, हे नोडच्या प्रकारावर आणि तुमच्या क्लस्टरमधील नोड्सच्या संख्येवर अवलंबून असते.

समांतर स्केलिंग लाँच करत आहे

प्रत्येक WLM रांगेसाठी समांतर स्केलिंग ट्रिगर केले जाते. AWS Redshift कन्सोलवर जा आणि डाव्या नेव्हिगेशन मेनूमधून वर्कलोड व्यवस्थापन निवडा. खालील ड्रॉप-डाउन मेनूमधून तुमच्या क्लस्टरचा WLM पॅरामीटर गट निवडा.

तुम्हाला प्रत्येक रांगेच्या पुढे "कंकरन्सी स्केलिंग मोड" नावाचा नवीन कॉलम दिसेल. डीफॉल्ट "अक्षम" आहे. "संपादित करा" वर क्लिक करा आणि तुम्ही प्रत्येक रांगेसाठी सेटिंग्ज बदलू शकता.

कॉन्फिगरेशन

नवीन समर्पित क्लस्टर्सना योग्य विनंत्या अग्रेषित करून समांतर स्केलिंग कार्य करते. नवीन क्लस्टर्सचा आकार (नोड्सचा प्रकार आणि संख्या) मुख्य क्लस्टरसारखाच असतो.

समांतर स्केलिंगसाठी वापरल्या जाणार्‍या क्लस्टर्सची डीफॉल्ट संख्या एक (1) आहे, ज्यामध्ये एकूण दहा (10) क्लस्टर्स कॉन्फिगर करण्याची क्षमता आहे.
समांतर स्केलिंगसाठी क्लस्टर्सची एकूण संख्या max_concurrency_scaling_clusters पॅरामीटरद्वारे सेट केली जाऊ शकते. या पॅरामीटरचे मूल्य वाढवणे अतिरिक्त अनावश्यक क्लस्टर्स प्रदान करते.

देखरेख

AWS Redshift कन्सोलमध्ये अनेक अतिरिक्त आलेख उपलब्ध आहेत. कमाल कॉन्फिगर केलेले समांतर स्केलिंग क्लस्टर्स चार्ट कालांतराने max_concurrency_scaling_clusters चे मूल्य प्रदर्शित करतो.

सक्रिय स्केलिंग क्लस्टर्सची संख्या वापरकर्ता इंटरफेसमध्ये "कंकरन्सी स्केलिंग अॅक्टिव्हिटी" विभागात प्रदर्शित केली जाते:

क्वेरी टॅबमध्ये, क्वेरी मुख्य क्लस्टरमध्ये किंवा समांतर स्केलिंग क्लस्टरमध्ये कार्यान्वित केली गेली हे दर्शविणारा एक स्तंभ आहे:

एखादी विशिष्ट क्वेरी मुख्य क्लस्टरमध्ये किंवा समांतर स्केलिंग क्लस्टरद्वारे कार्यान्वित केली गेली असली तरीही, ती stl_query.concurrency_scaling_status मध्ये संग्रहित केली जाते.

1 चे मूल्य सूचित करते की क्वेरी समांतर स्केल क्लस्टरमध्ये कार्यान्वित केली गेली होती, तर इतर मूल्ये सूचित करतात की ती प्राथमिक क्लस्टरमध्ये कार्यान्वित केली गेली होती.

उदाहरण:

समवर्ती स्केलिंग माहिती SVCS_CONCURRENCY_SCALING_USAGE सारख्या इतर सारण्यांमध्ये आणि दृश्यांमध्ये देखील संग्रहित केली जाते. याव्यतिरिक्त, समांतर स्केलिंगबद्दल माहिती संग्रहित करणारे अनेक कॅटलॉग सारण्या आहेत.

निकाल

लेखकांनी 18/30/00 रोजी अंदाजे 29.03.2019:3:20 GMT वाजता अंतर्गत क्लस्टरमधील एका रांगेसाठी समांतर स्केलिंग सुरू केले. 30/00/29.03.2019/XNUMX रोजी अंदाजे XNUMX:XNUMX:XNUMX वाजता max_concurrency_scaling_clusters पॅरामीटर XNUMX वर बदलले.

विनंती रांगेचे अनुकरण करण्यासाठी, आम्ही या रांगेसाठी स्लॉटची संख्या 15 वरून 5 पर्यंत कमी केली.

खाली एक intermix.io डॅशबोर्ड चार्ट आहे जो स्लॉट्सची संख्या कमी केल्यानंतर चालू असलेल्या आणि रांगेत असलेल्या विनंत्यांची संख्या दर्शवितो.

आम्ही पाहतो की रांगेतील विनंत्यांची प्रतीक्षा वेळ वाढली आहे, कमाल वेळ 5 मिनिटांपेक्षा जास्त आहे.

या वेळी काय घडले याबद्दल AWS कन्सोलमधील संबंधित माहिती येथे आहे:

Redshift ने कॉन्फिगर केल्याप्रमाणे तीन (3) समांतर स्केलिंग क्लस्टर लाँच केले. आमच्या क्लस्टरमधील अनेक विनंत्या रांगेत असतानाही या क्लस्टरचा कमी वापर करण्यात आल्याचे दिसून येते.

वापर आलेख स्केलिंग क्रियाकलाप आलेखाशी संबंधित आहे:

काही तासांनंतर, लेखकांनी रांग तपासली आणि असे दिसते की 6 विनंत्या समांतर स्केलिंगवर चालू आहेत. आम्ही वापरकर्ता इंटरफेसद्वारे यादृच्छिकपणे दोन विनंत्या तपासल्या. अनेक समांतर क्लस्टर्स एकाच वेळी सक्रिय असताना ही मूल्ये कशी वापरायची हे आम्ही तपासले नाही.

निष्कर्ष

समांतर स्केलिंग पीक लोड दरम्यान रांगेत विनंत्या घालवण्याचा वेळ कमी करू शकते.

मूलभूत चाचणीच्या निकालांवर आधारित, असे दिसून आले की लोडिंग विनंत्यांची स्थिती अंशतः सुधारली आहे. तथापि, केवळ समांतर स्केलिंगने सर्व समांतर समस्यांचे निराकरण केले नाही.

हे समांतर स्केलिंग वापरू शकणार्‍या क्वेरींच्या प्रकारांवरील निर्बंधांमुळे आहे. उदाहरणार्थ, लेखकांकडे इंटरलीव्ह्ड सॉर्ट कीसह अनेक टेबल्स आहेत आणि आमचा बहुतेक कामाचा भार लेखन आहे.

WLM सेट करण्यासाठी समांतर स्केलिंग हा सार्वत्रिक उपाय नसला तरी, हे वैशिष्ट्य वापरणे सोपे आणि सरळ आहे.

म्हणून, लेखक आपल्या WLM रांगांसाठी वापरण्याची शिफारस करतो. एका समांतर क्लस्टरसह प्रारंभ करा आणि नवीन क्लस्टर्सचा पूर्णपणे वापर केला जात आहे की नाही हे निर्धारित करण्यासाठी कन्सोलद्वारे पीक लोडचे निरीक्षण करा.

AWS अतिरिक्त क्वेरी प्रकार आणि सारण्यांसाठी समर्थन जोडत असल्याने, समांतर स्केलिंग हळूहळू अधिकाधिक कार्यक्षम व्हायला हवे.

डनियार बेलखोडझाएव, स्कायंग डेटा अभियंता यांच्याकडून टिप्पणी

आम्ही Skyeng येथे देखील समांतर स्केलिंगची उदयोन्मुख शक्यता लगेच लक्षात घेतली.
कार्यक्षमता अतिशय आकर्षक आहे, विशेषत: AWS चा अंदाज आहे की बहुतेक वापरकर्त्यांना त्यासाठी अतिरिक्त पैसे द्यावे लागणार नाहीत.

असे घडले की एप्रिलच्या मध्यात आमच्याकडे रेडशिफ्ट क्लस्टरला विनंत्यांचा असामान्य गोंधळ होता. या कालावधीत, आम्ही अनेकदा समवर्ती स्केलिंगचा अवलंब केला; काहीवेळा अतिरिक्त क्लस्टर दिवसाचे 24 तास न थांबता काम करत असे.

यामुळे रांगांची समस्या पूर्णपणे सोडवणे शक्य झाले नाही तर किमान परिस्थिती स्वीकारार्ह करणे शक्य झाले.

आमची निरीक्षणे मुख्यतः intermix.io वरील मुलांच्या छापांशी जुळतात.

आमच्या हे देखील लक्षात आले की रांगेत विनंत्या प्रतीक्षेत असल्या तरी, सर्व विनंत्या समांतर क्लस्टरकडे त्वरित पाठवल्या गेल्या नाहीत. वरवर पाहता असे घडते कारण समांतर क्लस्टर सुरू होण्यास अद्याप वेळ लागतो. परिणामी, अल्प-मुदतीच्या पीक लोड दरम्यान आमच्याकडे अजूनही लहान रांगा आहेत आणि संबंधित अलार्मला ट्रिगर करण्यासाठी वेळ आहे.

एप्रिलमध्ये असामान्य भारांपासून मुक्त झाल्यानंतर, आम्ही, AWS च्या अपेक्षेप्रमाणे, अधूनमधून वापरण्याच्या मोडमध्ये प्रवेश केला - विनामूल्य नियमानुसार.
तुम्ही AWS Cost Explorer मध्ये तुमच्या समांतर स्केलिंग खर्चाचा मागोवा घेऊ शकता. तुम्हाला सेवा - रेडशिफ्ट, वापराचा प्रकार - CS निवडणे आवश्यक आहे, उदाहरणार्थ USW2-CS:dc2.large.

आपण रशियनमध्ये किंमतींबद्दल अधिक वाचू शकता येथे.

स्त्रोत: www.habr.com