अमेज़ॅन रेडशिफ्ट पैरेलल स्केलिंग गाइड और परीक्षण परिणाम

स्काईेंग में हम समानांतर स्केलिंग सहित अमेज़ॅन रेडशिफ्ट का उपयोग करते हैं, इसलिए हमें intermix.io के लिए dotgo.com के संस्थापक स्टीफन ग्रोमोल का यह लेख दिलचस्प लगा। अनुवाद के बाद, डेटा इंजीनियर दानियार बेलखोदज़ेव से हमारा थोड़ा सा अनुभव।

अमेज़ॅन रेडशिफ्ट आर्किटेक्चर क्लस्टर में नए नोड जोड़कर स्केलिंग की अनुमति देता है। अनुरोधों की अधिकतम संख्या से निपटने की आवश्यकता के कारण नोड्स का अति-प्रावधान हो सकता है। कॉनकरेंसी स्केलिंग, नए नोड्स जोड़ने के विपरीत, आवश्यकतानुसार कंप्यूटिंग शक्ति बढ़ाती है।

अमेज़ॅन रेडशिफ्ट समानांतर स्केलिंग रेडशिफ्ट क्लस्टर को अधिकतम अनुरोध मात्रा को संभालने की अतिरिक्त क्षमता देता है। यह पृष्ठभूमि में नए "समानांतर" समूहों में अनुरोधों को ले जाकर काम करता है। अनुरोध WLM कॉन्फ़िगरेशन और नियमों के आधार पर रूट किए जाते हैं।

समानांतर स्केलिंग मूल्य निर्धारण एक निःशुल्क स्तर वाले क्रेडिट मॉडल पर आधारित है। मुफ़्त क्रेडिट के ऊपर, भुगतान समानांतर स्केलिंग क्लस्टर प्रक्रियाओं के अनुरोध के समय पर आधारित होता है।

लेखक ने आंतरिक समूहों में से एक पर समानांतर स्केलिंग का परीक्षण किया। इस पोस्ट में, वह परीक्षण परिणामों के बारे में बात करेंगे और शुरुआत करने के तरीके के बारे में सुझाव देंगे।

क्लस्टर आवश्यकताएँ

समानांतर स्केलिंग का उपयोग करने के लिए, आपके अमेज़ॅन रेडशिफ्ट क्लस्टर को निम्नलिखित आवश्यकताओं को पूरा करना होगा:

- प्लैटफ़ॉर्म: EC2-VPC;
- नोड प्रकार: dc2.8xlarge, ds2.8xlarge, dc2.large या ds2.xlarge;
- नोड्स की संख्या: 2 से 32 तक (एकल नोड क्लस्टर समर्थित नहीं हैं)।

स्वीकार्य अनुरोध प्रकार

समानांतर स्केलिंग सभी प्रकार की क्वेरी के लिए उपयुक्त नहीं है। पहले संस्करण में, यह केवल पढ़ने के अनुरोधों को संसाधित करता है जो तीन शर्तों को पूरा करते हैं:

- चयनित क्वेरीज़ केवल-पढ़ने के लिए हैं (हालाँकि अधिक प्रकार की योजना बनाई गई है);
— क्वेरी इंटरलीव्ड सॉर्टिंग शैली वाली तालिका का संदर्भ नहीं देती है;
- क्वेरी बाहरी तालिकाओं को संदर्भित करने के लिए अमेज़ॅन रेडशिफ्ट स्पेक्ट्रम का उपयोग नहीं करती है।

समानांतर स्केलिंग क्लस्टर पर भेजने के लिए, अनुरोध को कतारबद्ध किया जाना चाहिए। इसके अतिरिक्त, प्रश्न कतार के लिए पात्र हैं SQA (लघु क्वेरी त्वरण), समानांतर पैमाने के समूहों पर नहीं चलेगा।

कतारों और SQA को उचित कॉन्फ़िगरेशन की आवश्यकता होती है रेडशिफ्ट कार्यभार प्रबंधन (डब्ल्यूएलएम). हम पहले आपके WLM को अनुकूलित करने की सलाह देते हैं - इससे समानांतर स्केलिंग की आवश्यकता कम हो जाएगी। और यह महत्वपूर्ण है क्योंकि समानांतर स्केलिंग केवल कुछ निश्चित घंटों के लिए निःशुल्क है। AWS का दावा है कि 97% ग्राहकों के लिए समानांतर स्केलिंग मुफ़्त होगी, जो हमें मूल्य निर्धारण के मुद्दे पर लाती है।

समानांतर स्केलिंग की लागत

AWS समानांतर स्केलिंग के लिए एक क्रेडिट मॉडल प्रदान करता है। प्रत्येक सक्रिय क्लस्टर अमेज़न रेडशिफ्ट प्रति घंटा क्रेडिट जमा करता है, प्रति दिन एक घंटे तक निःशुल्क समानांतर स्केलिंग क्रेडिट।

आप केवल तभी भुगतान करते हैं जब आपके समानांतर स्केलिंग क्लस्टर का उपयोग आपके द्वारा प्राप्त क्रेडिट की मात्रा से अधिक हो जाता है।

लागत की गणना समानांतर क्लस्टर के लिए प्रति-सेकंड ऑन-डिमांड दर पर की जाती है जिसका उपयोग मुफ़्त दर से ऊपर किया जाता है। आपसे केवल आपके अनुरोधों की अवधि के लिए शुल्क लिया जाता है, प्रत्येक बार समानांतर स्केलिंग क्लस्टर सक्रिय होने पर न्यूनतम एक मिनट का शुल्क लिया जाता है। प्रति सेकंड ऑन-डिमांड दर की गणना सामान्य मूल्य निर्धारण सिद्धांतों के आधार पर की जाती है अमेज़न रेडशिफ्ट, अर्थात, यह नोड के प्रकार और आपके क्लस्टर में नोड्स की संख्या पर निर्भर करता है।

समानांतर स्केलिंग का शुभारंभ

प्रत्येक WLM कतार के लिए समानांतर स्केलिंग चालू हो जाती है। AWS रेडशिफ्ट कंसोल पर जाएं और बाएं नेविगेशन मेनू से वर्कलोड प्रबंधन चुनें। निम्नलिखित ड्रॉप-डाउन मेनू से अपने क्लस्टर के WLM पैरामीटर समूह का चयन करें।

आपको प्रत्येक कतार के आगे "कॉनकरेंसी स्केलिंग मोड" नामक एक नया कॉलम दिखाई देगा। डिफ़ॉल्ट "अक्षम" है। "संपादित करें" पर क्लिक करें और आप प्रत्येक कतार के लिए सेटिंग्स बदल सकते हैं।

विन्यास

समानांतर स्केलिंग नए समर्पित समूहों को उचित अनुरोध अग्रेषित करके काम करती है। नए क्लस्टर का आकार (नोड्स का प्रकार और संख्या) मुख्य क्लस्टर के समान है।

समानांतर स्केलिंग के लिए उपयोग किए जाने वाले क्लस्टर की डिफ़ॉल्ट संख्या एक (1) है, जिसमें कुल दस (10) क्लस्टर तक कॉन्फ़िगर करने की क्षमता है।
समानांतर स्केलिंग के लिए क्लस्टर की कुल संख्या max_concurrency_scaleing_clusters पैरामीटर द्वारा निर्धारित की जा सकती है। इस पैरामीटर का मान बढ़ाने से अतिरिक्त निरर्थक क्लस्टर उपलब्ध होते हैं।

निगरानी

AWS रेडशिफ्ट कंसोल में कई अतिरिक्त ग्राफ़ उपलब्ध हैं। मैक्स कॉन्फिगर कॉनकरेंसी स्केलिंग क्लस्टर चार्ट समय के साथ max_concurrency_scaleing_clusters का मान प्रदर्शित करता है।

सक्रिय स्केलिंग क्लस्टर की संख्या उपयोगकर्ता इंटरफ़ेस में "कॉनकरेंसी स्केलिंग गतिविधि" अनुभाग में प्रदर्शित होती है:

क्वेरीज़ टैब में, एक कॉलम है जो दर्शाता है कि क्वेरी मुख्य क्लस्टर में निष्पादित की गई थी या समानांतर स्केलिंग क्लस्टर में:

भले ही किसी विशेष क्वेरी को मुख्य क्लस्टर में या समानांतर स्केलिंग क्लस्टर के माध्यम से निष्पादित किया गया हो, इसे stl_query.concurrency_scaleing_status में संग्रहीत किया जाता है।

1 का मान इंगित करता है कि क्वेरी को समानांतर स्केल क्लस्टर में निष्पादित किया गया था, जबकि अन्य मान इंगित करते हैं कि इसे प्राथमिक क्लस्टर में निष्पादित किया गया था।

उदाहरण:

समवर्ती स्केलिंग जानकारी कुछ अन्य तालिकाओं और दृश्यों में भी संग्रहीत की जाती है, जैसे SVCS_CONCURRENCY_SCALING_USAGE। इसके अलावा, कई कैटलॉग तालिकाएँ हैं जो समानांतर स्केलिंग के बारे में जानकारी संग्रहीत करती हैं।

निष्कर्ष

लेखकों ने 18/30/00 को लगभग 29.03.2019:3:20 GMT पर आंतरिक क्लस्टर में एक कतार के लिए समानांतर स्केलिंग शुरू की। 30/00/29.03.2019 को लगभग XNUMX:XNUMX:XNUMX बजे max_concurrency_scaleing_clusters पैरामीटर को XNUMX में बदल दिया।

अनुरोध कतार का अनुकरण करने के लिए, हमने इस कतार के लिए स्लॉट की संख्या 15 से घटाकर 5 कर दी है।

नीचे एक इंटरमिक्स.आईओ डैशबोर्ड चार्ट है जो स्लॉट की संख्या कम करने के बाद चल रहे और कतारबद्ध अनुरोधों की संख्या दिखा रहा है।

हम देखते हैं कि कतार में अनुरोधों के लिए प्रतीक्षा समय बढ़ गया है, अधिकतम समय 5 मिनट से अधिक है।

इस दौरान क्या हुआ, इसके बारे में AWS कंसोल से प्रासंगिक जानकारी यहां दी गई है:

रेडशिफ्ट ने कॉन्फ़िगर के अनुसार तीन (3) समानांतर स्केलिंग क्लस्टर लॉन्च किए। ऐसा प्रतीत होता है कि इन समूहों का कम उपयोग किया गया था, भले ही हमारे क्लस्टर में कई अनुरोध कतारबद्ध थे।

उपयोग ग्राफ़ स्केलिंग गतिविधि ग्राफ़ से संबंधित है:

कुछ घंटों के बाद, लेखकों ने कतार की जाँच की और ऐसा लगा कि 6 अनुरोध समानांतर स्केलिंग पर चल रहे थे। हमने उपयोगकर्ता इंटरफ़ेस के माध्यम से दो अनुरोधों का यादृच्छिक परीक्षण भी किया। हमने यह जाँच नहीं की है कि जब कई समानांतर क्लस्टर एक साथ सक्रिय हों तो इन मानों का उपयोग कैसे करें।

निष्कर्ष

समानांतर स्केलिंग पीक लोड के दौरान कतार में बिताए गए समय के अनुरोधों को कम कर सकती है।

बुनियादी परीक्षण के परिणामों के आधार पर, यह पता चला कि लोडिंग अनुरोधों की स्थिति में आंशिक रूप से सुधार हुआ है। हालाँकि, अकेले समानांतर स्केलिंग से सभी समवर्ती समस्याओं का समाधान नहीं हुआ।

यह उन प्रश्नों के प्रकारों पर प्रतिबंध के कारण है जो समानांतर स्केलिंग का उपयोग कर सकते हैं। उदाहरण के लिए, लेखकों के पास इंटरलीव्ड सॉर्ट कुंजियों के साथ कई तालिकाएँ हैं, और हमारा अधिकांश कार्यभार लेखन है।

हालाँकि WLM स्थापित करने के लिए समानांतर स्केलिंग एक सार्वभौमिक समाधान नहीं है, इस सुविधा का उपयोग करना सरल और सीधा है।

इसलिए, लेखक आपकी WLM कतारों के लिए इसका उपयोग करने की अनुशंसा करता है। एक समानांतर क्लस्टर से प्रारंभ करें और कंसोल के माध्यम से पीक लोड की निगरानी करें ताकि यह निर्धारित किया जा सके कि नए क्लस्टर का पूरी तरह से उपयोग किया जा रहा है या नहीं।

जैसे ही AWS अतिरिक्त क्वेरी प्रकारों और तालिकाओं के लिए समर्थन जोड़ता है, समानांतर स्केलिंग धीरे-धीरे अधिक से अधिक कुशल होनी चाहिए।

दनियार बेलखोदज़ेव, स्काईेंग डेटा इंजीनियर की टिप्पणी

स्काईेंग में हमने समानांतर स्केलिंग की उभरती संभावना को भी तुरंत देखा।
कार्यक्षमता बहुत आकर्षक है, विशेष रूप से यह देखते हुए कि AWS का अनुमान है कि अधिकांश उपयोगकर्ताओं को इसके लिए अतिरिक्त भुगतान भी नहीं करना पड़ेगा।

ऐसा हुआ कि अप्रैल के मध्य में हमारे पास रेडशिफ्ट क्लस्टर के लिए अनुरोधों की असामान्य बाढ़ आ गई। इस अवधि के दौरान, हमने अक्सर कॉनकरेंसी स्केलिंग का सहारा लिया; कभी-कभी एक अतिरिक्त क्लस्टर बिना रुके 24 घंटे काम करता था।

इससे यह संभव हो गया, यदि कतारों की समस्या को पूरी तरह से हल नहीं किया जा सका, तो कम से कम स्थिति को स्वीकार्य बनाना संभव हो गया।

हमारी टिप्पणियाँ काफी हद तक intermix.io के लोगों के विचारों से मेल खाती हैं।

हमने यह भी देखा कि यद्यपि कतार में प्रतीक्षा कर रहे अनुरोध थे, लेकिन सभी अनुरोधों को तुरंत समानांतर क्लस्टर में अग्रेषित नहीं किया गया था। जाहिर तौर पर ऐसा इसलिए होता है क्योंकि समानांतर क्लस्टर को शुरू होने में अभी भी समय लगता है। परिणामस्वरूप, अल्पकालिक पीक लोड के दौरान हमारे पास अभी भी छोटी कतारें होती हैं, और संबंधित अलार्म को ट्रिगर होने का समय मिलता है।

अप्रैल में असामान्य भार से छुटकारा पाने के बाद, जैसा कि एडब्ल्यूएस को उम्मीद थी, हमने कभी-कभार उपयोग मोड में प्रवेश किया - मुक्त मानक के भीतर।
आप AWS कॉस्ट एक्सप्लोरर में अपनी समानांतर स्केलिंग लागतों को ट्रैक कर सकते हैं। आपको सेवा - रेडशिफ्ट, उपयोग प्रकार - सीएस का चयन करना होगा, उदाहरण के लिए USW2-CS:dc2.large।

आप रूसी में कीमतों के बारे में अधिक पढ़ सकते हैं यहाँ.

स्रोत: www.habr.com