Google क्लाउड स्पैनर: अच्छा, बुरा, बदसूरत

नमस्ते खाब्रोवाइट्स। परंपरागत रूप से, हम नए पाठ्यक्रमों की शुरुआत की पूर्व संध्या पर दिलचस्प सामग्री साझा करना जारी रखते हैं। आज, विशेष रूप से आपके लिए, हमने Google क्लाउड स्पैनर के बारे में एक लेख का अनुवाद किया है, जो पाठ्यक्रम के लॉन्च के साथ मेल खाता है "डेवलपर्स के लिए AWS".

मूलतः में प्रकाशित लाइटस्पीड मुख्यालय ब्लॉग.

एक कंपनी के रूप में जो दुनिया भर के खुदरा विक्रेताओं, रेस्तरां और ऑनलाइन व्यापारियों के लिए विभिन्न प्रकार के क्लाउड-आधारित पीओएस समाधान प्रदान करती है, लाइटस्पीड विभिन्न प्रकार के लेनदेन, विश्लेषण और खोज उपयोग के मामलों के लिए कई अलग-अलग प्रकार के डेटाबेस प्लेटफार्मों का उपयोग करती है। इनमें से प्रत्येक डेटाबेस प्लेटफ़ॉर्म की अपनी ताकत और कमजोरियाँ हैं। इसलिए, जब Google ने क्लाउड स्पैनर को बाज़ार में पेश किया - रिलेशनल डेटाबेस की दुनिया में नहीं देखी जाने वाली आशाजनक सुविधाएँ, जैसे वस्तुतः असीमित क्षैतिज स्केलेबिलिटी और 99,999% सेवा स्तर समझौता (SLA) , हम उसे अपने हाथों में लेने का अवसर नहीं छोड़ सकते थे!

क्लाउड स्पैनर के साथ हमारे अनुभव के साथ-साथ हमारे द्वारा उपयोग किए गए मूल्यांकन मानदंडों का व्यापक अवलोकन देने के लिए, हम निम्नलिखित विषयों को कवर करेंगे:

1. हमारे मूल्यांकन मानदंड
2. संक्षेप में क्लाउड स्पैनर
3. हमारा आकलन
4. हमारे निष्कर्ष

1. हमारे मूल्यांकन मानदंड

क्लाउड स्पैनर की विशिष्टताओं, बाज़ार में मौजूद अन्य समाधानों के साथ इसकी समानताओं और अंतरों के बारे में जानने से पहले, आइए पहले उन मुख्य उपयोग के मामलों के बारे में बात करें जो हमारे बुनियादी ढांचे में क्लाउड स्पैनर को कहां तैनात करना है, इस पर विचार करते समय हमारे मन में थे:

• (प्रचलित) पारंपरिक SQL डेटाबेस समाधान के प्रतिस्थापन के रूप में
• OLAP समर्थन के साथ OLTP समाधान के रूप में

नोट: तुलना में आसानी के लिए, यह लेख क्लाउड स्पैनर की तुलना जीसीपी क्लाउड एसक्यूएल और अमेज़ॅन एडब्ल्यूएस आरडीएस समाधान परिवारों के MySQL वेरिएंट से करता है।

पारंपरिक SQL डेटाबेस समाधान के प्रतिस्थापन के रूप में क्लाउड स्पैनर का उपयोग करना

पर्यावरण में परंपरागत डेटाबेस, जब डेटाबेस क्वेरी के लिए प्रतिक्रिया समय पूर्वनिर्धारित एप्लिकेशन थ्रेशोल्ड (मुख्य रूप से उपयोगकर्ताओं और/या अनुरोधों की संख्या में वृद्धि के कारण) के करीब पहुंचता है या उससे भी अधिक हो जाता है, तो प्रतिक्रिया समय को स्वीकार्य स्तर तक कम करने के कई तरीके हैं। हालाँकि, इनमें से अधिकांश समाधानों में मैन्युअल हस्तक्षेप शामिल है।

उदाहरण के लिए, पहला कदम विभिन्न प्रदर्शन-संबंधित डेटाबेस सेटिंग्स को देखना और उन्हें एप्लिकेशन उपयोग परिदृश्य पैटर्न से सर्वोत्तम मिलान के लिए ट्यून करना है। यदि यह पर्याप्त नहीं है, तो आप डेटाबेस को लंबवत या क्षैतिज रूप से स्केल करना चुन सकते हैं।

किसी एप्लिकेशन को स्केल करने में आमतौर पर अधिक प्रोसेसर/कोर, अधिक रैम, तेज़ स्टोरेज आदि जोड़कर सर्वर इंस्टेंस को अपडेट करना शामिल होता है। अधिक हार्डवेयर संसाधनों को जोड़ने से डेटाबेस प्रदर्शन में वृद्धि होती है, जिसे मुख्य रूप से प्रति सेकंड लेनदेन में मापा जाता है, और ओएलटीपी सिस्टम के लिए लेनदेन विलंबता होती है। रिलेशनल डेटाबेस सिस्टम (जो बहु-थ्रेडेड दृष्टिकोण का उपयोग करते हैं) जैसे कि MySQL स्केल को लंबवत रूप से स्केल करता है।

इस दृष्टिकोण में कई कमियां हैं, लेकिन सबसे स्पष्ट बाजार पर अधिकतम सर्वर आकार है। एक बार जब सबसे बड़ी सर्वर इंस्टेंस सीमा पूरी हो जाती है, तो केवल एक ही रास्ता बचता है: स्केल आउट।

स्केल-आउट एक ऐसा दृष्टिकोण है जो क्लस्टर में अधिक सर्वर जोड़ने पर आदर्श रूप से प्रदर्शन को रैखिक रूप से बढ़ाने के लिए अधिक सर्वर जोड़ता है। बहुमत परंपरागत डेटाबेस सिस्टम अच्छी तरह से स्केल नहीं करते हैं या बिल्कुल भी स्केल नहीं करते हैं। उदाहरण के लिए, MySQL स्लेव रीडर्स को जोड़कर पढ़ने के लिए स्केल कर सकता है, लेकिन यह लिखने के लिए स्केल नहीं कर सकता है।

दूसरी ओर, अपनी प्रकृति के कारण, क्लाउड स्पैनर न्यूनतम हस्तक्षेप के साथ क्षैतिज रूप से आसानी से स्केल कर सकता है।

पूर्ण विशेष रुप से प्रदर्शित एक सेवा के रूप में DBMS विभिन्न दृष्टिकोणों से मूल्यांकन किया जाना चाहिए। आधार के रूप में, हमने क्लाउड में सबसे लोकप्रिय DBMS लिया - Google के लिए, GCP क्लाउड SQL और Amazon के लिए, AWS RDS। अपने मूल्यांकन में, हमने निम्नलिखित श्रेणियों पर ध्यान केंद्रित किया:

• फ़ीचर मैपिंग: SQL सीमा, DDL, DML; कनेक्शन लाइब्रेरी/कनेक्टर, लेन-देन समर्थन, इत्यादि।
• विकास सहायता: विकास और परीक्षण में आसानी।
• प्रशासन सहायता: इंस्टेंस प्रबंधन जैसे इंस्टेंस को ऊपर/नीचे स्केल करना और अपग्रेड करना; एसएलए, बैकअप और पुनर्प्राप्ति; सुरक्षा/पहुंच नियंत्रण.

OLAP-सक्षम OLTP समाधान के रूप में क्लाउड स्पैनर का उपयोग करना

हालाँकि Google स्पष्ट रूप से यह नहीं बताता है कि क्लाउड स्पैनर एनालिटिक्स के लिए है, यह अपाचे इम्पाला और कुडु और युगाबाइट जैसे अन्य इंजनों के साथ कुछ विशेषताओं को साझा करता है जो OLAP वर्कलोड के लिए डिज़ाइन किए गए हैं।

यहां तक ​​​​कि अगर केवल एक छोटी सी संभावना थी कि क्लाउड स्पैनर में एक (कम या ज्यादा) प्रयोग करने योग्य OLAP फीचर सेट के साथ एक सुसंगत स्केल-आउट HTAP (हाइब्रिड ट्रांजेक्शनल/एनालिटिक प्रोसेसिंग) इंजन शामिल था, तो हमें लगता है कि यह हमारे ध्यान को आकर्षित करेगा।

इसे ध्यान में रखते हुए, हमने निम्नलिखित श्रेणियों पर ध्यान दिया:

• डेटा लोडिंग, अनुक्रमणिका और विभाजन समर्थन
• क्वेरी प्रदर्शन और डीएमएल

2. संक्षेप में क्लाउड स्पैनर

Google स्पैनर एक क्लस्टर्ड रिलेशनल डेटाबेस मैनेजमेंट सिस्टम (RDBMS) है जिसका उपयोग Google अपनी कई सेवाओं के लिए करता है। Google ने इसे 2017 की शुरुआत में Google क्लाउड प्लेटफ़ॉर्म उपयोगकर्ताओं के लिए सार्वजनिक रूप से उपलब्ध कराया।

यहां क्लाउड स्पैनर की कुछ विशेषताएं दी गई हैं:

• अत्यधिक सुसंगत, स्केलेबल आरडीबीएमएस क्लस्टर: डेटा स्थिरता सुनिश्चित करने के लिए हार्डवेयर समय सिंक्रनाइज़ेशन का उपयोग करता है।
• क्रॉस-टेबल लेनदेन समर्थन: लेनदेन कई तालिकाओं तक फैल सकता है - जरूरी नहीं कि यह एक ही तालिका तक सीमित हो (अपाचे एचबेस या अपाचे कुडु के विपरीत)।
• प्राथमिक कुंजी आधारित तालिकाएँ: सभी तालिकाओं में एक घोषित प्राथमिक कुंजी (पीसी) होनी चाहिए, जिसमें कई तालिका कॉलम शामिल हो सकते हैं। सारणीबद्ध डेटा को पीसी क्रम में संग्रहीत किया जाता है, जो इसे पीसी खोजों के लिए बहुत कुशल और तेज़ बनाता है। अन्य पीसी-आधारित प्रणालियों की तरह, कार्यान्वयन को प्राप्त करने के लिए पूर्वकल्पित उपयोग के मामलों के अनुसार तैयार किया जाना चाहिए सबसे अच्छा प्रदर्शन.
• धारीदार तालिकाएँ: तालिकाओं की एक-दूसरे पर भौतिक निर्भरता हो सकती है। चाइल्ड टेबल की पंक्तियों का मिलान मूल तालिका की पंक्तियों से किया जा सकता है। यह दृष्टिकोण उन रिश्तों की खोज को गति देता है जिन्हें डेटा मॉडलिंग चरण में निर्धारित किया जा सकता है, उदाहरण के लिए, ग्राहकों और उनके चालानों को एक साथ रखते समय।
• इंडेक्स: क्लाउड स्पैनर द्वितीयक इंडेक्स का समर्थन करता है। एक इंडेक्स में अनुक्रमित कॉलम और सभी पीसी कॉलम होते हैं। वैकल्पिक रूप से, सूचकांक में अन्य गैर-अनुक्रमित कॉलम भी हो सकते हैं। प्रश्नों की गति बढ़ाने के लिए सूचकांक को मूल तालिका के साथ जोड़ा जा सकता है। इंडेक्स पर कई प्रतिबंध लागू होते हैं, जैसे किसी इंडेक्स में संग्रहीत किए जा सकने वाले अतिरिक्त कॉलम की अधिकतम संख्या। साथ ही, इंडेक्स के माध्यम से क्वेरीज़ अन्य आरडीबीएमएस की तरह सीधी नहीं हो सकती हैं।

“क्लाउड स्पैनर केवल दुर्लभ मामलों में स्वचालित रूप से एक सूचकांक का चयन करता है। विशेष रूप से, यदि क्वेरी किसी ऐसे कॉलम का अनुरोध करती है जो संग्रहीत नहीं है तो क्लाउड स्पैनर स्वचालित रूप से एक द्वितीयक इंडेक्स का चयन नहीं करता है अनुक्रमणिका '.

• सेवा स्तर समझौता (एसएलए): 99,99% एसएलए के साथ एकल क्षेत्र परिनियोजन; 99,999% एसएलए के साथ बहु-क्षेत्रीय तैनाती। जबकि एसएलए अपने आप में सिर्फ एक समझौता है और किसी भी प्रकार की गारंटी नहीं है, मेरा मानना ​​है कि Google के लोगों के पास इतना मजबूत दावा करने के लिए कुछ कठिन डेटा हैं। (संदर्भ के लिए, 99,999% का मतलब प्रति माह 26,3 सेकंड का सेवा डाउनटाइम है।)
• अधिक: https://cloud.google.com/spanner/

नोट: अपाचे टेफ़्रा प्रोजेक्ट अपाचे HBase में उन्नत लेनदेन समर्थन जोड़ता है (अब इसे बीटा के रूप में अपाचे फीनिक्स में भी लागू किया गया है)।

3. हमारा मूल्यांकन

इसलिए, हम सभी ने क्लाउड स्पैनर के लाभों के बारे में Google के कथन पढ़े हैं - उच्च स्थिरता और बहुत उच्च SLA को बनाए रखते हुए वस्तुतः असीमित क्षैतिज स्केलिंग। हालाँकि, किसी भी मामले में, इन दावों को हासिल करना बेहद मुश्किल है, हमारा लक्ष्य उनका खंडन करना नहीं था। इसके बजाय, आइए अन्य चीजों पर ध्यान केंद्रित करें जिनकी अधिकांश डेटाबेस उपयोगकर्ता परवाह करते हैं: समता और प्रयोज्यता।

हमने क्लाउड स्पैनर को शेयर्ड MySQL के प्रतिस्थापन के रूप में रेट किया है

Google क्लाउड SQL और Amazon AWS RDS, क्लाउड बाज़ार में दो सबसे लोकप्रिय OLTP डेटाबेस हैं, जिनमें बहुत बड़ा फीचर सेट है। हालाँकि, इन डेटाबेस को एक नोड के आकार से परे स्केल करने के लिए, आपको एप्लिकेशन विभाजन करने की आवश्यकता है। यह दृष्टिकोण अनुप्रयोगों और प्रशासन दोनों के लिए अतिरिक्त जटिलता पैदा करता है। हमने देखा कि स्पैनर एक उदाहरण में कई शार्क के संयोजन के परिदृश्य में कैसे फिट बैठता है और किन विशेषताओं (यदि कोई हो) का त्याग करना पड़ सकता है।

SQL, DML और DDL के साथ-साथ कनेक्टर और लाइब्रेरीज़ के लिए समर्थन?

सबसे पहले, किसी भी डेटाबेस से शुरुआत करते समय, आपको एक डेटा मॉडल बनाना होगा। यदि आपको लगता है कि आप जेडीबीसी स्पैनर को अपने पसंदीदा एसक्यूएल टूल से कनेक्ट कर सकते हैं, तो आप पाएंगे कि आप इसके साथ अपने डेटा को क्वेरी कर सकते हैं, लेकिन आप इसका उपयोग टेबल बनाने या अपडेट (डीडीएल) या किसी इंसर्ट/अपडेट/डिलीट के लिए नहीं कर सकते हैं। संचालन (डीएमएल)। Google का आधिकारिक JDBC भी समर्थन नहीं करता है।

"ड्राइवर वर्तमान में डीएमएल या डीडीएल स्टेटमेंट का समर्थन नहीं करते हैं।"
स्पैनर दस्तावेज़ीकरण

GCP कंसोल के साथ स्थिति बेहतर नहीं है - आप केवल SELECT क्वेरीज़ भेज सकते हैं। सौभाग्य से लेनदेन सहित समुदाय से डीएमएल और डीडीएल समर्थन के साथ एक जेडीबीसी ड्राइवर है github.com/olavloite/spanner-jdbc. हालाँकि यह ड्राइवर बेहद उपयोगी है, लेकिन Google के अपने JDBC ड्राइवर की अनुपस्थिति आश्चर्यजनक है। सौभाग्य से, Google काफी व्यापक क्लाइंट लाइब्रेरी समर्थन (gRPC पर आधारित) प्रदान करता है: C#, Go, Java, node.js, PHP, Python, और Ruby।

क्लाउड स्पैनर के कस्टम एपीआई (जेडीबीसी में डीडीएल और डीएमएल की कमी के कारण) के लगभग अनिवार्य उपयोग के परिणामस्वरूप कोड के संबंधित क्षेत्रों जैसे कनेक्शन पूलिंग या डेटाबेस बाइंडिंग फ्रेमवर्क (जैसे स्प्रिंग एमवीसी) के लिए कुछ सीमाएं होती हैं। आम तौर पर, जेडीबीसी का उपयोग करते समय, आप अपना पसंदीदा कनेक्शन पूल (उदाहरण के लिए हिकारीसीपी, डीबीसीपी, सी3पीओ, आदि) चुनने के लिए स्वतंत्र होते हैं जो परीक्षण किया गया है और अच्छी तरह से काम करता है। कस्टम स्पैनर एपीआई के मामले में, हमें उन फ्रेमवर्क/बाइंडिंग/सेशन पूल पर भरोसा करना होगा जो हमने खुद बनाए हैं।

प्राथमिक कुंजी (पीसी) उन्मुख डिज़ाइन पीसी के माध्यम से डेटा तक पहुंचने पर क्लाउड स्पैनर को बहुत तेज़ होने की अनुमति देता है, लेकिन कुछ क्वेरी समस्याएं भी पेश करता है।

• आप प्राथमिक कुंजी का मान अपडेट नहीं कर सकते; आपको पहले मूल पीसी प्रविष्टि को हटाना होगा और इसे नए मान के साथ पुनः सम्मिलित करना होगा। (यह अन्य पीसी उन्मुख डेटाबेस/स्टोरेज इंजन के समान है।)
• किसी भी अपडेट और डिलीट स्टेटमेंट में पीसी को WHERE में निर्दिष्ट करना होगा, इसलिए, सभी स्टेटमेंट खाली नहीं हो सकते - हमेशा एक सबक्वेरी होनी चाहिए, उदाहरण के लिए: अपडेट xxx WHERE id IN (तालिका 1 से आईडी चुनें)
• ऑटो-इंक्रीमेंट विकल्प का अभाव या ऐसा कुछ जो पीसी फ़ील्ड के लिए अनुक्रम निर्धारित करता है। इसे काम करने के लिए, एप्लिकेशन पक्ष पर संबंधित मान बनाया जाना चाहिए।

द्वितीयक सूचकांक?

Google क्लाउड स्पैनर में द्वितीयक अनुक्रमणिका के लिए अंतर्निहित समर्थन है। यह एक बहुत अच्छी सुविधा है जो अन्य तकनीकों में हमेशा मौजूद नहीं होती है। अपाचे कुडू वर्तमान में द्वितीयक इंडेक्स का बिल्कुल भी समर्थन नहीं करता है, और अपाचे HBase सीधे इंडेक्स का समर्थन नहीं करता है, लेकिन उन्हें अपाचे फीनिक्स के माध्यम से जोड़ सकता है।

Kudu और HBase में इंडेक्स को प्राथमिक कुंजी की विभिन्न संरचना के साथ एक अलग तालिका के रूप में तैयार किया जा सकता है, लेकिन मूल तालिका और संबंधित इंडेक्स तालिकाओं पर किए गए संचालन की परमाणुता को एप्लिकेशन स्तर पर निष्पादित किया जाना चाहिए और इसे सही ढंग से लागू करना आसान नहीं है।

जैसा कि क्लाउड स्पैनर समीक्षा में बताया गया है, इसके इंडेक्स MySQL इंडेक्स से भिन्न हो सकते हैं। इस प्रकार, क्वेरी निर्माण और प्रोफाइलिंग में विशेष ध्यान रखा जाना चाहिए ताकि यह सुनिश्चित किया जा सके कि जहां आवश्यक हो वहां सही सूचकांक का उपयोग किया जाए।

प्रतिनिधित्व?

डेटाबेस में एक बहुत लोकप्रिय और उपयोगी वस्तु दृश्य है। वे बड़ी संख्या में उपयोग के मामलों के लिए उपयोगी हो सकते हैं; मेरी दो पसंदीदा तार्किक अमूर्त परत और सुरक्षा परत हैं। दुर्भाग्य से क्लाउड स्पैनर दृश्यों का समर्थन नहीं करता है। हालाँकि, यह हमें केवल आंशिक रूप से सीमित करता है, क्योंकि एक्सेस अनुमतियों के लिए कोई कॉलम-स्तरीय ग्रैन्युलैरिटी नहीं है जहां दृश्य एक स्वीकार्य समाधान हो सकते हैं।

कोटा और सीमाओं का विवरण देने वाले अनुभाग के लिए क्लाउड स्पैनर दस्तावेज़ देखें (स्पैनर/कोटा), विशेष रूप से एक है जो कुछ अनुप्रयोगों के लिए समस्याग्रस्त हो सकता है: क्लाउड स्पैनर आउट ऑफ़ द बॉक्स में प्रति उदाहरण अधिकतम 100 डेटाबेस होते हैं। जाहिर है, यह उस डेटाबेस के लिए एक बड़ी बाधा हो सकती है जिसे 100 से अधिक डेटाबेस तक स्केल करने के लिए डिज़ाइन किया गया है। सौभाग्य से, हमारे Google तकनीकी प्रतिनिधि से बात करने के बाद, हमें पता चला कि Google समर्थन के माध्यम से इस सीमा को लगभग किसी भी मूल्य तक बढ़ाया जा सकता है।

विकास का समर्थन?

क्लाउड स्पैनर अपने एपीआई के साथ काम करने के लिए काफी अच्छा प्रोग्रामिंग भाषा समर्थन प्रदान करता है। आधिकारिक तौर पर समर्थित लाइब्रेरी C#, Go, Java, node.js, PHP, Python और Ruby के क्षेत्र में हैं। दस्तावेज़ीकरण काफी विस्तृत है, लेकिन अन्य अत्याधुनिक प्रौद्योगिकियों की तरह, अधिकांश लोकप्रिय डेटाबेस प्रौद्योगिकियों की तुलना में समुदाय काफी छोटा है, जिसके परिणामस्वरूप कम आम उपयोग के मामलों या समस्याओं पर अधिक समय व्यतीत हो सकता है।

तो स्थानीय विकास सहायता के बारे में क्या?

हमें ऑन-प्रिमाइसेस में क्लाउड स्पैनर इंस्टेंस बनाने का कोई तरीका नहीं मिला है। हमें जो सबसे करीब मिला वह एक डॉकर छवि है कॉकरोचडीबीजो सिद्धांत रूप में समान है, लेकिन व्यवहार में बहुत भिन्न है। उदाहरण के लिए कॉकरोचडीबी PostgreSQL JDBC का उपयोग कर सकता है। चूँकि विकास का वातावरण यथासंभव उत्पादन परिवेश के करीब होना चाहिए, क्लाउड स्पैनर आदर्श नहीं है क्योंकि आपको पूर्ण स्पैनर उदाहरण पर भरोसा करने की आवश्यकता है। लागत बचाने के लिए, आप एकल क्षेत्र का उदाहरण चुन सकते हैं।

प्रशासन का सहयोग?

क्लाउड स्पैनर इंस्टेंस बनाना बहुत सरल है। आपको बस एक बहु-क्षेत्र या एकल-क्षेत्र उदाहरण बनाने के बीच चयन करना होगा, क्षेत्र(क्षेत्रों) और नोड्स की संख्या निर्दिष्ट करनी होगी। एक मिनट से भी कम समय में, इंस्टेंस चालू हो जाएगा।

कई प्राथमिक मेट्रिक्स सीधे Google कंसोल में स्पैनर पेज पर उपलब्ध हैं। अधिक विस्तृत दृश्य स्टैकड्राइवर के माध्यम से उपलब्ध हैं, जहाँ आप मीट्रिक सीमाएँ और अलर्ट नीतियाँ भी निर्धारित कर सकते हैं।

संसाधनों तक पहुंच?

MySQL व्यापक और बहुत विस्तृत उपयोगकर्ता अनुमति/भूमिका सेटिंग्स प्रदान करता है। आप किसी विशिष्ट तालिका, या यहां तक ​​कि उसके स्तंभों के केवल एक उपसमूह तक पहुंच को आसानी से अनुकूलित कर सकते हैं। क्लाउड स्पैनर Google आइडेंटिटी एंड एक्सेस मैनेजमेंट (IAM) टूल का उपयोग करता है, जो आपको केवल नीतियों और अनुमतियों को बहुत उच्च स्तर पर सेट करने की अनुमति देता है। सबसे विस्तृत विकल्प डेटाबेस-स्तरीय अनुमति है, जो अधिकांश उत्पादन मामलों में फिट नहीं बैठता है। यह प्रतिबंध आपको स्पैनर संसाधनों के अनधिकृत उपयोग को रोकने के लिए अपने कोड, बुनियादी ढांचे या दोनों में अतिरिक्त सुरक्षा उपाय जोड़ने के लिए मजबूर करता है।

बैकअप?

सीधे शब्दों में कहें तो क्लाउड स्पैनर में कोई बैकअप नहीं है। जबकि Google की उच्च SLA आवश्यकताएँ यह सुनिश्चित कर सकती हैं कि आप हार्डवेयर या डेटाबेस विफलताओं, मानवीय त्रुटि, एप्लिकेशन दोषों आदि के कारण कोई भी डेटा न खोएँ। हम सभी नियम जानते हैं: उच्च उपलब्धता स्मार्ट बैकअप रणनीति का कोई विकल्प नहीं है। वर्तमान में, डेटा का बैकअप लेने का एकमात्र तरीका इसे डेटाबेस से एक अलग भंडारण वातावरण में प्रोग्रामेटिक रूप से स्ट्रीम करना है।

क्वेरी प्रदर्शन?

हमने डेटा लोड करने और प्रश्नों का परीक्षण करने के लिए Yahoo! का उपयोग किया। क्लाउड सर्विंग बेंचमार्क. नीचे दी गई तालिका 95% पढ़ने और 5% लिखने के अनुपात के साथ बी वाईसीएसबी कार्यभार को दर्शाती है।

* लोड परीक्षण n1-मानक-32 कंप्यूट इंजन (सीई) (32 वीसीपीयू, 120 जीबी मेमोरी) पर चलाया गया था और परीक्षण उदाहरण कभी भी परीक्षणों में बाधा नहीं था।
** एक YCSB इंस्टेंस में थ्रेड्स की अधिकतम संख्या 400 है। कुल मिलाकर, कुल 2400 थ्रेड्स प्राप्त करने के लिए YCSB परीक्षणों के छह समानांतर इंस्टेंसेस चलाने होंगे।

बेंचमार्क परिणामों को देखते हुए, विशेष रूप से सीपीयू लोड और टीपीएस के संयोजन से, हम स्पष्ट रूप से देख सकते हैं कि क्लाउड स्पैनर काफी अच्छी तरह से स्केल करता है। बड़ी संख्या में थ्रेड्स द्वारा बनाए गए बड़े लोड को क्लाउड स्पैनर क्लस्टर में बड़ी संख्या में नोड्स द्वारा ऑफसेट किया जाता है। यद्यपि विलंबता काफी अधिक दिखती है, खासकर जब 2400 थ्रेड पर चल रही हो, तो अधिक सटीक संख्या प्राप्त करने के लिए गणना इंजन के 6 छोटे उदाहरणों के साथ पुन: परीक्षण करना आवश्यक हो सकता है। प्रत्येक उदाहरण 6 समानांतर परीक्षणों के साथ एक बड़े CE उदाहरण के बजाय एक YCSB परीक्षण चलाएगा। इससे क्लाउड स्पैनर अनुरोध विलंब और क्लाउड स्पैनर और परीक्षण चलाने वाले सीई इंस्टेंस के बीच नेटवर्क कनेक्शन द्वारा जोड़े गए विलंब के बीच अंतर करना आसान हो जाएगा।

क्लाउड स्पैनर OLAP के रूप में कैसा प्रदर्शन करता है?

विभाजन?

डेटा को भौतिक और/या तार्किक रूप से स्वतंत्र खंडों में विभाजित करना, जिसे विभाजन कहा जाता है, अधिकांश OLAP इंजनों में पाई जाने वाली एक बहुत लोकप्रिय अवधारणा है। विभाजन क्वेरी प्रदर्शन और डेटाबेस रखरखाव में काफी सुधार कर सकता है। विभाजन के बारे में विस्तार से चर्चा करना एक अलग लेख होगा, तो आइए विभाजन योजना और उप-विभाजन के महत्व का उल्लेख करें। डेटा को विभाजनों में और उससे भी आगे उप-विभाजनों में विभाजित करने की क्षमता विश्लेषणात्मक प्रश्नों के प्रदर्शन की कुंजी है।

क्लाउड स्पैनर स्वयं विभाजनों का समर्थन नहीं करता है. यह डेटा को आंतरिक रूप से तथाकथित में अलग करता है विभाजित-s प्राथमिक कुंजी श्रेणियों पर आधारित है। क्लाउड स्पैनर क्लस्टर पर लोड को संतुलित करने के लिए विभाजन स्वचालित रूप से किया जाता है। क्लाउड स्पैनर की एक बहुत ही उपयोगी सुविधा पैरेंट टेबल के बेस लोड को विभाजित करना है (एक टेबल जो किसी अन्य के साथ इंटरलीव नहीं होती है)। स्पैनर स्वचालित रूप से पता लगाता है कि इसमें कुछ है या नहीं विभाजित वह डेटा जो अन्य डेटा की तुलना में अधिक बार पढ़ा जाता है विभाजित-आह, और आगे अलगाव पर निर्णय ले सकता है। इस प्रकार, एक अनुरोध में अधिक नोड्स शामिल किए जा सकते हैं, जो प्रभावी रूप से थ्रूपुट को भी बढ़ाता है।

डेटा लोड हो रहा है?

बल्क डेटा के लिए क्लाउड स्पैनर विधि नियमित अपलोड के समान ही है। अधिकतम प्रदर्शन के लिए, आपको कुछ दिशानिर्देशों का पालन करना होगा, जिनमें शामिल हैं:

• अपने डेटा को प्राथमिक कुंजी के आधार पर क्रमबद्ध करें.
• उन्हें 10* से विभाजित करेंनोड्स की संख्या व्यक्तिगत अनुभाग.
• कार्यकर्ता कार्यों का एक सेट बनाएं जो समानांतर में डेटा लोड करें।

यह डेटा लोड सभी क्लाउड स्पैनर नोड्स का उपयोग करता है।

हमने 10M पंक्ति डेटासेट उत्पन्न करने के लिए A YCSB वर्कलोड का उपयोग किया।

* लोड परीक्षण n1-मानक-32 कंप्यूट इंजन (32 वीसीपीयू, 120 जीबी मेमोरी) पर चलाया गया था और परीक्षण उदाहरण कभी भी परीक्षणों में बाधा नहीं था।
** किसी भी उत्पादन कार्यभार के लिए 1 नोड सेटअप की अनुशंसा नहीं की जाती है।

जैसा कि ऊपर उल्लेख किया गया है, क्लाउड स्पैनर स्वचालित रूप से उनके लोड के आधार पर विभाजन को संसाधित करता है, इसलिए परीक्षण के कई लगातार पुनरावृत्तियों के बाद परिणाम बेहतर होते हैं। यहां प्रस्तुत परिणाम हमें मिले सर्वोत्तम परिणाम हैं। उपरोक्त संख्याओं को देखते हुए, हम देख सकते हैं कि क्लस्टर में नोड्स की संख्या बढ़ने पर क्लाउड स्पैनर कैसे स्केल करता है (अच्छी तरह से)। जो संख्याएँ सामने आती हैं वे बेहद कम औसत विलंबता हैं, जो मिश्रित कार्यभार (95% पढ़ने और 5% लिखने) के परिणामों के विपरीत है, जैसा कि ऊपर अनुभाग में वर्णित है।

स्केलिंग?

क्लाउड स्पैनर नोड्स की संख्या बढ़ाना और घटाना एक-क्लिक का कार्य है। यदि आप डेटा को जल्दी से लोड करना चाहते हैं, तो आप इंस्टेंस को अधिकतम तक बढ़ाने पर विचार कर सकते हैं (हमारे मामले में यह यूएस-ईस्ट क्षेत्र में 25 नोड्स था) और फिर सभी डेटा के बाद आपके सामान्य लोड के लिए उपयुक्त नोड्स की संख्या कम करें डेटाबेस में, 2 टीबी/नोड सीमा को ध्यान में रखते हुए।

बहुत छोटे डेटाबेस के साथ भी हमें इस सीमा की याद दिलाई गई। कई लोड परीक्षण चलाने के बाद, हमारे डेटाबेस का आकार लगभग 155 जीबी था, और जब 1 नोड उदाहरण तक छोटा किया गया, तो हमें निम्नलिखित त्रुटि मिली:

हम 25 से 2 उदाहरणों तक स्केल करने में सक्षम थे, लेकिन हम दो नोड्स पर अटके हुए हैं।

क्लाउड स्पैनर क्लस्टर में नोड्स की संख्या बढ़ाने और घटाने को REST API का उपयोग करके स्वचालित किया जा सकता है। व्यस्त घंटों के दौरान सिस्टम पर बढ़े हुए लोड को कम करने के लिए यह विशेष रूप से उपयोगी हो सकता है।

OLAP क्वेरी प्रदर्शन?

हमने मूल रूप से इस भाग पर स्पैनर के मूल्यांकन के लिए काफी समय देने की योजना बनाई थी। कुछ चुनिंदा गणनाओं के बाद, हमें तुरंत एहसास हुआ कि परीक्षण छोटा होगा और स्पैनर OLAP के लिए उपयुक्त इंजन नहीं होगा। क्लस्टर में नोड्स की संख्या के बावजूद, 10M पंक्ति तालिका में पंक्तियों की संख्या चुनने में 55 से 60 सेकंड का समय लगा। साथ ही, मध्यवर्ती परिणामों को संग्रहीत करने के लिए अधिक मेमोरी की आवश्यकता वाली कोई भी क्वेरी OOM त्रुटि के साथ विफल हो गई।

SELECT COUNT(DISTINCT(field0)) FROM usertable; — (10M distinct values)-> SpoolingHashAggregateIterator ran out of memory during new row.

टीपीसी-एच प्रश्नों के लिए कुछ नंबर टॉड लिपकॉन के लेख में पाए जा सकते हैं nosql-kudu-spanner-slides.html, स्लाइड 42 और 43। ये संख्याएँ हमारे अपने परिणामों (दुर्भाग्य से) के अनुरूप हैं।

4. हमारे निष्कर्ष

क्लाउड स्पैनर की विशेषताओं की वर्तमान स्थिति को देखते हुए, इसे मौजूदा ओएलटीपी समाधान के लिए एक सरल प्रतिस्थापन के रूप में देखना कठिन है, खासकर जब आपकी ज़रूरतें इससे बढ़ जाती हैं। क्लाउड स्पैनर की कमियों का समाधान बनाने में काफी समय लगेगा।

जब हमने क्लाउड स्पैनर का मूल्यांकन करना शुरू किया, तो हमें उम्मीद थी कि इसकी प्रबंधन सुविधाएँ अन्य Google SQL समाधानों के बराबर होंगी, या कम से कम उनसे दूर नहीं होंगी। लेकिन हम बैकअप की पूर्ण कमी और संसाधनों तक बहुत सीमित पहुंच नियंत्रण से आश्चर्यचकित थे। कोई विचार नहीं, कोई स्थानीय विकास वातावरण नहीं, असमर्थित अनुक्रम, डीएमएल और डीडीएल समर्थन के बिना जेडीबीसी, इत्यादि का उल्लेख नहीं है।

तो, ऐसे व्यक्ति को कहां जाना चाहिए जिसे लेनदेन संबंधी डेटाबेस को स्केल करने की आवश्यकता है? ऐसा प्रतीत होता है कि बाज़ार में अभी तक कोई ऐसा समाधान नहीं है जो सभी उपयोग के मामलों में फिट बैठता हो। कई बंद और खुले स्रोत समाधान हैं (जिनमें से कुछ का उल्लेख इस आलेख में किया गया है), प्रत्येक की अपनी ताकत और कमजोरियां हैं, लेकिन उनमें से कोई भी 99,999% एसएलए और उच्च स्तर की स्थिरता के साथ सास की पेशकश नहीं करता है। यदि उच्च एसएलए आपका प्राथमिक लक्ष्य है और आप कई बादलों के लिए अपना स्वयं का समाधान बनाने के इच्छुक नहीं हैं, तो क्लाउड स्पैनर वह समाधान हो सकता है जिसे आप तलाश रहे हैं। लेकिन आपको इसकी सभी सीमाओं के बारे में पता होना चाहिए।

निष्पक्ष होने के लिए, क्लाउड स्पैनर को केवल 2017 के वसंत में जनता के लिए जारी किया गया था, इसलिए यह उम्मीद करना उचित है कि इसकी कुछ मौजूदा खामियां अंततः दूर हो सकती हैं (उम्मीद है), और जब ऐसा होगा, तो यह गेम-चेंजर हो सकता है। आख़िरकार, क्लाउड स्पैनर Google के लिए केवल एक साइड प्रोजेक्ट नहीं है। Google इसे अन्य Google उत्पादों के लिए आधार के रूप में उपयोग करता है। और जब Google ने हाल ही में Google क्लाउड स्टोरेज में मेगास्टोर को क्लाउड स्पैनर से बदल दिया, तो इसने Google क्लाउड स्टोरेज को वैश्विक स्तर पर ऑब्जेक्ट सूचियों के लिए अत्यधिक सुसंगत बनने की अनुमति दी (जो अभी भी मामला नहीं है) अमेज़न के S3).

तो, अभी भी उम्मीद है... हमें उम्मीद है।

बस इतना ही। लेख के लेखक की तरह हम भी आशा करते रहते हैं, लेकिन आप इस बारे में क्या सोचते हैं? टिप्पणियों में लिखें

हम सभी को हमारे यहाँ आने के लिए आमंत्रित करते हैं मुफ्त वेबिनार जिसमें हम आपको कोर्स के बारे में विस्तार से बताएंगे "डेवलपर्स के लिए AWS" OTUS से.

स्रोत: www.habr.com