गुगल क्लाउड स्प्यानर: राम्रो, नराम्रो र कुरूप

नमस्ते, Khabrovsk निवासीहरू। सामान्य रूपमा, हामी नयाँ पाठ्यक्रमहरू सुरु हुनु अघि रोचक सामग्री साझा गर्न जारी राख्छौं। आज, विशेष गरी तपाईको लागि, हामीले पाठ्यक्रमको सुरुवातसँग मेल खाने Google क्लाउड स्प्यानरको बारेमा एउटा लेख प्रकाशित गरेका छौं। "विकासकर्ताहरूको लागि AWS".

मूलतः मा प्रकाशित Lightspeed मुख्यालय ब्लग.

विश्वभरका खुद्रा विक्रेताहरू, रेस्टुरेन्टहरू, र अनलाइन बिक्रेताहरूलाई क्लाउड-आधारित POS समाधानहरूको विविधता प्रदान गर्ने कम्पनीको रूपमा, Lightspeed ले विभिन्न प्रकारका लेनदेन, विश्लेषणात्मक, र खोज प्रयोग केसहरूको लागि विभिन्न प्रकारका डेटाबेस प्लेटफर्महरू प्रयोग गर्दछ। यी प्रत्येक डाटाबेस प्लेटफर्मको आफ्नै बल र कमजोरीहरू छन्। यसैले, जब Google ले क्लाउड स्प्यानर बजारमा प्रस्तुत गर्‍यो - रिलेसनल डाटाबेसको संसारमा नदेखिने आशाजनक सुविधाहरू, जस्तै वस्तुतः असीमित तेर्सो स्केलेबिलिटी र 99,999% सेवा स्तर सम्झौता (SLA), - हामीले यसमा हात उठाउने मौका गुमाउन सकेनौं!

क्लाउड स्प्यानरको साथ हाम्रो अनुभवको विस्तृत सिंहावलोकन प्रदान गर्न, साथै हामीले प्रयोग गरेका मूल्याङ्कन मापदण्डहरू, हामी निम्न विषयहरूलाई समेट्नेछौं:

1. हाम्रो मूल्याङ्कन मापदण्ड
2. संक्षेपमा क्लाउड स्प्यानर
3. हाम्रो मूल्याङ्कन
4. हाम्रो निष्कर्ष

1. हाम्रो मूल्याङ्कन मापदण्ड

क्लाउड स्प्यानरको विशिष्टताहरूमा डुब्न अघि, यसको समानता र बजारमा अन्य समाधानहरूसँग भिन्नताहरू, पहिले हाम्रो पूर्वाधारमा क्लाउड स्प्यानर कहाँ तैनात गर्ने भनेर विचार गर्दा हामीले मुख्य प्रयोगका केसहरूको बारेमा कुरा गरौं:

• (प्रमुख) परम्परागत SQL डाटाबेस समाधानको लागि प्रतिस्थापनको रूपमा
• OLAP समर्थन संग OLTP समाधान कसरी गर्ने

नोट: सरलता र तुलनाको सहजताको लागि, यस लेखले क्लाउड स्प्यानरलाई GCP क्लाउड SQL र Amazon AWS RDS समाधान परिवारहरूको MySQL भेरियन्टहरूसँग तुलना गर्दछ।

परम्परागत SQL डाटाबेस समाधानको लागि प्रतिस्थापनको रूपमा क्लाउड स्प्यानर प्रयोग गर्दै

वातावरणमा परम्परागत डाटाबेसहरू, जब डाटाबेस क्वेरी प्रतिक्रिया समय नजिक आउँछ वा पूर्वनिर्धारित एप्लिकेसन थ्रेसहोल्डहरू (मुख्य रूपमा प्रयोगकर्ताहरू र/वा अनुरोधहरूको वृद्धिको कारणले गर्दा), स्वीकार्य स्तरहरूमा प्रतिक्रिया समय घटाउने धेरै तरिकाहरू छन्। यद्यपि, यी अधिकांश समाधानहरूमा म्यानुअल हस्तक्षेप समावेश छ।

उदाहरणका लागि, लिने पहिलो चरण भनेको विभिन्न कार्यसम्पादन-सम्बन्धित डाटाबेस प्यारामिटरहरू हेर्नु हो र तिनीहरूलाई उत्तम मिलान अनुप्रयोग प्रयोग केस ढाँचाहरूमा ट्युन गर्नु हो। यदि यो पर्याप्त छैन भने, तपाईले डाटाबेस ठाडो वा तेर्सो मापन गर्न रोज्न सक्नुहुन्छ।

ठाडो रूपमा एप्लिकेसन मापन गर्दा सर्भर इन्स्ट्यान्स अपग्रेड गर्न समावेश हुन्छ, सामान्यतया थप प्रोसेसर/कोर, थप RAM, छिटो भण्डारण, इत्यादि थपेर। थप हार्डवेयर स्रोतहरू थप्दा डाटाबेस कार्यसम्पादनमा वृद्धि हुन्छ, मुख्य रूपमा सेकेन्डमा लेनदेनहरूमा मापन गरिन्छ, र OLTP प्रणालीहरूको लागि लेनदेन विलम्बता। रिलेशनल डाटाबेस प्रणालीहरू (जसले बहु-थ्रेडेड दृष्टिकोण प्रयोग गर्दछ) जस्तै MySQL मापन ठाडो रूपमा।

यस दृष्टिकोणमा धेरै हानिहरू छन्, तर सबैभन्दा स्पष्ट बजारमा अधिकतम सर्भर आकार हो। एक पटक सबैभन्दा ठूलो सर्भर उदाहरणको सीमा पुगेपछि, त्यहाँ एक मात्र विकल्प बाँकी छ: तेर्सो स्केलिंग।

तेर्सो स्केलिंग एउटा दृष्टिकोण हो जहाँ क्लस्टरमा थप सर्भरहरू थपिन्छन्, आदर्श रूपमा सर्भरहरूको सङ्ख्या थपिएसँगै प्रदर्शनलाई रैखिक रूपमा बढाउँछ। बहुमत परम्परागत डाटाबेस प्रणालीहरू तेर्सो रूपमा राम्रोसँग मापन गर्दैनन् वा मापन गर्दैनन्। उदाहरणका लागि, MySQL ले दास पाठकहरू थपेर पढ्ने अपरेसनहरूको लागि तेर्सो रूपमा मापन गर्न सक्छ, तर लेखहरूको लागि तेर्सो रूपमा मापन गर्न सक्दैन।

अर्कोतर्फ, यसको प्रकृतिको कारण, क्लाउड स्प्यानरले न्यूनतम हस्तक्षेपको साथ तेर्सो रूपमा सजिलै मापन गर्न सक्छ।

पूर्ण रूपमा चित्रित DBMS सेवाको रूपमा विभिन्न कोणबाट मूल्याङ्कन गर्नुपर्छ। आधारको रूपमा, हामीले क्लाउडमा सबैभन्दा लोकप्रिय DBMS लियौं - Google, GCP Cloud SQL र Amazon, AWS RDS को लागि। हाम्रो मूल्याङ्कनमा हामीले निम्न कोटीहरूमा ध्यान केन्द्रित गर्यौं:

• सुविधा म्यापिङ: हद SQL, DDL, DML; जडान पुस्तकालयहरू/कनेक्टरहरू, लेनदेन समर्थन, र यति।
• विकास समर्थन: सजिलो विकास र परीक्षण।
• प्रशासन समर्थन: उदाहरण व्यवस्थापन - उदाहरण को लागी, माथि / तल मापन र उदाहरण अपग्रेड गर्दै; SLA, ब्याकअप र रिकभरी; सुरक्षा / पहुँच नियन्त्रण।

OLAP-सक्षम OLTP समाधानको रूपमा क्लाउड स्प्यानर प्रयोग गर्दै

Google ले क्लाउड स्प्यानर विश्लेषणात्मक प्रशोधनका लागि डिजाइन गरिएको हो भनी स्पष्ट रूपमा दावी गर्दैन, यसले अन्य इन्जिनहरू जस्तै Apache Impala & Kudu र YugaByte, जुन OLAP वर्कलोडहरूको लागि डिजाइन गरिएको हो, केही विशेषताहरू साझेदारी गर्दछ।

क्लाउड स्प्यानरले एक (अधिक वा कम) प्रयोगयोग्य OLAP सुविधा सेटको साथ एक सुसंगत स्केल-आउट HTAP (हाइब्रिड लेनदेन/विश्लेषण प्रक्रिया) इन्जिन समावेश गर्ने थोरै मौका भए पनि, हामीलाई लाग्छ कि यो हाम्रो ध्यानको योग्य हुनेछ।

यसलाई दिमागमा राखेर, हामीले निम्न कोटीहरू हेर्यौं:

• डाटा लोड, अनुक्रमणिका र विभाजन समर्थन
• क्वेरी प्रदर्शन र DML

2. संक्षेपमा क्लाउड स्प्यानर

गुगल स्प्यानर एक क्लस्टर गरिएको रिलेसनल डाटाबेस प्रबन्धन प्रणाली (RDBMS) हो जुन Google ले आफ्नै धेरै सेवाहरूको लागि प्रयोग गर्दछ। गुगलले यसलाई सामान्यतया गुगल क्लाउड प्लेटफर्म प्रयोगकर्ताहरूलाई 2017 को शुरुमा उपलब्ध गराएको थियो।

यहाँ केही क्लाउड स्प्यानर विशेषताहरू छन्:

• अत्यधिक संगत स्केलेबल RDBMS क्लस्टर: डाटा स्थिरता सुनिश्चित गर्न हार्डवेयर समय सिंक्रोनाइजेसन प्रयोग गर्दछ।
• क्रस-टेबल लेनदेन समर्थन: लेनदेनले धेरै तालिकाहरू फैलाउन सक्छ - आवश्यक रूपमा एकल तालिकामा सीमित छैन (अपाचे HBase वा Apache Kudu विपरीत)।
• प्राथमिक कुञ्जीमा आधारित तालिकाहरू: सबै तालिकाहरूमा घोषित प्राथमिक कुञ्जी (PC) हुनुपर्छ, जसमा तालिकामा धेरै स्तम्भहरू समावेश हुन सक्छन्। ट्याबुलर डाटा पीसी क्रम मा भण्डारण गरिएको छ, यो धेरै कुशल र पीसी खोजी को लागी छिटो बनाउन। अन्य पीसी-आधारित प्रणालीहरू जस्तै, कार्यान्वयनलाई प्राप्त गर्नको लागि पूर्व-डिजाइन गरिएको प्रयोगका केसहरूसँग मोडेल गरिएको हुनुपर्छ। उत्कृष्ट प्रदर्शन.
• धारीदार तालिकाहरू: तालिकाहरूमा एक अर्कामा भौतिक निर्भरता हुन सक्छ। बच्चा तालिकाका पङ्क्तिहरू अभिभावक तालिकामा पङ्क्तिहरूसँग मिलाउन सकिन्छ। यो दृष्टिकोणले डेटा मोडेलिङ चरणको समयमा पहिचान गर्न सकिने सम्बन्धहरूको खोजीलाई गति दिन्छ, जस्तै ग्राहकहरू र तिनीहरूको इनभ्वाइसहरू सह-स्थान गर्ने।
• अनुक्रमणिकाहरू: क्लाउड स्प्यानरले माध्यमिक अनुक्रमणिकाहरूलाई समर्थन गर्दछ। अनुक्रमणिकामा अनुक्रमित स्तम्भहरू र सबै पीसी स्तम्भहरू हुन्छन्। यदि चाहियो भने, अनुक्रमणिकाले अन्य गैर-अनुक्रमणिका स्तम्भहरू पनि समावेश गर्न सक्छ। प्रश्नहरूको गति बढाउनको लागि अनुक्रमणिकालाई अभिभावक तालिकासँग इन्टरलिभ गर्न सकिन्छ। धेरै प्रतिबन्धहरू अनुक्रमणिकाहरूमा लागू हुन्छन्, जस्तै अनुक्रमणिकामा भण्डारण गरिएका अतिरिक्त स्तम्भहरूको अधिकतम संख्या। साथै, अनुक्रमणिका मार्फत सोधिने प्रश्नहरू अन्य RDBMS हरू जस्तै सीधा नहुन सक्छ।

"क्लाउड स्प्यानरले दुर्लभ अवस्थामा मात्र स्वचालित रूपमा अनुक्रमणिका चयन गर्दछ। विशेष गरी, क्लाउड स्प्यानरले स्वचालित रूपमा माध्यमिक अनुक्रमणिका चयन गर्दैन यदि क्वेरीले कुनै पनि स्तम्भहरू अनुरोध गर्दछ जुन भण्डार गरिएको छैन। अनुक्रमणिका "।

• सेवा स्तर सम्झौता (SLA): 99,99% को SLA संग एक क्षेत्रमा तैनाती; 99,999% SLA संग बहु-क्षेत्रीय तैनाती। जबकि SLA आफैंमा एउटा सम्झौता हो र कुनै पनि प्रकारको ग्यारेन्टी होइन, म विश्वास गर्छु कि Google मा मानिसहरूसँग त्यस्तो बलियो दाबी गर्न केही कडा डेटा छ। (सन्दर्भको लागि, 99,999% को अर्थ प्रति महिना 26,3 सेकेन्ड सेवा अनुपलब्धता हो।)
• थप: https://cloud.google.com/spanner/

नोट: Apache Tephra परियोजनाले Apache HBase मा परिष्कृत लेनदेन समर्थन थप्छ (अब बीटाको रूपमा Apache Phoenix मा लागू गरिएको छ)।

3. हाम्रो मूल्याङ्कन

त्यसोभए, हामीले क्लाउड स्प्यानरका फाइदाहरूको बारेमा गुगलको दावीहरू पढेका छौं - उच्च स्थिरता र धेरै उच्च SLA कायम राख्दै वस्तुतः असीमित तेर्सो मापन। यद्यपि यी आवश्यकताहरू, कुनै पनि अवस्थामा, प्राप्त गर्न अत्यन्तै गाह्रो छ, हाम्रो लक्ष्य तिनीहरूलाई अस्वीकार गर्ने थिएन। यसको सट्टा, धेरै जसो डाटाबेस प्रयोगकर्ताहरूले ध्यान दिने अन्य चीजहरूमा ध्यान केन्द्रित गरौं: समानता र उपयोगिता।

हामीले Sharded MySQL को प्रतिस्थापनको रूपमा क्लाउड स्प्यानरको मूल्याङ्कन गर्यौं

गुगल क्लाउड SQL र Amazon AWS RDS, क्लाउड बजारमा दुई सबैभन्दा लोकप्रिय OLTP DBMS, सुविधाहरूको धेरै ठूलो सेट छ। यद्यपि, यी डाटाबेसहरूलाई एकल नोडको साइजभन्दा बाहिर मापन गर्न, तपाईंले अनुप्रयोग विभाजन गर्न आवश्यक छ। यस दृष्टिकोणले दुबै अनुप्रयोग र प्रशासनको लागि थप जटिलता सिर्जना गर्दछ। हामीले स्प्यानर कसरी एकल उदाहरणमा धेरै शार्डहरू संयोजन गर्ने परिदृश्यमा फिट हुन्छ र कुन सुविधाहरू (यदि कुनै हो) बलिदान गर्न आवश्यक हुन सक्छ भनेर हेर्यौं।

SQL, DML र DDL समर्थन, साथै कनेक्टर र पुस्तकालयहरू?

पहिलो, कुनै पनि डाटाबेसको साथ सुरु गर्दा, तपाईंले डाटा मोडेल सिर्जना गर्न आवश्यक छ। यदि तपाइँ JDBC स्प्यानरलाई तपाइँको मनपर्ने SQL उपकरणमा जडान गर्न सक्नुहुन्छ भन्ने सोच्नुहुन्छ भने, तपाइँ फेला पार्नुहुनेछ कि तपाइँ यसको साथ तपाइँको डेटा क्वेरी गर्न सक्नुहुन्छ, तर तपाइँ यसलाई तालिका बनाउन वा परिमार्जन गर्न (DDL) वा कुनै सम्मिलित/अपडेट/मेटाउन प्रयोग गर्न सक्नुहुन्न। सञ्चालन (DML)। Google को आधिकारिक JDBC ले यी मध्ये कुनै पनि समर्थन गर्दैन।

"ड्राइभरहरूले हाल DML वा DDL कथनहरूलाई समर्थन गर्दैनन्।"
स्प्यानर दस्तावेजीकरण

GCP कन्सोलको साथ स्थिति राम्रो छैन - तपाईं केवल SELECT क्वेरीहरू पठाउन सक्नुहुन्छ। सौभाग्य देखि त्यहाँ लेनदेन सहित समुदायबाट DML र DDL को लागि समर्थन संग JDBC चालक छ github.com/olavloite/spanner-jdbc। जबकि यो ड्राइभर अत्यन्त उपयोगी छ, गुगलको आफ्नै JDBC ड्राइभरको अभाव आश्चर्यजनक छ। सौभाग्यवश, गुगलले क्लाइन्ट लाइब्रेरीहरू (gRPC मा आधारित): C#, Go, Java, node.js, PHP, Python, र Ruby को लागि एकदम व्यापक समर्थन प्रदान गर्दछ।

क्लाउड स्प्यानर अनुकूलन API हरूको लगभग अनिवार्य प्रयोग (JDBC मा DDL र DML को कमीको कारणले) सम्बन्धित कोड क्षेत्रहरू जस्तै जडान पूल वा डाटाबेस बाइन्डिङ फ्रेमवर्कहरू (जस्तै स्प्रिंग MVC) को लागि केही सीमितताहरूमा परिणाम दिन्छ। सामान्यतया, JDBC प्रयोग गर्दा, तपाइँ तपाइँको मनपर्ने जडान पूल छनौट गर्न स्वतन्त्र हुनुहुन्छ (जस्तै HikariCP, DBCP, C3PO, आदि) जुन परीक्षण गरिएको छ र राम्रोसँग काम गर्दछ। अनुकूलन स्प्यानर API को मामला मा, हामीले फ्रेमवर्क / बाध्यकारी पूल / सत्रहरु मा भर पर्नु पर्छ जुन हामीले आफैले सिर्जना गरेका छौं।

प्राथमिक कुञ्जी (PC) केन्द्रित डिजाइनले क्लाउड स्प्यानरलाई PC मार्फत डेटा पहुँच गर्दा धेरै छिटो हुन अनुमति दिन्छ, तर केही क्वेरी मुद्दाहरू पनि परिचय गराउँछ।

• तपाईंले प्राथमिक कुञ्जी मान अद्यावधिक गर्न सक्नुहुन्न; तपाईंले पहिले मूल पीसीबाट प्रविष्टि मेटाउनुपर्छ र यसलाई नयाँ मानसँग पुन: घुसाउनु पर्छ। (यो अन्य पीसी उन्मुख डाटाबेस/भण्डारण इन्जिनहरू जस्तै छ।)
• कुनै पनि UPDATE र DELETE कथनहरूले WHERE मा PC निर्दिष्ट गर्नुपर्छ, त्यसैले त्यहाँ खाली DELETE सबै कथनहरू हुन सक्दैन - त्यहाँ सधैं सबक्वेरी हुनुपर्छ, उदाहरणका लागि: अपडेट गर्नुहोस् xxx WHERE id IN (table1 बाट id SELECT)
• स्वत: वृद्धि विकल्पको अभाव वा PC फिल्डको लागि अनुक्रम सेट गर्ने समान केहि। यो काम गर्नको लागि, सम्बन्धित मान एप्लिकेसन साइडमा सिर्जना गर्नुपर्छ।

माध्यमिक अनुक्रमणिकाहरू?

गुगल क्लाउड स्प्यानरसँग माध्यमिक अनुक्रमणिकाहरूको लागि निर्मित समर्थन छ। यो एक धेरै राम्रो सुविधा हो जुन सधैं अन्य प्रविधिहरूमा उपस्थित हुँदैन। Apache Kudu ले हाल माध्यमिक अनुक्रमणिकाहरूलाई समर्थन गर्दैन, र Apache HBase ले अनुक्रमणिकाहरूलाई प्रत्यक्ष रूपमा समर्थन गर्दैन, तर तिनीहरूलाई Apache Phoenix मार्फत थप्न सक्छ।

Kudu र HBase मा अनुक्रमणिकाहरूलाई प्राथमिक कुञ्जीहरूको फरक संरचनाको साथ छुट्टै तालिकाको रूपमा मोडेल गर्न सकिन्छ, तर अभिभावक तालिका र सम्बन्धित अनुक्रमणिका तालिकाहरूमा गरिएका कार्यहरूको परमाणुता अनुप्रयोग स्तरमा हुनुपर्छ र सही रूपमा कार्यान्वयन गर्न मामूली छैन।

क्लाउड स्प्यानर समीक्षामा उल्लेख गरिए अनुसार, यसको अनुक्रमणिका MySQL अनुक्रमणिकाहरू भन्दा फरक हुन सक्छ। तसर्थ, आवश्यक पर्ने ठाउँमा उचित अनुक्रमणिका प्रयोग गरिएको छ भनी सुनिश्चित गर्न प्रश्नहरू र प्रोफाइलिङ निर्माण गर्दा विशेष सावधानी अपनाउनुपर्छ।

प्रतिनिधित्व?

डेटाबेस मा एक धेरै लोकप्रिय र उपयोगी वस्तु दृश्य हो। तिनीहरू प्रयोग केसहरूको ठूलो संख्याको लागि उपयोगी हुन सक्छन्; मेरो दुई मनपर्ने तार्किक अमूर्त तह र सुरक्षा तह हो। दुर्भाग्यवश, क्लाउड स्प्यानरले दृश्यहरूलाई समर्थन गर्दैन। यद्यपि, यसले हामीलाई आंशिक रूपमा मात्र सीमित गर्दछ किनभने त्यहाँ स्तम्भ स्तरमा पहुँच अनुमतिहरूका लागि कुनै विवरण छैन जहाँ दृश्यहरू व्यवहार्य समाधान हुन सक्छन्।

कोटा र प्रतिबन्धहरू (स्प्यानर/कोटा), त्यहाँ एउटा विशेष छ जुन केहि अनुप्रयोगहरूको लागि समस्याग्रस्त हुन सक्छ: बाकस बाहिर क्लाउड स्प्यानरमा प्रति उदाहरण अधिकतम 100 डाटाबेसको सीमा हुन्छ। जाहिर छ, यो एक डाटाबेस को लागी एक प्रमुख बाधा हुन सक्छ जुन 100 डाटाबेस मा मापन गर्न को लागी डिजाइन गरिएको छ। सौभाग्यवश, हाम्रो गुगल प्राविधिक प्रतिनिधिसँग कुरा गरेपछि, हामीले यो सीमा गुगल समर्थन मार्फत लगभग कुनै पनि मानमा बढाउन सकिन्छ भन्ने थाहा पायौं।

विकास सहयोग ?

क्लाउड स्प्यानरले यसको API सँग काम गर्नको लागि राम्रो सभ्य प्रोग्रामिङ भाषा समर्थन प्रदान गर्दछ। आधिकारिक रूपमा समर्थित पुस्तकालयहरू C#, Go, Java, node.js, PHP, Python र Ruby को क्षेत्रमा छन्। कागजात एकदम विस्तृत छ, तर अन्य उन्नत प्रविधिहरू जस्तै, समुदाय सबैभन्दा लोकप्रिय डाटाबेस प्रविधिहरूको तुलनामा एकदम सानो छ, जसले कम सामान्य प्रयोग वा समस्याहरू समाधान गर्न बढी समय खर्च गर्न सक्छ।

त्यसोभए स्थानीय विकासलाई समर्थन गर्ने बारे के?

हामीले क्लाउड स्प्यानर उदाहरण अन-प्रिमाइसेस सिर्जना गर्ने तरिका फेला पारेका छैनौं। हामीले पाएको सबैभन्दा नजिकको कुरा डकर छवि थियो। काकरोचडीबी, जुन सिद्धान्तमा समान छ, तर व्यवहारमा धेरै फरक छ। उदाहरण को लागी, CockroachDB PostgreSQL JDBC प्रयोग गर्न सक्छ। विकास वातावरण सम्भव भएसम्म उत्पादन वातावरणको नजिक हुनुपर्दछ, क्लाउड स्प्यानर आदर्श होइन किनकि यसले पूर्ण स्प्यानर उदाहरणमा भर पर्नु पर्छ। लागत बचत गर्न, तपाईं एकल-क्षेत्र उदाहरण चयन गर्न सक्नुहुन्छ।

प्रशासनको सहयोग ?

क्लाउड स्प्यानर उदाहरण सिर्जना गर्न धेरै सरल छ। तपाईले बहु-क्षेत्र वा एकल-क्षेत्र उदाहरण सिर्जना गर्ने बीचमा छनौट गर्न आवश्यक छ, क्षेत्र(हरू) र नोडहरूको संख्या निर्दिष्ट गर्नुहोस्। एक मिनेट भन्दा कममा, तपाइँको उदाहरण माथि र चलिरहेको छ।

गुगल कन्सोलमा स्प्यानर पृष्ठबाट धेरै प्राथमिक मेट्रिकहरू सीधै पहुँचयोग्य छन्। Stackdriver मार्फत थप विस्तृत दृश्यहरू उपलब्ध छन्, जहाँ तपाईं मेट्रिक थ्रेसहोल्डहरू र सतर्कता नीतिहरू पनि सेट गर्न सक्नुहुन्छ।

स्रोतहरूमा पहुँच?

MySQL ले प्रयोगकर्ता अनुमति/भूमिकाहरूका लागि व्यापक र धेरै दानेदार सेटिङहरू प्रदान गर्दछ। तपाइँ सजिलैसँग एक विशेष तालिकामा पहुँच कन्फिगर गर्न सक्नुहुन्छ, वा यसको स्तम्भहरूको एक उपसेट पनि। क्लाउड स्प्यानरले Google को पहिचान र पहुँच व्यवस्थापन (IAM) उपकरण प्रयोग गर्दछ, जसले तपाईंलाई नीति र अनुमतिहरू उच्च स्तरमा सेट गर्न अनुमति दिन्छ। सबैभन्दा दानेदार विकल्प डाटाबेस-स्तर रिजोल्युसन हो, जुन धेरै उत्पादन प्रयोग केसहरूमा फिट हुँदैन। यो सीमाले तपाइँलाई तपाइँको कोड, पूर्वाधार, वा स्प्यानर स्रोतहरूको अनाधिकृत प्रयोग रोक्नको लागि अतिरिक्त सुरक्षा उपायहरू थप्न बाध्य पार्छ।

ब्याकअपहरू?

यसलाई सरल रूपमा भन्नको लागि, क्लाउड स्प्यानरमा कुनै ब्याकअपहरू छैनन्। यद्यपि Google को उच्च SLA आवश्यकताहरूले हार्डवेयर वा डाटाबेस विफलता, मानव त्रुटिहरू, अनुप्रयोग दोषहरू, आदिको कारणले कुनै पनि डेटा गुमाउनुहुन्न भन्ने कुरा सुनिश्चित गर्न सक्छ। हामी सबैलाई नियम थाहा छ: उच्च उपलब्धता ध्वनि ब्याकअप रणनीतिको विकल्प होइन। हाल, डाटा ब्याकअप गर्ने एक मात्र तरिका प्रोग्रामेटिक रूपमा यसलाई डाटाबेसबाट छुट्टै भण्डारण वातावरणमा स्ट्रिम गर्नु हो।

प्रदर्शन प्रदर्शन?

हामीले डाटा लोड गर्न र प्रश्नहरू परीक्षण गर्न याहू प्रयोग गर्यौं। क्लाउड सेवा बेन्चमार्क। तलको तालिकाले YCSB कार्यभार B देखाउँछ 95% पढ्ने देखि 5% लेख्ने अनुपातमा।

* लोड परीक्षण n1-standard-32 कम्प्युट इन्जिन (CE) (32 vCPU, 120 GB मेमोरी) मा चलाइएको थियो, र परीक्षण उदाहरण कहिले पनि परीक्षणहरूमा अवरोध थिएन।
** एकल YCSB उदाहरणमा थ्रेडहरूको अधिकतम संख्या 400 हो। कुल 2400 थ्रेडहरू प्राप्त गर्न YCSB परीक्षणहरूको कुल छवटा समानान्तर उदाहरणहरू चलाउनु परेको थियो।

बेन्चमार्क परिणामहरू हेर्दै, विशेष गरी CPU लोड र TPS को संयोजन, हामी स्पष्ट रूपमा देख्न सक्छौं कि क्लाउड स्प्यानर एकदम राम्रो मापन गर्दछ। थ्रेडहरूको ठूलो संख्याद्वारा सिर्जना गरिएको भारी लोड क्लाउड स्प्यानर क्लस्टरमा ठूलो संख्यामा नोडहरूद्वारा अफसेट हुन्छ। विलम्बता धेरै उच्च देखिन्छ, विशेष गरी जब 2400 थ्रेड संग चलिरहेको छ, कम्प्युट इन्जिन को 6 साना उदाहरणहरु संग पुन: परीक्षण अधिक सटीक संख्या प्राप्त गर्न आवश्यक हुन सक्छ। प्रत्येक उदाहरणले 6 समानान्तर परीक्षणहरूको साथमा एउटा ठूलो CE उदाहरणको सट्टा एउटा YCSB परीक्षण चलाउनेछ। यस तरिकाले, क्लाउड स्प्यानर अनुरोध विलम्बता र क्लाउड स्प्यानर र परीक्षण चलिरहेको CE उदाहरण बीच नेटवर्क जडान द्वारा थपिएको विलम्बता बीच फरक गर्न सजिलो हुनेछ।

क्लाउड स्प्यानरले OLAP को रूपमा कसरी प्रदर्शन गर्छ?

विभाजन?

डेटालाई भौतिक र/वा तार्किक रूपमा स्वतन्त्र खण्डहरूमा विभाजन गर्ने, जसलाई विभाजन भनिन्छ, धेरैजसो OLAP इन्जिनहरूमा पाइने एक धेरै लोकप्रिय अवधारणा हो। विभाजनहरूले क्वेरी कार्यसम्पादन र डाटाबेस मर्मत योग्यतामा उल्लेखनीय सुधार गर्न सक्छ। विभाजनमा गहिरिएर जाँदा छुट्टै लेख(हरू) हुनेछ, त्यसैले विभाजन र उप-विभाजन योजना हुनुको महत्त्वलाई मात्र उल्लेख गरौं। विश्लेषणात्मक क्वेरी कार्यसम्पादनको लागि डाटालाई विभाजनहरूमा विभाजन गर्न र अझ उपविभाजनहरूमा पनि विभाजन गर्ने क्षमता हो।

क्लाउड स्प्यानरले विभाजनहरूलाई समर्थन गर्दैन। यसले आन्तरिक रूपमा डाटालाई तथाकथितमा विभाजन गर्दछ विभाजित-s प्राथमिक कुञ्जी दायराहरूमा आधारित। क्लाउड स्प्यानर क्लस्टरमा लोड सन्तुलन गर्न विभाजन स्वचालित रूपमा गरिन्छ। क्लाउड स्प्यानरको एक धेरै उपयोगी विशेषता भनेको अभिभावक तालिकाको आधार भार (एउटा तालिका जुन अर्कोसँग अन्तर्क्रिया गरिएको छैन) को विभाजन हो। स्प्यानरले स्वचालित रूपमा पत्ता लगाउँछ कि यसमा समावेश छ विभाजित अन्य डेटा भन्दा धेरै पटक पढ्ने डाटा विभाजित-अह, र थप अलग गर्ने निर्णय गर्न सक्छ। यस तरिकाले, थप नोडहरू अनुरोधमा संलग्न हुन सक्छ, जसले प्रभावकारी रूपमा थ्रुपुट पनि बढाउँछ।

डाटा लोड गर्दै हुनुहुन्छ?

बल्क डेटाको लागि क्लाउड स्प्यानर विधि सामान्य लोडिङको लागि जस्तै हो। अधिकतम प्रदर्शन प्राप्त गर्न, तपाईंले केही दिशानिर्देशहरू पालना गर्न आवश्यक छ, जसमा:

• प्राथमिक कुञ्जी द्वारा आफ्नो डाटा क्रमबद्ध गर्नुहोस्।
• तिनीहरूलाई 10 * द्वारा विभाजित गर्नुहोस्नोडहरूको संख्या अलग खण्डहरू।
• समानान्तर रूपमा डेटा लोड गर्ने कार्य कार्यहरूको सेट सिर्जना गर्नुहोस्।

यो डेटा लोडिङले सबै क्लाउड स्प्यानर नोडहरू प्रयोग गर्दछ।

हामीले 10M पङ्क्तिहरूको डेटासेट उत्पन्न गर्न YCSB कार्यभार A प्रयोग गर्यौं।

* लोड परीक्षण n1-standard-32 कम्प्युट इन्जिन (32 vCPU, 120 GB मेमोरी) मा चलाइएको थियो, र परीक्षण उदाहरण परीक्षणहरूमा कहिल्यै अवरोध थिएन।
** एकल नोड सेटअप कुनै पनि उत्पादन कार्यभारको लागि सिफारिस गरिएको छैन।

माथि उल्लेख गरिए अनुसार, क्लाउड स्प्यानरले स्वचालित रूपमा तिनीहरूको भारको आधारमा विभाजनहरू प्रशोधन गर्दछ, त्यसैले परिणामहरू लगातार धेरै परीक्षण दोहोरिने पछि सुधार हुन्छन्। यहाँ प्रस्तुत परिणामहरू हामीले प्राप्त गरेका उत्कृष्ट परिणामहरू हुन्। माथिको संख्याहरू हेर्दै, हामी क्लाउड स्प्यानर स्केल (राम्रो) को रूपमा क्लस्टरमा नोडहरूको संख्या बढ्दै जान्छ भनेर देख्न सक्छौं। बाहिर खडा हुने संख्याहरू अत्यन्त कम औसत विलम्बताहरू हुन्, जुन माथिको खण्डमा वर्णन गरिए अनुसार मिश्रित कार्यभारहरू (९५% पढ्ने र ५% लेख्ने) को परिणामसँग विपरित छ।

स्केलिंग?

क्लाउड स्प्यानर नोडहरूको संख्या बढाउने र घटाउने एक-क्लिक कार्य हो। यदि तपाईं छिटो डेटा लोड गर्न चाहनुहुन्छ भने, तपाईंले आफ्नो उदाहरणलाई अधिकतममा बढाउने विचार गर्न सक्नुहुन्छ (हाम्रो अवस्थामा यो US-पूर्व क्षेत्रमा 25 नोडहरू थिए) र त्यसपछि सबै डेटा भित्र भएपछि तपाईंको सामान्य लोडको लागि योग्य नोडहरूको संख्या घटाउनुहोस्। डाटाबेस, 2TB/नोड सीमा सन्दर्भ गर्दै।

हामीलाई धेरै सानो डाटाबेसको साथ पनि यो सीमाको सम्झना गराइयो। लोड परीक्षणको धेरै रन पछि, हाम्रो डाटाबेस आकारमा लगभग 155 GB थियो, र जब 1 नोड उदाहरणमा मापन गरियो, हामीले निम्न त्रुटि प्राप्त गर्यौं:

हामीले 25 देखि 2 उदाहरणहरूमा मापन गर्न व्यवस्थित गर्यौं, तर हामी दुई नोडहरूमा अड्किएका थियौं।

क्लाउड स्प्यानर क्लस्टरमा नोडहरूको संख्या बढाउने र घटाउन REST API प्रयोग गरेर स्वचालित गर्न सकिन्छ। यो व्यस्त कामको समयमा बढेको प्रणाली भार कम गर्न विशेष गरी उपयोगी हुन सक्छ।

OLAP प्रश्नहरूको प्रदर्शन?

हामीले सुरुमा यस भागमा स्प्यानरको हाम्रो मूल्याङ्कनमा महत्त्वपूर्ण समय खर्च गर्ने योजना बनाएका थियौं। धेरै SELECT COUNTs पछि, हामीले तुरुन्तै महसुस गर्यौं कि परीक्षण छोटो हुनेछ र त्यो स्प्यानर OLAP का लागि उपयुक्त इन्जिन हुनेछैन। क्लस्टरमा नोडहरूको संख्यालाई ध्यान नदिई, केवल 10M पङ्क्ति तालिकामा पङ्क्तिहरूको संख्या चयन गर्न 55 र ​​60 सेकेन्डको बीचमा। थप रूपमा, मध्यवर्ती परिणामहरू भण्डारण गर्न थप मेमोरी आवश्यक पर्ने कुनै पनि क्वेरी OOM त्रुटिको साथ असफल भयो।

SELECT COUNT(DISTINCT(field0)) FROM usertable; — (10M distinct values)-> SpoolingHashAggregateIterator ran out of memory during new row.

TPC-H प्रश्नहरूको लागि केही संख्याहरू Todd Lipcon को लेखमा फेला पार्न सकिन्छ Nosql-kudu-spanner-slides.html, स्लाइड 42 र 43। यी संख्याहरू हाम्रो आफ्नै परिणामहरूसँग मिल्दोजुल्दो छन् (दुर्भाग्यवश)।

4. हाम्रो निष्कर्ष

क्लाउड स्प्यानरका सुविधाहरूको हालको अवस्थालाई ध्यानमा राख्दै, यो तपाइँको अवस्थित OLTP समाधानको लागि एक साधारण प्रतिस्थापन भएको कल्पना गर्न गाह्रो छ, विशेष गरी जब तपाइँको आवश्यकताले यसलाई बढाउँछ। क्लाउड स्प्यानरका कमजोरीहरूको वरिपरि समाधान निर्माण गर्न महत्त्वपूर्ण समय खर्च गर्नुपर्नेछ।

जब हामीले क्लाउड स्प्यानरको मूल्याङ्कन गर्न थालेका थियौं, हामीले यसको व्यवस्थापन सुविधाहरू अन्य Google SQL समाधानहरूसँग बराबर हुने वा कम्तीमा पनि धेरै टाढा नहुने अपेक्षा गरेका थियौं। तर हामी ब्याकअपको पूर्ण अभाव र स्रोतहरूमा पहुँचमा धेरै सीमित नियन्त्रणबाट छक्क पर्यौं। कुनै विचार, कुनै स्थानीय विकास वातावरण, असमर्थित दृश्यहरू, DML र DDL समर्थन बिना JDBC, र यस्तै कुराहरू उल्लेख नगर्नुहोस्।

त्यसोभए लेनदेन डाटाबेस मापन गर्न आवश्यक पर्ने व्यक्ति कहाँ जान्छ? त्यहाँ बजारमा एकल समाधान जस्तो देखिदैन जुन सबै प्रयोगका केसहरूमा फिट हुन्छ। त्यहाँ धेरै बन्द र खुला स्रोत समाधानहरू छन् (जसमध्ये केही यस लेखमा उल्लेख गरिएको छ), प्रत्येकको आफ्नै बल र कमजोरीहरू छन्, तर तिनीहरूमध्ये कुनै पनि 99,999% SLA र उच्च स्थिरताको साथ SaaS प्रस्ताव गर्दैन। यदि उच्च SLA तपाईंको मुख्य लक्ष्य हो र तपाईं अनुकूलन बहु-क्लाउड समाधान निर्माण गर्न इच्छुक हुनुहुन्न भने, क्लाउड स्प्यानर तपाईंले खोजिरहनु भएको समाधान हुन सक्छ। तर तपाईं यसको सबै सीमितताहरू बारे सचेत हुनुपर्छ।

निष्पक्ष हुनको लागि, क्लाउड स्प्यानरलाई 2017 को वसन्तमा मात्र सार्वजनिक गरिएको थियो, त्यसैले यो आशा गर्न उचित छ कि यसका हालका केही कमजोरीहरू अन्ततः टाढा जान सक्छन् (आशा छ), र जब तिनीहरू गर्छन्, यो खेल परिवर्तनकर्ता हुन सक्छ। आखिर, क्लाउड स्प्यानर गुगलको लागि एक साइड प्रोजेक्ट मात्र होइन। गुगलले यसलाई अन्य गुगल उत्पादनहरूको आधारको रूपमा प्रयोग गर्दछ। र जब गुगलले भर्खरै क्लाउड स्प्यानरमा गुगल क्लाउड भण्डारणमा मेगास्टोरलाई प्रतिस्थापन गर्‍यो, यसले गुगल क्लाउड भण्डारणलाई विश्वव्यापी स्तरमा वस्तुहरूको सूचीको लागि अत्यधिक एकरूप हुन अनुमति दियो (जुन अझै पनि यसका लागि मामला छैन। अमेजनको S3).

त्यसोभए, अझै आशा छ ... हामी आशा गर्छौं।

यति नै। लेखको लेखक जस्तै, हामी पनि आशा गर्न जारी राख्छौं, तर तपाई यस बारे के सोच्नुहुन्छ? कमेन्टमा लेख्नुहोस

हामी सबैलाई हाम्रो भ्रमण गर्न आमन्त्रित गर्दछौं नि: शुल्क वेबिनार जस भित्र हामी तपाईंलाई पाठ्यक्रमको बारेमा विस्तृत रूपमा बताउनेछौं "विकासकर्ताहरूको लागि AWS" OTUS बाट।

स्रोत: www.habr.com