Google क्लाउड स्पॅनर: चांगले, वाईट आणि कुरूप

हॅलो, खाब्रोव्स्क रहिवासी. नेहमीप्रमाणे, नवीन अभ्यासक्रम सुरू होण्यापूर्वी आम्ही मनोरंजक सामग्री सामायिक करणे सुरू ठेवतो. आज, विशेषत: तुमच्यासाठी, आम्ही Google क्लाउड स्पॅनर बद्दलचा एक लेख प्रकाशित केला आहे. "विकासकांसाठी AWS".

मूलतः मध्ये प्रकाशित लाइटस्पीड मुख्यालय ब्लॉग.

जगभरातील किरकोळ विक्रेते, रेस्टॉरंटर्स आणि ऑनलाइन विक्रेत्यांना क्लाउड-आधारित POS सोल्यूशन्सची विविध ऑफर करणारी कंपनी म्हणून, Lightspeed विविध प्रकारच्या व्यवहार, विश्लेषणात्मक आणि शोध वापर प्रकरणांसाठी विविध प्रकारचे डेटाबेस प्लॅटफॉर्म वापरते. या प्रत्येक डेटाबेस प्लॅटफॉर्मची स्वतःची सामर्थ्ये आणि कमकुवतता आहेत. म्हणूनच, जेव्हा Google ने क्लाउड स्पॅनर बाजारात आणले - रिलेशनल डेटाबेसच्या जगात न पाहिलेली आशादायक वैशिष्ट्ये, जसे की अक्षरशः अमर्यादित क्षैतिज स्केलेबिलिटी आणि 99,999% सेवा स्तर करार (SLA), - आम्ही त्यावर हात मिळवण्याची संधी गमावू शकलो नाही!

क्लाउड स्पॅनरसह आमच्या अनुभवाचे विस्तृत विहंगावलोकन तसेच आम्ही वापरलेले मूल्यमापन निकष देण्यासाठी, आम्ही खालील विषयांचा समावेश करू:

1. आमचे मूल्यमापन निकष
2. क्लाउड स्पॅनर थोडक्यात
3. आमचे मूल्यांकन
4. आमचे निष्कर्ष

1. आमचे मूल्यमापन निकष

क्लाउड स्पॅनरची वैशिष्ट्ये, त्याची समानता आणि बाजारपेठेतील इतर उपायांशी असलेले फरक जाणून घेण्याआधी, आमच्या पायाभूत सुविधांमध्ये क्लाउड स्पॅनर कुठे तैनात करायचा याचा विचार करताना आमच्या लक्षात असलेल्या मुख्य वापर प्रकरणांबद्दल बोलूया:

• (मुख्य) पारंपारिक SQL डेटाबेस सोल्यूशनसाठी बदली म्हणून
• OLAP समर्थनासह OLTP सोल्यूशन कसे करावे

टीप: साधेपणा आणि तुलना सुलभतेसाठी, हा लेख क्लाउड स्पॅनरची GCP क्लाउड SQL आणि Amazon AWS RDS सोल्यूशन कुटुंबांच्या MySQL प्रकारांशी तुलना करतो.

पारंपारिक SQL डेटाबेस सोल्यूशनसाठी बदली म्हणून क्लाउड स्पॅनर वापरणे

वातावरणात पारंपारिक डेटाबेस, जेव्हा डेटाबेस क्वेरी प्रतिसाद वेळ जवळ येतो किंवा पूर्वनिर्धारित ऍप्लिकेशन थ्रेशोल्ड ओलांडतो (प्रामुख्याने वापरकर्ते आणि/किंवा विनंत्यांच्या संख्येत वाढ झाल्यामुळे), प्रतिसाद वेळ स्वीकार्य पातळीपर्यंत कमी करण्याचे अनेक मार्ग आहेत. तथापि, यापैकी बहुतेक उपायांमध्ये व्यक्तिचलित हस्तक्षेपाचा समावेश आहे.

उदाहरणार्थ, उचलण्याची पहिली पायरी म्हणजे विविध कार्यप्रदर्शन-संबंधित डेटाबेस पॅरामीटर्स पाहणे आणि त्यांना ऍप्लिकेशन वापर केस पॅटर्नशी सर्वोत्तम जुळण्यासाठी ट्यून करणे. हे पुरेसे नसल्यास, तुम्ही डेटाबेस अनुलंब किंवा क्षैतिजरित्या स्केल करणे निवडू शकता.

अॅप्लिकेशनला अनुलंब स्केल करणे म्हणजे सर्व्हरचे उदाहरण अपग्रेड करणे आवश्यक आहे, विशेषत: अधिक प्रोसेसर/कोर, अधिक RAM, जलद स्टोरेज इ. जोडून. अधिक हार्डवेअर संसाधने जोडल्याने डेटाबेस कार्यक्षमतेत वाढ होते, मुख्यतः दुसऱ्या व्यवहारांमध्ये मोजली जाते आणि OLTP प्रणालीसाठी व्यवहार विलंब होतो. रिलेशनल डेटाबेस सिस्टम (ज्या बहु-थ्रेडेड दृष्टिकोन वापरतात) जसे की MySQL स्केल उभ्या.

या दृष्टिकोनाचे अनेक तोटे आहेत, परंतु सर्वात स्पष्ट म्हणजे बाजारपेठेतील कमाल सर्व्हर आकार. एकदा सर्वात मोठ्या सर्व्हर उदाहरणाची मर्यादा गाठली की, फक्त एक पर्याय उरतो: क्षैतिज स्केलिंग.

क्षैतिज स्केलिंग हा एक दृष्टीकोन आहे जिथे क्लस्टरमध्ये अधिक सर्व्हर जोडले जातात, आदर्शपणे सर्व्हरची संख्या जोडली गेल्याने कार्यप्रदर्शन रेषीयरीत्या वाढते. बहुसंख्य पारंपारिक डेटाबेस सिस्टम क्षैतिजरित्या चांगले स्केल करत नाहीत किंवा अजिबात स्केल करत नाहीत. उदाहरणार्थ, स्लेव्ह रीडर जोडून MySQL रीड ऑपरेशन्ससाठी क्षैतिज स्केल करू शकते, परंतु लेखनासाठी क्षैतिज स्केल करू शकत नाही.

दुसरीकडे, त्याच्या स्वभावामुळे, क्लाउड स्पॅनर कमीतकमी हस्तक्षेपासह सहजपणे क्षैतिजरित्या स्केल करू शकतो.

पूर्णपणे वैशिष्ट्यीकृत एक सेवा म्हणून DBMS वेगवेगळ्या कोनातून मूल्यांकन करणे आवश्यक आहे. आधार म्हणून, आम्ही क्लाउडमध्ये सर्वात लोकप्रिय DBMS घेतला - Google, GCP क्लाउड SQL आणि Amazon, AWS RDS साठी. आमच्या मूल्यांकनात आम्ही खालील श्रेणींवर लक्ष केंद्रित केले:

• वैशिष्ट्य मॅपिंग: विस्तार SQL, DDL, DML; कनेक्शन लायब्ररी/कनेक्टर, व्यवहार समर्थन इ.
• विकास समर्थन: सुलभ विकास आणि चाचणी.
• प्रशासन समर्थन: उदाहरण व्यवस्थापन - उदाहरणार्थ, स्केलिंग अप/डाउन आणि उदाहरणे अपग्रेड करणे; SLA, बॅकअप आणि पुनर्प्राप्ती; सुरक्षा/प्रवेश नियंत्रण.

OLAP-सक्षम OLTP उपाय म्हणून क्लाउड स्पॅनर वापरणे

Google स्पष्टपणे दावा करत नाही की क्लाउड स्पॅनर विश्लेषणात्मक प्रक्रियेसाठी डिझाइन केलेले आहे, ते इतर इंजिनसह काही विशेषता सामायिक करते जसे की Apache Impala & Kudu आणि YugaByte, जे OLAP वर्कलोडसाठी डिझाइन केलेले आहेत.

क्लाउड स्पॅनरमध्ये (अधिक किंवा कमी) वापरता येण्याजोग्या OLAP वैशिष्ट्यांसह एक सातत्यपूर्ण स्केल-आउट HTAP (हायब्रीड ट्रान्झॅक्शनल/अॅनालिटिक्स प्रोसेसिंग) इंजिन समाविष्ट करण्याची अगदी थोडीशी शक्यता असली तरीही, आम्हाला वाटते की ते आमच्या लक्ष देण्यास पात्र असेल.

हे लक्षात घेऊन, आम्ही खालील श्रेणी पाहिल्या:

• डेटा लोडिंग, इंडेक्स आणि विभाजन समर्थन
• क्वेरी कामगिरी आणि DML

2. थोडक्यात क्लाउड स्पॅनर

Google Spanner एक क्लस्टर रिलेशनल डेटाबेस मॅनेजमेंट सिस्टम (RDBMS) आहे जी Google स्वतःच्या अनेक सेवांसाठी वापरते. Google ने 2017 च्या सुरुवातीला Google क्लाउड प्लॅटफॉर्म वापरकर्त्यांसाठी ते सामान्यतः उपलब्ध करून दिले.

क्लाउड स्पॅनरचे काही गुणधर्म येथे आहेत:

• उच्च सुसंगत स्केलेबल RDBMS क्लस्टर: डेटा सुसंगतता सुनिश्चित करण्यासाठी हार्डवेअर वेळ सिंक्रोनाइझेशन वापरते.
• क्रॉस-टेबल ट्रान्झॅक्शन सपोर्ट: ट्रान्झॅक्शन्स अनेक टेबल्सपर्यंत पसरू शकतात - एका टेबलपुरते मर्यादित असणे आवश्यक नाही (अपाचे एचबेस किंवा अपाचे कुडूच्या विपरीत).
• प्राथमिक की आधारित सारण्या: सर्व सारण्यांमध्ये घोषित प्राथमिक की (पीसी) असणे आवश्यक आहे, ज्यामध्ये टेबलमध्ये अनेक स्तंभ असू शकतात. टॅब्युलर डेटा पीसी क्रमाने संग्रहित केला जातो, ज्यामुळे तो पीसी शोधण्यासाठी अतिशय कार्यक्षम आणि जलद बनतो. इतर पीसी-आधारित प्रणालींप्रमाणे, अंमलबजावणी हे साध्य करण्यासाठी पूर्व-डिझाइन केलेल्या वापर केसेससह मॉडेल केलेले असणे आवश्यक आहे. सर्वोत्तम कामगिरी.
• स्ट्रीप्ड टेबल्स: टेबल्समध्ये एकमेकांवर भौतिक अवलंबित्व असू शकते. मूल सारणीतील पंक्ती पालक सारणीतील पंक्तींशी जुळवल्या जाऊ शकतात. हा दृष्टीकोन डेटा मॉडेलिंग टप्प्यात ओळखल्या जाऊ शकणार्‍या नातेसंबंधांच्या शोधाची गती वाढवते, जसे की ग्राहक आणि त्यांचे पावत्या शोधणे.
• अनुक्रमणिका: क्लाउड स्पॅनर दुय्यम निर्देशांकांना समर्थन देते. इंडेक्समध्ये अनुक्रमित स्तंभ आणि सर्व पीसी स्तंभ असतात. इच्छित असल्यास, अनुक्रमणिकेमध्ये इतर नॉन-इंडेक्स केलेले स्तंभ देखील असू शकतात. प्रश्नांची गती वाढवण्यासाठी अनुक्रमणिका मूळ सारणीसह इंटरलीव्ह केली जाऊ शकते. अनुक्रमणिकेवर अनेक निर्बंध लागू होतात, जसे की अनुक्रमणिकेमध्ये संचयित केलेल्या अतिरिक्त स्तंभांची कमाल संख्या. तसेच, इतर RDBMS प्रमाणे अनुक्रमणिकांद्वारे केलेल्या क्वेरी कदाचित सरळ नसतील.

“क्लाउड स्पॅनर केवळ दुर्मिळ प्रकरणांमध्ये आपोआप निर्देशांक निवडतो. विशेषत:, क्लाउड स्पॅनर आपोआप दुय्यम अनुक्रमणिका निवडत नाही जर एखाद्या क्वेरीमध्ये संग्रहित नसलेल्या कोणत्याही स्तंभांची विनंती केली तर निर्देशांक ».

• सेवा स्तर करार (SLA): 99,99% च्या SLA सह एका प्रदेशात तैनाती; 99,999% SLA सह बहु-प्रादेशिक तैनाती. SLA हा केवळ एक करार आहे आणि कोणत्याही प्रकारची हमी नाही, परंतु माझा विश्वास आहे की Google मधील लोकांकडे असा जोरदार दावा करण्यासाठी काही कठोर डेटा आहे. (संदर्भासाठी, 99,999% म्हणजे दरमहा 26,3 सेकंद सेवा अनुपलब्धता.)
• अधिक: https://cloud.google.com/spanner/

टीप: Apache Tephra प्रकल्प Apache HBase ला वर्धित व्यवहार समर्थन जोडते (आता Apache Phoenix मध्ये देखील बीटा म्हणून लागू केले आहे).

3. आमचे मूल्यांकन

म्हणून, आम्ही सर्वांनी क्लाउड स्पॅनरच्या फायद्यांबद्दल Google चे दावे वाचले आहेत - उच्च सुसंगतता आणि खूप उच्च SLA राखून अक्षरशः अमर्यादित क्षैतिज स्केलिंग. जरी या आवश्यकता, कोणत्याही परिस्थितीत, साध्य करणे अत्यंत कठीण असले तरी, त्यांचे खंडन करणे आमचे ध्येय नव्हते. त्याऐवजी, बर्‍याच डेटाबेस वापरकर्त्यांना महत्त्वाच्या असलेल्या इतर गोष्टींवर लक्ष केंद्रित करूया: समानता आणि उपयोगिता.

आम्ही Sharded MySQL साठी बदली म्हणून क्लाउड स्पॅनरचे मूल्यांकन केले

Google Cloud SQL आणि Amazon AWS RDS, क्लाउड मार्केटमधील दोन सर्वात लोकप्रिय OLTP DBMS मध्ये वैशिष्ट्यांचा खूप मोठा संच आहे. तथापि, हे डेटाबेस एका नोडच्या आकाराच्या पलीकडे मोजण्यासाठी, तुम्हाला अनुप्रयोग विभाजन करणे आवश्यक आहे. हा दृष्टिकोन अनुप्रयोग आणि प्रशासन दोन्हीसाठी अतिरिक्त जटिलता निर्माण करतो. एका प्रसंगात अनेक शार्ड्स एकत्रित करण्याच्या परिस्थितीमध्ये स्पॅनर कसे बसते आणि कोणत्या वैशिष्ट्यांचा (असल्यास) त्याग करावा लागेल हे आम्ही पाहिले.

SQL, DML आणि DDL समर्थन, तसेच कनेक्टर आणि लायब्ररी?

प्रथम, कोणत्याही डेटाबेससह प्रारंभ करताना, आपल्याला डेटा मॉडेल तयार करणे आवश्यक आहे. जर तुम्हाला वाटत असेल की तुम्ही JDBC Spanner ला तुमच्या आवडत्या SQL टूलशी कनेक्ट करू शकता, तर तुम्हाला आढळेल की तुम्ही त्याद्वारे तुमचा डेटा क्वेरी करू शकता, परंतु तुम्ही ते टेबल तयार करण्यासाठी किंवा बदलण्यासाठी (DDL) किंवा कोणतेही इन्सर्ट/अपडेट/हटवण्यासाठी वापरू शकत नाही. ऑपरेशन्स (डीएमएल). Google चे अधिकृत JDBC यापैकी एकालाही सपोर्ट करत नाही.

"ड्रायव्हर्स सध्या DML किंवा DDL स्टेटमेंटला सपोर्ट करत नाहीत."
स्पॅनर दस्तऐवजीकरण

GCP कन्सोलमध्ये परिस्थिती चांगली नाही - तुम्ही फक्त SELECT क्वेरी पाठवू शकता. सुदैवाने DML आणि DDL ला समाजाकडून व्यवहारांसह समर्थन असलेला JDBC ड्रायव्हर आहे github.com/olavloite/spanner-jdbc. हा ड्रायव्हर अत्यंत उपयुक्त असला तरी, गुगलचा स्वतःचा JDBC ड्रायव्हर नसणे आश्चर्यकारक आहे. सुदैवाने, Google क्लायंट लायब्ररी (gRPC वर आधारित): C#, Go, Java, node.js, PHP, Python आणि Ruby साठी बर्‍यापैकी व्यापक समर्थन ऑफर करते.

क्लाउड स्पॅनर कस्टम API (JDBC मध्ये DDL आणि DML च्या कमतरतेमुळे) जवळजवळ अनिवार्य वापरामुळे कनेक्शन पूल किंवा डेटाबेस बंधनकारक फ्रेमवर्क (उदा. स्प्रिंग MVC) सारख्या संबंधित कोड क्षेत्रांसाठी काही मर्यादा येतात. सामान्यतः, JDBC वापरताना, तुम्ही तुमचा आवडता कनेक्शन पूल (उदा. HikariCP, DBCP, C3PO, इ.) निवडण्यास मोकळे आहात जे चाचणी केलेले आणि चांगले कार्य करते. सानुकूल स्पॅनर API च्या बाबतीत, आम्ही स्वतः तयार केलेल्या फ्रेमवर्क/बाइंडिंग पूल/सत्रांवर अवलंबून राहावे लागेल.

प्राथमिक की (PC) केंद्रित डिझाइन Cloud Spanner ला PC द्वारे डेटा ऍक्सेस करताना खूप जलद होण्यास अनुमती देते, परंतु काही क्वेरी समस्या देखील सादर करते.

• आपण प्राथमिक की मूल्य अद्यतनित करू शकत नाही; तुम्ही प्रथम मूळ PC मधून एंट्री हटवावी आणि नवीन मूल्यासह ती पुन्हा घालावी. (हे इतर पीसी ओरिएंटेड डेटाबेस/स्टोरेज इंजिनांसारखेच आहे.)
• कोणतीही अद्यतने आणि हटवा विधाने WHERE मध्ये PC निर्दिष्ट करणे आवश्यक आहे, म्हणून सर्व विधाने हटवा रिक्त असू शकत नाहीत - तेथे नेहमीच सबक्वेरी असणे आवश्यक आहे, उदाहरणार्थ: अद्यतन xxx व्हेअर आयडी इन (टेबल 1 पासून आयडी निवडा)
• स्वयं-वृद्धी पर्यायाचा अभाव किंवा पीसी फील्डसाठी क्रम सेट करणारे तत्सम काहीही. हे कार्य करण्यासाठी, अनुप्रयोगाच्या बाजूला संबंधित मूल्य तयार करणे आवश्यक आहे.

दुय्यम निर्देशांक?

Google क्लाउड स्पॅनरमध्ये दुय्यम निर्देशांकांसाठी अंगभूत समर्थन आहे. हे एक अतिशय छान वैशिष्ट्य आहे जे इतर तंत्रज्ञानामध्ये नेहमीच नसते. Apache Kudu सध्या दुय्यम निर्देशांकांना अजिबात समर्थन देत नाही, आणि Apache HBase थेट निर्देशांकांना समर्थन देत नाही, परंतु त्यांना Apache Phoenix द्वारे जोडू शकते.

Kudu आणि HBase मधील अनुक्रमणिका प्राथमिक कीच्या वेगळ्या रचनासह वेगळ्या सारणीच्या रूपात तयार केल्या जाऊ शकतात, परंतु पॅरेंट टेबल आणि संबंधित इंडेक्स टेबलवर केलेल्या ऑपरेशन्सचा अणूपणा अनुप्रयोग स्तरावर केला पाहिजे आणि योग्यरित्या अंमलात आणण्यासाठी क्षुल्लक नाही.

क्लाउड स्पॅनर पुनरावलोकनात नमूद केल्याप्रमाणे, त्याची अनुक्रमणिका MySQL निर्देशांकांपेक्षा वेगळी असू शकते. त्यामुळे, जिथे आवश्यक असेल तिथे योग्य निर्देशांक वापरला जाईल याची खात्री करण्यासाठी क्वेरी आणि प्रोफाइलिंग तयार करताना विशेष काळजी घेतली पाहिजे.

प्रतिनिधित्व?

डेटाबेसमधील एक अतिशय लोकप्रिय आणि उपयुक्त वस्तू म्हणजे दृश्ये. ते मोठ्या संख्येने वापराच्या प्रकरणांसाठी उपयुक्त ठरू शकतात; माझे दोन आवडते लॉजिकल अॅब्स्ट्रॅक्शन लेयर आणि सिक्युरिटी लेयर आहेत. दुर्दैवाने, क्लाउड स्पॅनर दृश्यांना समर्थन देत नाही. तथापि, हे केवळ अंशतः आम्हाला मर्यादित करते कारण स्तंभ स्तरावर प्रवेश परवानग्यांसाठी कोणतेही ग्रॅन्युलॅरिटी नाही जेथे दृश्ये एक व्यवहार्य उपाय असू शकतात.

कोटा आणि निर्बंधांचा तपशील देणाऱ्या विभागासाठी क्लाउड स्पॅनर दस्तऐवजीकरण पहा (स्पॅनर/कोटा), विशेषत: एक आहे जो काही अनुप्रयोगांसाठी समस्याप्रधान असू शकतो: बॉक्सच्या बाहेर क्लाउड स्पॅनरची मर्यादा प्रति उदाहरण कमाल 100 डेटाबेस आहे. साहजिकच, 100 पेक्षा जास्त डाटाबेसपर्यंत स्केल करण्यासाठी डिझाइन केलेल्या डेटाबेससाठी ही एक मोठी अडचण असू शकते. सुदैवाने, आमच्या Google तांत्रिक प्रतिनिधीशी बोलल्यानंतर, आम्हाला कळले की ही मर्यादा Google सपोर्टद्वारे जवळजवळ कोणत्याही मूल्यापर्यंत वाढविली जाऊ शकते.

विकासाचा आधार?

क्लाउड स्पॅनर त्याच्या API सह कार्य करण्यासाठी अतिशय सभ्य प्रोग्रामिंग भाषा समर्थन देते. अधिकृतपणे समर्थित लायब्ररी C#, Go, Java, node.js, PHP, Python आणि Ruby या भागात आहेत. दस्तऐवजीकरण बरेच तपशीलवार आहे, परंतु इतर प्रगत तंत्रज्ञानाप्रमाणे, सर्वात लोकप्रिय डेटाबेस तंत्रज्ञानाच्या तुलनेत समुदाय खूपच लहान आहे, ज्यामुळे कमी सामान्य वापर प्रकरणे किंवा समस्यांचे निराकरण करण्यात अधिक वेळ घालवला जाऊ शकतो.

मग स्थानिक विकासाला पाठिंबा देण्याचे काय?

ऑन-प्रिमाइसेस क्लाउड स्पॅनर उदाहरण तयार करण्याचा मार्ग आम्हाला सापडला नाही. आम्हाला मिळालेली सर्वात जवळची गोष्ट म्हणजे डॉकर प्रतिमा. झुरळ डीबी, जे तत्वतः समान आहे, परंतु व्यवहारात खूप भिन्न आहे. उदाहरणार्थ, CockroachDB PostgreSQL JDBC वापरू शकतो. विकासाचे वातावरण उत्पादन वातावरणाच्या शक्य तितके जवळ असले पाहिजे, क्लाउड स्पॅनर आदर्श नाही कारण ते संपूर्ण स्पॅनर उदाहरणावर अवलंबून असणे आवश्यक आहे. खर्च वाचवण्यासाठी, तुम्ही एकल-क्षेत्रातील उदाहरण निवडू शकता.

प्रशासनाचे सहकार्य?

क्लाउड स्पॅनर उदाहरण तयार करणे खूप सोपे आहे. तुम्हाला फक्त एक मल्टी-रिजन किंवा सिंगल-रिजन उदाहरण तयार करणे यापैकी निवडण्याची आवश्यकता आहे, प्रदेश(ने) आणि नोड्सची संख्या निर्दिष्ट करा. एका मिनिटापेक्षा कमी वेळात, तुमचा प्रसंग चालू होईल.

Google कन्सोलमधील स्पॅनर पृष्ठावरून अनेक प्राथमिक मेट्रिक्स थेट प्रवेशयोग्य आहेत. Stackdriver द्वारे अधिक तपशीलवार दृश्ये उपलब्ध आहेत, जिथे तुम्ही मेट्रिक थ्रेशोल्ड आणि सूचना धोरणे देखील सेट करू शकता.

संसाधनांमध्ये प्रवेश?

MySQL वापरकर्ता परवानग्या/भूमिकांसाठी विस्तृत आणि अतिशय बारीक सेटिंग्ज ऑफर करते. तुम्ही एका विशिष्ट सारणीचा प्रवेश सहज कॉन्फिगर करू शकता, किंवा त्याच्या स्तंभांचा फक्त एक उपसंच. क्लाउड स्पॅनर Google चे Identity & Access Management (IAM) टूल वापरते, जे तुम्हाला फक्त उच्च पातळीवर धोरणे आणि परवानग्या सेट करण्याची परवानगी देते. सर्वात दाणेदार पर्याय म्हणजे डेटाबेस-स्तरीय रिझोल्यूशन, जे बहुतेक उत्पादन वापराच्या प्रकरणांमध्ये बसत नाही. ही मर्यादा तुम्हाला तुमच्या कोडमध्ये, पायाभूत सुविधांमध्ये किंवा दोन्हीमध्ये स्पॅनर संसाधनांचा अनधिकृत वापर रोखण्यासाठी अतिरिक्त सुरक्षा उपाय जोडण्यास भाग पाडते.

बॅकअप?

सोप्या भाषेत सांगायचे तर, क्लाउड स्पॅनरमध्ये कोणतेही बॅकअप नाहीत. जरी Google च्या उच्च SLA आवश्यकता हे सुनिश्चित करू शकतात की हार्डवेअर किंवा डेटाबेस अयशस्वी, मानवी चुका, ऍप्लिकेशन दोष इत्यादींमुळे तुमचा कोणताही डेटा गमावला जाणार नाही. आम्हाला सर्व नियम माहित आहेत: उच्च उपलब्धता हा ध्वनी बॅकअप धोरणाचा पर्याय नाही. सध्या, डेटाचा बॅकअप घेण्याचा एकमेव मार्ग म्हणजे तो डेटाबेसमधून वेगळ्या स्टोरेज वातावरणात प्रोग्रामॅटिकरित्या प्रवाहित करणे.

कामगिरीची चौकशी करायची?

डेटा लोड करण्यासाठी आणि क्वेरी तपासण्यासाठी आम्ही Yahoo! क्लाउड सर्व्हिंग बेंचमार्क. खालील तक्ता 95% वाचन ते 5% लेखन गुणोत्तरासह YCSB वर्कलोड B दाखवते.

* लोड चाचणी n1-standard-32 Compute Engine (CE) (32 vCPU, 120 GB मेमरी) वर चालवली गेली, आणि चाचणी उदाहरण चाचण्यांमध्ये कधीही अडथळे आले नाही.
** एका YCSB उदाहरणामध्ये थ्रेडची कमाल संख्या 400 आहे. एकूण 2400 थ्रेड्स मिळविण्यासाठी YCSB चाचण्यांच्या एकूण सहा समांतर उदाहरणे चालवावी लागतील.

बेंचमार्क परिणाम पाहता, विशेषत: CPU लोड आणि TPS चे संयोजन, आम्ही स्पष्टपणे पाहू शकतो की क्लाउड स्पॅनर खूप चांगले स्केल करतो. मोठ्या संख्येने थ्रेड्सद्वारे तयार केलेला भारी भार क्लाउड स्पॅनर क्लस्टरमधील मोठ्या संख्येने नोड्सद्वारे ऑफसेट केला जातो. लेटन्सी खूप जास्त दिसत असताना, विशेषत: 2400 थ्रेड्ससह चालत असताना, अधिक अचूक संख्या मिळविण्यासाठी कॉम्प्युट इंजिनच्या 6 लहान उदाहरणांसह पुन्हा चाचणी करणे आवश्यक असू शकते. प्रत्येक उदाहरण 6 समांतर चाचण्यांसह एका मोठ्या CE उदाहरणाऐवजी एक YCSB चाचणी चालवेल. अशा प्रकारे, क्लाउड स्पॅनर विनंती लेटन्सी आणि क्लाउड स्पॅनर आणि चाचणी चालू असलेल्या सीई उदाहरणादरम्यान नेटवर्क कनेक्शनद्वारे जोडलेली विलंबता यांच्यात फरक करणे सोपे होईल.

क्लाउड स्पॅनर OLAP म्हणून कसे कार्य करते?

विभाजन?

डेटाचे भौतिक आणि/किंवा तार्किकदृष्ट्या स्वतंत्र विभागांमध्ये विभाजन करणे, ज्याला विभाजन म्हणतात, ही एक अतिशय लोकप्रिय संकल्पना आहे जी बहुतेक OLAP इंजिनमध्ये आढळते. विभाजने क्वेरी कार्यप्रदर्शन आणि डेटाबेस देखभालक्षमता लक्षणीयरीत्या सुधारू शकतात. विभाजनाच्या अधिक खोलात जाणे हा एक स्वतंत्र लेख असेल, म्हणून आपण फक्त विभाजन आणि उप-विभाजन योजनेचे महत्त्व नमूद करूया. विश्लेषणात्मक क्वेरी कार्यक्षमतेसाठी डेटा विभाजनांमध्ये आणि पुढे उपविभाजनांमध्ये खंडित करण्याची क्षमता आहे.

क्लाउड स्पॅनर विभाजनांना समर्थन देत नाही. हे तथाकथित मध्ये अंतर्गत डेटा विभाजित करते विभाजित करा-s प्राथमिक की श्रेणींवर आधारित. क्लाउड स्पॅनर क्लस्टरमधील लोड संतुलित करण्यासाठी विभाजन स्वयंचलितपणे केले जाते. क्लाउड स्पॅनरचे एक अतिशय उपयुक्त वैशिष्ट्य म्हणजे पॅरेंट टेबलच्या बेस लोडचे विभाजन करणे (एक टेबल जे दुसर्‍याशी जोडलेले नाही). त्यात आहे की नाही हे स्पॅनर आपोआप ओळखतो विभाजित करा डेटा जो इतरांमधील डेटापेक्षा अधिक वारंवार वाचला जातो विभाजित करा-आह, आणि पुढील विभक्त करण्याचा निर्णय घेऊ शकतो. अशा प्रकारे, विनंतीमध्ये अधिक नोड्स समाविष्ट केले जाऊ शकतात, जे प्रभावीपणे थ्रूपुट देखील वाढवते.

डेटा लोड करत आहे?

मोठ्या प्रमाणात डेटासाठी क्लाउड स्पॅनर पद्धत सामान्य लोडिंग सारखीच आहे. कमाल कार्यप्रदर्शन साध्य करण्यासाठी, आपल्याला काही मार्गदर्शक तत्त्वांचे अनुसरण करणे आवश्यक आहे, यासह:

• तुमचा डेटा प्राथमिक की द्वारे क्रमवारी लावा.
• त्यांना 10* ने विभाजित करानोड्सची संख्या स्वतंत्र विभाग.
• समांतरपणे डेटा लोड करणार्‍या कार्य कार्यांचा संच तयार करा.

हे डेटा लोडिंग सर्व क्लाउड स्पॅनर नोड्स वापरते.

10M पंक्तींचा डेटासेट तयार करण्यासाठी आम्ही YCSB वर्कलोड A चा वापर केला.

* लोड चाचणी n1-standard-32 कॉम्प्युट इंजिनवर चालवली गेली (32 vCPU, 120 GB मेमरी), आणि चाचणी उदाहरण कधीही चाचण्यांमध्ये अडथळे ठरले नाही.
** कोणत्याही उत्पादन वर्कलोडसाठी सिंगल नोड सेटअपची शिफारस केलेली नाही.

वर नमूद केल्याप्रमाणे, क्लाउड स्पॅनर आपोआप स्प्लिट्सवर त्यांच्या लोडच्या आधारावर प्रक्रिया करतो, त्यामुळे अनेक सलग चाचणी पुनरावृत्तीनंतर परिणाम सुधारतात. येथे सादर केलेले परिणाम आम्हाला मिळालेले सर्वोत्तम परिणाम आहेत. वरील संख्या पाहता, क्लस्टरमधील नोड्सची संख्या जसजशी वाढते तसतसे क्लाउड स्पॅनर (चांगले) कसे मोजते ते आपण पाहू शकतो. वरील विभागामध्ये वर्णन केल्याप्रमाणे मिश्रित वर्कलोड्स (95% वाचणे आणि 5% लिहिणे) च्या परिणामांशी विपरित असलेली संख्या अत्यंत कमी सरासरी विलंब आहेत.

स्केलिंग?

क्लाउड स्पॅनर नोड्सची संख्या वाढवणे आणि कमी करणे हे एक-क्लिक कार्य आहे. तुम्हाला डेटा पटकन लोड करायचा असल्यास, तुम्ही तुमची उदाहरणे जास्तीत जास्त वाढवण्याचा विचार करू शकता (आमच्या बाबतीत ते यूएस-पूर्व प्रदेशात 25 नोड्स होते) आणि नंतर सर्व डेटा आल्यानंतर तुमच्या सामान्य लोडसाठी पात्र नोड्सची संख्या कमी करा. डेटाबेस, 2TB/नोड मर्यादेचा संदर्भ देते.

अगदी लहान डेटाबेस असतानाही आम्हाला या मर्यादेची आठवण करून देण्यात आली. लोड चाचण्यांच्या अनेक धावांनंतर, आमचा डेटाबेस सुमारे 155 GB आकाराचा होता, आणि जेव्हा 1 नोडच्या उदाहरणापर्यंत स्केल केले तेव्हा आम्हाला खालील त्रुटी प्राप्त झाली:

आम्ही 25 ते 2 उदाहरणे कमी करण्यात व्यवस्थापित केले, परंतु आम्ही दोन नोड्सवर अडकलो.

क्लाउड स्पॅनर क्लस्टरमधील नोड्सची संख्या वाढवणे आणि कमी करणे REST API वापरून स्वयंचलित केले जाऊ शकते. हे विशेषतः व्यस्त कामाच्या वेळेत वाढलेले सिस्टम लोड कमी करण्यासाठी उपयुक्त ठरू शकते.

OLAP प्रश्नांची कामगिरी?

या भागावरील स्पॅनरच्या आमच्या मूल्यमापनासाठी आम्ही मूलतः बराच वेळ घालवण्याची योजना आखली होती. अनेक SELECT COUNT नंतर, आम्हाला लगेच लक्षात आले की चाचणी लहान असेल आणि स्पॅनर OLAP साठी योग्य इंजिन नाही. क्लस्टरमधील नोड्सची संख्या विचारात न घेता, 10M पंक्ती सारणीमध्ये फक्त पंक्तींची संख्या निवडण्यासाठी 55 ते 60 सेकंद लागतात. याव्यतिरिक्त, मध्यवर्ती परिणाम संचयित करण्यासाठी अधिक मेमरी आवश्यक असलेली कोणतीही क्वेरी OOM त्रुटीसह अयशस्वी झाली.

SELECT COUNT(DISTINCT(field0)) FROM usertable; — (10M distinct values)-> SpoolingHashAggregateIterator ran out of memory during new row.

TPC-H प्रश्नांसाठी काही संख्या टॉड लिपकॉनच्या लेखात आढळू शकतात Nosql-kudu-spanner-slides.html, स्लाइड्स 42 आणि 43. या संख्या आमच्या स्वतःच्या निकालांशी सुसंगत आहेत (दुर्दैवाने).

4. आमचे निष्कर्ष

क्लाउड स्पॅनरच्या वैशिष्ट्यांची सद्यस्थिती लक्षात घेता, आपल्या विद्यमान OLTP सोल्यूशनसाठी ते एक साधे रिप्लेसमेंट असल्याची कल्पना करणे कठीण आहे, विशेषत: जेव्हा आपल्या गरजा वाढतात. क्लाउड स्पॅनरच्या कमतरतेवर उपाय तयार करण्यासाठी बराच वेळ घालवावा लागेल.

जेव्हा आम्ही क्लाउड स्पॅनरचे मूल्यमापन करण्यास सुरुवात केली, तेव्हा आम्हाला त्याची व्यवस्थापन वैशिष्ट्ये इतर Google SQL सोल्यूशन्सच्या बरोबरीने किंवा किमान फार दूर नसण्याची अपेक्षा होती. परंतु बॅकअपच्या पूर्ण अभावामुळे आणि संसाधनांच्या प्रवेशावर अत्यंत मर्यादित नियंत्रणामुळे आम्हाला आश्चर्य वाटले. कोणतेही दृश्य नाही, स्थानिक विकासाचे वातावरण नाही, असमर्थित अनुक्रम, DML आणि DDL समर्थनाशिवाय JDBC, इत्यादींचा उल्लेख नाही.

तर ज्याला व्यवहाराचा डेटाबेस मोजावा लागतो तो कुठे जातो? सर्व वापर प्रकरणांमध्ये बसणारा एकच उपाय बाजारात दिसत नाही. अनेक क्लोज्ड आणि ओपन सोर्स सोल्यूशन्स आहेत (त्यापैकी काही या लेखात नमूद केल्या आहेत), प्रत्येकाची स्वतःची ताकद आणि कमकुवतपणा आहे, परंतु त्यापैकी कोणीही 99,999% SLA आणि उच्च सुसंगतता सह SaaS ऑफर करत नाही. जर उच्च SLA हे तुमचे मुख्य ध्येय असेल आणि तुम्ही सानुकूल मल्टी-क्लाउड सोल्यूशन तयार करण्यास इच्छुक नसाल, तर क्लाउड स्पॅनर हे तुम्ही शोधत असलेले समाधान असू शकते. परंतु आपणास त्याच्या सर्व मर्यादांची जाणीव असणे आवश्यक आहे.

खरे सांगायचे तर, क्लाउड स्पॅनर केवळ 2017 च्या वसंत ऋतूमध्ये लोकांसाठी रिलीझ करण्यात आले होते, त्यामुळे त्याच्या सध्याच्या काही उणीवा कालांतराने दूर होतील अशी अपेक्षा करणे वाजवी आहे (आशेने), आणि जेव्हा ते तसे करतात तेव्हा ते गेम चेंजर असू शकते. शेवटी, क्लाउड स्पॅनर हा Google साठी फक्त एक साइड प्रोजेक्ट नाही. Google ते इतर Google उत्पादनांसाठी आधार म्हणून वापरते. आणि जेव्हा Google ने नुकतेच Google Cloud Storage मधील Megastore ची जागा Cloud Spanner ने घेतली, तेव्हा त्याने Google Cloud Storage ला जागतिक स्तरावर ऑब्जेक्ट्सच्या सूचीसाठी अत्यंत सुसंगत बनण्याची अनुमती दिली (जे अद्याप असे नाही. ऍमेझॉन S3).

तर, अजूनही आशा आहे... आम्ही आशा करतो.

इतकंच. लेखाच्या लेखकाप्रमाणे, आम्ही देखील आशा ठेवतो, परंतु याबद्दल तुम्हाला काय वाटते? टिप्पण्यांमध्ये लिहा

आम्ही सर्वांना आमच्या भेटीसाठी आमंत्रित करतो विनामूल्य वेबिनार ज्यामध्ये आम्ही तुम्हाला कोर्सबद्दल तपशीलवार सांगू "विकासकांसाठी AWS" OTUS कडून.

स्त्रोत: www.habr.com