Google ക്ലൗഡ് സ്പാനർ: നല്ലത്, മോശം, വൃത്തികെട്ടത്

ഹലോ, ഖബ്രോവ്സ്ക് നിവാസികൾ. പതിവുപോലെ, പുതിയ കോഴ്‌സുകൾ ആരംഭിക്കുന്നതിന് മുമ്പായി ഞങ്ങൾ രസകരമായ കാര്യങ്ങൾ പങ്കിടുന്നത് തുടരുന്നു. ഇന്ന്, പ്രത്യേകിച്ച് നിങ്ങൾക്കായി, കോഴ്‌സിന്റെ സമാരംഭത്തോട് അനുബന്ധിച്ച് ഞങ്ങൾ Google ക്ലൗഡ് സ്പാനറിനെ കുറിച്ച് ഒരു ലേഖനം പ്രസിദ്ധീകരിച്ചു. "ഡവലപ്പർമാർക്കുള്ള AWS".

ആദ്യം പ്രസിദ്ധീകരിച്ചത് Lightspeed HQ ബ്ലോഗ്.

ലോകമെമ്പാടുമുള്ള റീട്ടെയിലർമാർ, റെസ്റ്റോറേറ്റർമാർ, ഓൺലൈൻ വിൽപ്പനക്കാർ എന്നിവർക്ക് ക്ലൗഡ് അധിഷ്‌ഠിത POS സൊല്യൂഷനുകൾ വാഗ്ദാനം ചെയ്യുന്ന ഒരു കമ്പനി എന്ന നിലയിൽ, ലൈറ്റ്‌സ്പീഡ് വിവിധ തരത്തിലുള്ള ഇടപാടുകൾക്കും വിശകലനത്തിനും തിരയൽ ഉപയോഗത്തിനും വിവിധ തരത്തിലുള്ള ഡാറ്റാബേസ് പ്ലാറ്റ്‌ഫോമുകൾ ഉപയോഗിക്കുന്നു. ഈ ഡാറ്റാബേസ് പ്ലാറ്റ്‌ഫോമുകളിൽ ഓരോന്നിനും അതിന്റേതായ ശക്തിയും ദൗർബല്യങ്ങളുമുണ്ട്. അതിനാൽ, Google ക്ലൗഡ് സ്‌പാനർ വിപണിയിൽ അവതരിപ്പിച്ചപ്പോൾ - റിലേഷണൽ ഡാറ്റാബേസുകളുടെ ലോകത്ത് കാണാത്ത വാഗ്ദാനമായ സവിശേഷതകൾ, അതായത് വെർച്വലി അൺലിമിറ്റഡ് ഹോറിസോണ്ടൽ സ്കേലബിളിറ്റിയും 99,999% സേവന നില ഉടമ്പടിയും (SLA), — ഞങ്ങളുടെ കൈകളിലെത്താനുള്ള അവസരം ഞങ്ങൾക്ക് നഷ്ടപ്പെടുത്താൻ കഴിഞ്ഞില്ല!

ക്ലൗഡ് സ്പാനറുമായുള്ള ഞങ്ങളുടെ അനുഭവത്തിന്റെ സമഗ്രമായ അവലോകനവും ഞങ്ങൾ ഉപയോഗിച്ച മൂല്യനിർണ്ണയ മാനദണ്ഡവും നൽകാൻ, ഞങ്ങൾ ഇനിപ്പറയുന്ന വിഷയങ്ങൾ ഉൾക്കൊള്ളും:

1. ഞങ്ങളുടെ മൂല്യനിർണ്ണയ മാനദണ്ഡം
2. ചുരുക്കത്തിൽ ക്ലൗഡ് സ്പാനർ
3. ഞങ്ങളുടെ വിലയിരുത്തൽ
4. ഞങ്ങളുടെ കണ്ടെത്തലുകൾ

1. ഞങ്ങളുടെ മൂല്യനിർണ്ണയ മാനദണ്ഡം

ക്ലൗഡ് സ്പാനറിന്റെ പ്രത്യേകതകളിലേക്കും വിപണിയിലെ മറ്റ് പരിഹാരങ്ങളുമായുള്ള സാമ്യതകളിലേക്കും വ്യത്യാസങ്ങളിലേക്കും കടക്കുന്നതിന് മുമ്പ്, ഞങ്ങളുടെ ഇൻഫ്രാസ്ട്രക്ചറിൽ ക്ലൗഡ് സ്പാനർ എവിടെ വിന്യസിക്കണമെന്ന് പരിഗണിക്കുമ്പോൾ ഞങ്ങൾ മനസ്സിലുണ്ടായിരുന്ന പ്രധാന ഉപയോഗ സാഹചര്യങ്ങളെക്കുറിച്ച് ആദ്യം സംസാരിക്കാം:

• (പ്രബലമായ) പരമ്പരാഗത SQL ഡാറ്റാബേസ് പരിഹാരത്തിന് പകരമായി
• OLAP പിന്തുണ ഉപയോഗിച്ച് OLTP പരിഹാരം എങ്ങനെ ചെയ്യാം

കുറിപ്പ്: ലാളിത്യത്തിനും താരതമ്യത്തിന്റെ എളുപ്പത്തിനും, ഈ ലേഖനം GCP ക്ലൗഡ് SQL, Amazon AWS RDS സൊല്യൂഷൻ ഫാമിലികളുടെ MySQL വേരിയന്റുകളുമായി ക്ലൗഡ് സ്പാനറിനെ താരതമ്യം ചെയ്യുന്നു.

ഒരു പരമ്പരാഗത SQL ഡാറ്റാബേസ് പരിഹാരത്തിന് പകരമായി ക്ലൗഡ് സ്പാനർ ഉപയോഗിക്കുന്നു

പരിസ്ഥിതിയിൽ പരമ്പരാഗത ഡാറ്റാബേസ്, ഡാറ്റാബേസ് അന്വേഷണ പ്രതികരണ സമയം സമീപിക്കുമ്പോൾ അല്ലെങ്കിൽ മുൻ‌നിർവ്വചിച്ച ആപ്ലിക്കേഷൻ പരിധികൾ കവിയുമ്പോൾ (പ്രധാനമായും ഉപയോക്താക്കളുടെ എണ്ണത്തിലും/അല്ലെങ്കിൽ അഭ്യർത്ഥനകളുടെയും വർദ്ധനവ് കാരണം), പ്രതികരണ സമയം സ്വീകാര്യമായ തലത്തിലേക്ക് കുറയ്ക്കുന്നതിന് നിരവധി മാർഗങ്ങളുണ്ട്. എന്നിരുന്നാലും, ഈ പരിഹാരങ്ങളിൽ ഭൂരിഭാഗവും സ്വമേധയാലുള്ള ഇടപെടൽ ഉൾപ്പെടുന്നു.

ഉദാഹരണത്തിന്, എടുക്കേണ്ട ആദ്യ പടി, പ്രകടനവുമായി ബന്ധപ്പെട്ട വിവിധ ഡാറ്റാബേസ് പാരാമീറ്ററുകൾ നോക്കുകയും ആപ്ലിക്കേഷൻ ഉപയോഗ കേസ് പാറ്റേണുകൾക്ക് അനുയോജ്യമായ രീതിയിൽ ട്യൂൺ ചെയ്യുകയും ചെയ്യുക എന്നതാണ്. ഇത് പര്യാപ്തമല്ലെങ്കിൽ, നിങ്ങൾക്ക് ഡാറ്റാബേസ് ലംബമായോ തിരശ്ചീനമായോ സ്കെയിൽ ചെയ്യാൻ തിരഞ്ഞെടുക്കാം.

ഒരു ആപ്ലിക്കേഷൻ ലംബമായി സ്കെയിലിംഗ് ചെയ്യുന്നത് സെർവർ ഇൻസ്റ്റൻസ് അപ്‌ഗ്രേഡുചെയ്യുന്നു, സാധാരണയായി കൂടുതൽ പ്രോസസറുകൾ/കോറുകൾ, കൂടുതൽ റാം, വേഗതയേറിയ സംഭരണം മുതലായവ ചേർത്തുകൊണ്ട്. കൂടുതൽ ഹാർഡ്‌വെയർ ഉറവിടങ്ങൾ ചേർക്കുന്നത് ഡാറ്റാബേസ് പ്രകടനം വർദ്ധിപ്പിക്കുന്നതിന് കാരണമാകുന്നു, പ്രാഥമികമായി രണ്ടാമത്തെ ഇടപാടുകളിൽ അളക്കുന്നു, കൂടാതെ OLTP സിസ്റ്റങ്ങളുടെ ഇടപാട് ലേറ്റൻസിയും. MySQL പോലെയുള്ള റിലേഷണൽ ഡാറ്റാബേസ് സിസ്റ്റങ്ങൾ (ഒരു മൾട്ടി-ത്രെഡഡ് സമീപനം ഉപയോഗിക്കുന്നു) നന്നായി ലംബമായി സ്കെയിൽ ചെയ്യുന്നു.

ഈ സമീപനത്തിന് നിരവധി ദോഷങ്ങളുണ്ട്, എന്നാൽ ഏറ്റവും വ്യക്തമായത് വിപണിയിലെ പരമാവധി സെർവർ വലുപ്പമാണ്. ഏറ്റവും വലിയ സെർവർ സംഭവത്തിന്റെ പരിധി എത്തിക്കഴിഞ്ഞാൽ, ഒരു ഓപ്ഷൻ മാത്രമേ അവശേഷിക്കുന്നുള്ളൂ: തിരശ്ചീന സ്കെയിലിംഗ്.

ഒരു ക്ലസ്റ്ററിലേക്ക് കൂടുതൽ സെർവറുകൾ ചേർക്കുന്ന ഒരു സമീപനമാണ് ഹോറിസോണ്ടൽ സ്കെയിലിംഗ്, സെർവറുകളുടെ എണ്ണം ചേർക്കുന്നതിനനുസരിച്ച് പ്രകടനം രേഖീയമായി വർദ്ധിപ്പിക്കുന്നു. ഭൂരിപക്ഷം പരമ്പരാഗത ഡാറ്റാബേസ് സിസ്റ്റങ്ങൾ നന്നായി തിരശ്ചീനമായി സ്കെയിൽ ചെയ്യുന്നില്ല അല്ലെങ്കിൽ സ്കെയിൽ ചെയ്യുന്നില്ല. ഉദാഹരണത്തിന്, സ്ലേവ് റീഡർമാരെ ചേർത്തുകൊണ്ട് MySQL-ന് റീഡ് ഓപ്പറേഷനുകൾക്കായി തിരശ്ചീനമായി സ്കെയിൽ ചെയ്യാൻ കഴിയും, എന്നാൽ എഴുത്തുകൾക്കായി തിരശ്ചീനമായി സ്കെയിൽ ചെയ്യാൻ കഴിയില്ല.

മറുവശത്ത്, അതിന്റെ സ്വഭാവം കാരണം, ക്ലൗഡ് സ്പാനറിന് കുറഞ്ഞ ഇടപെടലിലൂടെ എളുപ്പത്തിൽ തിരശ്ചീനമായി സ്കെയിൽ ചെയ്യാൻ കഴിയും.

പൂർണ്ണമായും ഫീച്ചർ ചെയ്തു ഒരു സേവനമായി ഡി.ബി.എം.എസ് വ്യത്യസ്ത കോണുകളിൽ നിന്ന് വിലയിരുത്തണം. അടിസ്ഥാനമെന്ന നിലയിൽ, ഞങ്ങൾ ക്ലൗഡിലെ ഏറ്റവും ജനപ്രിയമായ DBMS എടുത്തു - Google, GCP Cloud SQL, Amazon, AWS RDS എന്നിവയ്ക്കായി. ഞങ്ങളുടെ വിലയിരുത്തലിൽ ഞങ്ങൾ ഇനിപ്പറയുന്ന വിഭാഗങ്ങളിൽ ശ്രദ്ധ കേന്ദ്രീകരിച്ചു:

• ഫീച്ചർ മാപ്പിംഗ്: പരിധി SQL, DDL, DML; കണക്ഷൻ ലൈബ്രറികൾ/കണക്‌ടറുകൾ, ഇടപാട് പിന്തുണ തുടങ്ങിയവ.
• വികസന പിന്തുണ: എളുപ്പമുള്ള വികസനവും പരിശോധനയും.
• അഡ്‌മിനിസ്‌ട്രേഷൻ പിന്തുണ: ഇൻസ്റ്റൻസ് മാനേജ്‌മെന്റ് - ഉദാഹരണത്തിന്, സ്കെയിലിംഗ് അപ്പ്/ഡൗൺ, ഇൻസ്‌റ്റൻസുകൾ അപ്‌ഗ്രേഡുചെയ്യൽ; SLA, ബാക്കപ്പും വീണ്ടെടുക്കലും; സുരക്ഷ/ആക്സസ് നിയന്ത്രണം.

OLAP-പ്രാപ്തമാക്കിയ OLTP പരിഹാരമായി ക്ലൗഡ് സ്പാനർ ഉപയോഗിക്കുന്നു

ക്ലൗഡ് സ്പാനർ അനലിറ്റിക്കൽ പ്രോസസ്സിംഗിനായി രൂപകൽപ്പന ചെയ്‌തതാണെന്ന് Google വ്യക്തമായി അവകാശപ്പെടുന്നില്ലെങ്കിലും, OLAP വർക്ക് ലോഡുകൾക്കായി രൂപകൽപ്പന ചെയ്‌തിരിക്കുന്ന Apache Impala & Kudu, YugaByte എന്നിവ പോലുള്ള മറ്റ് എഞ്ചിനുകളുമായി ഇത് ചില ആട്രിബ്യൂട്ടുകൾ പങ്കിടുന്നു.

ക്ലൗഡ് സ്പാനറിൽ (കൂടുതലോ കുറവോ) ഉപയോഗയോഗ്യമായ OLAP ഫീച്ചർ സെറ്റുള്ള സ്ഥിരതയാർന്ന സ്കെയിൽ-ഔട്ട് HTAP (ഹൈബ്രിഡ് ട്രാൻസാഷണൽ/അനലിറ്റിക്സ് പ്രോസസ്സിംഗ്) എഞ്ചിൻ ഉൾപ്പെടുത്താനുള്ള ഒരു ചെറിയ അവസരം മാത്രമേ ഉണ്ടായിരുന്നുള്ളൂവെങ്കിലും, അത് ഞങ്ങളുടെ ശ്രദ്ധ അർഹിക്കുമെന്ന് ഞങ്ങൾ കരുതുന്നു.

ഇത് മനസ്സിൽ വെച്ചുകൊണ്ട്, ഞങ്ങൾ ഇനിപ്പറയുന്ന വിഭാഗങ്ങൾ നോക്കി:

• ഡാറ്റ ലോഡിംഗ്, സൂചികകൾ, പാർട്ടീഷനിംഗ് പിന്തുണ
• അന്വേഷണ പ്രകടനവും DML

2. ക്ലൗഡ് സ്പാനർ ചുരുക്കത്തിൽ

ഗൂഗിൾ സ്പാനർ ഒരു ക്ലസ്റ്റേർഡ് റിലേഷണൽ ഡാറ്റാബേസ് മാനേജ്മെന്റ് സിസ്റ്റമാണ് (ആർഡിബിഎംഎസ്) ഗൂഗിൾ സ്വന്തം സേവനങ്ങൾക്കായി ഉപയോഗിക്കുന്നു. 2017-ന്റെ തുടക്കത്തിൽ Google ക്ലൗഡ് പ്ലാറ്റ്‌ഫോം ഉപയോക്താക്കൾക്ക് Google ഇത് പൊതുവെ ലഭ്യമാക്കി.

ക്ലൗഡ് സ്പാനർ ആട്രിബ്യൂട്ടുകളിൽ ചിലത് ഇതാ:

• ഉയർന്ന സ്ഥിരതയുള്ള സ്കേലബിൾ RDBMS ക്ലസ്റ്റർ: ഡാറ്റ സ്ഥിരത ഉറപ്പാക്കാൻ ഹാർഡ്‌വെയർ സമയ സമന്വയം ഉപയോഗിക്കുന്നു.
• ക്രോസ്-ടേബിൾ ഇടപാട് പിന്തുണ: ഇടപാടുകൾക്ക് ഒന്നിലധികം ടേബിളുകൾ വ്യാപിക്കാനാകും - ഒരൊറ്റ ടേബിളിൽ മാത്രം പരിമിതപ്പെടുത്തേണ്ടതില്ല (അപ്പാച്ചെ HBase അല്ലെങ്കിൽ Apache Kudu പോലെ).
• പ്രൈമറി കീ അടിസ്ഥാനമാക്കിയുള്ള പട്ടികകൾ: എല്ലാ പട്ടികകൾക്കും ഒരു പ്രൈമറി കീ (PC) ഉണ്ടായിരിക്കണം, അതിൽ പട്ടികയിലെ ഒന്നിലധികം നിരകൾ അടങ്ങിയിരിക്കാം. ടാബുലാർ ഡാറ്റ പിസി ക്രമത്തിൽ സംഭരിച്ചിരിക്കുന്നു, ഇത് പിസി തിരയലിനായി വളരെ കാര്യക്ഷമവും വേഗതയുള്ളതുമാക്കുന്നു. മറ്റ് പിസി-അധിഷ്ഠിത സിസ്റ്റങ്ങളെപ്പോലെ, നടപ്പിലാക്കുന്നത് നേടുന്നതിന് മുൻകൂട്ടി രൂപകല്പന ചെയ്ത ഉപയോഗ കേസുകൾ മനസ്സിൽ വെച്ച് മാതൃകയാക്കണം മികച്ച പ്രകടനം.
• വരയുള്ള പട്ടികകൾ: പട്ടികകൾക്ക് പരസ്പരം ഭൗതികമായ ആശ്രിതത്വങ്ങൾ ഉണ്ടാകാം. ചൈൽഡ് ടേബിളിലെ വരികൾ പാരന്റ് ടേബിളിലെ വരികളുമായി പൊരുത്തപ്പെടുത്താനാകും. ഈ സമീപനം ഡാറ്റ മോഡലിംഗ് ഘട്ടത്തിൽ തിരിച്ചറിയാൻ കഴിയുന്ന ബന്ധങ്ങൾക്കായുള്ള തിരയലിനെ വേഗത്തിലാക്കുന്നു, ഉപഭോക്താക്കൾക്കും അവരുടെ ഇൻവോയ്‌സുകൾക്കും കോ-ലൊക്കേറ്റിംഗ് പോലുള്ളവ.
• സൂചികകൾ: ക്ലൗഡ് സ്പാനർ ദ്വിതീയ സൂചികകളെ പിന്തുണയ്ക്കുന്നു. ഇൻഡക്‌സിൽ ഇൻഡെക്‌സ് ചെയ്‌ത കോളങ്ങളും എല്ലാ പിസി കോളങ്ങളും അടങ്ങിയിരിക്കുന്നു. വേണമെങ്കിൽ, സൂചികയിൽ സൂചികയിലല്ലാത്ത മറ്റ് നിരകളും അടങ്ങിയിരിക്കാം. അന്വേഷണങ്ങൾ വേഗത്തിലാക്കാൻ സൂചിക പാരന്റ് ടേബിളുമായി ഇടകലർത്താം. സൂചികയിൽ സംഭരിച്ചിരിക്കുന്ന പരമാവധി എണ്ണം അധിക നിരകൾ പോലെയുള്ള നിരവധി നിയന്ത്രണങ്ങൾ സൂചികകൾക്ക് ബാധകമാണ്. കൂടാതെ, സൂചികകൾ വഴിയുള്ള അന്വേഷണങ്ങൾ മറ്റ് ആർ‌ഡി‌ബി‌എം‌എസുകളിലേതുപോലെ നേരായതായിരിക്കില്ല.

“ക്ലൗഡ് സ്പാനർ അപൂർവ സന്ദർഭങ്ങളിൽ മാത്രം ഒരു സൂചിക സ്വയമേവ തിരഞ്ഞെടുക്കുന്നു. പ്രത്യേകിച്ചും, ഒരു ചോദ്യം സംഭരിക്കപ്പെടാത്ത ഏതെങ്കിലും നിരകൾ അഭ്യർത്ഥിച്ചാൽ ക്ലൗഡ് സ്പാനർ സ്വയമേവ ഒരു ദ്വിതീയ സൂചിക തിരഞ്ഞെടുക്കില്ല. സൂചിക ".

• സേവന നില ഉടമ്പടി (SLA): 99,99% SLA ഉള്ള ഒരു മേഖലയിൽ വിന്യാസം; 99,999% SLA ഉള്ള മൾട്ടി-റീജിയണൽ വിന്യാസങ്ങൾ. SLA തന്നെ ഒരു കരാർ മാത്രമാണെങ്കിലും ഏതെങ്കിലും തരത്തിലുള്ള ഗ്യാരണ്ടി അല്ലെങ്കിലും, Google-ലെ ആളുകൾക്ക് അത്തരമൊരു ശക്തമായ അവകാശവാദം ഉന്നയിക്കാൻ ചില ഹാർഡ് ഡാറ്റ ഉണ്ടെന്ന് ഞാൻ വിശ്വസിക്കുന്നു. (റഫറൻസിനായി, 99,999% എന്നാൽ പ്രതിമാസം 26,3 സെക്കൻഡ് സേവനം ലഭ്യമല്ല.)
• കൂടുതൽ: https://cloud.google.com/spanner/

കുറിപ്പ്: അപ്പാച്ചെ ടെഫ്ര പ്രോജക്റ്റ് അപ്പാച്ചെ എച്ച്‌ബേസിലേക്ക് മെച്ചപ്പെടുത്തിയ ഇടപാട് പിന്തുണ ചേർക്കുന്നു (ഇപ്പോൾ അപ്പാച്ചെ ഫീനിക്സിൽ ബീറ്റയായി ഇത് നടപ്പിലാക്കുന്നു).

3. ഞങ്ങളുടെ വിലയിരുത്തൽ

അതിനാൽ, ക്ലൗഡ് സ്പാനറിന്റെ നേട്ടങ്ങളെക്കുറിച്ചുള്ള Google-ന്റെ അവകാശവാദങ്ങൾ നാമെല്ലാവരും വായിച്ചിട്ടുണ്ട് - ഉയർന്ന സ്ഥിരതയും വളരെ ഉയർന്ന എസ്എൽഎയും നിലനിർത്തിക്കൊണ്ട് ഫലത്തിൽ അൺലിമിറ്റഡ് ഹോറിസോണ്ടൽ സ്കെയിലിംഗ്. ഈ ആവശ്യകതകൾ, ഏത് സാഹചര്യത്തിലും, നേടിയെടുക്കാൻ വളരെ ബുദ്ധിമുട്ടാണെങ്കിലും, ഞങ്ങളുടെ ലക്ഷ്യം അവയെ നിരാകരിക്കുകയായിരുന്നില്ല. പകരം, മിക്ക ഡാറ്റാബേസ് ഉപയോക്താക്കളും ശ്രദ്ധിക്കുന്ന മറ്റ് കാര്യങ്ങളിൽ ശ്രദ്ധ കേന്ദ്രീകരിക്കാം: തുല്യതയും ഉപയോഗക്ഷമതയും.

Sharded MySQL-ന് പകരമായി ഞങ്ങൾ ക്ലൗഡ് സ്പാനറിനെ വിലയിരുത്തി

ക്ലൗഡ് മാർക്കറ്റിലെ ഏറ്റവും ജനപ്രിയമായ OLTP DBMS-കളായ Google ക്ലൗഡ് SQL, Amazon AWS RDS എന്നിവയ്ക്ക് വളരെ വലിയ സവിശേഷതകളുണ്ട്. എന്നിരുന്നാലും, ഈ ഡാറ്റാബേസുകൾ ഒരൊറ്റ നോഡിന്റെ വലുപ്പത്തിനപ്പുറം അളക്കാൻ, നിങ്ങൾ ആപ്ലിക്കേഷൻ പാർട്ടീഷനിംഗ് നടത്തേണ്ടതുണ്ട്. ഈ സമീപനം ആപ്ലിക്കേഷനുകൾക്കും അഡ്മിനിസ്ട്രേഷനും കൂടുതൽ സങ്കീർണ്ണത സൃഷ്ടിക്കുന്നു. ഒന്നിലധികം ഷാർഡുകൾ ഒരൊറ്റ സംഭവത്തിലേക്ക് സംയോജിപ്പിക്കുന്ന സാഹചര്യത്തിൽ സ്പാനർ എങ്ങനെ യോജിക്കുന്നുവെന്നും എന്തൊക്കെ സവിശേഷതകൾ (എന്തെങ്കിലും ഉണ്ടെങ്കിൽ) ത്യജിക്കേണ്ടിവരുമെന്നും ഞങ്ങൾ പരിശോധിച്ചു.

SQL, DML, DDL പിന്തുണ, അതുപോലെ കണക്ടർ, ലൈബ്രറികൾ എന്നിവയുണ്ടോ?

ആദ്യം, ഏതെങ്കിലും ഡാറ്റാബേസിൽ ആരംഭിക്കുമ്പോൾ, നിങ്ങൾ ഒരു ഡാറ്റ മോഡൽ സൃഷ്ടിക്കേണ്ടതുണ്ട്. നിങ്ങളുടെ പ്രിയപ്പെട്ട SQL ടൂളിലേക്ക് JDBC സ്‌പാനർ കണക്റ്റുചെയ്യാൻ കഴിയുമെന്ന് നിങ്ങൾ കരുതുന്നുവെങ്കിൽ, അത് ഉപയോഗിച്ച് നിങ്ങളുടെ ഡാറ്റ അന്വേഷിക്കാൻ കഴിയുമെന്ന് നിങ്ങൾ കണ്ടെത്തും, എന്നാൽ ഒരു പട്ടിക സൃഷ്ടിക്കുന്നതിനോ പരിഷ്‌ക്കരിക്കുന്നതിനോ (DDL) അല്ലെങ്കിൽ ഏതെങ്കിലും ഇൻസേർട്ട്/അപ്‌ഡേറ്റ്/ഇല്ലാതാക്കുന്നതിന് നിങ്ങൾക്ക് ഇത് ഉപയോഗിക്കാൻ കഴിയില്ല. പ്രവർത്തനങ്ങൾ (DML). Google-ന്റെ ഔദ്യോഗിക JDBC ഇവയൊന്നും പിന്തുണയ്ക്കുന്നില്ല.

"ഡ്രൈവർമാർ നിലവിൽ DML അല്ലെങ്കിൽ DDL പ്രസ്താവനകളെ പിന്തുണയ്ക്കുന്നില്ല."
സ്പാനർ ഡോക്യുമെന്റേഷൻ

GCP കൺസോളിൽ സ്ഥിതി മെച്ചമല്ല - നിങ്ങൾക്ക് SELECT ചോദ്യങ്ങൾ മാത്രമേ അയയ്‌ക്കാനാകൂ. ഭാഗ്യവശാൽ, ഇടപാടുകൾ ഉൾപ്പെടെ, കമ്മ്യൂണിറ്റിയിൽ നിന്ന് DML, DDL എന്നിവയ്ക്ക് പിന്തുണയുള്ള ഒരു JDBC ഡ്രൈവർ ഉണ്ട് github.com/olavloite/spanner-jdbc. ഈ ഡ്രൈവർ വളരെ ഉപയോഗപ്രദമാണെങ്കിലും, ഗൂഗിളിന്റെ സ്വന്തം ജെഡിബിസി ഡ്രൈവറിന്റെ അഭാവം ആശ്ചര്യകരമാണ്. ഭാഗ്യവശാൽ, ക്ലയന്റ് ലൈബ്രറികൾക്ക് (gRPC അടിസ്ഥാനമാക്കി) Google സാമാന്യം വിശാലമായ പിന്തുണ വാഗ്ദാനം ചെയ്യുന്നു: C#, Go, Java, node.js, PHP, Python, Ruby.

ക്ലൗഡ് സ്പാനർ ഇഷ്‌ടാനുസൃത API-കളുടെ മിക്കവാറും നിർബന്ധിത ഉപയോഗം (JDBC-യിൽ DDL, DML എന്നിവയുടെ അഭാവം മൂലം) കണക്ഷൻ പൂളുകൾ അല്ലെങ്കിൽ ഡാറ്റാബേസ് ബൈൻഡിംഗ് ഫ്രെയിംവർക്കുകൾ (ഉദാ. സ്പ്രിംഗ് MVC) പോലുള്ള അനുബന്ധ കോഡ് ഏരിയകൾക്ക് ചില പരിമിതികൾക്ക് കാരണമാകുന്നു. സാധാരണഗതിയിൽ, JDBC ഉപയോഗിക്കുമ്പോൾ, പരീക്ഷിച്ചതും നന്നായി പ്രവർത്തിക്കുന്നതുമായ നിങ്ങളുടെ പ്രിയപ്പെട്ട കണക്ഷൻ പൂൾ (ഉദാ: HikariCP, DBCP, C3PO, മുതലായവ) തിരഞ്ഞെടുക്കാൻ നിങ്ങൾക്ക് സ്വാതന്ത്ര്യമുണ്ട്. ഇഷ്‌ടാനുസൃത സ്‌പാനർ API-കളുടെ കാര്യത്തിൽ, ഞങ്ങൾ സ്വയം സൃഷ്‌ടിച്ച ഫ്രെയിംവർക്കുകൾ/ബൈൻഡിംഗ് പൂളുകൾ/സെഷനുകളെ ആശ്രയിക്കണം.

പ്രാഥമിക കീ (പിസി) കേന്ദ്രീകൃത ഡിസൈൻ, പിസി വഴി ഡാറ്റ ആക്‌സസ് ചെയ്യുമ്പോൾ ക്ലൗഡ് സ്പാനറിനെ വളരെ വേഗത്തിലാക്കാൻ അനുവദിക്കുന്നു, മാത്രമല്ല ചില അന്വേഷണ പ്രശ്‌നങ്ങളും അവതരിപ്പിക്കുന്നു.

• നിങ്ങൾക്ക് പ്രാഥമിക കീ മൂല്യം അപ്ഡേറ്റ് ചെയ്യാൻ കഴിയില്ല; നിങ്ങൾ ആദ്യം യഥാർത്ഥ പിസിയിൽ നിന്ന് എൻട്രി ഇല്ലാതാക്കുകയും പുതിയ മൂല്യം ഉപയോഗിച്ച് വീണ്ടും ചേർക്കുകയും വേണം. (ഇത് മറ്റ് പിസി ഓറിയന്റഡ് ഡാറ്റാബേസ്/സ്റ്റോറേജ് എഞ്ചിനുകൾക്ക് സമാനമാണ്.)
• ഏത് അപ്‌ഡേറ്റ്, ഇല്ലാതാക്കൽ പ്രസ്താവനകൾ എവിടെ എന്നതിൽ പിസി വ്യക്തമാക്കണം, അതിനാൽ എല്ലാ പ്രസ്താവനകളും ഇല്ലാതാക്കുക ശൂന്യമായിരിക്കാൻ കഴിയില്ല - എല്ലായ്‌പ്പോഴും ഒരു സബ്‌ക്വറി ഉണ്ടായിരിക്കണം, ഉദാഹരണത്തിന്: അപ്‌ഡേറ്റ് xxx എവിടെ ഐഡി ഇൻ (ടേബിൾ 1 ൽ നിന്ന് ഐഡി തിരഞ്ഞെടുക്കുക)
• ഓട്ടോ-ഇൻക്രിമെന്റ് ഓപ്ഷന്റെ അഭാവം അല്ലെങ്കിൽ PC ഫീൽഡിനായി ക്രമം സജ്ജമാക്കുന്ന സമാനമായ എന്തെങ്കിലും. ഇത് പ്രവർത്തിക്കുന്നതിന്, ആപ്ലിക്കേഷന്റെ ഭാഗത്ത് അനുബന്ധ മൂല്യം സൃഷ്ടിക്കേണ്ടതുണ്ട്.

ദ്വിതീയ സൂചികകൾ?

Google ക്ലൗഡ് സ്പാനറിന് ദ്വിതീയ സൂചികകൾക്കുള്ള ബിൽറ്റ്-ഇൻ പിന്തുണയുണ്ട്. മറ്റ് സാങ്കേതികവിദ്യകളിൽ എല്ലായ്പ്പോഴും ഇല്ലാത്ത വളരെ നല്ല സവിശേഷതയാണിത്. അപ്പാച്ചെ കുഡു നിലവിൽ ദ്വിതീയ സൂചികകളെ പിന്തുണയ്ക്കുന്നില്ല, കൂടാതെ അപ്പാച്ചെ എച്ച്ബേസ് സൂചികകളെ നേരിട്ട് പിന്തുണയ്ക്കുന്നില്ല, പക്ഷേ അപ്പാച്ചെ ഫീനിക്സ് വഴി അവ ചേർക്കാൻ കഴിയും.

Kudu, HBase എന്നിവയിലെ സൂചികകൾ പ്രാഥമിക കീകളുടെ വ്യത്യസ്ത ഘടനയുള്ള ഒരു പ്രത്യേക പട്ടികയായി മാതൃകയാക്കാവുന്നതാണ്, എന്നാൽ പാരന്റ് ടേബിളിലും അനുബന്ധ സൂചിക പട്ടികകളിലും നടത്തുന്ന പ്രവർത്തനങ്ങളുടെ ആറ്റോമിസിറ്റി ആപ്ലിക്കേഷൻ തലത്തിൽ തന്നെ ചെയ്യണം, അത് ശരിയായി നടപ്പിലാക്കാൻ നിസ്സാരമല്ല.

ക്ലൗഡ് സ്പാനർ അവലോകനത്തിൽ സൂചിപ്പിച്ചതുപോലെ, അതിന്റെ സൂചികകൾ MySQL സൂചികകളിൽ നിന്ന് വ്യത്യസ്തമായിരിക്കാം. അതിനാൽ, അന്വേഷണങ്ങളും പ്രൊഫൈലുകളും നിർമ്മിക്കുമ്പോൾ, ശരിയായ സൂചിക ആവശ്യമുള്ളിടത്ത് ഉപയോഗിക്കുന്നുണ്ടെന്ന് ഉറപ്പാക്കാൻ പ്രത്യേകം ശ്രദ്ധിക്കണം.

പ്രാതിനിധ്യം?

ഒരു ഡാറ്റാബേസിലെ വളരെ ജനപ്രിയവും ഉപയോഗപ്രദവുമായ വസ്തു കാഴ്ചകളാണ്. ധാരാളം ഉപയോഗ കേസുകൾക്ക് അവ ഉപയോഗപ്രദമാകും; എന്റെ രണ്ട് പ്രിയപ്പെട്ടവ ലോജിക്കൽ അബ്‌സ്‌ട്രാക്ഷൻ ലെയറും സെക്യൂരിറ്റി ലെയറുമാണ്. നിർഭാഗ്യവശാൽ, ക്ലൗഡ് സ്പാനർ കാഴ്ചകളെ പിന്തുണയ്ക്കുന്നില്ല. എന്നിരുന്നാലും, ഇത് ഞങ്ങളെ ഭാഗികമായി പരിമിതപ്പെടുത്തുന്നു, കാരണം കോളം തലത്തിൽ ആക്‌സസ് അനുമതികൾക്ക് ഗ്രാനുലാരിറ്റി ഇല്ല, അവിടെ കാഴ്ചകൾ ഒരു പ്രായോഗിക പരിഹാരമായിരിക്കും.

ക്വാട്ടകളും നിയന്ത്രണങ്ങളും വിശദമാക്കുന്ന ഒരു വിഭാഗത്തിനായി ക്ലൗഡ് സ്പാനർ ഡോക്യുമെന്റേഷൻ കാണുക (സ്പാനർ/ക്വോട്ടകൾ), ചില ആപ്ലിക്കേഷനുകൾക്ക് പ്രത്യേകിച്ച് പ്രശ്‌നമുണ്ടാക്കുന്ന ഒന്ന് ഉണ്ട്: ബോക്‌സിന് പുറത്തുള്ള ക്ലൗഡ് സ്‌പാനറിന് ഒരു ഉദാഹരണത്തിന് പരമാവധി 100 ഡാറ്റാബേസുകളുടെ പരിധിയുണ്ട്. വ്യക്തമായും, 100-ലധികം ഡാറ്റാബേസുകളിലേക്ക് സ്കെയിൽ ചെയ്യാൻ രൂപകൽപ്പന ചെയ്‌തിരിക്കുന്ന ഒരു ഡാറ്റാബേസിന് ഇത് ഒരു വലിയ തടസ്സമാകാം. ഭാഗ്യവശാൽ, ഞങ്ങളുടെ Google സാങ്കേതിക പ്രതിനിധിയുമായി സംസാരിച്ചതിന് ശേഷം, Google പിന്തുണ വഴി ഈ പരിധി ഏത് മൂല്യത്തിലേക്കും വർദ്ധിപ്പിക്കാൻ കഴിയുമെന്ന് ഞങ്ങൾ കണ്ടെത്തി.

വികസന പിന്തുണ?

ക്ലൗഡ് സ്പാനർ അതിന്റെ API-യിൽ പ്രവർത്തിക്കുന്നതിന് മാന്യമായ പ്രോഗ്രാമിംഗ് ഭാഷാ പിന്തുണ വാഗ്ദാനം ചെയ്യുന്നു. ഔദ്യോഗികമായി പിന്തുണയ്ക്കുന്ന ലൈബ്രറികൾ C#, Go, Java, node.js, PHP, Python, Ruby എന്നീ മേഖലകളിലാണ്. ഡോക്യുമെന്റേഷൻ വളരെ വിശദമാണ്, എന്നാൽ മറ്റ് നൂതന സാങ്കേതികവിദ്യകളെപ്പോലെ, ഏറ്റവും ജനപ്രിയമായ ഡാറ്റാബേസ് സാങ്കേതികവിദ്യകളുമായി താരതമ്യപ്പെടുത്തുമ്പോൾ കമ്മ്യൂണിറ്റി വളരെ ചെറുതാണ്, ഇത് കുറച്ച് സാധാരണ ഉപയോഗ കേസുകളോ പ്രശ്നങ്ങളോ പരിഹരിക്കുന്നതിന് കൂടുതൽ സമയം ചെലവഴിക്കാൻ ഇടയാക്കും.

അപ്പോൾ പ്രാദേശിക വികസനത്തെ പിന്തുണയ്ക്കുന്നതിനെക്കുറിച്ച്?

പരിസരത്ത് ഒരു ക്ലൗഡ് സ്പാനർ ഉദാഹരണം സൃഷ്‌ടിക്കാനുള്ള വഴി ഞങ്ങൾ കണ്ടെത്തിയില്ല. ഞങ്ങൾക്ക് ഏറ്റവും അടുത്തത് ഒരു ഡോക്കർ ചിത്രമാണ്. കോക്ക്രോച്ച് ഡിബി, ഇത് തത്വത്തിൽ സമാനമാണ്, എന്നാൽ പ്രായോഗികമായി വളരെ വ്യത്യസ്തമാണ്. ഉദാഹരണത്തിന്, CockroachDB-യ്ക്ക് PostgreSQL JDBC ഉപയോഗിക്കാം. വികസന പരിതസ്ഥിതി ഉൽപ്പാദന പരിതസ്ഥിതിയോട് കഴിയുന്നത്ര അടുത്തായിരിക്കണം എന്നതിനാൽ, ക്ലൗഡ് സ്പാനർ അനുയോജ്യമല്ല, കാരണം അത് ഒരു പൂർണ്ണ സ്പാനർ ഉദാഹരണത്തെ ആശ്രയിക്കേണ്ടതാണ്. ചെലവ് ലാഭിക്കാൻ, നിങ്ങൾക്ക് ഒരു ഒറ്റ-മേഖല ഉദാഹരണം തിരഞ്ഞെടുക്കാം.

അഡ്മിനിസ്ട്രേഷൻ പിന്തുണ?

ഒരു ക്ലൗഡ് സ്പാനർ ഉദാഹരണം സൃഷ്ടിക്കുന്നത് വളരെ ലളിതമാണ്. ഒരു മൾട്ടി റീജിയൻ അല്ലെങ്കിൽ സിംഗിൾ റീജിയൺ ഇൻസ്‌റ്റൻസ് സൃഷ്‌ടിക്കുന്നതിന് ഇടയിൽ നിങ്ങൾ തിരഞ്ഞെടുക്കേണ്ടതുണ്ട്, മേഖല(കൾ) നോഡുകളുടെ എണ്ണവും വ്യക്തമാക്കുക. ഒരു മിനിറ്റിനുള്ളിൽ, നിങ്ങളുടെ ഉദാഹരണം പ്രവർത്തനക്ഷമമാകും.

ഗൂഗിൾ കൺസോളിലെ സ്പാനർ പേജിൽ നിന്ന് നിരവധി അടിസ്ഥാന അളവുകൾ നേരിട്ട് ആക്സസ് ചെയ്യാൻ കഴിയും. Stackdriver വഴി കൂടുതൽ വിശദമായ കാഴ്‌ചകൾ ലഭ്യമാണ്, അവിടെ നിങ്ങൾക്ക് മെട്രിക് ത്രെഷോൾഡുകളും അലേർട്ട് പോളിസികളും സജ്ജീകരിക്കാനാകും.

വിഭവങ്ങളിലേക്കുള്ള പ്രവേശനം?

MySQL ഉപയോക്തൃ അനുമതികൾ / റോളുകൾക്കായി വിപുലവും വളരെ ഗ്രാനുലാർ ക്രമീകരണങ്ങളും വാഗ്ദാനം ചെയ്യുന്നു. നിങ്ങൾക്ക് ഒരു നിർദ്ദിഷ്‌ട പട്ടികയിലേക്കോ അതിന്റെ നിരകളുടെ ഒരു ഉപവിഭാഗത്തിലേക്കോ എളുപ്പത്തിൽ ആക്‌സസ് കോൺഫിഗർ ചെയ്യാം. ക്ലൗഡ് സ്പാനർ Google-ന്റെ ഐഡന്റിറ്റി & ആക്‌സസ് മാനേജ്‌മെന്റ് (IAM) ടൂൾ ഉപയോഗിക്കുന്നു, അത് നയങ്ങളും അനുമതികളും വളരെ ഉയർന്ന തലത്തിൽ സജ്ജീകരിക്കാൻ മാത്രമേ നിങ്ങളെ അനുവദിക്കൂ. ഏറ്റവും ഗ്രാനുലാർ ഓപ്ഷൻ ഡാറ്റാബേസ്-ലെവൽ റെസല്യൂഷനാണ്, ഇത് മിക്ക പ്രൊഡക്ഷൻ ഉപയോഗ കേസുകളിലും യോജിക്കുന്നില്ല. സ്‌പാനർ റിസോഴ്‌സുകളുടെ അനധികൃത ഉപയോഗം തടയുന്നതിന് നിങ്ങളുടെ കോഡ്, ഇൻഫ്രാസ്ട്രക്ചർ അല്ലെങ്കിൽ ഇവ രണ്ടിലും അധിക സുരക്ഷാ നടപടികൾ ചേർക്കാൻ ഈ പരിമിതി നിങ്ങളെ പ്രേരിപ്പിക്കുന്നു.

ബാക്കപ്പുകൾ?

ലളിതമായി പറഞ്ഞാൽ, ക്ലൗഡ് സ്പാനറിൽ ബാക്കപ്പുകളൊന്നുമില്ല. Google-ന്റെ ഉയർന്ന SLA ആവശ്യകതകൾ, ഹാർഡ്‌വെയർ അല്ലെങ്കിൽ ഡാറ്റാബേസ് പരാജയങ്ങൾ, മാനുഷിക പിശകുകൾ, ആപ്ലിക്കേഷൻ വൈകല്യങ്ങൾ മുതലായവ കാരണം നിങ്ങൾക്ക് ഒരു ഡാറ്റയും നഷ്‌ടപ്പെടുന്നില്ലെന്ന് ഉറപ്പാക്കാനാകുമെങ്കിലും. നിയമം നമുക്കെല്ലാം അറിയാം: ഉയർന്ന ലഭ്യത ഒരു ശബ്‌ദ ബാക്കപ്പ് തന്ത്രത്തിന് പകരമല്ല. നിലവിൽ, ഡാറ്റ ബാക്കപ്പ് ചെയ്യാനുള്ള ഏക മാർഗം ഒരു ഡാറ്റാബേസിൽ നിന്ന് ഒരു പ്രത്യേക സ്റ്റോറേജ് എൻവയോൺമെന്റിലേക്ക് പ്രോഗ്രാമാമാറ്റിക് സ്ട്രീം ചെയ്യുക എന്നതാണ്.

പ്രകടനം അന്വേഷിക്കണോ?

ഡാറ്റ ലോഡുചെയ്യാനും അന്വേഷണങ്ങൾ പരിശോധിക്കാനും ഞങ്ങൾ Yahoo! ഉപയോഗിച്ചു. ക്ലൗഡ് സെർവിംഗ് ബെഞ്ച്മാർക്ക്. ചുവടെയുള്ള പട്ടിക, 95% റീഡ്-5% റൈറ്റ് അനുപാതത്തിൽ YCSB വർക്ക്ലോഡ് B കാണിക്കുന്നു.

* ലോഡ് ടെസ്റ്റ് n1-സ്റ്റാൻഡേർഡ്-32 കമ്പ്യൂട്ട് എഞ്ചിനിൽ (CE) (32 vCPU, 120 GB മെമ്മറി) പ്രവർത്തിപ്പിച്ചു, കൂടാതെ ടെസ്റ്റ് ഇൻസ്‌റ്റൻസ് ഒരിക്കലും ഒരു തടസ്സമായിരുന്നില്ല.
** ഒരു YCSB ഇൻസ്‌റ്റൻസിലെ പരമാവധി ത്രെഡുകളുടെ എണ്ണം 400 ആണ്. ആകെ 2400 ത്രെഡുകൾ ലഭിക്കാൻ YCSB ടെസ്റ്റുകളുടെ ആറ് സമാന്തര സംഭവങ്ങൾ പ്രവർത്തിപ്പിക്കേണ്ടതുണ്ട്.

ബെഞ്ച്മാർക്ക് ഫലങ്ങൾ നോക്കുമ്പോൾ, പ്രത്യേകിച്ച് സിപിയു ലോഡിന്റെയും ടിപിഎസിന്റെയും സംയോജനം, ക്ലൗഡ് സ്പാനർ സ്കെയിലുകൾ മികച്ചതായി നമുക്ക് കാണാൻ കഴിയും. ധാരാളം ത്രെഡുകൾ സൃഷ്ടിക്കുന്ന കനത്ത ലോഡ് ക്ലൗഡ് സ്പാനർ ക്ലസ്റ്ററിലെ ധാരാളം നോഡുകൾ ഉപയോഗിച്ച് ഓഫ്സെറ്റ് ചെയ്യുന്നു. ലേറ്റൻസി വളരെ ഉയർന്നതായി കാണപ്പെടുമ്പോൾ, പ്രത്യേകിച്ച് 2400 ത്രെഡുകൾ ഉപയോഗിച്ച് പ്രവർത്തിക്കുമ്പോൾ, കൂടുതൽ കൃത്യമായ സംഖ്യകൾ ലഭിക്കുന്നതിന് കമ്പ്യൂട്ട് എഞ്ചിന്റെ 6 ചെറിയ സന്ദർഭങ്ങൾ ഉപയോഗിച്ച് വീണ്ടും പരീക്ഷിക്കുന്നത് ആവശ്യമായി വന്നേക്കാം. ഓരോ സംഭവവും 6 സമാന്തര ടെസ്റ്റുകളുള്ള ഒരു വലിയ CE ഉദാഹരണത്തിനുപകരം ഒരു YCSB ടെസ്റ്റ് പ്രവർത്തിപ്പിക്കും. ഈ രീതിയിൽ, ക്ലൗഡ് സ്പാനറും ടെസ്റ്റ് റൺ ചെയ്യുന്ന CE ഉദാഹരണവും തമ്മിലുള്ള നെറ്റ്‌വർക്ക് കണക്ഷൻ വഴി ചേർത്ത ക്ലൗഡ് സ്പാനർ അഭ്യർത്ഥന ലേറ്റൻസിയും ലേറ്റൻസിയും തമ്മിൽ വേർതിരിച്ചറിയുന്നത് എളുപ്പമാകും.

ക്ലൗഡ് സ്പാനർ എങ്ങനെയാണ് ഒരു OLAP ആയി പ്രവർത്തിക്കുന്നത്?

വിഭജനം?

പാർട്ടീഷനുകൾ എന്ന് വിളിക്കപ്പെടുന്ന ഫിസിക്കൽ കൂടാതെ/അല്ലെങ്കിൽ ലോജിക്കലി ഇൻഡിപെൻഡന്റ് സെഗ്‌മെന്റുകളായി ഡാറ്റയെ വിഭജിക്കുന്നത് മിക്ക OLAP എഞ്ചിനുകളിലും കാണപ്പെടുന്ന വളരെ ജനപ്രിയമായ ഒരു ആശയമാണ്. പാർട്ടീഷനുകൾക്ക് അന്വേഷണ പ്രകടനവും ഡാറ്റാബേസ് പരിപാലനവും ഗണ്യമായി മെച്ചപ്പെടുത്താൻ കഴിയും. പാർട്ടീഷനിംഗിലേക്ക് കൂടുതൽ ആഴത്തിൽ പോകുന്നത് ഒരു പ്രത്യേക ലേഖനം (കൾ) ആയിരിക്കും, അതിനാൽ ഒരു പാർട്ടീഷനിംഗ്, സബ്-പാർട്ടീഷനിംഗ് സ്കീമിന്റെ പ്രാധാന്യം സൂചിപ്പിക്കാം. ഡേറ്റയെ പാർട്ടീഷനുകളിലേക്കും ഉപപാർട്ടീഷനുകളിലേക്കും വിഭജിക്കാനുള്ള കഴിവ് വിശകലന അന്വേഷണ പ്രകടനത്തിന്റെ താക്കോലാണ്.

ക്ലൗഡ് സ്പാനർ പാർട്ടീഷനുകളെ പിന്തുണയ്ക്കുന്നില്ല. ഇത് ഡാറ്റയെ ആന്തരികമായി വിളിക്കപ്പെടുന്നവയായി വിഭജിക്കുന്നു രണ്ടായി പിരിയുക-കൾ പ്രാഥമിക കീ ശ്രേണികളെ അടിസ്ഥാനമാക്കിയുള്ളതാണ്. ഒരു ക്ലൗഡ് സ്പാനർ ക്ലസ്റ്ററിലെ ലോഡ് ബാലൻസ് ചെയ്യുന്നതിനായി പാർട്ടീഷനിംഗ് സ്വയമേവ നടപ്പിലാക്കുന്നു. ക്ലൗഡ് സ്പാനറിന്റെ വളരെ ഉപയോഗപ്രദമായ സവിശേഷതയാണ് പാരന്റ് ടേബിളിന്റെ അടിസ്ഥാന ലോഡ് (മറ്റൊരു ടേബിളുമായി ഇടകലരാത്ത ഒരു ടേബിൾ) വിഭജിക്കുന്നത്. അതിൽ അടങ്ങിയിരിക്കുന്നുണ്ടോ എന്ന് സ്പാനർ സ്വയമേവ കണ്ടെത്തുന്നു രണ്ടായി പിരിയുക മറ്റുള്ളവയിലെ ഡാറ്റയേക്കാൾ കൂടുതൽ തവണ വായിക്കുന്ന ഡാറ്റ രണ്ടായി പിരിയുക-ഓ, കൂടുതൽ വേർപിരിയൽ തീരുമാനിക്കാം. ഈ രീതിയിൽ, ഒരു അഭ്യർത്ഥനയിൽ കൂടുതൽ നോഡുകൾ ഉൾപ്പെടാം, ഇത് ഫലപ്രദമായി ത്രൂപുട്ട് വർദ്ധിപ്പിക്കുന്നു.

ഡാറ്റ ലോഡുചെയ്യുന്നുണ്ടോ?

ബൾക്ക് ഡാറ്റയ്ക്കുള്ള ക്ലൗഡ് സ്പാനർ രീതി സാധാരണ ലോഡിംഗിന് തുല്യമാണ്. പരമാവധി പ്രകടനം നേടുന്നതിന്, നിങ്ങൾ ഇനിപ്പറയുന്നവ ഉൾപ്പെടെ ചില മാർഗ്ഗനിർദ്ദേശങ്ങൾ പാലിക്കേണ്ടതുണ്ട്:

• പ്രാഥമിക കീ ഉപയോഗിച്ച് നിങ്ങളുടെ ഡാറ്റ അടുക്കുക.
• അവയെ 10 കൊണ്ട് ഹരിക്കുക*നോഡുകളുടെ എണ്ണം പ്രത്യേക വിഭാഗങ്ങൾ.
• സമാന്തരമായി ഡാറ്റ ലോഡ് ചെയ്യുന്ന ഒരു കൂട്ടം ജോലി ജോലികൾ സൃഷ്ടിക്കുക.

ഈ ഡാറ്റ ലോഡിംഗ് എല്ലാ ക്ലൗഡ് സ്പാനർ നോഡുകളും ഉപയോഗിക്കുന്നു.

10M വരികളുടെ ഒരു ഡാറ്റാസെറ്റ് സൃഷ്ടിക്കാൻ ഞങ്ങൾ YCSB വർക്ക്ലോഡ് A ഉപയോഗിച്ചു.

* ലോഡ് ടെസ്റ്റ് പ്രവർത്തിപ്പിക്കുന്നത് n1-സ്റ്റാൻഡേർഡ്-32 കമ്പ്യൂട്ട് എഞ്ചിനിലാണ് (32 vCPU, 120 GB മെമ്മറി), കൂടാതെ ടെസ്റ്റ് ഇൻസ്‌റ്റൻസ് ഒരിക്കലും ടെസ്റ്റുകളിൽ ഒരു തടസ്സമായിരുന്നില്ല.
** ഏതെങ്കിലും പ്രൊഡക്ഷൻ വർക്ക്ലോഡിന് സിംഗിൾ നോഡ് സജ്ജീകരണം ശുപാർശ ചെയ്യുന്നില്ല.

മുകളിൽ സൂചിപ്പിച്ചതുപോലെ, ക്ലൗഡ് സ്പാനർ അവയുടെ ലോഡിനെ അടിസ്ഥാനമാക്കി സ്പ്ലിറ്റുകൾ സ്വയമേവ പ്രോസസ്സ് ചെയ്യുന്നു, അതിനാൽ തുടർച്ചയായ നിരവധി ടെസ്റ്റ് ആവർത്തനങ്ങൾക്ക് ശേഷം ഫലങ്ങൾ മെച്ചപ്പെടും. ഇവിടെ അവതരിപ്പിച്ച ഫലങ്ങൾ ഞങ്ങൾക്ക് ലഭിച്ച മികച്ച ഫലങ്ങളാണ്. മുകളിലെ അക്കങ്ങൾ നോക്കുമ്പോൾ, ക്ലസ്റ്ററിലെ നോഡുകളുടെ എണ്ണം കൂടുന്നതിനനുസരിച്ച് ക്ലൗഡ് സ്പാനർ സ്കെയിലുകൾ (നന്നായി) എങ്ങനെയാണെന്ന് നമുക്ക് കാണാൻ കഴിയും. മുകളിലെ വിഭാഗത്തിൽ വിവരിച്ചിരിക്കുന്നതുപോലെ, സമ്മിശ്ര ജോലിഭാരങ്ങളുടെ (95% വായനയും 5% എഴുത്തും) ഫലങ്ങളുമായി വ്യത്യസ്‌തമായ വളരെ കുറഞ്ഞ ശരാശരി ലേറ്റൻസികളാണ് വേറിട്ടുനിൽക്കുന്ന സംഖ്യകൾ.

സ്കെയിലിംഗ്?

ക്ലൗഡ് സ്പാനർ നോഡുകളുടെ എണ്ണം കൂട്ടുന്നതും കുറയ്ക്കുന്നതും ഒറ്റ ക്ലിക്കിൽ ചെയ്യാവുന്ന ജോലിയാണ്. നിങ്ങൾക്ക് വേഗത്തിൽ ഡാറ്റ ലോഡുചെയ്യണമെങ്കിൽ, നിങ്ങളുടെ ഇൻസ്‌റ്റൻസ് പരമാവധി വർദ്ധിപ്പിക്കുന്നത് നിങ്ങൾ പരിഗണിച്ചേക്കാം (ഞങ്ങളുടെ കാര്യത്തിൽ ഇത് യുഎസ്-ഈസ്റ്റ് മേഖലയിൽ 25 നോഡുകൾ ആയിരുന്നു) തുടർന്ന് എല്ലാ ഡാറ്റയും ലഭിച്ചുകഴിഞ്ഞാൽ നിങ്ങളുടെ സാധാരണ ലോഡിന് യോഗ്യമായ നോഡുകളുടെ എണ്ണം കുറയ്ക്കുക. ഡാറ്റാബേസ്, 2TB/നോഡ് പരിധിയെ പരാമർശിക്കുന്നു.

വളരെ ചെറിയ ഡാറ്റാബേസിൽ പോലും ഈ പരിധി ഞങ്ങൾ ഓർമ്മിപ്പിച്ചു. നിരവധി ലോഡ് ടെസ്റ്റുകൾക്ക് ശേഷം, ഞങ്ങളുടെ ഡാറ്റാബേസിന് ഏകദേശം 155 GB വലുപ്പമുണ്ടായിരുന്നു, കൂടാതെ 1 നോഡ് ഉദാഹരണത്തിലേക്ക് സ്കെയിൽ ചെയ്തപ്പോൾ, ഞങ്ങൾക്ക് ഇനിപ്പറയുന്ന പിശക് ലഭിച്ചു:

25-ൽ നിന്ന് 2 സന്ദർഭങ്ങളിൽ നിന്ന് താഴേക്ക് സ്കെയിൽ ചെയ്യാൻ ഞങ്ങൾക്ക് കഴിഞ്ഞു, പക്ഷേ ഞങ്ങൾ രണ്ട് നോഡുകളിൽ കുടുങ്ങി.

ഒരു ക്ലൗഡ് സ്പാനർ ക്ലസ്റ്ററിലെ നോഡുകളുടെ എണ്ണം കൂട്ടുന്നതും കുറയ്ക്കുന്നതും REST API ഉപയോഗിച്ച് ഓട്ടോമേറ്റ് ചെയ്യാവുന്നതാണ്. തിരക്കുള്ള ജോലി സമയങ്ങളിൽ വർദ്ധിച്ച സിസ്റ്റം ലോഡ് കുറയ്ക്കുന്നതിന് ഇത് പ്രത്യേകിച്ചും ഉപയോഗപ്രദമാകും.

OLAP അന്വേഷണങ്ങളുടെ പ്രകടനം?

ഈ ഭാഗത്ത് സ്പാനറിന്റെ മൂല്യനിർണ്ണയത്തിൽ ഗണ്യമായ സമയം ചെലവഴിക്കാൻ ഞങ്ങൾ ആദ്യം പദ്ധതിയിട്ടിരുന്നു. നിരവധി SELECT COUNT-കൾക്ക് ശേഷം, പരിശോധന ചെറുതായിരിക്കുമെന്നും സ്പാനർ OLAP-ന് അനുയോജ്യമായ എഞ്ചിനായിരിക്കില്ലെന്നും ഞങ്ങൾ പെട്ടെന്ന് മനസ്സിലാക്കി. ക്ലസ്റ്ററിലെ നോഡുകളുടെ എണ്ണം പരിഗണിക്കാതെ തന്നെ, 10M വരി പട്ടികയിലെ വരികളുടെ എണ്ണം തിരഞ്ഞെടുക്കുന്നതിന് 55 മുതൽ 60 സെക്കൻഡുകൾ വരെ എടുക്കും. കൂടാതെ, ഇന്റർമീഡിയറ്റ് ഫലങ്ങൾ സംഭരിക്കുന്നതിന് കൂടുതൽ മെമ്മറി ആവശ്യമായ ഏത് അന്വേഷണവും OOM പിശക് മൂലം പരാജയപ്പെട്ടു.

SELECT COUNT(DISTINCT(field0)) FROM usertable; — (10M distinct values)-> SpoolingHashAggregateIterator ran out of memory during new row.

TPC-H അന്വേഷണങ്ങൾക്കായുള്ള ചില നമ്പറുകൾ ടോഡ് ലിപ്‌കോണിന്റെ ലേഖനത്തിൽ കാണാം Nosql-kudu-spanner-slides.html, സ്ലൈഡുകൾ 42, 43. ഈ സംഖ്യകൾ ഞങ്ങളുടെ സ്വന്തം ഫലങ്ങളുമായി പൊരുത്തപ്പെടുന്നു (നിർഭാഗ്യവശാൽ).

4. ഞങ്ങളുടെ നിഗമനങ്ങൾ

ക്ലൗഡ് സ്പാനറിന്റെ സവിശേഷതകളുടെ നിലവിലെ അവസ്ഥ കണക്കിലെടുക്കുമ്പോൾ, നിങ്ങളുടെ നിലവിലുള്ള OLTP സൊല്യൂഷന്റെ ലളിതമായ ഒരു പകരക്കാരനായി ഇത് സങ്കൽപ്പിക്കാൻ പ്രയാസമാണ്, പ്രത്യേകിച്ചും നിങ്ങളുടെ ആവശ്യങ്ങൾ അതിനെ മറികടക്കുമ്പോൾ. ക്ലൗഡ് സ്‌പാനറിന്റെ പോരായ്മകൾക്ക് പരിഹാരം കാണുന്നതിന് ഗണ്യമായ സമയം ചെലവഴിക്കേണ്ടി വരും.

ഞങ്ങൾ ക്ലൗഡ് സ്പാനർ വിലയിരുത്താൻ തുടങ്ങിയപ്പോൾ, അതിന്റെ മാനേജ്‌മെന്റ് ഫീച്ചറുകൾ മറ്റ് Google SQL സൊല്യൂഷനുകൾക്ക് തുല്യമായിരിക്കുമെന്ന് ഞങ്ങൾ പ്രതീക്ഷിച്ചു. എന്നാൽ ബാക്കപ്പുകളുടെ പൂർണ്ണമായ അഭാവവും ഉറവിടങ്ങളിലേക്കുള്ള ആക്‌സസിന്റെ പരിമിതമായ നിയന്ത്രണവും ഞങ്ങളെ അത്ഭുതപ്പെടുത്തി. കാഴ്‌ചകളൊന്നും പരാമർശിക്കേണ്ടതില്ല, പ്രാദേശിക വികസന അന്തരീക്ഷമില്ല, പിന്തുണയ്‌ക്കാത്ത സീക്വൻസുകൾ, DML, DDL പിന്തുണയില്ലാത്ത JDBC തുടങ്ങിയവ.

ഒരു ഇടപാട് ഡാറ്റാബേസ് സ്കെയിൽ ചെയ്യേണ്ട ഒരാൾ എവിടെ പോകും? എല്ലാ ഉപയോഗ കേസുകൾക്കും അനുയോജ്യമായ ഒരൊറ്റ പരിഹാരം വിപണിയിൽ ഉണ്ടെന്ന് തോന്നുന്നില്ല. നിരവധി ക്ലോസ്ഡ് ഓപ്പൺ സോഴ്‌സ് സൊല്യൂഷനുകൾ ഉണ്ട് (അവയിൽ ചിലത് ഈ ലേഖനത്തിൽ പരാമർശിച്ചിരിക്കുന്നു), ഓരോന്നിനും അതിന്റേതായ ശക്തിയും ബലഹീനതയും ഉണ്ട്, എന്നാൽ അവയൊന്നും 99,999% SLA ഉം ഉയർന്ന സ്ഥിരതയും ഉള്ള SaaS വാഗ്ദാനം ചെയ്യുന്നില്ല. ഉയർന്ന SLA ആണ് നിങ്ങളുടെ പ്രധാന ലക്ഷ്യമെങ്കിൽ, ഒരു ഇഷ്‌ടാനുസൃത മൾട്ടി-ക്ലൗഡ് സൊല്യൂഷൻ നിർമ്മിക്കാൻ നിങ്ങൾ താൽപ്പര്യപ്പെടുന്നില്ലെങ്കിൽ, ക്ലൗഡ് സ്‌പാനർ നിങ്ങൾ തിരയുന്ന പരിഹാരമായിരിക്കാം. എന്നാൽ അതിന്റെ എല്ലാ പരിമിതികളും നിങ്ങൾ അറിഞ്ഞിരിക്കണം.

ശരിയായി പറഞ്ഞാൽ, ക്ലൗഡ് സ്പാനർ 2017 ലെ വസന്തകാലത്ത് മാത്രമാണ് പൊതുജനങ്ങൾക്കായി റിലീസ് ചെയ്തത്, അതിനാൽ അതിന്റെ നിലവിലുള്ള ചില പോരായ്മകൾ ഒടുവിൽ ഇല്ലാതാകുമെന്ന് പ്രതീക്ഷിക്കുന്നത് ന്യായമാണ് (പ്രതീക്ഷിക്കുന്നു), അങ്ങനെ ചെയ്യുമ്പോൾ, അത് ഒരു ഗെയിം ചേഞ്ചർ ആയിരിക്കാം. എല്ലാത്തിനുമുപരി, ക്ലൗഡ് സ്പാനർ എന്നത് Google-ന്റെ ഒരു സൈഡ് പ്രോജക്റ്റ് മാത്രമല്ല. മറ്റ് Google ഉൽപ്പന്നങ്ങളുടെ അടിസ്ഥാനമായി Google ഇത് ഉപയോഗിക്കുന്നു. അടുത്തിടെ Google ക്ലൗഡ് സ്റ്റോറേജിലെ മെഗാസ്റ്റോറിനെ ക്ലൗഡ് സ്‌പാനർ ഉപയോഗിച്ച് Google മാറ്റിസ്ഥാപിച്ചപ്പോൾ, ആഗോള തലത്തിലുള്ള ഒബ്‌ജക്റ്റുകളുടെ ലിസ്റ്റുകൾക്ക് (ഇപ്പോഴും ഇത് അങ്ങനെയല്ല) Google ക്ലൗഡ് സ്റ്റോറേജിനെ വളരെ സ്ഥിരതയുള്ളതാക്കാൻ അനുവദിച്ചു. ആമസോൺ S3).

അതിനാൽ, ഇനിയും പ്രതീക്ഷയുണ്ട്... ഞങ്ങൾ പ്രതീക്ഷിക്കുന്നു.

അത്രയേയുള്ളൂ. ലേഖനത്തിന്റെ രചയിതാവിനെപ്പോലെ, ഞങ്ങളും പ്രതീക്ഷിക്കുന്നത് തുടരുന്നു, എന്നാൽ ഇതിനെക്കുറിച്ച് നിങ്ങൾ എന്താണ് ചിന്തിക്കുന്നത്? അഭിപ്രായങ്ങളിൽ എഴുതുക

ഞങ്ങളുടെ സന്ദർശിക്കാൻ ഞങ്ങൾ എല്ലാവരേയും ക്ഷണിക്കുന്നു സൗജന്യ വെബിനാർ അതിനുള്ളിൽ ഞങ്ങൾ കോഴ്സിനെക്കുറിച്ച് വിശദമായി നിങ്ങളോട് പറയും "ഡവലപ്പർമാർക്കുള്ള AWS" OTUS ൽ നിന്ന്.

അവലംബം: www.habr.com