21-ാം നൂറ്റാണ്ടിൽ ഒരു SQL ഡാറ്റാബേസ് എങ്ങനെ അതിജീവിക്കാം: മേഘങ്ങൾ, കുബർനെറ്റസ്, PostgreSQL മൾട്ടിമാസ്റ്റർ

ഹലോ, ഖബ്രോവ്സ്ക് നിവാസികൾ. കോഴ്‌സിന്റെ ആദ്യ ഗ്രൂപ്പിലെ ക്ലാസുകൾ ഇന്ന് ആരംഭിക്കും "PostgreSQL". ഇക്കാര്യത്തിൽ, ഈ കോഴ്സിലെ ഓപ്പൺ വെബിനാർ എങ്ങനെ നടന്നു എന്നതിനെക്കുറിച്ച് ഞങ്ങൾ നിങ്ങളോട് പറയാൻ ആഗ്രഹിക്കുന്നു.

В അടുത്ത തുറന്ന പാഠം മേഘങ്ങളുടെയും കുബർനെറ്റുകളുടെയും കാലഘട്ടത്തിൽ SQL ഡാറ്റാബേസുകൾ നേരിടുന്ന വെല്ലുവിളികളെ കുറിച്ച് ഞങ്ങൾ സംസാരിച്ചു. അതേ സമയം, ഈ വെല്ലുവിളികളുടെ സ്വാധീനത്തിൽ SQL ഡാറ്റാബേസുകൾ എങ്ങനെ പൊരുത്തപ്പെടുത്തുകയും പരിവർത്തനം ചെയ്യുകയും ചെയ്യുന്നുവെന്നും ഞങ്ങൾ പരിശോധിച്ചു.

വെബിനാർ നടത്തി വലേരി ബെസ്രുക്കോവ്, EPAM സിസ്റ്റങ്ങളിലെ Google ക്ലൗഡ് പ്രാക്ടീസ് ഡെലിവറി മാനേജർ.

മരങ്ങൾ ചെറുതായിരുന്നപ്പോൾ...

ആദ്യം, കഴിഞ്ഞ നൂറ്റാണ്ടിന്റെ അവസാനത്തിൽ ഡിബിഎംഎസിന്റെ തിരഞ്ഞെടുപ്പ് എങ്ങനെ ആരംഭിച്ചുവെന്ന് നമുക്ക് ഓർക്കാം. എന്നിരുന്നാലും, ഇത് ബുദ്ധിമുട്ടുള്ള കാര്യമല്ല, കാരണം അക്കാലത്ത് ഒരു ഡിബിഎംഎസിന്റെ തിരഞ്ഞെടുപ്പ് ആരംഭിക്കുകയും അവസാനിക്കുകയും ചെയ്തു ഒറാക്കിൾ.

90 കളുടെ അവസാനത്തിലും 2 കളുടെ തുടക്കത്തിലും, വ്യാവസായിക സ്കേലബിൾ ഡാറ്റാബേസുകളുടെ കാര്യത്തിൽ ഒരു തിരഞ്ഞെടുപ്പും ഉണ്ടായിരുന്നില്ല. അതെ, IBM DBXNUMX, Sybase എന്നിവയും മറ്റ് ചില ഡാറ്റാബേസുകളും വന്നു പോയി, പക്ഷേ പൊതുവെ അവ ഒറാക്കിളിന്റെ പശ്ചാത്തലത്തിൽ അത്ര ശ്രദ്ധേയമായിരുന്നില്ല. അതനുസരിച്ച്, അക്കാലത്തെ എഞ്ചിനീയർമാരുടെ കഴിവുകൾ എങ്ങനെയെങ്കിലും നിലവിലുണ്ടായിരുന്ന ഒരേയൊരു തിരഞ്ഞെടുപ്പുമായി ബന്ധപ്പെട്ടിരിക്കുന്നു.

ഒറാക്കിൾ ഡിബിഎയ്ക്ക് ഇനിപ്പറയുന്നവ ചെയ്യേണ്ടതുണ്ട്:

• വിതരണ കിറ്റിൽ നിന്ന് ഒറാക്കിൾ സെർവർ ഇൻസ്റ്റാൾ ചെയ്യുക;
• ഒറാക്കിൾ സെർവർ കോൺഫിഗർ ചെയ്യുക:

• init.ora;
• ശ്രോതാവ്.ഓറ;

- സൃഷ്ടിക്കാൻ:

• ടേബിൾസ്പേസുകൾ;
• പദ്ധതി;
• ഉപയോക്താക്കൾ;

- ബാക്കപ്പ് നടത്തി പുനഃസ്ഥാപിക്കുക;
- നിരീക്ഷണം നടത്തുക;
- ഉപയുക്തമായ അഭ്യർത്ഥനകൾ കൈകാര്യം ചെയ്യുക.

അതേ സമയം, Oracle DBA-യിൽ നിന്ന് പ്രത്യേക ആവശ്യകതകളൊന്നും ഉണ്ടായിരുന്നില്ല:

• ഡാറ്റ സംഭരിക്കുന്നതിനും പ്രോസസ്സ് ചെയ്യുന്നതിനുമായി ഒപ്റ്റിമൽ DBMS അല്ലെങ്കിൽ മറ്റ് സാങ്കേതികവിദ്യ തിരഞ്ഞെടുക്കാൻ കഴിയും;
• ഉയർന്ന ലഭ്യതയും തിരശ്ചീന സ്കേലബിളിറ്റിയും നൽകുക (ഇത് എല്ലായ്പ്പോഴും ഒരു DBA പ്രശ്നമായിരുന്നില്ല);
• സബ്ജക്ട് ഏരിയ, ഇൻഫ്രാസ്ട്രക്ചർ, ആപ്ലിക്കേഷൻ ആർക്കിടെക്ചർ, ഒഎസ് എന്നിവയെക്കുറിച്ചുള്ള നല്ല അറിവ്;
• ഡാറ്റ ലോഡ് ചെയ്യുകയും അൺലോഡ് ചെയ്യുകയും ചെയ്യുക, വ്യത്യസ്ത DBMS-കൾക്കിടയിൽ ഡാറ്റ മൈഗ്രേറ്റ് ചെയ്യുക.

പൊതുവേ, അക്കാലത്തെ തിരഞ്ഞെടുപ്പിനെക്കുറിച്ച് നമ്മൾ സംസാരിക്കുകയാണെങ്കിൽ, അത് 80 കളുടെ അവസാനത്തിൽ സോവിയറ്റ് സ്റ്റോറിലെ ചോയിസിനോട് സാമ്യമുള്ളതാണ്:

ഞങ്ങളുടെ സമയം

അതിനുശേഷം, തീർച്ചയായും, മരങ്ങൾ വളർന്നു, ലോകം മാറി, അത് ഇതുപോലെയായി:

ഗാർട്ട്നറിൽ നിന്നുള്ള ഏറ്റവും പുതിയ റിപ്പോർട്ടിൽ നിന്ന് വ്യക്തമായി കാണാൻ കഴിയുന്നതുപോലെ, DBMS വിപണിയും മാറിയിരിക്കുന്നു:

ജനപ്രീതി വർദ്ധിച്ചുകൊണ്ടിരിക്കുന്ന മേഘങ്ങൾ അവയുടെ സ്ഥാനം പിടിച്ചിരിക്കുന്നു എന്നത് ഇവിടെ ശ്രദ്ധിക്കേണ്ടതാണ്. അതേ ഗാർട്ട്നർ റിപ്പോർട്ട് വായിക്കുകയാണെങ്കിൽ, ഇനിപ്പറയുന്ന നിഗമനങ്ങൾ നമുക്ക് കാണാം:

1. നിരവധി ഉപഭോക്താക്കൾ ക്ലൗഡിലേക്ക് ആപ്ലിക്കേഷനുകൾ നീക്കുന്നതിനുള്ള പാതയിലാണ്.
2. പുതിയ സാങ്കേതികവിദ്യകൾ ആദ്യം പ്രത്യക്ഷപ്പെടുന്നത് ക്ലൗഡിലാണ്, അവ ഒരിക്കലും ക്ലൗഡ് ഇതര ഇൻഫ്രാസ്ട്രക്ചറിലേക്ക് മാറുമെന്നത് ഒരു വസ്തുതയല്ല.
3. പണമടച്ചുള്ള വിലനിർണ്ണയ മാതൃക സാധാരണമായിരിക്കുന്നു. എല്ലാവരും അവർ ഉപയോഗിക്കുന്നതിന് മാത്രം പണം നൽകാൻ ആഗ്രഹിക്കുന്നു, ഇത് ഒരു പ്രവണത പോലുമല്ല, മറിച്ച് വസ്തുതയുടെ ഒരു പ്രസ്താവനയാണ്.

ഇനിയെന്താ?

ഇന്ന് നമ്മൾ എല്ലാവരും മേഘത്തിലാണ്. കൂടാതെ നമുക്ക് ഉയരുന്ന ചോദ്യങ്ങൾ തിരഞ്ഞെടുക്കാനുള്ള ചോദ്യങ്ങളാണ്. ഓൺ-പ്രിമൈസ് ഫോർമാറ്റിലുള്ള ഡിബിഎംഎസ് സാങ്കേതികവിദ്യകളുടെ തിരഞ്ഞെടുപ്പിനെക്കുറിച്ച് മാത്രം നമ്മൾ സംസാരിക്കുകയാണെങ്കിൽപ്പോലും ഇത് വളരെ വലുതാണ്. ഞങ്ങൾ കൈകാര്യം ചെയ്യുന്ന സേവനങ്ങളും SaaS ഉം ഉണ്ട്. അതിനാൽ, ഓരോ വർഷവും തിരഞ്ഞെടുക്കൽ കൂടുതൽ ബുദ്ധിമുട്ടാണ്.

തിരഞ്ഞെടുക്കാനുള്ള ചോദ്യങ്ങളോടൊപ്പം, ഉണ്ട് പരിമിതപ്പെടുത്തുന്ന ഘടകങ്ങൾ:

• വില. പല സാങ്കേതികവിദ്യകൾക്കും ഇപ്പോഴും പണം ചിലവാകും;
• കഴിവുകൾ. നമ്മൾ സ്വതന്ത്ര സോഫ്‌റ്റ്‌വെയറിനെക്കുറിച്ചാണ് സംസാരിക്കുന്നതെങ്കിൽ, വൈദഗ്ധ്യത്തെക്കുറിച്ചുള്ള ചോദ്യം ഉയർന്നുവരുന്നു, കാരണം സ്വതന്ത്ര സോഫ്റ്റ്‌വെയറിന് അത് വിന്യസിക്കുകയും പ്രവർത്തിപ്പിക്കുകയും ചെയ്യുന്ന ആളുകളിൽ നിന്ന് മതിയായ കഴിവ് ആവശ്യമാണ്;
• പ്രവർത്തനയോഗ്യമായ. ക്ലൗഡിൽ ലഭ്യമായതും നിർമ്മിച്ചതുമായ എല്ലാ സേവനങ്ങൾക്കും, അതേ പോസ്റ്റ്‌ഗ്രെസിൽ പോലും, പോസ്റ്റ്‌ഗ്രേസ് ഓൺ-പ്രിമൈസിന്റെ സമാന സവിശേഷതകൾ ഇല്ല. അറിയേണ്ടതും മനസ്സിലാക്കേണ്ടതുമായ ഒരു പ്രധാന ഘടകമാണിത്. മാത്രമല്ല, ഒരൊറ്റ DBMS-ന്റെ ചില മറഞ്ഞിരിക്കുന്ന കഴിവുകളെക്കുറിച്ചുള്ള അറിവിനേക്കാൾ ഈ ഘടകം പ്രധാനമാണ്.

DA/DE-യിൽ നിന്ന് ഇപ്പോൾ എന്താണ് പ്രതീക്ഷിക്കുന്നത്:

• വിഷയ മേഖലയെയും ആപ്ലിക്കേഷൻ ആർക്കിടെക്ചറിനെയും കുറിച്ച് നല്ല ധാരണ;
• കൈയിലുള്ള ചുമതല കണക്കിലെടുത്ത് ഉചിതമായ DBMS സാങ്കേതികവിദ്യ ശരിയായി തിരഞ്ഞെടുക്കാനുള്ള കഴിവ്;
• നിലവിലുള്ള പരിമിതികളുടെ പശ്ചാത്തലത്തിൽ തിരഞ്ഞെടുത്ത സാങ്കേതികവിദ്യ നടപ്പിലാക്കുന്നതിനുള്ള ഒപ്റ്റിമൽ രീതി തിരഞ്ഞെടുക്കാനുള്ള കഴിവ്;
• ഡാറ്റ കൈമാറ്റവും മൈഗ്രേഷനും നടത്താനുള്ള കഴിവ്;
• തിരഞ്ഞെടുത്ത പരിഹാരങ്ങൾ നടപ്പിലാക്കാനും പ്രവർത്തിപ്പിക്കാനുമുള്ള കഴിവ്.

താഴെ ഉദാഹരണം GCP അടിസ്ഥാനമാക്കി ഡാറ്റയുമായി പ്രവർത്തിക്കുന്നതിനുള്ള ഒന്നോ അല്ലെങ്കിൽ മറ്റൊരു സാങ്കേതികവിദ്യയുടെ തിരഞ്ഞെടുപ്പ് അതിന്റെ ഘടനയെ ആശ്രയിച്ച് എങ്ങനെ പ്രവർത്തിക്കുന്നുവെന്ന് കാണിക്കുന്നു:

PostgreSQL സ്കീമയിൽ ഉൾപ്പെടുത്തിയിട്ടില്ല എന്നത് ശ്രദ്ധിക്കുക, ഇത് ടെർമിനോളജിക്ക് കീഴിൽ മറച്ചിരിക്കുന്നതിനാലാണിത്. ക്ലൗഡ് SQL. ഞങ്ങൾ ക്ലൗഡ് SQL-ൽ എത്തുമ്പോൾ, ഞങ്ങൾ വീണ്ടും ഒരു തിരഞ്ഞെടുപ്പ് നടത്തേണ്ടതുണ്ട്:

ഈ തിരഞ്ഞെടുപ്പ് എല്ലായ്പ്പോഴും വ്യക്തമല്ല എന്നത് ശ്രദ്ധിക്കേണ്ടതാണ്, അതിനാൽ ആപ്ലിക്കേഷൻ ഡവലപ്പർമാർ പലപ്പോഴും അവബോധത്താൽ നയിക്കപ്പെടുന്നു.

ആകെ:

1. നിങ്ങൾ കൂടുതൽ മുന്നോട്ട് പോകുന്തോറും, തിരഞ്ഞെടുക്കാനുള്ള ചോദ്യം കൂടുതൽ അമർത്തുന്നു. നിങ്ങൾ GCP, നിയന്ത്രിത സേവനങ്ങൾ, SaaS എന്നിവയിൽ മാത്രം നോക്കിയാലും, RDBMS-നെ കുറിച്ചുള്ള ചില പരാമർശങ്ങൾ നാലാം ഘട്ടത്തിൽ മാത്രമേ ദൃശ്യമാകൂ (അവിടെ സ്പാനർ സമീപത്തുണ്ട്). കൂടാതെ, PostgreSQL-ന്റെ തിരഞ്ഞെടുപ്പ് അഞ്ചാം ഘട്ടത്തിൽ ദൃശ്യമാകുന്നു, അതിനടുത്തായി MySQL, SQL സെർവർ എന്നിവയും ഉണ്ട്, അതായത് എല്ലാം ധാരാളം ഉണ്ട്, പക്ഷേ നിങ്ങൾ തിരഞ്ഞെടുക്കണം.
2. പ്രലോഭനങ്ങളുടെ പശ്ചാത്തലത്തിനെതിരായ നിയന്ത്രണങ്ങളെക്കുറിച്ച് നാം മറക്കരുത്. അടിസ്ഥാനപരമായി എല്ലാവർക്കും ഒരു സ്പാനർ വേണം, പക്ഷേ അത് ചെലവേറിയതാണ്. തൽഫലമായി, ഒരു സാധാരണ അഭ്യർത്ഥന ഇതുപോലെ കാണപ്പെടുന്നു: "ദയവായി ഞങ്ങളെ ഒരു സ്പാനർ ആക്കുക, എന്നാൽ ക്ലൗഡ് SQL-ന്റെ വിലയ്ക്ക്, നിങ്ങൾ പ്രൊഫഷണലുകളാണ്!"

ഞാൻ എന്ത് ചെയ്യണം?

ആത്യന്തിക സത്യമെന്ന് അവകാശപ്പെടാതെ, നമുക്ക് ഇനിപ്പറയുന്നവ പറയാം:

പഠനത്തോടുള്ള നമ്മുടെ സമീപനം മാറ്റേണ്ടതുണ്ട്:

• DBA-കൾ മുമ്പ് പഠിപ്പിച്ചിരുന്ന രീതിയിൽ പഠിപ്പിക്കുന്നതിൽ അർത്ഥമില്ല;
• ഒരു ഉൽപ്പന്നത്തെക്കുറിച്ചുള്ള അറിവ് ഇനി പര്യാപ്തമല്ല;
• എന്നാൽ ഒന്നിന്റെ തലത്തിൽ ഡസൻ അറിയുന്നത് അസാധ്യമാണ്.

ഉൽപ്പന്നം എത്രയാണെന്ന് മാത്രമല്ല, നിങ്ങൾ അറിയേണ്ടതുണ്ട്:

• അതിന്റെ ആപ്ലിക്കേഷന്റെ ഉപയോഗ കേസ്;
• വ്യത്യസ്ത വിന്യാസ രീതികൾ;
• ഓരോ രീതിയുടെയും ഗുണങ്ങളും ദോഷങ്ങളും;
• അറിവുള്ളതും ഒപ്റ്റിമൽ തിരഞ്ഞെടുപ്പും നടത്തുന്നതിനുള്ള സമാനവും ബദൽ ഉൽപ്പന്നങ്ങളും എല്ലായ്പ്പോഴും പരിചിതമായ ഉൽപ്പന്നത്തിന് അനുകൂലമല്ല.

നിങ്ങൾക്ക് ഡാറ്റ മൈഗ്രേറ്റ് ചെയ്യാനും ETL-മായി സംയോജിപ്പിക്കുന്നതിന്റെ അടിസ്ഥാന തത്വങ്ങൾ മനസ്സിലാക്കാനും കഴിയണം.

യഥാർത്ഥ കേസ്

സമീപകാലത്ത്, ഒരു മൊബൈൽ ആപ്ലിക്കേഷനായി ഒരു ബാക്കെൻഡ് സൃഷ്ടിക്കേണ്ടത് ആവശ്യമാണ്. അതിന്റെ പ്രവർത്തനം ആരംഭിച്ചപ്പോഴേക്കും, ബാക്കെൻഡ് ഇതിനകം വികസിപ്പിച്ചെടുത്തു, അത് നടപ്പിലാക്കാൻ തയ്യാറായിക്കഴിഞ്ഞു, കൂടാതെ വികസന സംഘം ഈ പ്രോജക്റ്റിനായി ഏകദേശം രണ്ട് വർഷം ചെലവഴിച്ചു. ഇനിപ്പറയുന്ന ജോലികൾ സജ്ജമാക്കി:

• CI/CD നിർമ്മിക്കുക;
• വാസ്തുവിദ്യ അവലോകനം ചെയ്യുക;
• എല്ലാം പ്രവർത്തനക്ഷമമാക്കി.

ആപ്ലിക്കേഷൻ തന്നെ മൈക്രോ സർവീസസ് ആയിരുന്നു, പൈത്തൺ/ജാങ്കോ കോഡ് ആദ്യം മുതൽ നേരിട്ട് ജിസിപിയിൽ വികസിപ്പിച്ചെടുത്തു. ടാർഗെറ്റ് പ്രേക്ഷകരെ സംബന്ധിച്ചിടത്തോളം, യുഎസും ഇയുവും രണ്ട് പ്രദേശങ്ങൾ ഉണ്ടാകുമെന്ന് അനുമാനിക്കപ്പെട്ടു, ഗ്ലോബൽ ലോഡ് ബാലൻസറിലൂടെ ട്രാഫിക് വിതരണം ചെയ്തു. എല്ലാ വർക്ക്ലോഡുകളും കമ്പ്യൂട്ട് വർക്ക്ലോഡും Google Kubernetes എഞ്ചിനിൽ പ്രവർത്തിച്ചു.

ഡാറ്റയെ സംബന്ധിച്ചിടത്തോളം, 3 ഘടനകൾ ഉണ്ടായിരുന്നു:

• ക്ലൗഡ് സ്റ്റോറേജ്;
• ഡാറ്റസ്റ്റോർ;
• ക്ലൗഡ് SQL (PostgreSQL).

എന്തുകൊണ്ടാണ് ക്ലൗഡ് SQL തിരഞ്ഞെടുത്തതെന്ന് ഒരാൾ ചിന്തിച്ചേക്കാം? സത്യം പറഞ്ഞാൽ, അത്തരമൊരു ചോദ്യം സമീപ വർഷങ്ങളിൽ ഒരുതരം വിചിത്രമായ താൽക്കാലിക വിരാമത്തിന് കാരണമായി - ആളുകൾ റിലേഷണൽ ഡാറ്റാബേസുകളെക്കുറിച്ച് ലജ്ജിച്ചതായി തോന്നുന്നു, എന്നിരുന്നാലും അവർ അവ സജീവമായി ഉപയോഗിക്കുന്നത് തുടരുന്നു ;-).

ഞങ്ങളുടെ കാര്യത്തെ സംബന്ധിച്ചിടത്തോളം, ഇനിപ്പറയുന്ന കാരണങ്ങളാൽ ക്ലൗഡ് SQL തിരഞ്ഞെടുത്തു:

1. സൂചിപ്പിച്ചതുപോലെ, ജാങ്കോ ഉപയോഗിച്ചാണ് ആപ്ലിക്കേഷൻ വികസിപ്പിച്ചിരിക്കുന്നത്, കൂടാതെ ഒരു SQL ഡാറ്റാബേസിൽ നിന്ന് പൈത്തൺ ഒബ്‌ജക്റ്റുകളിലേക്ക് (ജാങ്കോ ORM) സ്ഥിരമായ ഡാറ്റ മാപ്പുചെയ്യുന്നതിനുള്ള ഒരു മാതൃക ഇതിന് ഉണ്ട്.
2. ചട്ടക്കൂട് തന്നെ DBMS-കളുടെ പരിമിതമായ ഒരു പട്ടികയെ പിന്തുണച്ചു:

• PostgreSQL;
• MariaDB;
• MySQL;
• ഒറാക്കിൾ;
• SQLite.

അതനുസരിച്ച്, ഈ ലിസ്റ്റിൽ നിന്ന് PostgreSQL തിരഞ്ഞെടുത്തത് അവബോധപൂർവ്വമാണ് (ശരി, ഇത് തിരഞ്ഞെടുക്കാൻ ഒറാക്കിൾ അല്ല, ശരിക്കും).

എന്താണ് കാണാതായത്:

• ആപ്ലിക്കേഷൻ 2 പ്രദേശങ്ങളിൽ മാത്രമേ വിന്യസിച്ചിട്ടുള്ളൂ, മൂന്നാമത്തേത് പ്ലാനുകളിൽ (ഏഷ്യ) പ്രത്യക്ഷപ്പെട്ടു;
• ഡാറ്റാബേസ് വടക്കേ അമേരിക്കൻ മേഖലയിലാണ് (അയോവ) സ്ഥിതി ചെയ്യുന്നത്;
• ഉപഭോക്താവിന്റെ ഭാഗത്ത് സാധ്യമായതിനെക്കുറിച്ചുള്ള ആശങ്കകൾ ഉണ്ടായിരുന്നു ആക്സസ് കാലതാമസം യൂറോപ്പിൽ നിന്നും ഏഷ്യയിൽ നിന്നും ഒപ്പം തടസ്സങ്ങൾ ജോലിയിൽ DBMS പ്രവർത്തനരഹിതമായ സാഹചര്യത്തിൽ.

ജാംഗോയ്ക്ക് നിരവധി ഡാറ്റാബേസുകളിൽ സമാന്തരമായി പ്രവർത്തിക്കാനും അവയെ വായനയിലേക്കും എഴുത്തിലേക്കും വിഭജിക്കാനും കഴിയും എന്ന വസ്തുത ഉണ്ടായിരുന്നിട്ടും, ആപ്ലിക്കേഷനിൽ ഇത്രയധികം എഴുത്തുകൾ ഉണ്ടായിരുന്നില്ല (90% ൽ കൂടുതൽ വായിക്കുന്നു). പൊതുവേ, പൊതുവേ, അത് ചെയ്യാൻ കഴിയുമെങ്കിൽ യൂറോപ്പിലെയും ഏഷ്യയിലെയും പ്രധാന അടിത്തറയുടെ പകർപ്പ് വായിക്കുക, ഇതൊരു വിട്ടുവീഴ്ച പരിഹാരമായിരിക്കും. ശരി, അതിൽ എന്താണ് ഇത്ര സങ്കീർണ്ണമായത്?

നിയന്ത്രിത സേവനങ്ങളും ക്ലൗഡ് SQL ഉം ഉപയോഗിക്കുന്നത് ഉപഭോക്താവ് ഉപേക്ഷിക്കാൻ ആഗ്രഹിക്കുന്നില്ല എന്നതാണ് ബുദ്ധിമുട്ട്. കൂടാതെ ക്ലൗഡ് SQL-ന്റെ കഴിവുകൾ നിലവിൽ പരിമിതമാണ്. ക്ലൗഡ് SQL ഉയർന്ന ലഭ്യത (HA), റീഡ് റെപ്ലിക്ക (RR) എന്നിവയെ പിന്തുണയ്ക്കുന്നു, എന്നാൽ ഒരേ RR ഒരു മേഖലയിൽ മാത്രമേ പിന്തുണയ്ക്കൂ. അമേരിക്കൻ മേഖലയിൽ ഒരു ഡാറ്റാബേസ് സൃഷ്‌ടിച്ചതിനാൽ, ക്ലൗഡ് എസ്‌ക്യുഎൽ ഉപയോഗിച്ച് യൂറോപ്യൻ മേഖലയിൽ നിങ്ങൾക്ക് ഒരു റീഡ് റെപ്ലിക്ക ഉണ്ടാക്കാൻ കഴിയില്ല, എന്നിരുന്നാലും പോസ്റ്റ്‌ഗ്രെസ് തന്നെ ഇത് ചെയ്യുന്നതിൽ നിന്ന് നിങ്ങളെ തടയുന്നില്ല. ഗൂഗിൾ ജീവനക്കാരുമായുള്ള കത്തിടപാടുകൾ എങ്ങുമെത്തിയില്ല, "ഞങ്ങൾക്ക് പ്രശ്നം അറിയാം, അതിനായി പ്രവർത്തിക്കുന്നു, എന്നെങ്കിലും പ്രശ്നം പരിഹരിക്കപ്പെടും" എന്ന ശൈലിയിലുള്ള വാഗ്ദാനങ്ങളോടെയാണ് അവസാനിച്ചത്.

ക്ലൗഡ് SQL-ന്റെ കഴിവുകൾ ഞങ്ങൾ ചുരുക്കത്തിൽ പട്ടികപ്പെടുത്തിയാൽ, അത് ഇതുപോലെ കാണപ്പെടും:

1. ഉയർന്ന ലഭ്യത (HA):

• ഒരു പ്രദേശത്തിനുള്ളിൽ;
• ഡിസ്ക് റെപ്ലിക്കേഷൻ വഴി;
• PostgreSQL എഞ്ചിനുകൾ ഉപയോഗിക്കുന്നില്ല;
• ഓട്ടോമാറ്റിക്, മാനുവൽ നിയന്ത്രണം സാധ്യമാണ് - പരാജയം / പരാജയം;
• സ്വിച്ചുചെയ്യുമ്പോൾ, കുറച്ച് മിനിറ്റുകൾക്ക് DBMS ലഭ്യമല്ല.

2. റെപ്ലിക്ക (RR) വായിക്കുക:

• ഒരു പ്രദേശത്തിനുള്ളിൽ;
• ചൂടുള്ള സ്റ്റാൻഡ്ബൈ;
• PostgreSQL സ്ട്രീമിംഗ് റെപ്ലിക്കേഷൻ.

കൂടാതെ, പതിവ് പോലെ, ഒരു സാങ്കേതികവിദ്യ തിരഞ്ഞെടുക്കുമ്പോൾ നിങ്ങൾ എല്ലായ്പ്പോഴും ചിലരെ അഭിമുഖീകരിക്കുന്നു നിയന്ത്രണങ്ങൾ:

• ഉപഭോക്താവിന് ജികെഇ വഴിയല്ലാതെ എന്റിറ്റികൾ സൃഷ്ടിക്കാനും IaaS ഉപയോഗിക്കാനും താൽപ്പര്യമില്ല;
• ഉപഭോക്താവ് സ്വയം സേവനമായ PostgreSQL/MySQL വിന്യസിക്കാൻ ആഗ്രഹിക്കുന്നില്ല;
• ശരി, പൊതുവേ, ഗൂഗിൾ സ്പാനർ അതിന്റെ വിലയിലല്ലെങ്കിൽ അത് തികച്ചും അനുയോജ്യമാകും, എന്നിരുന്നാലും, ജാങ്കോ ORM ന് ഇത് ഉപയോഗിച്ച് പ്രവർത്തിക്കാൻ കഴിയില്ല, പക്ഷേ ഇത് ഒരു നല്ല കാര്യമാണ്.

സാഹചര്യം പരിഗണിച്ച്, ഉപഭോക്താവിന് ഒരു ഫോളോ-അപ്പ് ചോദ്യം ലഭിച്ചു: "നിങ്ങൾക്ക് സമാനമായ എന്തെങ്കിലും ചെയ്യാൻ കഴിയുമോ, അതുവഴി അത് ഗൂഗിൾ സ്പാനർ പോലെയാണ്, പക്ഷേ ജാങ്കോ ORM-ലും പ്രവർത്തിക്കുമോ?"

പരിഹാര ഓപ്ഷൻ നമ്പർ 0

ആദ്യം മനസ്സിൽ വന്നത്:

• CloudSQL-ൽ തന്നെ തുടരുക;
• ഒരു രൂപത്തിലും പ്രദേശങ്ങൾക്കിടയിൽ ബിൽറ്റ്-ഇൻ പകർപ്പ് ഉണ്ടാകില്ല;
• PostgreSQL വഴി നിലവിലുള്ള ക്ലൗഡ് SQL-ലേക്ക് ഒരു പകർപ്പ് അറ്റാച്ചുചെയ്യാൻ ശ്രമിക്കുക;
• ഒരു PostgreSQL ഉദാഹരണം എവിടെയെങ്കിലും എങ്ങനെയെങ്കിലും സമാരംഭിക്കുക, പക്ഷേ കുറഞ്ഞത് മാസ്റ്ററെ തൊടരുത്.

അയ്യോ, ഇത് ചെയ്യാൻ കഴിയില്ലെന്ന് മനസ്സിലായി, കാരണം ഹോസ്റ്റിലേക്ക് ആക്‌സസ് ഇല്ല (ഇത് മൊത്തത്തിൽ മറ്റൊരു പ്രോജക്റ്റിലാണ്) - pg_hba മുതലായവ, കൂടാതെ സൂപ്പർ യൂസറിന് കീഴിൽ ആക്‌സസ് ഇല്ല.

പരിഹാര ഓപ്ഷൻ നമ്പർ 1

കൂടുതൽ പ്രതിഫലനത്തിനു ശേഷം മുൻ സാഹചര്യങ്ങൾ കണക്കിലെടുത്ത്, ചിന്തയുടെ ട്രെയിൻ അല്പം മാറി:

• ഞങ്ങൾ ഇപ്പോഴും CloudSQL-ൽ തന്നെ തുടരാൻ ശ്രമിക്കുന്നു, പക്ഷേ ഞങ്ങൾ MySQL-ലേക്ക് മാറുന്നു, കാരണം MySQL-ന്റെ ക്ലൗഡ് SQL-ന് ഒരു ബാഹ്യ മാസ്റ്റർ ഉണ്ട്, അത്:

— ബാഹ്യ MySQL-നുള്ള ഒരു പ്രോക്സി ആണ്;
- ഒരു MySQL ഉദാഹരണം പോലെ കാണപ്പെടുന്നു;
- മറ്റ് ക്ലൗഡുകളിൽ നിന്നോ പരിസരത്ത് നിന്നോ ഡാറ്റ മൈഗ്രേറ്റ് ചെയ്യുന്നതിനായി കണ്ടുപിടിച്ചതാണ്.

MySQL റെപ്ലിക്കേഷൻ സജ്ജീകരിക്കുന്നതിന് ഹോസ്റ്റിലേക്ക് പ്രവേശനം ആവശ്യമില്ലാത്തതിനാൽ, തത്വത്തിൽ എല്ലാം പ്രവർത്തിച്ചു, പക്ഷേ അത് വളരെ അസ്ഥിരവും അസൗകര്യപ്രദവുമായിരുന്നു. ഞങ്ങൾ കൂടുതൽ മുന്നോട്ട് പോയപ്പോൾ, അത് പൂർണ്ണമായും ഭയാനകമായിത്തീർന്നു, കാരണം ഞങ്ങൾ മുഴുവൻ ഘടനയും ടെറാഫോം ഉപയോഗിച്ച് വിന്യസിച്ചു, കൂടാതെ ബാഹ്യ മാസ്റ്ററെ ടെറാഫോം പിന്തുണയ്ക്കുന്നില്ലെന്ന് പെട്ടെന്ന് മനസ്സിലായി. അതെ, Google-ന് ഒരു CLI ഉണ്ട്, എന്നാൽ ചില കാരണങ്ങളാൽ എല്ലാം ഇവിടെ ഇടയ്ക്കിടെ പ്രവർത്തിച്ചു - ചിലപ്പോൾ അത് സൃഷ്ടിക്കപ്പെട്ടതാണ്, ചിലപ്പോൾ അത് സൃഷ്ടിക്കപ്പെടില്ല. ഒരുപക്ഷേ CLI കണ്ടുപിടിച്ചത് ബാഹ്യ ഡാറ്റാ മൈഗ്രേഷനായിട്ടായിരിക്കാം, അല്ലാതെ റെപ്ലിക്കസിനായിട്ടല്ല.

യഥാർത്ഥത്തിൽ, ക്ലൗഡ് SQL ഒട്ടും അനുയോജ്യമല്ലെന്ന് ഈ ഘട്ടത്തിൽ വ്യക്തമായി. അവർ പറയുന്നതുപോലെ, ഞങ്ങളാൽ കഴിയുന്നതെല്ലാം ഞങ്ങൾ ചെയ്തു.

പരിഹാര ഓപ്ഷൻ നമ്പർ 2

ക്ലൗഡ് എസ്‌ക്യുഎൽ ചട്ടക്കൂടിനുള്ളിൽ തുടരാൻ സാധിക്കാത്തതിനാൽ, ഒത്തുതീർപ്പ് പരിഹാരത്തിനുള്ള ആവശ്യകതകൾ രൂപപ്പെടുത്താൻ ഞങ്ങൾ ശ്രമിച്ചു. ആവശ്യകതകൾ ഇനിപ്പറയുന്നവയായി മാറി:

• കുബെർനെറ്റുകളിൽ പ്രവർത്തിക്കുക, കുബെർനെറ്റസ് (DCS, ...), GCP (LB, ...) എന്നിവയുടെ വിഭവങ്ങളുടെയും കഴിവുകളുടെയും പരമാവധി ഉപയോഗം;
• എച്ച്എ പ്രോക്സി പോലെയുള്ള ക്ലൗഡിലെ ഒരു കൂട്ടം അനാവശ്യ കാര്യങ്ങളിൽ നിന്ന് ബാലസ്റ്റിന്റെ അഭാവം;
• പ്രധാന HA മേഖലയിൽ PostgreSQL അല്ലെങ്കിൽ MySQL പ്രവർത്തിപ്പിക്കാനുള്ള കഴിവ്; മറ്റ് പ്രദേശങ്ങളിൽ - പ്രധാന മേഖലയുടെ RR-ൽ നിന്നുള്ള എച്ച്എയും അതിന്റെ പകർപ്പും (വിശ്വാസ്യതയ്ക്കായി);
• മൾട്ടി മാസ്റ്റർ (എനിക്ക് അദ്ദേഹത്തെ ബന്ധപ്പെടാൻ താൽപ്പര്യമില്ല, പക്ഷേ അത് വളരെ പ്രധാനമായിരുന്നില്ല)

.
ഈ ആവശ്യങ്ങളുടെ ഫലമായി, പിഅനുയോജ്യമായ ഡിബിഎംഎസും ബൈൻഡിംഗ് ഓപ്ഷനുകളും:

• MySQL ഗലേറ;
• CockroachDB;
• PostgreSQL ടൂളുകൾ

:
- pgpool-II;
- പത്രോണി.

MySQL ഗലേര

MySQL Galera സാങ്കേതികവിദ്യ കോഡർഷിപ്പ് വികസിപ്പിച്ചെടുത്തത് InnoDB-യുടെ ഒരു പ്ലഗിൻ ആണ്. പ്രത്യേകതകൾ:

• മൾട്ടി മാസ്റ്റർ;
• സിൻക്രണസ് റെപ്ലിക്കേഷൻ;
• ഏതെങ്കിലും നോഡിൽ നിന്ന് വായന;
• ഏതെങ്കിലും നോഡിലേക്ക് റെക്കോർഡിംഗ്;
• ബിൽറ്റ്-ഇൻ എച്ച്എ മെക്കാനിസം;
• ബിറ്റ്നാമിയിൽ നിന്നുള്ള ഒരു ഹെൽം ചാർട്ട് ഉണ്ട്.

കോക്ക്രോച്ച് ഡിബി

വിവരണമനുസരിച്ച്, സംഗതി തീർത്തും ബോംബാണെന്നും ഗോയിൽ എഴുതിയ ഒരു ഓപ്പൺ സോഴ്സ് പ്രോജക്റ്റാണ്. കോക്ക്‌റോച്ച് ലാബ്‌സ് (Google-ൽ നിന്നുള്ള ആളുകൾ സ്ഥാപിച്ചത്) ആണ് പ്രധാന പങ്കാളി. ഈ റിലേഷണൽ ഡിബിഎംഎസ് യഥാർത്ഥത്തിൽ രൂപകൽപ്പന ചെയ്തിരിക്കുന്നത് വിതരണം ചെയ്യാനാണ് (ബോക്‌സിന് പുറത്ത് തിരശ്ചീന സ്കെയിലിംഗ് ഉപയോഗിച്ച്) തെറ്റ്-സഹിഷ്ണുതയോടെ. കമ്പനിയിൽ നിന്നുള്ള അതിന്റെ രചയിതാക്കൾ "SQL പ്രവർത്തനത്തിന്റെ സമ്പന്നതയെ NoSQL സൊല്യൂഷനുകൾക്ക് പരിചിതമായ തിരശ്ചീന പ്രവേശനക്ഷമതയുമായി സംയോജിപ്പിക്കുക" എന്ന ലക്ഷ്യത്തിന്റെ രൂപരേഖ നൽകി.

പോസ്റ്റ്-ഗ്രെസ്സ് കണക്ഷൻ പ്രോട്ടോക്കോളിനുള്ള പിന്തുണയാണ് നല്ല ബോണസ്.

പിഗ്പൂൾ

ഇത് PostgreSQL-ലേക്കുള്ള ഒരു ആഡ്-ഓൺ ആണ്, വാസ്തവത്തിൽ, എല്ലാ കണക്ഷനുകളും ഏറ്റെടുത്ത് അവ പ്രോസസ്സ് ചെയ്യുന്ന ഒരു പുതിയ എന്റിറ്റി. ബിഎസ്‌ഡി ലൈസൻസിന് കീഴിൽ ലൈസൻസുള്ള സ്വന്തം ലോഡ് ബാലൻസറും പാർസറും ഇതിന് ഉണ്ട്. ഇത് ധാരാളം അവസരങ്ങൾ പ്രദാനം ചെയ്യുന്നു, പക്ഷേ അൽപ്പം ഭയപ്പെടുത്തുന്നതായി തോന്നുന്നു, കാരണം ഒരു പുതിയ എന്റിറ്റിയുടെ സാന്നിധ്യം ചില അധിക സാഹസങ്ങളുടെ ഉറവിടമായി മാറിയേക്കാം.

പത്രോണി

ഇതാണ് എന്റെ കണ്ണുകൾ അവസാനമായി വീണത്, അത് മാറിയതുപോലെ, വെറുതെയല്ല. പത്രോണി ഒരു ഓപ്പൺ സോഴ്‌സ് യൂട്ടിലിറ്റിയാണ്, ഇത് അടിസ്ഥാനപരമായി ഒരു പൈത്തൺ ഡെമൺ ആണ്, അത് വിവിധ തരത്തിലുള്ള റെപ്ലിക്കേഷനും ഓട്ടോമാറ്റിക് റോൾ സ്വിച്ചിംഗും ഉപയോഗിച്ച് PostgreSQL ക്ലസ്റ്ററുകൾ സ്വയമേവ പരിപാലിക്കാൻ നിങ്ങളെ അനുവദിക്കുന്നു. ക്യൂബറുമായി നന്നായി സംയോജിപ്പിക്കുന്നതിനാൽ പുതിയ എന്റിറ്റികളൊന്നും അവതരിപ്പിക്കാത്തതിനാൽ സംഗതി വളരെ രസകരമായി മാറി.

അവസാനം നിങ്ങൾ എന്താണ് തിരഞ്ഞെടുത്തത്?

തിരഞ്ഞെടുപ്പ് എളുപ്പമായിരുന്നില്ല:

1. കോക്ക്രോച്ച് ഡിബി - തീ, പക്ഷേ ഇരുണ്ടത്;
2. MySQL ഗലേര - മോശമല്ല, ഇത് പല സ്ഥലങ്ങളിലും ഉപയോഗിക്കുന്നു, പക്ഷേ MySQL;
3. പിഗ്പൂൾ - അനാവശ്യമായ ധാരാളം എന്റിറ്റികൾ, അതിനാൽ ക്ലൗഡുമായും K8-കളുമായും സംയോജനം;
4. പത്രോണി - കെ8കളുമായുള്ള മികച്ച സംയോജനം, അനാവശ്യ എന്റിറ്റികളൊന്നുമില്ല, ജിസിപി എൽബിയുമായി നന്നായി സംയോജിപ്പിക്കുന്നു.

അങ്ങനെ, തിരഞ്ഞെടുപ്പ് പത്രോണിയിൽ വീണു.

കണ്ടെത്തലുകൾ

ചുരുക്കത്തിൽ സംഗ്രഹിക്കാൻ സമയമായി. അതെ, ഐടി ഇൻഫ്രാസ്ട്രക്ചറിന്റെ ലോകം ഗണ്യമായി മാറിയിരിക്കുന്നു, ഇത് ഒരു തുടക്കം മാത്രമാണ്. മുമ്പ് മേഘങ്ങൾ മറ്റൊരു തരം ഇൻഫ്രാസ്ട്രക്ചർ മാത്രമായിരുന്നുവെങ്കിൽ, ഇപ്പോൾ എല്ലാം വ്യത്യസ്തമാണ്. മാത്രമല്ല, മേഘങ്ങളിലെ പുതുമകൾ നിരന്തരം പ്രത്യക്ഷപ്പെടുന്നു, അവ ദൃശ്യമാകും, ഒരുപക്ഷേ, അവ മേഘങ്ങളിൽ മാത്രം ദൃശ്യമാകും, അതിനുശേഷം മാത്രമേ സ്റ്റാർട്ടപ്പുകളുടെ ശ്രമങ്ങളാൽ അവ ഓൺ-പ്രിമൈസിലേക്ക് മാറ്റപ്പെടുകയുള്ളൂ.

SQL നെ സംബന്ധിച്ചിടത്തോളം, SQL ജീവിക്കും. ഇതിനർത്ഥം നിങ്ങൾ PostgreSQL ഉം MySQL ഉം അറിയുകയും അവയ്‌ക്കൊപ്പം പ്രവർത്തിക്കാൻ കഴിയുകയും വേണം, എന്നാൽ അതിലും പ്രധാനമായി അവ ശരിയായി ഉപയോഗിക്കാൻ കഴിയുക എന്നതാണ്.

അവലംബം: www.habr.com