ഡാറ്റ ഡൈക്കോട്ടമി: ഡാറ്റയും സേവനങ്ങളും തമ്മിലുള്ള ബന്ധത്തെ പുനർവിചിന്തനം ചെയ്യുന്നു

എല്ലാവർക്കും ഹായ്! ഞങ്ങൾക്ക് നല്ല വാർത്തയുണ്ട്, ജൂണിൽ OTUS വീണ്ടും കോഴ്‌സ് ആരംഭിക്കുന്നു "സോഫ്റ്റ്‌വെയർ ആർക്കിടെക്റ്റ്", ഞങ്ങൾ പരമ്പരാഗതമായി നിങ്ങളുമായി ഉപയോഗപ്രദമായ മെറ്റീരിയൽ പങ്കിടുന്ന ബന്ധത്തിൽ.

ഒരു സന്ദർഭവുമില്ലാതെ നിങ്ങൾ ഈ മൈക്രോ സർവീസസ് സ്റ്റോറി മുഴുവനും കണ്ടെങ്കിൽ, ഇത് അൽപ്പം വിചിത്രമാണെന്ന് കരുതിയതിന് നിങ്ങൾ ക്ഷമിക്കപ്പെടും. ഒരു നെറ്റ്‌വർക്ക് കണക്റ്റുചെയ്‌ത ശകലങ്ങളായി ഒരു ആപ്ലിക്കേഷനെ വിഭജിക്കുകയെന്നാൽ, തത്ഫലമായുണ്ടാകുന്ന വിതരണ സിസ്റ്റത്തിലേക്ക് സങ്കീർണ്ണമായ തെറ്റ് സഹിഷ്ണുത മോഡുകൾ ചേർക്കുന്നത് അനിവാര്യമാണ്.

ഈ സമീപനത്തിൽ നിരവധി സ്വതന്ത്ര സേവനങ്ങളായി വിഭജിക്കുന്നത് ഉൾപ്പെടുന്നുവെങ്കിലും, ആ സേവനങ്ങൾ വ്യത്യസ്‌ത മെഷീനുകളിൽ പ്രവർത്തിപ്പിക്കുന്നതിനേക്കാൾ വളരെ കൂടുതലാണ് അന്തിമ ലക്ഷ്യം. പുറം ലോകവുമായുള്ള ഇടപെടലിനെക്കുറിച്ചാണ് നമ്മൾ ഇവിടെ സംസാരിക്കുന്നത്, അത് അതിന്റെ സാരാംശത്തിലും വിതരണം ചെയ്യുന്നു. ഒരു സാങ്കേതിക അർത്ഥത്തിലല്ല, മറിച്ച് നിരവധി ആളുകൾ, ടീമുകൾ, പ്രോഗ്രാമുകൾ എന്നിവ ഉൾക്കൊള്ളുന്ന ഒരു ആവാസവ്യവസ്ഥയുടെ അർത്ഥത്തിലാണ്, ഈ ഭാഗങ്ങളിൽ ഓരോന്നും ഒരു തരത്തിൽ അല്ലെങ്കിൽ മറ്റൊന്നിൽ അതിന്റെ ജോലി ചെയ്യണം.

കമ്പനികൾ, ഉദാഹരണത്തിന്, ചില ലക്ഷ്യങ്ങൾ കൈവരിക്കുന്നതിന് ഒരുമിച്ച് സംഭാവന ചെയ്യുന്ന വിതരണ സംവിധാനങ്ങളുടെ ഒരു കൂട്ടമാണ്. പതിറ്റാണ്ടുകളായി ഞങ്ങൾ ഈ വസ്‌തുത അവഗണിക്കുകയാണ്, എഫ്‌ടിപി കൈമാറ്റങ്ങളിലൂടെയോ എന്റർപ്രൈസ് ഇന്റഗ്രേഷൻ ടൂളുകളിലൂടെയോ ഏകീകരണം കൈവരിക്കാൻ ശ്രമിക്കുന്നു, അതേസമയം ഞങ്ങളുടെ സ്വന്തം ലക്ഷ്യങ്ങളിൽ ശ്രദ്ധ കേന്ദ്രീകരിക്കുന്നു. എന്നാൽ സേവനങ്ങളുടെ വരവോടെ എല്ലാം മാറി. ചക്രവാളത്തിനപ്പുറത്തേക്ക് നോക്കാനും ഒരുമിച്ച് പ്രവർത്തിക്കുന്ന പരസ്പരാശ്രിത പ്രോഗ്രാമുകളുടെ ലോകം കാണാനും സേവനങ്ങൾ ഞങ്ങളെ സഹായിച്ചിട്ടുണ്ട്. എന്നിരുന്നാലും, വിജയകരമായി പ്രവർത്തിക്കുന്നതിന്, അടിസ്ഥാനപരമായി വ്യത്യസ്തമായ രണ്ട് ലോകങ്ങൾ തിരിച്ചറിയുകയും രൂപകൽപ്പന ചെയ്യുകയും ചെയ്യേണ്ടത് ആവശ്യമാണ്: മറ്റ് നിരവധി സേവനങ്ങളുടെ ഒരു ആവാസവ്യവസ്ഥയിൽ നാം ജീവിക്കുന്ന ബാഹ്യലോകം, കൂടാതെ നമ്മൾ ഒറ്റയ്ക്ക് ഭരിക്കുന്ന നമ്മുടെ വ്യക്തിപരവും ആന്തരികവുമായ ലോകം.

അത്തരമൊരു വിതരണം ചെയ്യപ്പെട്ട ലോകം നാം വളർന്നതും പരിചിതവുമായതിൽ നിന്ന് വ്യത്യസ്തമാണ്. പരമ്പരാഗത മോണോലിത്തിക്ക് വാസ്തുവിദ്യയുടെ നിർമ്മാണ തത്വങ്ങൾ വിമർശനത്തിന് വിധേയമല്ല. അതിനാൽ, ഈ സംവിധാനങ്ങൾ ശരിയാക്കുന്നത് ഒരു തണുത്ത വൈറ്റ്ബോർഡ് ഡയഗ്രം അല്ലെങ്കിൽ ആശയത്തിന്റെ രസകരമായ തെളിവ് സൃഷ്ടിക്കുന്നതിനേക്കാൾ കൂടുതലാണ്. അത്തരമൊരു സംവിധാനം വളരെക്കാലം വിജയകരമായി പ്രവർത്തിക്കുമെന്നതാണ് ആശയം. ഭാഗ്യവശാൽ, വ്യത്യസ്തമായി തോന്നുമെങ്കിലും സേവനങ്ങൾ കുറച്ച് കാലമായി നിലവിലുണ്ട്. SOA പാഠങ്ങൾ ഇപ്പോഴും പ്രസക്തമാണ്, ഡോക്കർ, കുബർനെറ്റസ്, അൽപ്പം മുഷിഞ്ഞ ഹിപ്‌സ്‌റ്റർ താടികൾ എന്നിവയ്‌ക്കൊപ്പം മസാലകൾ പോലും.

അതിനാൽ, നിയമങ്ങൾ എങ്ങനെ മാറിയെന്നും സേവനങ്ങളോടുള്ള നമ്മുടെ സമീപനവും അവ പരസ്പരം കൈമാറുന്ന ഡാറ്റയും പുനർവിചിന്തനം ചെയ്യേണ്ടത് എന്തുകൊണ്ടാണെന്നും അതിനായി ഞങ്ങൾക്ക് തികച്ചും വ്യത്യസ്തമായ ടൂൾകിറ്റ് ആവശ്യമായി വരുന്നത് എന്തുകൊണ്ടാണെന്നും ഇന്ന് ഞങ്ങൾ പരിശോധിക്കാൻ പോകുന്നു.

എൻക്യാപ്‌സുലേഷൻ എപ്പോഴും നിങ്ങളുടെ സുഹൃത്തായിരിക്കില്ല

മൈക്രോ സർവീസുകൾക്ക് പരസ്പരം സ്വതന്ത്രമായി പ്രവർത്തിക്കാൻ കഴിയും. ഈ സ്വത്താണ് അവർക്ക് ഏറ്റവും വലിയ മൂല്യം നൽകുന്നത്. ഇതേ പ്രോപ്പർട്ടി സേവനങ്ങളെ സ്കെയിൽ ചെയ്യാനും വളരാനും അനുവദിക്കുന്നു. ക്വാഡ്രില്യൺ കണക്കിന് ഉപയോക്താക്കളിലേക്കോ പെറ്റാബൈറ്റ് ഡാറ്റകളിലേക്കോ സ്കെയിലിംഗിന്റെ കാര്യത്തിലല്ല (അവർക്ക് ഇവിടെയും സഹായിക്കാമെങ്കിലും), എന്നാൽ ടീമുകളും ഓർഗനൈസേഷനുകളും തുടർച്ചയായി വളരുന്നതിനാൽ ആളുകളുടെ സ്കെയിലിംഗിന്റെ കാര്യത്തിൽ.

എന്നിരുന്നാലും, സ്വാതന്ത്ര്യം ഇരുതല മൂർച്ചയുള്ള വാളാണ്. അതായത്, സേവനത്തിന് തന്നെ എളുപ്പത്തിലും സ്വാഭാവികമായും കറങ്ങാൻ കഴിയും. എന്നാൽ മറ്റൊരു സേവനം ഉൾപ്പെടേണ്ട ഒരു സേവനത്തിനുള്ളിൽ ഒരു ഫംഗ്ഷൻ നടപ്പിലാക്കുകയാണെങ്കിൽ, രണ്ട് സേവനങ്ങളിലും ഏതാണ്ട് ഒരേസമയം മാറ്റങ്ങൾ വരുത്തേണ്ടി വരും. ഒരു മോണോലിത്തിൽ, ഇത് ചെയ്യാൻ എളുപ്പമാണ്, നിങ്ങൾ ഒരു മാറ്റം വരുത്തി അത് റിലീസ് ചെയ്യാൻ അയയ്ക്കുക, എന്നാൽ സ്വതന്ത്ര സേവനങ്ങളുടെ സമന്വയത്തിന്റെ കാര്യത്തിൽ, കൂടുതൽ പ്രശ്നങ്ങൾ ഉണ്ടാകും. ടീമുകളും റിലീസ് സൈക്കിളുകളും തമ്മിലുള്ള ഏകോപനം വഴക്കം നശിപ്പിക്കുന്നു.

സ്റ്റാൻഡേർഡ് സമീപനത്തിന്റെ ഭാഗമായി, അവർ അലോസരപ്പെടുത്തുന്ന എൻഡ്-ടു-എൻഡ് മാറ്റങ്ങൾ ഒഴിവാക്കാൻ ശ്രമിക്കുന്നു, സേവനങ്ങൾ തമ്മിലുള്ള പ്രവർത്തനത്തെ വ്യക്തമായി വിഭജിക്കുന്നു. ഒറ്റ സൈൻ-ഓൺ സേവനം ഇവിടെ ഒരു മികച്ച ഉദാഹരണമാണ്. മറ്റ് സേവനങ്ങളിൽ നിന്ന് അതിനെ വേറിട്ടുനിർത്തുന്ന, നന്നായി നിർവചിക്കപ്പെട്ട ഒരു റോൾ ഇതിന് ഉണ്ട്. ഈ വ്യക്തമായ വേർതിരിവ് അർത്ഥമാക്കുന്നത് ചുറ്റുമുള്ള സേവനങ്ങളുടെ ആവശ്യകതകൾ അതിവേഗം മാറിക്കൊണ്ടിരിക്കുന്ന ഒരു ലോകത്ത്, SSO മാറാൻ സാധ്യതയില്ല എന്നാണ്. അത് കർശനമായി പരിമിതമായ ഒരു സന്ദർഭത്തിലാണ് നിലനിൽക്കുന്നത്.

യഥാർത്ഥ ലോകത്ത്, ബിസിനസ് സേവനങ്ങൾക്ക് എല്ലായ്‌പ്പോഴും റോളുകളുടെ ഒരേ വൃത്തിയുള്ള വേർതിരിവ് നിലനിർത്താൻ കഴിയില്ല എന്നതാണ് പ്രശ്‌നം. ഉദാഹരണത്തിന്, സമാന ബിസിനസ്സ് സേവനങ്ങൾ മറ്റ് സമാന സേവനങ്ങളിൽ നിന്നുള്ള ഡാറ്റ ഉപയോഗിച്ച് കൂടുതൽ പ്രവർത്തിക്കുന്നു. നിങ്ങൾ ഒരു ഓൺലൈൻ റീട്ടെയിലർ ആണെങ്കിൽ, ഓർഡർ ഫ്ലോ, ഉൽപ്പന്ന കാറ്റലോഗ് അല്ലെങ്കിൽ ഉപയോക്തൃ വിവരങ്ങൾ കൈകാര്യം ചെയ്യൽ നിങ്ങളുടെ പല സേവനങ്ങൾക്കും ആവശ്യമായി വരും. ഓരോ സേവനങ്ങൾക്കും പ്രവർത്തിക്കാൻ ഈ ഡാറ്റയിലേക്ക് ആക്സസ് ആവശ്യമാണ്.

മിക്ക ബിസിനസ്സ് സേവനങ്ങളും ഒരേ ഡാറ്റാ സ്ട്രീം ഉപയോഗിക്കുന്നു, അതിനാൽ അവയുടെ പ്രവർത്തനം സ്ഥിരമായി പരസ്പരം ബന്ധപ്പെട്ടിരിക്കുന്നു.

അങ്ങനെ നമ്മൾ സംസാരിക്കേണ്ട സുപ്രധാനമായ ഒരു കാര്യത്തിലേക്ക് എത്തിച്ചേരുന്നു. പ്രധാനമായും ഒറ്റപ്പെട്ട നിലയിൽ പ്രവർത്തിക്കുന്ന ഇൻഫ്രാസ്ട്രക്ചർ ഘടകങ്ങൾക്കായി സേവനങ്ങൾ നന്നായി പ്രവർത്തിക്കുന്നുണ്ടെങ്കിലും, മിക്ക ബിസിനസ്സ് സേവനങ്ങളും കൂടുതൽ ഇഴചേർന്ന് ബന്ധപ്പെട്ടിരിക്കുന്നു.

ഡാറ്റ ഡൈക്കോട്ടമി

സേവന-അധിഷ്‌ഠിത സമീപനങ്ങൾ ഇതിനകം നിലവിലുണ്ടാകാം, എന്നാൽ സേവനങ്ങൾക്കിടയിൽ വലിയ അളവിലുള്ള ഡാറ്റ എങ്ങനെ കൈമാറ്റം ചെയ്യാം എന്നതിനെക്കുറിച്ചുള്ള വിവരങ്ങൾ ഇപ്പോഴും വളരെ കുറവാണ്.

ഡാറ്റയും സേവനങ്ങളും വേർതിരിക്കാനാവാത്തതാണ് എന്നതാണ് പ്രധാന പ്രശ്നം. ഒരു വശത്ത്, എൻക്യാപ്‌സുലേഷൻ ഡാറ്റ മറയ്ക്കാൻ ഞങ്ങളെ പ്രോത്സാഹിപ്പിക്കുന്നു, അതുവഴി സേവനങ്ങൾ പരസ്പരം വേർപെടുത്താനും അവയുടെ വളർച്ചയും തുടർന്നുള്ള മാറ്റങ്ങളും സുഗമമാക്കാനും കഴിയും. മറുവശത്ത്, പങ്കിട്ട ഡാറ്റയെ മറ്റേതൊരു പോലെ സ്വതന്ത്രമായി വിഭജിക്കാനും കീഴടക്കാനും നമുക്ക് കഴിയണം. മറ്റേതൊരു വിവര സംവിധാനത്തിലെയും പോലെ സ്വതന്ത്രമായി ഉടൻ പ്രവർത്തിക്കാൻ കഴിയുന്നതിനെക്കുറിച്ചാണ് ഇത്.

എന്നിരുന്നാലും, വിവര സംവിധാനങ്ങൾക്ക് എൻക്യാപ്‌സുലേഷനുമായി കാര്യമായ ബന്ധമില്ല. വാസ്തവത്തിൽ, ഇത് നേരെ വിപരീതമാണ്. ഡാറ്റാബേസുകൾ അവർ സംഭരിക്കുന്ന ഡാറ്റയിലേക്ക് ആക്‌സസ് നൽകാൻ കഴിയുന്നതെല്ലാം ചെയ്യുന്നു. നിങ്ങൾക്ക് താൽപ്പര്യമുള്ള രീതിയിൽ ഡാറ്റ പരിഷ്‌ക്കരിക്കാൻ അനുവദിക്കുന്ന ശക്തമായ ഒരു ഡിക്ലറേറ്റീവ് ഇന്റർഫേസുമായി അവ വരുന്നു. പ്രാഥമിക ഗവേഷണത്തിന്റെ ഘട്ടത്തിൽ അത്തരം പ്രവർത്തനക്ഷമത പ്രധാനമാണ്, എന്നാൽ നിരന്തരം വികസിച്ചുകൊണ്ടിരിക്കുന്ന സേവനത്തിന്റെ വർദ്ധിച്ചുവരുന്ന സങ്കീർണ്ണത കൈകാര്യം ചെയ്യുന്നതിനല്ല.

ഇവിടെ ഒരു ധർമ്മസങ്കടം ഉടലെടുക്കുന്നു. വൈരുദ്ധ്യം. ദ്വിമുഖം. എല്ലാത്തിനുമുപരി, വിവര സംവിധാനങ്ങൾ ഡാറ്റ നൽകുന്നതിനെക്കുറിച്ചാണ്, സേവനങ്ങൾ മറയ്ക്കുന്നതിനെക്കുറിച്ചാണ്.

ഈ രണ്ട് ശക്തികളും അടിസ്ഥാനപരമാണ്. അവർ നമ്മുടെ ജോലിയുടെ ഭൂരിഭാഗത്തിനും അടിവരയിടുന്നു, ഞങ്ങൾ നിർമ്മിക്കുന്ന സംവിധാനങ്ങളിൽ ആധിപത്യത്തിനായി നിരന്തരം മത്സരിക്കുന്നു.

സേവന സംവിധാനങ്ങൾ വളരുകയും വികസിക്കുകയും ചെയ്യുമ്പോൾ, ഡാറ്റാ ദ്വിതീയതയുടെ പ്രത്യാഘാതങ്ങളുടെ വ്യത്യസ്ത പ്രകടനങ്ങൾ ഞങ്ങൾ കാണുന്നു. ഒന്നുകിൽ സേവന ഇന്റർഫേസ് വളരുകയും കൂടുതൽ കൂടുതൽ സവിശേഷതകൾ നൽകുകയും വളരെ ഫാൻസി ഹോംഗ്രൗൺ ഡാറ്റാബേസ് പോലെ കാണപ്പെടാൻ തുടങ്ങുകയും ചെയ്യും, അല്ലെങ്കിൽ ഞങ്ങൾ നിരാശരാകുകയും മുഴുവൻ ഡാറ്റാസെറ്റുകളും സേവനത്തിൽ നിന്ന് സേവനത്തിലേക്ക് ബൾക്ക് എക്‌സ്‌ട്രാക്‌റ്റുചെയ്യുന്നതിനോ നീക്കുന്നതിനോ എന്തെങ്കിലും മാർഗ്ഗം നടപ്പിലാക്കും.

അതാകട്ടെ, ഒരു ഫാൻസി ഹോംബ്രൂ ഡാറ്റാബേസ് പോലെ തോന്നിക്കുന്ന എന്തെങ്കിലും സൃഷ്ടിക്കുന്നത് മുഴുവൻ പ്രശ്നങ്ങളിലേക്കും നയിക്കും. അപകടകരമായ കാര്യങ്ങളുടെ വിശദാംശങ്ങളിലേക്ക് ഞങ്ങൾ പോകില്ല പങ്കിട്ട ഡാറ്റാബേസ്, ഇത് കാര്യമായ ചിലവേറിയ എഞ്ചിനീയറിംഗിനെയും പ്രവർത്തനത്തെയും പ്രതിനിധീകരിക്കുന്നുവെന്ന് പറയട്ടെ ബുദ്ധിമുട്ടുകൾ അത് ഉപയോഗിക്കാൻ ശ്രമിക്കുന്ന കമ്പനിക്ക് വേണ്ടി.

മോശം, ഡാറ്റ വോള്യങ്ങൾ സേവന അതിരുകളുമായി പ്രശ്നങ്ങൾ വർദ്ധിപ്പിക്കുന്നു. സേവനത്തിനുള്ളിൽ കൂടുതൽ സാധാരണ ഡാറ്റ കിടക്കുന്നു, ഇന്റർഫേസ് കൂടുതൽ സങ്കീർണ്ണമാകും, കൂടാതെ വ്യത്യസ്ത സേവനങ്ങളിൽ നിന്നുള്ള ഡാറ്റാ സെറ്റുകൾ സംയോജിപ്പിക്കുന്നത് കൂടുതൽ ബുദ്ധിമുട്ടായിരിക്കും.

മുഴുവൻ ഡാറ്റാസെറ്റുകളും എക്‌സ്‌ട്രാക്റ്റുചെയ്യുന്നതിനും നീക്കുന്നതിനുമുള്ള ബദൽ സമീപനത്തിനും അതിന്റേതായ പ്രശ്‌നങ്ങളുണ്ട്. ഈ ചോദ്യത്തിനുള്ള ഒരു പൊതു സമീപനം, മുഴുവൻ ഡാറ്റാസെറ്റും വീണ്ടെടുക്കുകയും സംഭരിക്കുകയും ചെയ്യുക, തുടർന്ന് ഓരോ ഉപഭോഗ സേവനത്തിലും പ്രാദേശികമായി സംഭരിക്കുക എന്നതാണ്.

വ്യത്യസ്ത സേവനങ്ങൾ അവർ ഉപയോഗിക്കുന്ന ഡാറ്റയെ വ്യത്യസ്തമായി വ്യാഖ്യാനിക്കുന്നു എന്നതാണ് പ്രശ്നം. ഈ ഡാറ്റ എപ്പോഴും കൈയിലുണ്ട്. അവ പ്രാദേശികമായി പരിഷ്ക്കരിക്കുകയും പ്രോസസ്സ് ചെയ്യുകയും ചെയ്യുന്നു. വളരെ പെട്ടെന്ന് തന്നെ അവർക്ക് ഉറവിടത്തിലെ ഡാറ്റയുമായി എന്തെങ്കിലും ബന്ധമുണ്ടാവില്ല.

പകർപ്പുകൾ കൂടുതൽ മാറ്റാവുന്നതനുസരിച്ച്, കാലക്രമേണ കൂടുതൽ ഡാറ്റ വ്യത്യാസപ്പെടും.

അതിലും മോശം, അത്തരം ഡാറ്റ മുൻകാലങ്ങളിൽ തിരുത്താൻ പ്രയാസമാണ് (MDM ഇവിടെയാണ് ഇത് ശരിക്കും ഉപയോഗപ്രദമാകുന്നത്.) വാസ്തവത്തിൽ, ആപ്ലിക്കേഷനിൽ നിന്ന് ആപ്ലിക്കേഷനിലേക്ക് വ്യാപിക്കുന്ന വൈവിധ്യമാർന്ന ഡാറ്റയിൽ നിന്നാണ് ബിസിനസുകൾ അഭിമുഖീകരിക്കുന്ന സങ്കീർണ്ണമായ സാങ്കേതിക വെല്ലുവിളികളിൽ ചിലത്.

ഈ പൊതുവായ ഡാറ്റാ പ്രശ്നത്തിന് പരിഹാരം കണ്ടെത്താൻ, നിങ്ങൾ വ്യത്യസ്തമായി ചിന്തിക്കേണ്ടതുണ്ട്. നമ്മൾ നിർമ്മിക്കുന്ന വാസ്തുവിദ്യകളിൽ അവ ഒന്നാംതരം വസ്തുക്കളായി മാറണം. പാറ്റ് ഹെല്ലണ്ട് അത്തരം ഡാറ്റയെ "ബാഹ്യ" എന്ന് വിളിക്കുന്നു, ഇത് വളരെ പ്രധാനപ്പെട്ട ഒരു സവിശേഷതയാണ്. ഒരു സേവനത്തിന്റെ ഇന്റേണലുകൾ വെളിപ്പെടുത്താതിരിക്കാൻ ഞങ്ങൾക്ക് എൻക്യാപ്‌സുലേഷൻ ആവശ്യമാണ്, എന്നാൽ സേവനങ്ങൾക്ക് പങ്കിട്ട ഡാറ്റ ആക്‌സസ് ചെയ്യുന്നത് ഞങ്ങൾ എളുപ്പമാക്കേണ്ടതുണ്ട്, അതുവഴി അവർക്ക് അവരുടെ ജോലി ശരിയായി ചെയ്യാൻ കഴിയും.

ഒരു സമീപനവും ഇന്ന് പ്രസക്തമല്ല എന്നതാണ് പ്രശ്നം, കാരണം സേവന ഇന്റർഫേസുകളോ സന്ദേശമയയ്ക്കലോ പങ്കിട്ട ഡാറ്റാബേസോ ബാഹ്യ ഡാറ്റയുമായി പ്രവർത്തിക്കുന്നതിന് ഒരു നല്ല പരിഹാരം വാഗ്ദാനം ചെയ്യുന്നില്ല. ഏത് സ്കെയിലിലും ഡാറ്റ കൈമാറ്റം ചെയ്യുന്നതിന് സേവന ഇന്റർഫേസുകൾ അനുയോജ്യമല്ല. സന്ദേശമയയ്‌ക്കൽ ഡാറ്റയെ നീക്കുന്നു, പക്ഷേ അതിന്റെ ചരിത്രം സംഭരിക്കുന്നില്ല, അതിനാൽ ഡാറ്റ കാലക്രമേണ കേടാകുന്നു. പങ്കിട്ട ഡാറ്റാബേസുകൾ ഒരു പോയിന്റിൽ വളരെയധികം ശ്രദ്ധ കേന്ദ്രീകരിക്കുന്നു, ഇത് പുരോഗതിയെ പിന്നോട്ടടിക്കുന്നു. ഡാറ്റാ പരാജയത്തിന്റെ ഒരു ചക്രത്തിൽ നാം അനിവാര്യമായും കുടുങ്ങുന്നു:

ഡാറ്റ പരാജയ ചക്രം

ഫ്ലോകൾ: ഡാറ്റയ്ക്കും സേവനങ്ങൾക്കും ഒരു വികേന്ദ്രീകൃത സമീപനം

മികച്ച രീതിയിൽ, പങ്കിട്ട ഡാറ്റ ഉപയോഗിച്ച് സേവനങ്ങൾ പ്രവർത്തിക്കുന്ന രീതി ഞങ്ങൾ മാറ്റേണ്ടതുണ്ട്. ഈ നിമിഷത്തിൽ, ഏത് സമീപനവും മുകളിൽ പറഞ്ഞ ദ്വന്ദ്വത്തിലേക്ക് നീങ്ങുന്നു, കാരണം അതിൽ ഉദാരമായി തളിച്ച് അപ്രത്യക്ഷമാക്കാൻ കഴിയുന്ന മാന്ത്രിക പൊടി ഇല്ല. എന്നിരുന്നാലും, നമുക്ക് പ്രശ്നം പുനർവിചിന്തനം ചെയ്യാനും ഒത്തുതീർപ്പിലെത്താനും കഴിയും.

ഈ വിട്ടുവീഴ്ച ഒരു പരിധിവരെ കേന്ദ്രീകരണത്തെ സൂചിപ്പിക്കുന്നു. വിശ്വസനീയവും അളക്കാവുന്നതുമായ സ്ട്രീമുകൾ നൽകുന്നതിനാൽ വിതരണം ചെയ്ത ലോഗിംഗ് മെക്കാനിസം നമുക്ക് പ്രയോജനപ്പെടുത്താം. ഈ പങ്കിട്ട ത്രെഡുകളിൽ സേവനങ്ങൾ ചേരാനും പ്രവർത്തിപ്പിക്കാനും ഇപ്പോൾ ഞങ്ങൾ ആഗ്രഹിക്കുന്നു, എന്നാൽ ഈ പ്രോസസ്സിംഗ് നടത്തുന്ന സങ്കീർണ്ണമായ കേന്ദ്രീകൃത ദൈവ സേവനങ്ങൾ ഒഴിവാക്കാൻ ഞങ്ങൾ ആഗ്രഹിക്കുന്നു. അതിനാൽ, ഓരോ ഉപഭോക്തൃ സേവനത്തിലേക്കും സ്ട്രീമിംഗ് പ്രോസസ്സിംഗ് നിർമ്മിക്കുക എന്നതാണ് ഏറ്റവും മികച്ച ഓപ്ഷൻ. വ്യത്യസ്‌ത ഉറവിടങ്ങളിൽ നിന്നുള്ള ഡാറ്റാ സെറ്റുകൾ സംയോജിപ്പിക്കാനും അവയ്‌ക്ക് ആവശ്യമുള്ള രീതിയിൽ പ്രവർത്തിക്കാനും ഇത് സേവനങ്ങളെ അനുവദിക്കുന്നു.

ഈ സമീപനം നേടാനുള്ള ഒരു മാർഗം ഒരു സ്ട്രീമിംഗ് പ്ലാറ്റ്‌ഫോം ഉപയോഗത്തിലൂടെയാണ്. നിരവധി ഓപ്ഷനുകൾ ഉണ്ട്, എന്നാൽ ഇന്ന് ഞങ്ങൾ കാഫ്കയെ പരിഗണിക്കും, കാരണം അതിന്റെ സ്റ്റേറ്റ്ഫുൾ സ്ട്രീം പ്രോസസ്സിംഗ് ഉപയോഗിച്ച് അവതരിപ്പിച്ച പ്രശ്നം ഫലപ്രദമായി പരിഹരിക്കാൻ ഞങ്ങളെ അനുവദിക്കുന്നു.

വിതരണം ചെയ്ത ലോഗിംഗ് മെക്കാനിസം ഉപയോഗിക്കുന്നത്, അടിച്ച പാത പിന്തുടരാനും പ്രവർത്തിക്കാൻ സന്ദേശമയയ്‌ക്കൽ ഉപയോഗിക്കാനും ഞങ്ങളെ അനുവദിക്കുന്നു ഇവന്റ്-ഡ്രൈവ് ആർക്കിടെക്ചർ. അഭ്യർത്ഥന-പ്രതികരണ സംവിധാനത്തേക്കാൾ മികച്ച സ്കെയിലിംഗും വേർതിരിവും നൽകുന്നതായി ഈ സമീപനം കണക്കാക്കപ്പെടുന്നു, കാരണം ഇത് അയയ്ക്കുന്നയാളേക്കാൾ റിസീവറിന് ഒഴുക്കിന്റെ നിയന്ത്രണം നൽകുന്നു. എന്നിരുന്നാലും, ഈ ജീവിതത്തിലെ എല്ലാത്തിനും നിങ്ങൾ പണം നൽകണം, ഇവിടെ നിങ്ങൾക്ക് ഒരു ബ്രോക്കർ ആവശ്യമാണ്. എന്നാൽ വലിയ സിസ്റ്റങ്ങൾക്ക്, ഈ ട്രേഡ്-ഓഫ് അത് വിലമതിക്കുന്നു (നിങ്ങളുടെ ശരാശരി വെബ് ആപ്ലിക്കേഷനുകളെക്കുറിച്ച് നിങ്ങൾക്ക് പറയാൻ കഴിയില്ല).

പരമ്പരാഗത സന്ദേശമയയ്‌ക്കൽ സംവിധാനമല്ല, വിതരണം ചെയ്‌ത ലോഗിംഗിന്റെ ഉത്തരവാദിത്തം ഒരു ബ്രോക്കറാണെങ്കിൽ, നിങ്ങൾക്ക് അധിക ഫീച്ചറുകൾ പ്രയോജനപ്പെടുത്താം. ഒരു ട്രാൻസ്‌പോർട്ടിന് ഏതാണ്ട് ഒരു ഡിസ്ട്രിബ്യൂട്ടഡ് ഫയൽ സിസ്റ്റത്തെ പോലെ രേഖീയമായും സ്കെയിൽ ചെയ്യാൻ കഴിയും. ഡാറ്റ ദീർഘകാലത്തേക്ക് ലോഗുകളിൽ സൂക്ഷിക്കാൻ കഴിയും, അതിനാൽ ഞങ്ങൾക്ക് സന്ദേശമയയ്‌ക്കൽ മാത്രമല്ല, വിവരങ്ങളുടെ ഒരു ശേഖരവും ലഭിക്കും. മാറ്റാവുന്ന പങ്കിട്ട അവസ്ഥയെ ഭയപ്പെടാതെ സ്കേലബിൾ സ്റ്റോറേജ്.

നിങ്ങളുടെ ഉപഭോഗ സേവനങ്ങളിലേക്ക് ഡിക്ലറേറ്റീവ് ഡാറ്റാബേസ് ടൂളുകൾ ചേർക്കുന്നതിന് നിങ്ങൾക്ക് സ്റ്റേറ്റ്ഫുൾ സ്ട്രീം പ്രോസസ്സിംഗ് മെക്കാനിസം ഉപയോഗിക്കാം. ഇത് വളരെ പ്രധാനപ്പെട്ട ഒരു ചിന്തയാണ്. എല്ലാ സേവനങ്ങൾക്കും ആക്‌സസ് ചെയ്യാൻ കഴിയുന്ന പങ്കിട്ട സ്‌ട്രീമുകളിൽ ഡാറ്റ സംഭരിച്ചിരിക്കുന്നിടത്തോളം, സേവനം ചെയ്യുന്ന സംഗ്രഹവും പ്രോസസ്സിംഗും സ്വകാര്യമാണ്. കർശനമായ പരിമിതമായ സന്ദർഭത്തിൽ അവർ ഒറ്റപ്പെട്ടിരിക്കുന്നു.

മാറ്റമില്ലാത്ത അവസ്ഥ സ്ട്രീം വിഭജിച്ച് ഡാറ്റ ദ്വിതീയത്തിൽ നിന്ന് മുക്തി നേടുക. തുടർന്ന് സ്റ്റേറ്റ്ഫുൾ സ്ട്രീം പ്രോസസ്സിംഗ് ഉപയോഗിച്ച് ഓരോ സേവനത്തിലും ഈ പ്രവർത്തനം ചേർക്കുക.

അതിനാൽ, നിങ്ങളുടെ സേവനത്തിന് ഓർഡറുകൾ, ഒരു ഉൽപ്പന്ന കാറ്റലോഗ്, ഒരു വെയർഹൗസ് എന്നിവയ്‌ക്കൊപ്പം പ്രവർത്തിക്കണമെങ്കിൽ, അതിന് പൂർണ്ണ ആക്‌സസ് ഉണ്ടായിരിക്കും: ഏത് ഡാറ്റ സംയോജിപ്പിക്കണം, എവിടെ പ്രോസസ്സ് ചെയ്യണം, കാലക്രമേണ അത് എങ്ങനെ മാറണം എന്ന് നിങ്ങൾ മാത്രമേ തീരുമാനിക്കൂ. ഡാറ്റ പങ്കിട്ടിട്ടുണ്ടെങ്കിലും, അതിനൊപ്പം പ്രവർത്തിക്കുന്നത് പൂർണ്ണമായും വികേന്ദ്രീകൃതമാണ്. നിങ്ങളുടെ നിയമങ്ങൾക്കനുസൃതമായി എല്ലാം നടക്കുന്ന ഒരു ലോകത്ത് ഓരോ സേവനത്തിലും ഇത് നിർമ്മിക്കപ്പെടുന്നു.

ഡാറ്റയുടെ സമഗ്രതയിൽ വിട്ടുവീഴ്ച ചെയ്യാതെ പങ്കിടുക. ആവശ്യമുള്ള എല്ലാ സേവനങ്ങളിലും ഒരു ഫംഗ്‌ഷൻ ഉൾക്കൊള്ളിക്കുക, ഒരു ഉറവിടമല്ല.

അതിനാൽ ഡാറ്റ മൊത്തത്തിൽ നീക്കേണ്ടതുണ്ട്. ചിലപ്പോൾ ഒരു സേവനത്തിന് തിരഞ്ഞെടുത്ത ഡാറ്റാബേസ് എഞ്ചിനിൽ ഒരു പ്രാദേശിക ചരിത്ര ഡാറ്റാസെറ്റ് ആവശ്യമാണ്. ആവശ്യമെങ്കിൽ, വിതരണം ചെയ്ത ലോഗിംഗ് മെക്കാനിസവുമായി ബന്ധപ്പെടുന്നതിലൂടെ ഉറവിടത്തിൽ നിന്ന് ഒരു പകർപ്പ് പുനഃസ്ഥാപിക്കാമെന്ന് ഉറപ്പുനൽകാൻ കഴിയും എന്നതാണ് തന്ത്രം. കാഫ്കയിലെ കണക്ടർമാർ ഇത് ഒരു മികച്ച ജോലി ചെയ്യുന്നു.

അതിനാൽ, ഇന്ന് ചർച്ച ചെയ്യുന്ന സമീപനത്തിന് നിരവധി ഗുണങ്ങളുണ്ട്:

• ദീർഘകാലത്തേക്ക് ലോഗുകളിൽ സൂക്ഷിക്കാൻ കഴിയുന്ന പങ്കിട്ട സ്ട്രീമുകളുടെ രൂപത്തിലാണ് ഡാറ്റ ഉപയോഗിക്കുന്നത്, കൂടാതെ പങ്കിട്ട ഡാറ്റയുമായി പ്രവർത്തിക്കുന്നതിനുള്ള സംവിധാനം ഓരോ വ്യക്തിഗത സന്ദർഭത്തിലും ഹാർഡ്‌വൈഡ് ആണ്, ഇത് സേവനങ്ങൾ എളുപ്പത്തിലും വേഗത്തിലും പ്രവർത്തിക്കാൻ അനുവദിക്കുന്നു. ഈ രീതിയിൽ, ഡാറ്റയുടെ ദ്വിതീയത സന്തുലിതമാക്കാൻ കഴിയും.
• വിവിധ സേവനങ്ങളിൽ നിന്നുള്ള ഡാറ്റ എളുപ്പത്തിൽ സെറ്റുകളായി സംയോജിപ്പിക്കാൻ കഴിയും. ഇത് പങ്കിട്ട ഡാറ്റയുമായുള്ള ആശയവിനിമയം ലളിതമാക്കുകയും ഡാറ്റാബേസിൽ പ്രാദേശിക ഡാറ്റാസെറ്റുകൾ പരിപാലിക്കേണ്ടതിന്റെ ആവശ്യകത ഇല്ലാതാക്കുകയും ചെയ്യുന്നു.
• സ്‌റ്റേറ്റ്‌ഫുൾ സ്‌ട്രീം പ്രോസസ്സിംഗ് ഡാറ്റ കാഷെ ചെയ്യുന്നു, സാധാരണ ലോഗുകൾ സത്യത്തിന്റെ ഉറവിടമായി തുടരുന്നു, അതിനാൽ കാലക്രമേണ ഡാറ്റ അഴിമതിയുടെ പ്രശ്നം അത്ര നിശിതമല്ല.
• അവയുടെ കേന്ദ്രത്തിൽ, സേവനങ്ങൾ ഡാറ്റാധിഷ്ഠിതമാണ്, അതായത് ഡാറ്റ വോള്യങ്ങളിൽ നിരന്തരമായ വളർച്ച ഉണ്ടായിരുന്നിട്ടും, സേവനങ്ങൾക്ക് ഇപ്പോഴും ബിസിനസ് ഇവന്റുകളോട് വേഗത്തിൽ പ്രതികരിക്കാൻ കഴിയും.
• സ്കേലബിലിറ്റി പ്രശ്നങ്ങൾ ബ്രോക്കറിലാണ് വരുന്നത്, സേവനങ്ങളിലല്ല. സ്കേലബിളിറ്റിയെക്കുറിച്ച് ചിന്തിക്കേണ്ട ആവശ്യമില്ലാത്തതിനാൽ ഇത് എഴുത്ത് സേവനങ്ങളുടെ സങ്കീർണ്ണതയെ വളരെയധികം കുറയ്ക്കുന്നു.
• പുതിയ സേവനങ്ങൾ ചേർക്കുന്നതിന് പഴയവ മാറ്റേണ്ടതില്ല, അതിനാൽ പുതിയ സേവനങ്ങൾ ബന്ധിപ്പിക്കുന്നത് എളുപ്പമാകും.

നിങ്ങൾക്ക് കാണാനാകുന്നതുപോലെ, ഇത് വിശ്രമത്തെക്കാൾ കൂടുതലാണ്. വികേന്ദ്രീകൃതമായ രീതിയിൽ പങ്കിട്ട ഡാറ്റയുമായി പ്രവർത്തിക്കാൻ നിങ്ങളെ അനുവദിക്കുന്ന ഒരു കൂട്ടം ടൂളുകൾ ഞങ്ങൾക്ക് ലഭിച്ചു.

ഇന്നത്തെ ലേഖനത്തിൽ എല്ലാ വശങ്ങളും വെളിപ്പെടുത്തിയിട്ടില്ല. അഭ്യർത്ഥന-പ്രതികരണ മാതൃകയും ഇവന്റ് നയിക്കുന്ന മാതൃകയും തമ്മിൽ എങ്ങനെ സന്തുലിതമാക്കാമെന്ന് ഞങ്ങൾ ഇപ്പോഴും കണ്ടെത്തേണ്ടതുണ്ട്. എന്നാൽ അടുത്ത തവണ ഞങ്ങൾ ഇത് കൈകാര്യം ചെയ്യും. നിങ്ങൾ നന്നായി അറിയേണ്ട വിഷയങ്ങളുണ്ട്, ഉദാഹരണത്തിന്, എന്തുകൊണ്ട് സ്റ്റേറ്റ്ഫുൾ സ്ട്രീം പ്രോസസ്സിംഗ് വളരെ മികച്ചതാണ്. മൂന്നാമത്തെ ലേഖനത്തിൽ നമ്മൾ ഇതിനെക്കുറിച്ച് സംസാരിക്കും. നമ്മൾ അവലംബിക്കുകയാണെങ്കിൽ നമുക്ക് ഉപയോഗിക്കാൻ കഴിയുന്ന മറ്റ് ശക്തമായ നിർമ്മാണങ്ങളുണ്ട്, ഉദാഹരണത്തിന്, കൃത്യമായി ഒരിക്കൽ പ്രോസസ്സ് ചെയ്യുന്നു. ഇത് ഇടപാട് ഗ്യാരന്റി നൽകുന്നതിനാൽ വിതരണം ചെയ്ത ബിസിനസ്സ് സിസ്റ്റങ്ങളുടെ ഗെയിം ചേഞ്ചറാണ് XA അളക്കാവുന്ന രൂപത്തിൽ. ഇത് നാലാമത്തെ ലേഖനത്തിൽ ചർച്ച ചെയ്യും. അവസാനമായി, ഈ തത്ത്വങ്ങൾ നടപ്പിലാക്കുന്നതിന്റെ വിശദാംശങ്ങൾ ഞങ്ങൾ പരിശോധിക്കേണ്ടതുണ്ട്.

എന്നാൽ ഇപ്പോൾ, ഇത് ഓർക്കുക: ബിസിനസ് സേവനങ്ങൾ കെട്ടിപ്പടുക്കുമ്പോൾ നമ്മൾ അഭിമുഖീകരിക്കുന്ന ഒരു ശക്തിയാണ് ഡാറ്റാ ഡൈക്കോട്ടമി. കൂടാതെ നാം ഇത് ഓർക്കണം. എല്ലാം തലകീഴായി മാറ്റുകയും പങ്കിട്ട ഡാറ്റയെ ഫസ്റ്റ് ക്ലാസ് ഒബ്ജക്റ്റുകളായി കണക്കാക്കുകയും ചെയ്യുക എന്നതാണ് തന്ത്രം. സ്‌റ്റേറ്റ്‌ഫുൾ സ്‌ട്രീം പ്രോസസ്സിംഗ് ഇതിന് ഒരു സവിശേഷമായ വിട്ടുവീഴ്‌ച നൽകുന്നു. പുരോഗതിയെ തടയുന്ന കേന്ദ്രീകൃത "ദൈവ ഘടകങ്ങൾ" ഇത് ഒഴിവാക്കുന്നു. മാത്രമല്ല, ഇത് ഡാറ്റ സ്ട്രീമിംഗ് പൈപ്പ്ലൈനുകളുടെ ചടുലതയും സ്കേലബിളിറ്റിയും പ്രതിരോധശേഷിയും നൽകുകയും അവയെ ഓരോ സേവനത്തിലേക്കും ചേർക്കുകയും ചെയ്യുന്നു. അതിനാൽ, ഏതൊരു സേവനത്തിനും അതിന്റെ ഡാറ്റയുമായി ബന്ധിപ്പിക്കാനും പ്രവർത്തിക്കാനും കഴിയുന്ന പൊതുബോധ സ്ട്രീമിൽ നമുക്ക് ശ്രദ്ധ കേന്ദ്രീകരിക്കാം. ഇത് സേവനങ്ങളെ കൂടുതൽ അളക്കാവുന്നതും പരസ്പരം മാറ്റാവുന്നതും സ്വയംഭരണപരവുമാക്കുന്നു. അതിനാൽ, അവ വൈറ്റ്ബോർഡുകളിലും അനുമാനങ്ങൾ പരീക്ഷിക്കുമ്പോഴും മികച്ചതായി കാണപ്പെടുക മാത്രമല്ല, പതിറ്റാണ്ടുകളായി പ്രവർത്തിക്കുകയും വികസിപ്പിക്കുകയും ചെയ്യും.

കോഴ്സിനെക്കുറിച്ച് കൂടുതലറിയുക.

അവലംബം: www.habr.com