നമുക്ക് ഒരു ഡാറ്റ തടാകം ആവശ്യമുണ്ടോ? ഡാറ്റ വെയർഹൗസ് എന്തുചെയ്യണം?

ഈ ലേഖനം മീഡിയത്തെക്കുറിച്ചുള്ള എന്റെ ലേഖനത്തിന്റെ വിവർത്തനമാണ് - ഡാറ്റ ലേക്ക് ആരംഭിക്കുന്നു, ഇത് വളരെ ജനപ്രിയമായി മാറി, ഒരുപക്ഷേ അതിന്റെ ലാളിത്യം കാരണം. അതിനാൽ, ഇത് റഷ്യൻ ഭാഷയിൽ എഴുതാനും ഡാറ്റ സ്പെഷ്യലിസ്റ്റ് അല്ലാത്ത ഒരു സാധാരണ വ്യക്തിക്ക് ഒരു ഡാറ്റ വെയർഹൗസ് (DW) എന്താണെന്നും ഡാറ്റ തടാകം എന്താണെന്നും (ഡാറ്റ തടാകം) എങ്ങനെയെന്നും വ്യക്തമാക്കാൻ ഞാൻ തീരുമാനിച്ചു. ഒരുമിച്ചു ചേരുക .

എന്തുകൊണ്ടാണ് ഞാൻ ഡാറ്റ തടാകത്തെക്കുറിച്ച് എഴുതാൻ ആഗ്രഹിച്ചത്? ഞാൻ 10 വർഷത്തിലേറെയായി ഡാറ്റയും അനലിറ്റിക്‌സും ഉപയോഗിച്ച് പ്രവർത്തിക്കുന്നു, ഇപ്പോൾ ഞാൻ തീർച്ചയായും ബോസ്റ്റണിലുള്ള കേംബ്രിഡ്ജിലെ Amazon Alexa AI-യിൽ വലിയ ഡാറ്റയുമായി പ്രവർത്തിക്കുന്നു, ഞാൻ വാൻകൂവർ ദ്വീപിലെ വിക്ടോറിയയിലാണ് താമസിക്കുന്നതെങ്കിലും പലപ്പോഴും ബോസ്റ്റണിലെ സിയാറ്റിൽ സന്ദർശിക്കാറുണ്ട്. , വാൻകൂവറിൽ, ചിലപ്പോൾ മോസ്കോയിൽ പോലും, ഞാൻ കോൺഫറൻസുകളിൽ സംസാരിക്കുന്നു. ഞാനും ഇടയ്ക്കിടെ എഴുതുന്നു, പക്ഷേ ഞാൻ പ്രധാനമായും ഇംഗ്ലീഷിലാണ് എഴുതുന്നത്, ഞാൻ ഇതിനകം എഴുതിയിട്ടുണ്ട് ചില പുസ്തകങ്ങൾ, വടക്കേ അമേരിക്കയിൽ നിന്നുള്ള അനലിറ്റിക്സ് ട്രെൻഡുകൾ പങ്കിടേണ്ടതിന്റെ ആവശ്യകതയും എനിക്കുണ്ട്, ഞാൻ ചിലപ്പോൾ എഴുതാറുണ്ട് ടെലിഗ്രാമുകൾ.

ഞാൻ എല്ലായ്‌പ്പോഴും ഡാറ്റ വെയർഹൗസുകളിൽ പ്രവർത്തിച്ചിട്ടുണ്ട്, 2015 മുതൽ ഞാൻ ആമസോൺ വെബ് സേവനങ്ങളുമായി അടുത്ത് പ്രവർത്തിക്കാൻ തുടങ്ങി, പൊതുവെ ക്ലൗഡ് അനലിറ്റിക്‌സിലേക്ക് (AWS, Azure, GCP) മാറി. 2007 മുതൽ അനലിറ്റിക്‌സ് സൊല്യൂഷനുകളുടെ പരിണാമം ഞാൻ നിരീക്ഷിച്ചു, കൂടാതെ ഡാറ്റാ വെയർഹൗസ് വെണ്ടർ ടെറാഡാറ്റയ്‌ക്കായി പോലും പ്രവർത്തിക്കുകയും അത് സ്‌ബെർബാങ്കിൽ നടപ്പിലാക്കുകയും ചെയ്തു, അപ്പോഴാണ് ഹഡൂപ്പിനൊപ്പം ബിഗ് ഡാറ്റ പ്രത്യക്ഷപ്പെട്ടത്. സ്റ്റോറേജ് യുഗം കഴിഞ്ഞു, ഇപ്പോൾ എല്ലാം ഹഡൂപ്പിൽ ആണെന്ന് എല്ലാവരും പറയാൻ തുടങ്ങി, തുടർന്ന് അവർ ഡാറ്റ തടാകത്തെക്കുറിച്ച് സംസാരിക്കാൻ തുടങ്ങി, ഇപ്പോൾ ഡാറ്റ വെയർഹൗസിന്റെ അവസാനം തീർച്ചയായും വന്നിരിക്കുന്നു. പക്ഷേ ഭാഗ്യവശാൽ (നിർഭാഗ്യവശാൽ ഹഡൂപ്പ് സ്ഥാപിച്ച് ധാരാളം പണം സമ്പാദിച്ച ചിലർക്ക്), ഡാറ്റ വെയർഹൗസ് പോയില്ല.

ഈ ലേഖനത്തിൽ ഒരു ഡാറ്റ തടാകം എന്താണെന്ന് നോക്കാം. ഈ ലേഖനം ഡാറ്റ വെയർഹൌസുകളിൽ കാര്യമായ പരിചയമില്ലാത്ത അല്ലെങ്കിൽ പരിചയമില്ലാത്ത ആളുകൾക്ക് വേണ്ടിയുള്ളതാണ്.

ചിത്രത്തിൽ ലേക് ബ്ലെഡ് ആണ്, ഇത് എന്റെ പ്രിയപ്പെട്ട തടാകങ്ങളിലൊന്നാണ്, ഞാൻ ഒരിക്കൽ മാത്രമേ അവിടെ ഉണ്ടായിരുന്നുള്ളൂവെങ്കിലും, എന്റെ ജീവിതകാലം മുഴുവൻ ഞാൻ അത് ഓർത്തു. എന്നാൽ നമ്മൾ മറ്റൊരു തരം തടാകത്തെക്കുറിച്ച് സംസാരിക്കും - ഒരു ഡാറ്റ തടാകം. ഒരുപക്ഷേ നിങ്ങളിൽ പലരും ഈ പദത്തെക്കുറിച്ച് ഒന്നിലധികം തവണ കേട്ടിട്ടുണ്ടാകാം, എന്നാൽ ഒരു നിർവചനം കൂടി ആരെയും ഉപദ്രവിക്കില്ല.

ഒന്നാമതായി, ഒരു ഡാറ്റ തടാകത്തിന്റെ ഏറ്റവും ജനപ്രിയമായ നിർവചനങ്ങൾ ഇതാ:

"ഓർഗനൈസേഷനിലെ ആർക്കും വിശകലനം ചെയ്യാൻ ലഭ്യമായ എല്ലാത്തരം അസംസ്കൃത ഡാറ്റയുടെയും ഒരു ഫയൽ സംഭരണം" - മാർട്ടിൻ ഫൗളർ.

“ഒരു ഡാറ്റാ മാർട്ട് ഒരു കുപ്പി വെള്ളമാണെന്ന് നിങ്ങൾ കരുതുന്നുവെങ്കിൽ - ശുദ്ധീകരിച്ച്, പാക്കേജുചെയ്‌ത് സൗകര്യപ്രദമായ ഉപഭോഗത്തിനായി പാക്കേജുചെയ്‌തിരിക്കുന്നു, ഒരു ഡാറ്റ തടാകം അതിന്റെ സ്വാഭാവിക രൂപത്തിൽ ഒരു വലിയ ജലസംഭരണിയാണ്. ഉപയോക്താക്കളേ, എനിക്ക് എനിക്കായി വെള്ളം ശേഖരിക്കാനും ആഴത്തിൽ മുങ്ങാനും പര്യവേക്ഷണം ചെയ്യാനും കഴിയും” - ജെയിംസ് ഡിക്സൺ.

ഒരു ഡാറ്റാ തടാകം അനലിറ്റിക്‌സിനെക്കുറിച്ചാണെന്ന് ഇപ്പോൾ ഞങ്ങൾക്ക് ഉറപ്പായും അറിയാം, അത് വലിയ അളവിലുള്ള ഡാറ്റ അതിന്റെ യഥാർത്ഥ രൂപത്തിൽ സംഭരിക്കാൻ ഞങ്ങളെ അനുവദിക്കുന്നു, കൂടാതെ ഡാറ്റയിലേക്ക് ആവശ്യമായതും സൗകര്യപ്രദവുമായ ആക്‌സസ് ഞങ്ങൾക്ക് ഉണ്ട്.

ഞാൻ പലപ്പോഴും കാര്യങ്ങൾ ലളിതമാക്കാൻ ഇഷ്ടപ്പെടുന്നു, സങ്കീർണ്ണമായ ഒരു പദത്തെ ലളിതമായ വാക്കുകളിൽ വിശദീകരിക്കാൻ കഴിയുമെങ്കിൽ, അത് എങ്ങനെ പ്രവർത്തിക്കുന്നുവെന്നും അത് എന്തിനുവേണ്ടിയാണെന്നും ഞാൻ സ്വയം മനസ്സിലാക്കുന്നു. ഒരു ദിവസം, ഞാൻ ഐഫോൺ ഫോട്ടോ ഗാലറിയിൽ ചുറ്റിക്കറങ്ങുകയായിരുന്നു, അത് എന്റെ മനസ്സിൽ തെളിഞ്ഞു, ഇതൊരു യഥാർത്ഥ ഡാറ്റ തടാകമാണ്, ഞാൻ കോൺഫറൻസുകൾക്കായി ഒരു സ്ലൈഡ് പോലും ഉണ്ടാക്കി:

എല്ലാം വളരെ ലളിതമാണ്. ഞങ്ങൾ ഫോണിൽ ഒരു ഫോട്ടോ എടുക്കുന്നു, ഫോട്ടോ ഫോണിൽ സേവ് ചെയ്യപ്പെടുകയും ഐക്ലൗഡിൽ (ക്ലൗഡ് ഫയൽ സംഭരണം) സംരക്ഷിക്കുകയും ചെയ്യാം. ഫോൺ ഫോട്ടോ മെറ്റാഡാറ്റയും ശേഖരിക്കുന്നു: എന്താണ് കാണിക്കുന്നത്, ജിയോ ടാഗ്, സമയം. തൽഫലമായി, ഞങ്ങളുടെ ഫോട്ടോ കണ്ടെത്താൻ ഐഫോണിന്റെ ഉപയോക്തൃ-സൗഹൃദ ഇന്റർഫേസ് ഉപയോഗിക്കാം, ഞങ്ങൾ സൂചകങ്ങൾ പോലും കാണുന്നു, ഉദാഹരണത്തിന്, ഞാൻ ഫയർ എന്ന വാക്ക് ഉപയോഗിച്ച് ഫോട്ടോകൾക്കായി തിരയുമ്പോൾ, തീയുടെ ചിത്രമുള്ള 3 ഫോട്ടോകൾ ഞാൻ കണ്ടെത്തുന്നു. എന്നെ സംബന്ധിച്ചിടത്തോളം ഇത് വളരെ വേഗത്തിലും വ്യക്തമായും പ്രവർത്തിക്കുന്ന ഒരു ബിസിനസ് ഇന്റലിജൻസ് ഉപകരണം പോലെയാണ്.

തീർച്ചയായും, സുരക്ഷയെക്കുറിച്ച് (അംഗീകാരവും പ്രാമാണീകരണവും) നാം മറക്കരുത്, അല്ലാത്തപക്ഷം ഞങ്ങളുടെ ഡാറ്റ പൊതു ഡൊമെയ്‌നിൽ എളുപ്പത്തിൽ അവസാനിക്കും. ഡവലപ്പർമാരുടെ അശ്രദ്ധയും ലളിതമായ നിയമങ്ങൾ പാലിക്കാത്തതും കാരണം ഡാറ്റ പൊതുവായി ലഭ്യമായ വലിയ കോർപ്പറേഷനുകളെയും സ്റ്റാർട്ടപ്പുകളെ കുറിച്ചും ധാരാളം വാർത്തകൾ ഉണ്ട്.

അത്തരമൊരു ലളിതമായ ചിത്രം പോലും ഒരു ഡാറ്റ തടാകം എന്താണെന്നും പരമ്പരാഗത ഡാറ്റ വെയർഹൗസിൽ നിന്നുള്ള വ്യത്യാസങ്ങളും അതിന്റെ പ്രധാന ഘടകങ്ങളും സങ്കൽപ്പിക്കാൻ ഞങ്ങളെ സഹായിക്കുന്നു:

1. ഡാറ്റ ലോഡുചെയ്യുന്നു (ഇൻഗെഷൻ) ഡാറ്റാ തടാകത്തിന്റെ ഒരു പ്രധാന ഘടകമാണ്. ഡാറ്റയ്ക്ക് രണ്ട് തരത്തിൽ ഡാറ്റ വെയർഹൗസിലേക്ക് പ്രവേശിക്കാൻ കഴിയും - ബാച്ച് (ഇടവേളകളിൽ ലോഡിംഗ്), സ്ട്രീമിംഗ് (ഡാറ്റ ഫ്ലോ).
2. ഫയൽ സംഭരണം (സംഭരണം) ഡാറ്റ തടാകത്തിന്റെ പ്രധാന ഘടകമാണ്. ഞങ്ങൾക്ക് സ്‌റ്റോറേജ് എളുപ്പത്തിൽ സ്കെയിൽ ചെയ്യാവുന്നതും വളരെ വിശ്വസനീയവും കുറഞ്ഞ ചിലവുള്ളതുമായിരിക്കണം. ഉദാഹരണത്തിന്, AWS-ൽ ഇത് S3 ആണ്.
3. കാറ്റലോഗും തിരയലും (കാറ്റലോഗും തിരയലും) - ഞങ്ങൾക്ക് ഡാറ്റ സ്വാംപ് ഒഴിവാക്കാൻ (ഇത് ഞങ്ങൾ എല്ലാ ഡാറ്റയും ഒരു ചിതയിൽ വലിച്ചെറിയുമ്പോഴാണ്, തുടർന്ന് അത് ഉപയോഗിച്ച് പ്രവർത്തിക്കുന്നത് അസാധ്യമാണ്), ഡാറ്റയെ തരംതിരിക്കുന്നതിന് ഞങ്ങൾ ഒരു മെറ്റാഡാറ്റ ലെയർ സൃഷ്ടിക്കേണ്ടതുണ്ട്. അതിനാൽ ഉപയോക്താക്കൾക്ക് വിശകലനത്തിന് ആവശ്യമായ ഡാറ്റ എളുപ്പത്തിൽ കണ്ടെത്താനാകും. കൂടാതെ, നിങ്ങൾക്ക് ElasticSearch പോലുള്ള അധിക തിരയൽ പരിഹാരങ്ങൾ ഉപയോഗിക്കാം. ഉപയോക്തൃ സൗഹൃദ ഇന്റർഫേസിലൂടെ ആവശ്യമായ ഡാറ്റ കണ്ടെത്താൻ തിരയൽ ഉപയോക്താവിനെ സഹായിക്കുന്നു.
4. പ്രോസസ്സ് ചെയ്യുന്നു (പ്രക്രിയ) - ഡാറ്റ പ്രോസസ്സ് ചെയ്യുന്നതിനും പരിവർത്തനം ചെയ്യുന്നതിനും ഈ ഘട്ടം ഉത്തരവാദിയാണ്. ഞങ്ങൾക്ക് ഡാറ്റ രൂപാന്തരപ്പെടുത്താനും അതിന്റെ ഘടന മാറ്റാനും വൃത്തിയാക്കാനും മറ്റും കഴിയും.
5. സുരക്ഷ (സുരക്ഷ) - പരിഹാരത്തിന്റെ സുരക്ഷാ രൂപകൽപ്പനയിൽ സമയം ചെലവഴിക്കേണ്ടത് പ്രധാനമാണ്. ഉദാഹരണത്തിന്, സ്റ്റോറേജ്, പ്രോസസ്സിംഗ്, ലോഡിംഗ് സമയത്ത് ഡാറ്റ എൻക്രിപ്ഷൻ. പ്രാമാണീകരണ, അംഗീകാര രീതികൾ ഉപയോഗിക്കുന്നത് പ്രധാനമാണ്. അവസാനമായി, ഒരു ഓഡിറ്റ് ഉപകരണം ആവശ്യമാണ്.

ഒരു പ്രായോഗിക വീക്ഷണകോണിൽ നിന്ന്, നമുക്ക് മൂന്ന് ആട്രിബ്യൂട്ടുകൾ ഉപയോഗിച്ച് ഒരു ഡാറ്റ തടാകത്തെ വിശേഷിപ്പിക്കാം:

1. എന്തും ശേഖരിച്ച് സൂക്ഷിക്കുക — ഡാറ്റാ തടാകത്തിൽ എല്ലാ ഡാറ്റയും അടങ്ങിയിരിക്കുന്നു, ഏത് സമയത്തേയും പ്രോസസ്സ് ചെയ്യാത്ത ഡാറ്റയും പ്രോസസ്സ് ചെയ്ത/ക്ലീൻ ചെയ്ത ഡാറ്റയും.
2. ആഴത്തിലുള്ള പരിശോധന — ഡാറ്റ പര്യവേക്ഷണം ചെയ്യാനും വിശകലനം ചെയ്യാനും ഒരു ഡാറ്റ തടാകം ഉപയോക്താക്കളെ അനുവദിക്കുന്നു.
3. ഫ്ലെക്സിബിൾ ആക്സസ് - ഡാറ്റാ തടാകം വ്യത്യസ്ത ഡാറ്റകൾക്കും വ്യത്യസ്ത സാഹചര്യങ്ങൾക്കും ഫ്ലെക്സിബിൾ ആക്സസ് നൽകുന്നു.

ഇപ്പോൾ നമുക്ക് ഒരു ഡാറ്റ വെയർഹൗസും ഒരു ഡാറ്റ തടാകവും തമ്മിലുള്ള വ്യത്യാസത്തെക്കുറിച്ച് സംസാരിക്കാം. സാധാരണയായി ആളുകൾ ചോദിക്കുന്നു:

• ഡാറ്റ വെയർഹൗസിന്റെ കാര്യമോ?
• ഞങ്ങൾ ഡാറ്റ വെയർഹൗസിനെ ഒരു ഡാറ്റ തടാകം ഉപയോഗിച്ച് മാറ്റിസ്ഥാപിക്കുകയാണോ അതോ ഞങ്ങൾ അത് വികസിപ്പിക്കുകയാണോ?
• ഒരു ഡാറ്റ തടാകം ഇല്ലാതെ ചെയ്യാൻ ഇപ്പോഴും സാധ്യമാണോ?

ചുരുക്കത്തിൽ, വ്യക്തമായ ഉത്തരം ഇല്ല. ഇതെല്ലാം നിർദ്ദിഷ്ട സാഹചര്യം, ടീമിന്റെ കഴിവുകൾ, ബജറ്റ് എന്നിവയെ ആശ്രയിച്ചിരിക്കുന്നു. ഉദാഹരണത്തിന്, ഒറാക്കിളിലേക്ക് ഒരു ഡാറ്റ വെയർഹൗസ് AWS-ലേക്ക് മൈഗ്രേറ്റ് ചെയ്യുകയും ഒരു ആമസോൺ അനുബന്ധ സ്ഥാപനമായ വൂട്ട് - ഒരു ഡാറ്റ തടാകം സൃഷ്ടിക്കുകയും ചെയ്യുന്നു. ഞങ്ങളുടെ ഡാറ്റാ തടാക കഥ: AWS-ൽ Woot.com എങ്ങനെയാണ് ഒരു സെർവർലെസ്സ് ഡാറ്റ തടാകം നിർമ്മിച്ചത്.

മറുവശത്ത്, വെണ്ടർ സ്നോഫ്ലെക്ക് പറയുന്നു, നിങ്ങൾ ഇനി ഒരു ഡാറ്റ തടാകത്തെക്കുറിച്ച് ചിന്തിക്കേണ്ടതില്ല, കാരണം അവരുടെ ഡാറ്റ പ്ലാറ്റ്ഫോം (2020 വരെ ഇത് ഒരു ഡാറ്റ വെയർഹൗസായിരുന്നു) ഒരു ഡാറ്റ തടാകവും ഡാറ്റ വെയർഹൗസും സംയോജിപ്പിക്കാൻ നിങ്ങളെ അനുവദിക്കുന്നു. സ്നോഫ്ലേക്കിനൊപ്പം ഞാൻ അധികം പ്രവർത്തിച്ചിട്ടില്ല, ഇത് ശരിക്കും ചെയ്യാൻ കഴിയുന്ന ഒരു അതുല്യ ഉൽപ്പന്നമാണ്. പ്രശ്നത്തിന്റെ വില മറ്റൊരു കാര്യമാണ്.

ഉപസംഹാരമായി, ഞങ്ങളുടെ റിപ്പോർട്ടിംഗിനായി ഡാറ്റയുടെ പ്രധാന ഉറവിടമായി ഞങ്ങൾക്ക് ഇപ്പോഴും ഒരു ഡാറ്റ വെയർഹൗസ് ആവശ്യമാണെന്നാണ് എന്റെ വ്യക്തിപരമായ അഭിപ്രായം, ഒപ്പം അനുയോജ്യമല്ലാത്തത് ഞങ്ങൾ ഒരു ഡാറ്റ തടാകത്തിൽ സംഭരിക്കുന്നു. തീരുമാനങ്ങൾ എടുക്കുന്നതിന് ബിസിനസ്സിന് എളുപ്പത്തിൽ പ്രവേശനം നൽകുക എന്നതാണ് അനലിറ്റിക്സിന്റെ മുഴുവൻ പങ്ക്. ഒരാൾ എന്ത് പറഞ്ഞാലും, ബിസിനസ്സ് ഉപയോക്താക്കൾ ഡാറ്റാ തടാകത്തേക്കാൾ കൂടുതൽ കാര്യക്ഷമമായി ഒരു ഡാറ്റ വെയർഹൗസിൽ പ്രവർത്തിക്കുന്നു, ഉദാഹരണത്തിന് ആമസോണിൽ - റെഡ്ഷിഫ്റ്റ് (അനലിറ്റിക്കൽ ഡാറ്റ വെയർഹൗസ്) ഉണ്ട്, റെഡ്ഷിഫ്റ്റ് സ്പെക്ട്രം/അഥീന (S3-ലെ ഡാറ്റാ തടാകത്തിന് SQL ഇന്റർഫേസ് എന്നിവയുണ്ട്. ഹൈവ്/പ്രെസ്റ്റോ). മറ്റ് ആധുനിക അനലിറ്റിക്കൽ ഡാറ്റ വെയർഹൗസുകൾക്കും ഇത് ബാധകമാണ്.

ഒരു സാധാരണ ഡാറ്റ വെയർഹൗസ് ആർക്കിടെക്ചർ നോക്കാം:

ഇതൊരു ക്ലാസിക് പരിഹാരമാണ്. ഞങ്ങൾക്ക് ഉറവിട സംവിധാനങ്ങളുണ്ട്, ETL/ELT ഉപയോഗിച്ച് ഞങ്ങൾ ഡാറ്റ ഒരു അനലിറ്റിക്കൽ ഡാറ്റ വെയർഹൗസിലേക്ക് പകർത്തി ഒരു ബിസിനസ് ഇന്റലിജൻസ് സൊല്യൂഷനിലേക്ക് കണക്റ്റുചെയ്യുന്നു (എനിക്ക് പ്രിയപ്പെട്ടത് ടേബിൾ ആണ്, നിങ്ങളുടേത് എന്താണ്?).

ഈ പരിഹാരത്തിന് ഇനിപ്പറയുന്ന ദോഷങ്ങളുമുണ്ട്:

• ETL/ELT പ്രവർത്തനങ്ങൾക്ക് സമയവും വിഭവങ്ങളും ആവശ്യമാണ്.
• ചട്ടം പോലെ, ഒരു അനലിറ്റിക്കൽ ഡാറ്റ വെയർഹൗസിൽ ഡാറ്റ സംഭരിക്കുന്നതിനുള്ള മെമ്മറി വിലകുറഞ്ഞതല്ല (ഉദാഹരണത്തിന്, Redshift, BigQuery, Teradata), ഞങ്ങൾ ഒരു മുഴുവൻ ക്ലസ്റ്ററും വാങ്ങേണ്ടതുണ്ട്.
• ബിസിനസ്സ് ഉപയോക്താക്കൾക്ക് വൃത്തിയാക്കിയതും പലപ്പോഴും സംഗ്രഹിച്ചതുമായ ഡാറ്റയിലേക്ക് ആക്‌സസ് ഉണ്ട്, കൂടാതെ റോ ഡാറ്റയിലേക്ക് ആക്‌സസ് ഇല്ല.

തീർച്ചയായും, ഇതെല്ലാം നിങ്ങളുടെ കേസിനെ ആശ്രയിച്ചിരിക്കുന്നു. നിങ്ങളുടെ ഡാറ്റ വെയർഹൗസിൽ നിങ്ങൾക്ക് പ്രശ്‌നങ്ങളില്ലെങ്കിൽ, നിങ്ങൾക്ക് ഒരു ഡാറ്റാ തടാകം ആവശ്യമില്ല. എന്നാൽ സ്ഥലമോ വൈദ്യുതിയോ വിലയോ ഇല്ലാത്തതിനാൽ പ്രശ്നങ്ങൾ ഉണ്ടാകുമ്പോൾ, നിങ്ങൾക്ക് ഒരു ഡാറ്റ തടാകത്തിന്റെ ഓപ്ഷൻ പരിഗണിക്കാം. അതുകൊണ്ടാണ് ഡാറ്റ തടാകം വളരെ ജനപ്രിയമായത്. ഡാറ്റ തടാക വാസ്തുവിദ്യയുടെ ഒരു ഉദാഹരണം ഇതാ:

ഡാറ്റാ തടാക സമീപനം ഉപയോഗിച്ച്, ഞങ്ങളുടെ ഡാറ്റ തടാകത്തിലേക്ക് (ബാച്ച് അല്ലെങ്കിൽ സ്ട്രീമിംഗ്) ഞങ്ങൾ അസംസ്കൃത ഡാറ്റ ലോഡ് ചെയ്യുന്നു, തുടർന്ന് ഞങ്ങൾ ആവശ്യമായ ഡാറ്റ പ്രോസസ്സ് ചെയ്യുന്നു. ഡാറ്റാ തടാകം ബിസിനസ് ഉപയോക്താക്കളെ അവരുടെ സ്വന്തം ഡാറ്റാ പരിവർത്തനങ്ങൾ (ETL/ELT) സൃഷ്ടിക്കാനോ ബിസിനസ് ഇന്റലിജൻസ് സൊല്യൂഷനുകളിൽ ഡാറ്റ വിശകലനം ചെയ്യാനോ അനുവദിക്കുന്നു (ആവശ്യമായ ഡ്രൈവർ ലഭ്യമെങ്കിൽ).

ഏതൊരു അനലിറ്റിക്സ് സൊല്യൂഷന്റെയും ലക്ഷ്യം ബിസിനസ്സ് ഉപയോക്താക്കൾക്ക് സേവനം നൽകുക എന്നതാണ്. അതിനാൽ, ഞങ്ങൾ എല്ലായ്പ്പോഴും ബിസിനസ്സ് ആവശ്യകതകൾക്കനുസൃതമായി പ്രവർത്തിക്കണം. (ആമസോണിൽ ഇത് തത്വങ്ങളിൽ ഒന്നാണ് - പിന്നോട്ട് പ്രവർത്തിക്കുക).

ഒരു ഡാറ്റ വെയർഹൗസും ഒരു ഡാറ്റ തടാകവും ഉപയോഗിച്ച് പ്രവർത്തിക്കുമ്പോൾ, നമുക്ക് രണ്ട് പരിഹാരങ്ങളും താരതമ്യം ചെയ്യാം:

ഡാറ്റാ വെയർഹൗസ് ഡാറ്റാ തടാകവുമായി മത്സരിക്കുന്നില്ല, മറിച്ച് അതിനെ പൂരകമാക്കുന്നു എന്നതാണ് പ്രധാന നിഗമനം. എന്നാൽ നിങ്ങളുടെ കാര്യത്തിൽ ഏതാണ് അനുയോജ്യമെന്ന് തീരുമാനിക്കേണ്ടത് നിങ്ങളാണ്. ഇത് സ്വയം പരീക്ഷിക്കുകയും ശരിയായ നിഗമനങ്ങളിൽ എത്തിച്ചേരുകയും ചെയ്യുന്നത് എല്ലായ്പ്പോഴും രസകരമാണ്.

ഞാൻ ഡാറ്റാ തടാക സമീപനം ഉപയോഗിക്കാൻ തുടങ്ങിയപ്പോഴുള്ള സന്ദർഭങ്ങളിൽ ഒന്ന് നിങ്ങളോട് പറയാൻ ഞാൻ ആഗ്രഹിക്കുന്നു. എല്ലാം വളരെ നിസ്സാരമാണ്, ഞാൻ ഒരു ELT ടൂളും (ഞങ്ങൾക്ക് Matillion ETL ഉണ്ടായിരുന്നു) ആമസോൺ റെഡ്ഷിഫ്റ്റും ഉപയോഗിക്കാൻ ശ്രമിച്ചു, എന്റെ പരിഹാരം പ്രവർത്തിച്ചു, പക്ഷേ ആവശ്യകതകൾക്ക് അനുയോജ്യമല്ല.

എനിക്ക് 2 കേസുകൾക്കായി ഡാറ്റ നൽകുന്നതിന് വെബ് ലോഗുകൾ എടുക്കുകയും അവയെ രൂപാന്തരപ്പെടുത്തുകയും സമാഹരിക്കുകയും ചെയ്യേണ്ടതുണ്ട്:

1. SEO-യ്‌ക്കായുള്ള ബോട്ട് പ്രവർത്തനം വിശകലനം ചെയ്യാൻ മാർക്കറ്റിംഗ് ടീം ആഗ്രഹിച്ചു
2. വെബ്‌സൈറ്റ് പ്രകടന അളവുകൾ പരിശോധിക്കാൻ ഐടി ആഗ്രഹിച്ചു

വളരെ ലളിതമായ, വളരെ ലളിതമായ ലോഗുകൾ. ഒരു ഉദാഹരണം ഇതാ:

https 2018-07-02T22:23:00.186641Z app/my-loadbalancer/50dc6c495c0c9188 
192.168.131.39:2817 10.0.0.1:80 0.086 0.048 0.037 200 200 0 57 
"GET https://www.example.com:443/ HTTP/1.1" "curl/7.46.0" ECDHE-RSA-AES128-GCM-SHA256 TLSv1.2 
arn:aws:elasticloadbalancing:us-east-2:123456789012:targetgroup/my-targets/73e2d6bc24d8a067
"Root=1-58337281-1d84f3d73c47ec4e58577259" "www.example.com" "arn:aws:acm:us-east-2:123456789012:certificate/12345678-1234-1234-1234-123456789012"
1 2018-07-02T22:22:48.364000Z "authenticate,forward" "-" "-"

ഒരു ഫയലിന് 1-4 മെഗാബൈറ്റ് ഭാരമുണ്ടായിരുന്നു.

എന്നാൽ ഒരു ബുദ്ധിമുട്ട് ഉണ്ടായിരുന്നു. ഞങ്ങൾക്ക് ലോകമെമ്പാടും 7 ഡൊമെയ്‌നുകൾ ഉണ്ടായിരുന്നു, ഒരു ദിവസം 7000 ആയിരം ഫയലുകൾ സൃഷ്‌ടിച്ചു. ഇത് കൂടുതൽ വോളിയമല്ല, 50 ജിഗാബൈറ്റുകൾ മാത്രം. എന്നാൽ ഞങ്ങളുടെ റെഡ്ഷിഫ്റ്റ് ക്ലസ്റ്ററിന്റെ വലിപ്പവും ചെറുതായിരുന്നു (4 നോഡുകൾ). പരമ്പരാഗത രീതിയിൽ ഒരു ഫയൽ ലോഡുചെയ്യാൻ ഒരു മിനിറ്റ് സമയമെടുത്തു. അതായത്, പ്രശ്നം തലനാരിഴയ്ക്ക് പരിഹരിച്ചില്ല. ഡാറ്റാ തടാക സമീപനം ഉപയോഗിക്കാൻ ഞാൻ തീരുമാനിച്ചപ്പോൾ ഇത് സംഭവിച്ചു. പരിഹാരം ഇതുപോലെ കാണപ്പെട്ടു:

ഇത് വളരെ ലളിതമാണ് (ക്ലൗഡിൽ പ്രവർത്തിക്കുന്നതിന്റെ പ്രയോജനം ലാളിത്യമാണെന്ന് ഞാൻ ശ്രദ്ധിക്കാൻ ആഗ്രഹിക്കുന്നു). ഞാൻ ഉപയോഗിച്ചത്:

• കമ്പ്യൂട്ട് പവറിനായി AWS ഇലാസ്റ്റിക് മാപ്പ് കുറയ്ക്കുക (ഹഡൂപ്പ്).
• ഡാറ്റ എൻക്രിപ്റ്റ് ചെയ്യാനും ആക്സസ് പരിമിതപ്പെടുത്താനുമുള്ള കഴിവുള്ള ഫയൽ സംഭരണമായി AWS S3
• InMemory കമ്പ്യൂട്ടിംഗ് പവറായി സ്പാർക്ക്, യുക്തിക്കും ഡാറ്റാ പരിവർത്തനത്തിനും PySpark
• സ്പാർക്കിന്റെ ഫലമായി പാർക്കറ്റ്
• പുതിയ ഡാറ്റയെയും പാർട്ടീഷനുകളേയും കുറിച്ചുള്ള ഒരു മെറ്റാഡാറ്റ കളക്ടർ എന്ന നിലയിൽ AWS Glue Crawler
• നിലവിലുള്ള Redshift ഉപയോക്താക്കൾക്കായി ഡാറ്റ തടാകത്തിലേക്കുള്ള ഒരു SQL ഇന്റർഫേസായി റെഡ്ഷിഫ്റ്റ് സ്പെക്ട്രം

ഏറ്റവും ചെറിയ EMR+Spark ക്ലസ്റ്റർ 30 മിനിറ്റിനുള്ളിൽ മുഴുവൻ ഫയലുകളും പ്രോസസ്സ് ചെയ്തു. AWS-ന് മറ്റ് കേസുകളുണ്ട്, പ്രത്യേകിച്ച് ധാരാളം ഡാറ്റയുള്ള അലക്‌സയുമായി ബന്ധപ്പെട്ട പലതും.

ഒരു ഡാറ്റ തടാകത്തിന്റെ പോരായ്മകളിൽ ഒന്ന് GDPR ആണെന്ന് അടുത്തിടെ ഞാൻ മനസ്സിലാക്കി. ക്ലയന്റ് അത് ഇല്ലാതാക്കാൻ ആവശ്യപ്പെടുകയും ഡാറ്റ ഫയലുകളിലൊന്നിലായിരിക്കുകയും ചെയ്യുമ്പോഴാണ് പ്രശ്‌നം, ഞങ്ങൾക്ക് ഡാറ്റാ മാനിപുലേഷൻ ലാംഗ്വേജ് ഉപയോഗിക്കാനും ഡാറ്റാബേസിലെ പോലെ ഡിലീറ്റ് ഓപ്പറേഷൻ ഉപയോഗിക്കാനും കഴിയില്ല.

ഒരു ഡാറ്റ വെയർഹൗസും ഒരു ഡാറ്റ തടാകവും തമ്മിലുള്ള വ്യത്യാസം ഈ ലേഖനം വ്യക്തമാക്കിയിട്ടുണ്ടെന്ന് ഞാൻ പ്രതീക്ഷിക്കുന്നു. നിങ്ങൾക്ക് താൽപ്പര്യമുണ്ടെങ്കിൽ, എന്റെ കൂടുതൽ ലേഖനങ്ങൾ അല്ലെങ്കിൽ ഞാൻ വായിച്ച പ്രൊഫഷണലുകളുടെ ലേഖനങ്ങൾ എനിക്ക് വിവർത്തനം ചെയ്യാൻ കഴിയും. കൂടാതെ ഞാൻ പ്രവർത്തിക്കുന്ന പരിഹാരങ്ങളെക്കുറിച്ചും അവയുടെ വാസ്തുവിദ്യയെക്കുറിച്ചും പറയുക.

അവലംബം: www.habr.com