ഡാറ്റാ എഞ്ചിനീയർ അല്ലെങ്കിൽ ഡൈ: ഒരു ഡവലപ്പറുടെ കഥ

ഡിസംബറിന്റെ തുടക്കത്തിൽ, ഞാൻ ഒരു മാരകമായ തെറ്റ് വരുത്തി, ഒരു ഡെവലപ്പർ എന്ന നിലയിൽ എന്റെ ജീവിതത്തിൽ ഒരു വഴിത്തിരിവ് ഉണ്ടാക്കി, കമ്പനിക്കുള്ളിലെ ഡാറ്റാ എഞ്ചിനീയറിംഗ് (DE) ടീമിലേക്ക് മാറി. ഈ ലേഖനത്തിൽ ഞാൻ DE ടീമിൽ ജോലി ചെയ്ത രണ്ടു മാസത്തിനിടെ നടത്തിയ ചില നിരീക്ഷണങ്ങൾ പങ്കുവെക്കും.

എന്തുകൊണ്ട് ഡാറ്റ എഞ്ചിനീയറിംഗ്?

2019-ലെ വേനൽക്കാലത്ത് DE-യിലേക്കുള്ള എന്റെ യാത്ര ആരംഭിച്ചു എക്സ്നെഗ് നമുക്ക് പോകാം സ്കൂൾ ഓഫ് ഡിസ്ട്രിബ്യൂട്ടഡ് കമ്പ്യൂട്ടിംഗ്, അവിടെ ഞാൻ ജ്ഞാനോദയം നേടി. വിഷയത്തിലും അൽഗോരിതങ്ങൾ പഠിക്കുന്നതിലും അവയെക്കുറിച്ച് പോലും ഞാൻ താൽപ്പര്യപ്പെടാൻ തുടങ്ങി എഴുതാൻ, തുടർന്ന് ആപ്ലിക്കേഷന്റെ വ്യാപ്തിയെക്കുറിച്ച് ചിന്തിച്ചു, ഞങ്ങളുടെ കമ്പനിയിലെ പ്രായോഗിക ആപ്ലിക്കേഷൻ വിതരണം ചെയ്ത ഡാറ്റാബേസുകളാണെന്ന് പെട്ടെന്ന് കണ്ടെത്തി.

ഞങ്ങളുടെ ടീം കൃത്യമായി എന്താണ് ചെയ്യുന്നത്? എല്ലാ ഫാഷനബിൾ ആൺകുട്ടികളെയും പെൺകുട്ടികളെയും പോലെ ഞങ്ങളും ഒരു ഡാറ്റ ഡ്രൈവൺ കമ്പനിയാകാൻ ആഗ്രഹിക്കുന്നു. ഇത് സാധ്യമാകുന്നതിന്, കമ്പനിക്ക് ആവശ്യമായ ഏത് റിപ്പോർട്ടുകളും നിർമ്മിക്കാൻ ഉപയോഗിക്കാവുന്ന വിശ്വസനീയമായ ഒരു സ്റ്റോറേജ് സൗകര്യമെങ്കിലും ഞങ്ങൾ നിർമ്മിക്കേണ്ടതുണ്ട്. എന്നാൽ ഈ സ്റ്റോറേജിലെ ഡാറ്റ വിശ്വസനീയമായിരിക്കണം എന്നതാണ് ഏറ്റവും പ്രധാനപ്പെട്ട കാര്യം. മാത്രമല്ല, ഈ ഡാറ്റ ഉപയോഗിച്ച്, നിങ്ങൾക്ക് ടി സമയത്ത് സിസ്റ്റത്തിന്റെ അവസ്ഥ പുനഃസ്ഥാപിക്കാൻ കഴിയണം. മൈക്രോസർവീസുകളുടെ ധീരമായ ഒരു പുതിയ ലോകത്താണ് നമ്മൾ ജീവിക്കുന്നത് എന്ന വസ്തുതയാൽ ഇതെല്ലാം സങ്കീർണ്ണമാണ്, കൂടാതെ ഈ പ്രത്യയശാസ്ത്രം സൂചിപ്പിക്കുന്നത് ഓരോ സേവനവും അതിന്റേതായ ചെറിയ പ്രവർത്തനം നടപ്പിലാക്കുന്നു, അതിന്റെ ഡാറ്റാബേസ് അതിന്റെ സ്വന്തം ബിസിനസ്സാണ്, മാത്രമല്ല അത് എല്ലാ ദിവസവും ഇല്ലാതാക്കാൻ കഴിയും, എന്നാൽ അതേ സമയം സേവനത്തിന്റെ അവസ്ഥ സ്വീകരിക്കാനും പ്രോസസ്സ് ചെയ്യാനും ഞങ്ങൾക്ക് കഴിയണം.

നിങ്ങൾക്ക് ഡാറ്റ ഡ്രൈവ് ആകണമെങ്കിൽ ആദ്യം ഇവന്റ് ഡ്രൈവ് ആകുക

അത്ര ലളിതമല്ല. ഇവന്റുകൾ വ്യത്യസ്തമാണ്, ഡെവലപ്പറും ഡാറ്റാ എഞ്ചിനീയറും അവയെ വ്യത്യസ്തമായി കാണുന്നു. സംഭവങ്ങളെക്കുറിച്ച് സംസാരിക്കുന്നത് ഒരു പ്രത്യേക ലേഖനത്തിനുള്ള വിഷയമാണ്, അതിനാൽ ഞാൻ അതിലേക്ക് ഇവിടെ പോകുന്നില്ല. കൂടാതെ, അത്തരമൊരു ലേഖനം ഇതിനകം ഉണ്ട് എഴുതി ഒരു മാർട്ടിൻ ഫൗളർ, ഞാൻ അവന്റെ ബഹുമതികൾ എടുത്തുകളയുകയില്ല, അവനും പ്രശസ്തനാകട്ടെ.

പൊതുവേ, ചിന്തിക്കാൻ ഒരുപാട് കാര്യങ്ങളുണ്ട്, അതുകൊണ്ടാണ് ഈ പ്രദേശം ആകർഷകമായത്. ഞങ്ങളുടെ കമ്പനിയിൽ, ETL/ELT പൈപ്പ്‌ലൈനുകൾ എഴുതുന്ന ഒരു വ്യക്തിയേക്കാൾ കൂടുതൽ ഉത്തരവാദിത്തമുള്ള ഒരു മേഖലയാണ് ഡാറ്റാ എഞ്ചിനീയർ (ഈ ചുരുക്കെഴുത്തുകൾ എന്താണ് അർത്ഥമാക്കുന്നത് എന്ന് നിങ്ങൾക്ക് അറിയില്ലെങ്കിൽ, വരിക കൂടിക്കാഴ്ച. സന്ദർഭോചിതമായ പരസ്യം എന്ന നിലയിൽ).

സ്റ്റോറേജ് ആർക്കിടെക്ചർ, ഡാറ്റ മോഡലിംഗ്, ഡാറ്റ സുരക്ഷയുമായി ബന്ധപ്പെട്ട പ്രശ്നങ്ങൾ, പൈപ്പ് ലൈനുകൾ എന്നിവ ഞങ്ങൾ കൈകാര്യം ചെയ്യുന്നു. ഒരു വശത്ത്, ഞങ്ങളുടെ സാന്നിധ്യം ഉൽപ്പന്ന ഡെവലപ്പർമാർക്ക് വളരെ ഭാരമല്ലെന്നും സിസ്റ്റത്തിലേക്ക് പുതിയ സവിശേഷതകൾ മുറിക്കുമ്പോൾ ഞങ്ങളുടെ ആവശ്യകതകളാൽ അവർ കഴിയുന്നത്ര ശ്രദ്ധ തിരിക്കണമെന്നും ഞങ്ങൾ ഉറപ്പാക്കേണ്ടതുണ്ട്, മറുവശത്ത്, ഞങ്ങൾ അനലിസ്റ്റുകൾക്കും ബിഐ ടീമിനുമായി അവ സ്റ്റോറേജ് ഡാറ്റയിൽ സൗകര്യപ്രദമായി നൽകേണ്ടതുണ്ട്. അങ്ങനെയാണ് നമ്മൾ ജീവിക്കുന്നത്.

വികസനത്തിൽ നിന്ന് മാറുമ്പോൾ ബുദ്ധിമുട്ടുകൾ

എന്റെ ആദ്യ ജോലി ദിവസം, ഞാൻ നിങ്ങളുമായി പങ്കിടാൻ ആഗ്രഹിക്കുന്ന നിരവധി ബുദ്ധിമുട്ടുകൾ നേരിട്ടു.

1. ഞാൻ ആദ്യം കണ്ടത് ട്യൂളിങ്ങിന്റെയും ചില അഭ്യാസങ്ങളുടെയും അഭാവമാണ്. ഉദാഹരണത്തിന്, ടെസ്റ്റുകൾക്കൊപ്പം കോഡ് കവറേജ് എടുക്കുക. ഞങ്ങൾക്ക് വികസനത്തിൽ നൂറുകണക്കിന് ടെസ്റ്റിംഗ് ചട്ടക്കൂടുകൾ ഉണ്ട്. ഡാറ്റയുമായി പ്രവർത്തിക്കുമ്പോൾ, എല്ലാം കൂടുതൽ സങ്കീർണ്ണമാണ്. അതെ, ഞങ്ങൾക്ക് ടെസ്റ്റ് ഡാറ്റയിൽ ETL പൈപ്പ്ലൈനുകൾ പരിശോധിക്കാൻ കഴിയും, എന്നാൽ ഞങ്ങൾ എല്ലാം സ്വമേധയാ ചെയ്യേണ്ടതുണ്ട്, ഓരോ നിർദ്ദിഷ്ട കേസിനും പരിഹാരങ്ങൾക്കായി നോക്കണം. തൽഫലമായി, ടെസ്റ്റ് കവറേജ് വളരെ മോശമാണ്. ഭാഗ്യവശാൽ, നിരീക്ഷണത്തിന്റെയും ലോഗുകളുടെയും രൂപത്തിൽ ഫീഡ്‌ബാക്കിന്റെ മറ്റൊരു തലമുണ്ട്, എന്നാൽ ഇത് ഇതിനകം തന്നെ സജീവമായി പ്രതികരിക്കുന്നതിന് പകരം ക്രിയാത്മകമായി പ്രതികരിക്കേണ്ടതുണ്ട്, ഇത് പ്രകോപിപ്പിക്കുന്നതും അസ്വസ്ഥമാക്കുന്നതുമാണ്.

2. ഒരു DE വീക്ഷണകോണിൽ നിന്നുള്ള ലോകം ഒരു സാധാരണ ഉൽപ്പന്ന ഡെവലപ്പർക്ക് തോന്നുന്നത് പോലെയല്ല (ശരി, തീർച്ചയായും, വായനക്കാരൻ അങ്ങനെയല്ല, അയാൾക്ക് ഇതിനകം എല്ലാം അറിയാം, പക്ഷേ എനിക്കറിയില്ലായിരുന്നു, ഇപ്പോൾ ഞാൻ അത് സ്ക്രൂ ചെയ്യുന്നു). ഒരു ഡെവലപ്പർ എന്ന നിലയിൽ, ഞാൻ എന്റെ സ്വന്തം മൈക്രോ സർവീസ് സൃഷ്‌ടിക്കുന്നു, ഡാറ്റ [നിങ്ങൾ തിരഞ്ഞെടുത്ത ഡാറ്റാബേസിൽ] ഇടുന്നു, അവിടെ എന്റെ അവസ്ഥ സംരക്ഷിക്കുന്നു, ഐഡി പ്രകാരം എന്തെങ്കിലും നേടുക, അത് നല്ലതാണ്. സേവനം മന്ദഗതിയിലാണ്, ഓർഡറുകൾ ആശയക്കുഴപ്പത്തിലാക്കുന്നു, അത്രമാത്രം. എന്റെ സംസ്ഥാനം മറ്റൊരു സേവനത്തിൽ തിരയാൻ അവർ എന്നോട് ആവശ്യപ്പെടുന്നു, അതിനാൽ ഞാൻ ചില RabbitMQ-ലേക്ക് ഒരു ഇവന്റ് ഇടാം, അത്രമാത്രം. ഇവിടെ ഞങ്ങൾ വീണ്ടും മുകളിൽ വിവരിച്ച സംഭവങ്ങളുടെ പ്രശ്നത്തിലേക്ക് മടങ്ങി.

പ്രവർത്തന പ്രവർത്തനത്തിന് ആവശ്യമായ സേവനങ്ങൾ ചരിത്രപരമായ ഡാറ്റയ്ക്ക് ഞങ്ങൾക്ക് അനുയോജ്യമല്ല, അതിനാൽ സേവന കരാറുകളുടെ പുനർനിർമ്മാണത്തിന്റെയും വികസന ടീമുകളുമായുള്ള അടുത്ത പ്രവർത്തനത്തിന്റെയും ചോദ്യം ആരംഭിക്കുന്നു. ഞങ്ങൾ സമ്മതിക്കാൻ എത്ര മണിക്കൂർ എടുത്തുവെന്ന് നിങ്ങൾക്ക് സങ്കൽപ്പിക്കാൻ പോലും കഴിയില്ല: ഞങ്ങളുടെ കമ്പനിയിൽ അവൻ ഏത് തരത്തിലുള്ള ഇവന്റാണ് നയിക്കുന്നത്.

3. നിങ്ങളുടെ തല കൊണ്ട് ചിന്തിക്കണം. ഇല്ല, ഡവലപ്പർമാർ ചിന്തിക്കുന്നില്ല എന്നല്ല ഞാൻ അർത്ഥമാക്കുന്നത് (എല്ലാവർക്കും വേണ്ടി സംസാരിക്കാൻ ഞാൻ ആരാണെന്ന് ആണെങ്കിലും), ഉൽപ്പന്ന വികസനത്തിൽ പലപ്പോഴും നിങ്ങൾക്ക് ഇതിനകം ഏതെങ്കിലും തരത്തിലുള്ള ആർക്കിടെക്ചർ ഉണ്ട്, കൂടാതെ നിങ്ങൾ ബാക്ക്‌ലോഗിൽ നിന്ന് വ്യത്യസ്തമായ ഷഫിളുകൾ വെട്ടിക്കളഞ്ഞു. തീർച്ചയായും, ഇതിന് ആസൂത്രണവും ചിന്തയും ആവശ്യമാണ്, എന്നാൽ ഇത് സ്ട്രീം വർക്കാണ്, ഇവിടെ പ്രധാന പ്രശ്നം അത് നല്ലതും കാര്യക്ഷമവുമായി ചെയ്യുക എന്നതാണ്.

ഞങ്ങളെ സംബന്ധിച്ചിടത്തോളം ഇത് അത്ര ലളിതമല്ല, കാരണം വിവിധ സിസ്റ്റം ഘടകങ്ങൾ ഊഷ്മളവും സുഖപ്രദവുമായ മോണോലിത്തിൽ നിന്ന് വന്യമായ മൈക്രോസർവീസ് കാടിന്റെ ലോകത്തേക്ക് മാറ്റുന്നത് അത്ര ലളിതമല്ല. സേവനം ഇവന്റുകൾ തുപ്പാൻ തുടങ്ങുമ്പോൾ, സംഭരണം പൂരിപ്പിക്കുന്നതിനുള്ള യുക്തി നിങ്ങൾ പുനർവിചിന്തനം ചെയ്യേണ്ടതുണ്ട്, കാരണം ഡാറ്റ ഇപ്പോൾ വ്യത്യസ്തമായി കാണപ്പെടുന്നു. ഇവിടെയാണ് നിങ്ങൾ ഒരു ഡവലപ്പർ എന്ന നിലയിലല്ല, ഒരു ഡാറ്റാ എഞ്ചിനീയർ എന്ന നിലയിൽ വളരെയധികം സമഗ്രമായി ചിന്തിക്കേണ്ടത്. നിങ്ങൾ ഒരു നോട്ട്ബുക്കും പേനയുമായി അല്ലെങ്കിൽ ബോർഡിൽ ഒരു മാർക്കറുമായി ദിവസങ്ങൾ ചെലവഴിക്കുമ്പോൾ ഇത് ഒരു സാധാരണ കഥയാണ്. ഇത് വളരെ ബുദ്ധിമുട്ടാണ്, ഞാൻ ചിന്തിക്കാൻ ഇഷ്ടപ്പെടുന്നില്ല, എനിക്ക് നിർമ്മാണവും ഇഷ്ടമാണ്.

4. ഒരുപക്ഷേ ഏറ്റവും പ്രധാനപ്പെട്ട കാര്യം വിവരമാണ്. അറിവില്ലാത്തപ്പോൾ നമ്മൾ എന്തു ചെയ്യും? ആരാണ് സ്റ്റാക്ക്ഓവർഫ്ലോ പറഞ്ഞത്? ഈ വ്യക്തിയെ മുറിയിൽ നിന്ന് പുറത്താക്കുക. ഞങ്ങൾ ഡോക്യുമെന്റുകളും വിഷയത്തെക്കുറിച്ചുള്ള പുസ്തകങ്ങളും വായിക്കാൻ പോകുന്നു, ഫോറങ്ങളും മീറ്റപ്പുകളും കോൺഫറൻസുകളും സംഘടിപ്പിക്കുന്ന ഒരു കമ്മ്യൂണിറ്റിയും ഉണ്ട്. ഡോക്യുമെന്റേഷൻ മികച്ചതാണ്, പക്ഷേ നിർഭാഗ്യവശാൽ അത് അപൂർണ്ണമായിരിക്കും. ഞങ്ങൾ നിരവധി പ്രോജക്‌റ്റുകളിൽ കോസ്‌മോസ് ഡിബി ഉപയോഗിക്കുന്നു. ഈ ഉൽപ്പന്നത്തിനായുള്ള ഡോക്യുമെന്റേഷൻ വായിക്കാൻ ഭാഗ്യം. പുസ്തകങ്ങൾ മാത്രമാണ് രക്ഷ; ഭാഗ്യവശാൽ, അവ നിലവിലുണ്ട്, കണ്ടെത്താനാകും, അവയിൽ ധാരാളം അടിസ്ഥാനപരമായ അറിവുകൾ അടങ്ങിയിരിക്കുന്നു, നിങ്ങൾ ധാരാളം നിരന്തരം വായിക്കേണ്ടതുണ്ട്. പക്ഷേ പ്രശ്നം സമൂഹത്തിന്റെതാണ്.

ഇപ്പോൾ ഞങ്ങളുടെ പ്രദേശത്ത് മതിയായ ഒരു കോൺഫറൻസോ മീറ്റിംഗോ കണ്ടെത്താൻ പ്രയാസമാണ്. ഇല്ല, തീർച്ചയായും, ഡാറ്റ എന്ന വാക്ക് ഉപയോഗിച്ച് ധാരാളം മീറ്റപ്പുകൾ ഉണ്ട്, എന്നാൽ ഈ വാക്കിന് അടുത്തായി സാധാരണയായി ML അല്ലെങ്കിൽ AI പോലുള്ള വിചിത്രമായ ചുരുക്കെഴുത്തുകൾ ഉണ്ട്. അതിനാൽ, ഇത് ഞങ്ങൾക്ക് വേണ്ടിയല്ല, സ്റ്റോറേജ് സൗകര്യങ്ങൾ എങ്ങനെ നിർമ്മിക്കാം എന്നതിനെക്കുറിച്ചാണ് നമ്മൾ സംസാരിക്കുന്നത്, അല്ലാതെ ന്യൂറോണുകൾ ഉപയോഗിച്ച് സ്വയം എങ്ങനെ സ്മിയർ ചെയ്യാം എന്നല്ല. ഈ ഹിപ്സ്റ്ററുകൾ എല്ലാം ഏറ്റെടുത്തു. തൽഫലമായി, ഞങ്ങൾക്ക് ഒരു സമൂഹവുമില്ല. വഴിയിൽ, നിങ്ങൾ ഒരു ഡാറ്റാ എഞ്ചിനീയർ ആണെങ്കിൽ നല്ല കമ്മ്യൂണിറ്റികളെ അറിയാമെങ്കിൽ, ദയവായി അഭിപ്രായങ്ങളിൽ എഴുതുക.

യോഗത്തിന്റെ സമാപനങ്ങളും പ്രഖ്യാപനങ്ങളും

നമ്മൾ എന്തിൽ അവസാനിക്കും? ഒരു ഡാറ്റാ എഞ്ചിനീയറുടെ ഷൂസിലുള്ള തോന്നൽ ഓരോ ഡവലപ്പർക്കും ഉപയോഗപ്രദമാകുമെന്ന് എന്റെ ആദ്യ അനുഭവം എന്നോട് പറയുന്നു. കാര്യങ്ങളെ വ്യത്യസ്തമായി കാണാനും ഡവലപ്പർമാർ അവരുടെ ഡാറ്റയെ എങ്ങനെ കൈകാര്യം ചെയ്യുന്നുവെന്ന് കാണുമ്പോൾ നമ്മുടെ കണ്ണുകളിൽ രക്തം വീഴുമ്പോൾ ആശ്ചര്യപ്പെടാതിരിക്കാനും ഇത് ഞങ്ങളെ അനുവദിക്കുന്നു. അതിനാൽ, നിങ്ങളുടെ കമ്പനിയിൽ ഒരു DE ഉണ്ടെങ്കിൽ, ഇവരോട് സംസാരിക്കുക, നിങ്ങൾ ഒരുപാട് പുതിയ കാര്യങ്ങൾ (നിങ്ങളെക്കുറിച്ച്) പഠിക്കും.

ഒടുവിൽ പ്രഖ്യാപനവും. പകൽ സമയത്ത് ഞങ്ങളുടെ വിഷയത്തിൽ മീറ്റുകൾ കണ്ടെത്തുന്നത് ബുദ്ധിമുട്ടായതിനാൽ, ഞങ്ങൾ സ്വന്തമായി നിർമ്മിക്കാൻ തീരുമാനിച്ചു. എന്തുകൊണ്ടാണ് നമ്മൾ മോശമായിരിക്കുന്നത്? ഭാഗ്യവശാൽ ഞങ്ങൾക്കൊരു അത്ഭുതമുണ്ട് Schvepsss ഞങ്ങളുടെ സുഹൃത്തുക്കളും പുതിയ പ്രൊഫഷൻസ് ലാബ്, ഞങ്ങളെപ്പോലെ, ഡാറ്റാ എഞ്ചിനീയർമാർക്ക് അന്യായമായി ശ്രദ്ധ നഷ്ടപ്പെടുന്നതായി അവർ കരുതുന്നു.

ഈ അവസരം ഉപയോഗിച്ച്, 27.02.2020 ഫെബ്രുവരി XNUMX-ന് ഡോഡോ പിസ്സ ഓഫീസിൽ നടക്കുന്ന "DE അല്ലെങ്കിൽ DIE" എന്ന വാഗ്ദാനമായ തലക്കെട്ടോടെ ഞങ്ങളുടെ ആദ്യ കമ്മ്യൂണിറ്റി മീറ്റിംഗിലേക്ക് വരാൻ താൽപ്പര്യമുള്ള എല്ലാവരെയും ഞാൻ ക്ഷണിക്കുന്നു. വിശദാംശങ്ങൾ എന്നതിൽ ടൈംപാഡ്.

എന്തെങ്കിലും സംഭവിക്കുകയാണെങ്കിൽ, ഞാൻ അവിടെ ഉണ്ടാകും, ഡെവലപ്പർമാരെ സംബന്ധിച്ച് ഞാൻ എത്രമാത്രം തെറ്റാണെന്ന് നിങ്ങൾക്ക് വ്യക്തിപരമായി എന്റെ മുഖത്തോട് പറയാനാകും.

അവലംബം: www.habr.com