വലുതും ചെറുതുമായ ഡാറ്റാ ടെസ്റ്റർ: ട്രെൻഡുകൾ, സിദ്ധാന്തം, എന്റെ കഥ

എല്ലാവർക്കും ഹലോ, എന്റെ പേര് അലക്‌സാണ്ടർ എന്നാണ്, ഞാൻ ഡാറ്റ ഗുണനിലവാരം പരിശോധിക്കുന്ന ഒരു ഡാറ്റാ ക്വാളിറ്റി എഞ്ചിനീയറാണ്. ഈ ലേഖനം ഞാൻ ഇതിലേക്ക് എങ്ങനെ വന്നുവെന്നും 2020 ൽ ഈ പരീക്ഷണ മേഖല ഒരു തരംഗത്തിന്റെ കൊടുമുടിയിലായത് എന്തുകൊണ്ടാണെന്നും സംസാരിക്കും.

ആഗോള പ്രവണത

ഇന്നത്തെ ലോകം മറ്റൊരു സാങ്കേതിക വിപ്ലവം അനുഭവിക്കുകയാണ്, അതിന്റെ ഒരു വശം എല്ലാത്തരം കമ്പനികളും അവരുടെ സ്വന്തം വിൽപന, ലാഭം, പിആർ എന്നിവയെ പ്രോത്സാഹിപ്പിക്കുന്നതിനായി ശേഖരിച്ച ഡാറ്റ ഉപയോഗിക്കുന്നു. നല്ല (ഗുണമേന്മയുള്ള) ഡാറ്റയുടെ സാന്നിധ്യവും അതിൽ നിന്ന് പണം സമ്പാദിക്കാൻ കഴിയുന്ന (ശരിയായി പ്രോസസ്സ് ചെയ്യുക, ദൃശ്യവൽക്കരിക്കുക, മെഷീൻ ലേണിംഗ് മോഡലുകൾ നിർമ്മിക്കുക മുതലായവ) കഴിവുള്ള മസ്തിഷ്കത്തിന്റെ സാന്നിധ്യം ഇന്ന് പലരുടെയും വിജയത്തിന്റെ താക്കോലായി മാറിയിരിക്കുന്നു. 15-20 വർഷം മുമ്പ് വൻകിട കമ്പനികൾ പ്രധാനമായും ഡാറ്റാ ശേഖരണവും ധനസമ്പാദനവുമായി തീവ്രമായ പ്രവർത്തനങ്ങളിൽ ഏർപ്പെട്ടിരുന്നുവെങ്കിൽ, ഇന്ന് ഇത് മിക്കവാറും എല്ലാ സുബോധമുള്ള ആളുകളുടെയും അവസ്ഥയാണ്.

ഇക്കാര്യത്തിൽ, വർഷങ്ങൾക്ക് മുമ്പ്, ലോകമെമ്പാടുമുള്ള തൊഴിൽ തിരയലിനായി സമർപ്പിച്ചിരിക്കുന്ന എല്ലാ പോർട്ടലുകളും ഡാറ്റാ സയന്റിസ്റ്റുകളുടെ ഒഴിവുകൾ കൊണ്ട് നികത്താൻ തുടങ്ങി, കാരണം അത്തരമൊരു സ്പെഷ്യലിസ്റ്റിനെ നിയമിച്ചാൽ, മെഷീൻ ലേണിംഗിന്റെ ഒരു സൂപ്പർ മോഡൽ നിർമ്മിക്കാൻ കഴിയുമെന്ന് എല്ലാവർക്കും ഉറപ്പുണ്ടായിരുന്നു. , ഭാവി പ്രവചിക്കുകയും കമ്പനിക്കായി ഒരു "ക്വാണ്ടം കുതിപ്പ്" നടത്തുകയും ചെയ്യുക. കാലക്രമേണ, ഈ സമീപനം മിക്കവാറും എവിടെയും പ്രവർത്തിക്കില്ലെന്ന് ആളുകൾ മനസ്സിലാക്കി, കാരണം അത്തരം സ്പെഷ്യലിസ്റ്റുകളുടെ കൈകളിൽ വരുന്ന എല്ലാ ഡാറ്റയും പരിശീലന മോഡലുകൾക്ക് അനുയോജ്യമല്ല.

ഡാറ്റാ സയന്റിസ്റ്റുകളിൽ നിന്നുള്ള അഭ്യർത്ഥനകൾ തുടങ്ങി: “ഇവയിൽ നിന്നും ഇവയിൽ നിന്നും കൂടുതൽ ഡാറ്റ വാങ്ങാം...”, “നമുക്ക് വേണ്ടത്ര ഡാറ്റ ഇല്ല...”, “ഞങ്ങൾക്ക് കുറച്ച് ഡാറ്റ കൂടി വേണം, വെയിലത്ത് ഉയർന്ന നിലവാരമുള്ള ഒന്ന്...” . ഈ അഭ്യർത്ഥനകളെ അടിസ്ഥാനമാക്കി, ഒന്നോ അല്ലെങ്കിൽ മറ്റൊരു സെറ്റ് ഡാറ്റയുടെ ഉടമസ്ഥതയിലുള്ള കമ്പനികൾക്കിടയിൽ നിരവധി ഇടപെടലുകൾ നിർമ്മിക്കാൻ തുടങ്ങി. സ്വാഭാവികമായും, ഇതിന് ഈ പ്രക്രിയയുടെ സാങ്കേതിക ഓർഗനൈസേഷൻ ആവശ്യമാണ് - ഡാറ്റ ഉറവിടത്തിലേക്ക് കണക്റ്റുചെയ്യുക, അത് ഡൗൺലോഡ് ചെയ്യുക, അത് പൂർണ്ണമായി ലോഡുചെയ്‌തിട്ടുണ്ടോയെന്ന് പരിശോധിക്കുക, മുതലായവ. അത്തരം പ്രക്രിയകളുടെ എണ്ണം വളരാൻ തുടങ്ങി, ഇന്ന് നമുക്ക് മറ്റൊരു തരത്തിലുള്ള വലിയ ആവശ്യകതയുണ്ട്. സ്പെഷ്യലിസ്റ്റുകൾ - ഡാറ്റ ക്വാളിറ്റി എഞ്ചിനീയർമാർ - സിസ്റ്റത്തിലെ ഡാറ്റയുടെ ഒഴുക്ക് (ഡാറ്റ പൈപ്പ്ലൈനുകൾ), ഇൻപുട്ടിലും ഔട്ട്പുട്ടിലുമുള്ള ഡാറ്റയുടെ ഗുണനിലവാരം നിരീക്ഷിക്കുകയും അവയുടെ പര്യാപ്തത, സമഗ്രത, മറ്റ് സവിശേഷതകൾ എന്നിവയെക്കുറിച്ച് നിഗമനങ്ങളിൽ എത്തിച്ചേരുകയും ചെയ്യുന്നവർ.

ഡാറ്റാ ക്വാളിറ്റി എഞ്ചിനീയർമാരുടെ പ്രവണത അമേരിക്കയിൽ നിന്നാണ് വന്നത്, അവിടെ, മുതലാളിത്തത്തിന്റെ കൊടുങ്കാറ്റിന്റെ കാലഘട്ടത്തിൽ, ഡാറ്റയ്‌ക്കായുള്ള പോരാട്ടത്തിൽ ആരും പരാജയപ്പെടാൻ തയ്യാറല്ല. യുഎസിലെ ഏറ്റവും ജനപ്രിയമായ രണ്ട് തൊഴിൽ തിരയൽ സൈറ്റുകളിൽ നിന്നുള്ള സ്ക്രീൻഷോട്ടുകൾ ഞാൻ ചുവടെ നൽകിയിരിക്കുന്നു: www.monster.com и www.dice.com — ഇത് 17 മാർച്ച് 2020 വരെയുള്ള ഡാറ്റാ ക്വാളിറ്റി, ഡാറ്റ സയന്റിസ്റ്റ് എന്നീ കീവേഡുകൾ ഉപയോഗിച്ച് പോസ്റ്റ് ചെയ്ത ഒഴിവുകളുടെ എണ്ണത്തെക്കുറിച്ചുള്ള ഡാറ്റ പ്രദർശിപ്പിക്കുന്നു.

www.monster.com

ഡാറ്റാ സയന്റിസ്റ്റ്സ് - 21416 ഒഴിവുകൾ
ഡാറ്റ ക്വാളിറ്റി - 41104 ഒഴിവുകൾ

www.dice.com

ഡാറ്റാ സയന്റിസ്റ്റുകൾ - 404 ഒഴിവുകൾ
ഡാറ്റ ക്വാളിറ്റി - 2020 ഒഴിവുകൾ

വ്യക്തമായും, ഈ തൊഴിലുകൾ ഒരു തരത്തിലും പരസ്പരം മത്സരിക്കുന്നില്ല. സ്ക്രീൻഷോട്ടുകൾ ഉപയോഗിച്ച്, ഡാറ്റാ ക്വാളിറ്റി എഞ്ചിനീയർമാർക്കുള്ള അഭ്യർത്ഥനകളുടെ അടിസ്ഥാനത്തിൽ തൊഴിൽ വിപണിയിലെ നിലവിലെ സാഹചര്യം ചിത്രീകരിക്കാൻ ഞാൻ ആഗ്രഹിച്ചു, അവരിൽ ഡാറ്റാ സയന്റിസ്റ്റുകളേക്കാൾ കൂടുതൽ ആവശ്യമാണ്.

2019 ജൂണിൽ, ആധുനിക ഐടി വിപണിയുടെ ആവശ്യങ്ങളോട് പ്രതികരിക്കുന്ന EPAM, ഡാറ്റ ക്വാളിറ്റിയെ ഒരു പ്രത്യേക പരിശീലനമാക്കി മാറ്റി. ഡാറ്റ ക്വാളിറ്റി എഞ്ചിനീയർമാർ, അവരുടെ ദൈനംദിന ജോലിയിൽ, ഡാറ്റ കൈകാര്യം ചെയ്യുന്നു, പുതിയ വ്യവസ്ഥകളിലും സിസ്റ്റങ്ങളിലും അതിന്റെ സ്വഭാവം പരിശോധിക്കുക, ഡാറ്റയുടെ പ്രസക്തി, അതിന്റെ പര്യാപ്തത, പ്രസക്തി എന്നിവ നിരീക്ഷിക്കുക. ഇതെല്ലാം ഉപയോഗിച്ച്, പ്രായോഗിക അർത്ഥത്തിൽ, ഡാറ്റ ക്വാളിറ്റി എഞ്ചിനീയർമാർ ക്ലാസിക്കൽ ഫംഗ്ഷണൽ ടെസ്റ്റിംഗിനായി കുറച്ച് സമയം ചെലവഴിക്കുന്നു, പക്ഷെ ഇത് പ്രോജക്റ്റിനെ ആശ്രയിച്ചിരിക്കുന്നു (ഞാൻ താഴെ ഒരു ഉദാഹരണം നൽകും).

ഒരു ഡാറ്റാ ക്വാളിറ്റി എഞ്ചിനീയറുടെ ഉത്തരവാദിത്തങ്ങൾ ഡാറ്റാബേസ് ടേബിളുകളിലെ “നല്ലുകൾ, കൗണ്ടുകൾ, തുകകൾ” എന്നിവയ്‌ക്കായുള്ള പതിവ് മാനുവൽ/ഓട്ടോമാറ്റിക് പരിശോധനകളിൽ മാത്രം പരിമിതപ്പെടുന്നില്ല, എന്നാൽ ഉപഭോക്താവിന്റെ ബിസിനസ്സ് ആവശ്യങ്ങളെക്കുറിച്ച് ആഴത്തിലുള്ള ധാരണയും അതിനനുസരിച്ച് ലഭ്യമായ ഡാറ്റയെ രൂപാന്തരപ്പെടുത്താനുള്ള കഴിവും ആവശ്യമാണ്. ഉപയോഗപ്രദമായ ബിസിനസ്സ് വിവരങ്ങൾ.

ഡാറ്റ ഗുണനിലവാര സിദ്ധാന്തം

അത്തരമൊരു എഞ്ചിനീയറുടെ പങ്ക് കൂടുതൽ പൂർണ്ണമായി സങ്കൽപ്പിക്കാൻ, സിദ്ധാന്തത്തിൽ ഡാറ്റ ഗുണനിലവാരം എന്താണെന്ന് നമുക്ക് കണ്ടെത്താം.

ഡാറ്റ ഗുണമേന്മ — ഡാറ്റാ മാനേജ്‌മെന്റിന്റെ ഘട്ടങ്ങളിലൊന്ന് (നിങ്ങൾക്ക് സ്വന്തമായി പഠിക്കാൻ ഞങ്ങൾ വിട്ടുകൊടുക്കുന്ന ഒരു ലോകം) കൂടാതെ ഇനിപ്പറയുന്ന മാനദണ്ഡങ്ങൾക്കനുസരിച്ച് ഡാറ്റ വിശകലനം ചെയ്യുന്നതിനുള്ള ഉത്തരവാദിത്തവും ഉണ്ട്:

ഓരോ പോയിന്റുകളും മനസ്സിലാക്കേണ്ട ആവശ്യമില്ലെന്ന് ഞാൻ കരുതുന്നു (സിദ്ധാന്തത്തിൽ അവയെ "ഡാറ്റ അളവുകൾ" എന്ന് വിളിക്കുന്നു), അവ ചിത്രത്തിൽ നന്നായി വിവരിച്ചിരിക്കുന്നു. എന്നാൽ ടെസ്റ്റിംഗ് പ്രക്രിയ തന്നെ ഈ സവിശേഷതകൾ ടെസ്റ്റ് കേസുകളിലേക്ക് കർശനമായി പകർത്തി പരിശോധിക്കുന്നതിനെ സൂചിപ്പിക്കുന്നില്ല. ഡാറ്റ ക്വാളിറ്റിയിൽ, മറ്റേതൊരു തരത്തിലുള്ള ടെസ്റ്റിംഗിലെയും പോലെ, ബിസിനസ്സ് തീരുമാനങ്ങൾ എടുക്കുന്ന പ്രോജക്റ്റ് പങ്കാളികളുമായി അംഗീകരിച്ച ഡാറ്റയുടെ ഗുണനിലവാര ആവശ്യകതകളെ അടിസ്ഥാനമാക്കിയുള്ളതാണ്, ഒന്നാമതായി, അത് ആവശ്യമാണ്.

ഡാറ്റാ ക്വാളിറ്റി പ്രോജക്റ്റിനെ ആശ്രയിച്ച്, ഒരു എഞ്ചിനീയർക്ക് വ്യത്യസ്ത പ്രവർത്തനങ്ങൾ ചെയ്യാൻ കഴിയും: ഒരു സാധാരണ ഓട്ടോമേഷൻ ടെസ്റ്റർ മുതൽ ഡാറ്റ ഗുണനിലവാരത്തിന്റെ ഉപരിപ്ലവമായ വിലയിരുത്തൽ, മുകളിൽ പറഞ്ഞ മാനദണ്ഡങ്ങൾക്കനുസരിച്ച് ഡാറ്റയുടെ ആഴത്തിലുള്ള പ്രൊഫൈലിംഗ് നടത്തുന്ന ഒരു വ്യക്തി വരെ.

ഡാറ്റാ മാനേജ്‌മെന്റ്, ഡാറ്റ ക്വാളിറ്റി, അനുബന്ധ പ്രക്രിയകൾ എന്നിവയെക്കുറിച്ചുള്ള വളരെ വിശദമായ വിവരണം എന്ന പുസ്തകത്തിൽ നന്നായി വിവരിച്ചിട്ടുണ്ട് "DAMA-DMBOK: ഡാറ്റ മാനേജ്‌മെന്റ് ബോഡി ഓഫ് നോളജ്: രണ്ടാം പതിപ്പ്". ഈ വിഷയത്തിന്റെ ആമുഖമായി ഈ പുസ്തകം ഞാൻ വളരെ ശുപാർശ ചെയ്യുന്നു (ലേഖനത്തിന്റെ അവസാനം അതിലേക്കുള്ള ഒരു ലിങ്ക് നിങ്ങൾ കണ്ടെത്തും).

എന്റെ കഥ

ഐടി വ്യവസായത്തിൽ, ഉൽപ്പന്ന കമ്പനികളിലെ ജൂനിയർ ടെസ്റ്ററിൽ നിന്ന് EPAM-ലെ ഒരു ലീഡ് ഡാറ്റ ക്വാളിറ്റി എഞ്ചിനീയർ വരെ ഞാൻ ജോലി ചെയ്തു. ഒരു ടെസ്റ്ററായി ഏകദേശം രണ്ട് വർഷത്തെ ജോലിക്ക് ശേഷം, റിഗ്രഷൻ, ഫങ്ഷണൽ, സ്ട്രെസ്, സ്റ്റെബിലിറ്റി, സെക്യൂരിറ്റി, യുഐ മുതലായവ - എല്ലാത്തരം പരിശോധനകളും ഞാൻ നടത്തിയിട്ടുണ്ടെന്ന് എനിക്ക് ഉറച്ച ബോധ്യമുണ്ടായി, കൂടാതെ ധാരാളം ടെസ്റ്റിംഗ് ടൂളുകൾ പരീക്ഷിച്ചു ജാവ, സ്കാല, പൈത്തൺ എന്നീ മൂന്ന് പ്രോഗ്രാമിംഗ് ഭാഷകളിൽ ഒരേ സമയം പ്രവർത്തിച്ചു.

തിരിഞ്ഞുനോക്കുമ്പോൾ, എന്റെ വൈദഗ്ധ്യം ഇത്ര വൈവിധ്യപൂർണ്ണമായത് എന്തുകൊണ്ടാണെന്ന് ഞാൻ മനസ്സിലാക്കുന്നു - വലുതും ചെറുതുമായ ഡാറ്റാധിഷ്ഠിത പ്രോജക്റ്റുകളിൽ ഞാൻ ഏർപ്പെട്ടിരുന്നു. വളർച്ചയ്‌ക്കുള്ള നിരവധി ഉപകരണങ്ങളുടെയും അവസരങ്ങളുടെയും ലോകത്തേക്ക് എന്നെ എത്തിച്ചത് ഇതാണ്.

പുതിയ അറിവും വൈദഗ്ധ്യവും നേടുന്നതിനുള്ള വൈവിധ്യമാർന്ന ഉപകരണങ്ങളും അവസരങ്ങളും അഭിനന്ദിക്കാൻ, "ഡാറ്റ & AI" ലോകത്തിലെ ഏറ്റവും ജനപ്രിയമായവ കാണിക്കുന്ന ചുവടെയുള്ള ചിത്രം നോക്കുക.

സോഫ്റ്റ്‌വെയർ ഡെവലപ്‌മെന്റിൽ നിന്നുള്ള പ്രശസ്ത വെഞ്ച്വർ ക്യാപിറ്റലിസ്റ്റുകളിലൊന്നായ മാറ്റ് ടർക്ക് വർഷം തോറും ഇത്തരത്തിലുള്ള ചിത്രീകരണം സമാഹരിക്കുന്നു. ഇവിടെ ലിങ്ക് അവന്റെ ബ്ലോഗിലേക്കും വെഞ്ച്വർ ക്യാപിറ്റൽ സ്ഥാപനം, അവിടെ അവൻ ഒരു പങ്കാളിയായി പ്രവർത്തിക്കുന്നു.

പ്രോജക്റ്റിലെ ഏക ടെസ്റ്റർ ആയിരുന്നപ്പോഴോ അല്ലെങ്കിൽ പ്രോജക്റ്റിന്റെ തുടക്കത്തിലെങ്കിലും ഞാൻ പ്രൊഫഷണലായി വളരെ വേഗത്തിൽ വളർന്നു. അത്തരം ഒരു നിമിഷത്തിലാണ് മുഴുവൻ ടെസ്റ്റിംഗ് പ്രക്രിയയ്ക്കും നിങ്ങൾ ഉത്തരവാദിയായിരിക്കേണ്ടത്, നിങ്ങൾക്ക് പിൻവാങ്ങാൻ അവസരമില്ല, മുന്നോട്ട് മാത്രം. ആദ്യം ഇത് ഭയാനകമായിരുന്നു, എന്നാൽ ഇപ്പോൾ അത്തരമൊരു പരിശോധനയുടെ എല്ലാ ഗുണങ്ങളും എനിക്ക് വ്യക്തമാണ്:

• ആശയവിനിമയത്തിന് പ്രോക്‌സി ഇല്ലാത്തതിനാൽ നിങ്ങൾ മുമ്പൊരിക്കലുമില്ലാത്തവിധം മുഴുവൻ ടീമുമായും ആശയവിനിമയം നടത്താൻ തുടങ്ങുന്നു: ടെസ്റ്റ് മാനേജരോ സഹ ടെസ്റ്റർമാരോ അല്ല.
• പ്രോജക്റ്റിലെ നിമജ്ജനം അവിശ്വസനീയമാംവിധം ആഴമേറിയതായിത്തീരുന്നു, കൂടാതെ പൊതുവായും വിശദമായും എല്ലാ ഘടകങ്ങളെക്കുറിച്ചും നിങ്ങൾക്ക് വിവരങ്ങൾ ഉണ്ട്.
• ഡെവലപ്പർമാർ നിങ്ങളെ "അയാൾ എന്താണ് ചെയ്യുന്നതെന്ന് അറിയാത്ത ഒരു വ്യക്തി" എന്ന നിലയിലല്ല, മറിച്ച് ഒരു പ്രത്യേക ഘടകത്തിൽ പ്രത്യക്ഷപ്പെടുന്ന ബഗുകളുടെ യാന്ത്രിക പരിശോധനകളിലൂടെയും ടീമിന് അവിശ്വസനീയമായ നേട്ടങ്ങൾ ഉണ്ടാക്കുന്ന ഒരു തുല്യനായാണ്. ഉൽപ്പന്നം.
• തൽഫലമായി, നിങ്ങൾ കൂടുതൽ ഫലപ്രദവും കൂടുതൽ യോഗ്യതയുള്ളതും കൂടുതൽ ഡിമാൻഡുള്ളതുമാണ്.

പ്രോജക്റ്റ് വളർന്നപ്പോൾ, 100% കേസുകളിലും ഞാൻ പുതിയ പരീക്ഷകർക്ക് ഉപദേശകനായി, അവരെ പഠിപ്പിക്കുകയും ഞാൻ സ്വയം പഠിച്ച അറിവ് കൈമാറുകയും ചെയ്തു. അതേ സമയം, പ്രോജക്റ്റിനെ ആശ്രയിച്ച്, എനിക്ക് എല്ലായ്പ്പോഴും മാനേജുമെന്റിൽ നിന്ന് ഉയർന്ന തലത്തിലുള്ള ഓട്ടോ ടെസ്റ്റിംഗ് സ്പെഷ്യലിസ്റ്റുകൾ ലഭിച്ചില്ല, ഒന്നുകിൽ അവരെ ഓട്ടോമേഷനിൽ പരിശീലിപ്പിക്കേണ്ടതുണ്ട് (താൽപ്പര്യമുള്ളവർക്ക്) അല്ലെങ്കിൽ ദൈനംദിന പ്രവർത്തനങ്ങളിൽ (ഉപകരണങ്ങൾ) ഉപയോഗിക്കുന്നതിനുള്ള ഉപകരണങ്ങൾ സൃഷ്ടിക്കേണ്ടതുണ്ട്. ഡാറ്റ സൃഷ്ടിക്കുന്നതിനും സിസ്റ്റത്തിലേക്ക് ലോഡുചെയ്യുന്നതിനും, ലോഡ് ടെസ്റ്റിംഗ്/സ്റ്റെബിലിറ്റി ടെസ്റ്റിംഗ് "വേഗത്തിൽ" നടത്തുന്നതിനുള്ള ഒരു ഉപകരണം മുതലായവ).

ഒരു നിർദ്ദിഷ്ട പദ്ധതിയുടെ ഉദാഹരണം

നിർഭാഗ്യവശാൽ, വെളിപ്പെടുത്താത്ത ബാധ്യതകൾ കാരണം, ഞാൻ പ്രവർത്തിച്ച പ്രോജക്റ്റുകളെക്കുറിച്ച് എനിക്ക് വിശദമായി സംസാരിക്കാൻ കഴിയില്ല, പക്ഷേ പ്രോജക്റ്റുകളിലൊന്നിൽ ഒരു ഡാറ്റാ ക്വാളിറ്റി എഞ്ചിനീയറുടെ സാധാരണ ജോലികളുടെ ഉദാഹരണങ്ങൾ ഞാൻ നൽകും.

അതിന്റെ അടിസ്ഥാനത്തിൽ മെഷീൻ ലേണിംഗ് മോഡലുകൾ പരിശീലിപ്പിക്കുന്നതിനുള്ള ഡാറ്റ തയ്യാറാക്കുന്നതിനുള്ള ഒരു പ്ലാറ്റ്ഫോം നടപ്പിലാക്കുക എന്നതാണ് പദ്ധതിയുടെ സാരം. യുഎസ്എയിൽ നിന്നുള്ള ഒരു വലിയ ഫാർമസ്യൂട്ടിക്കൽ കമ്പനിയായിരുന്നു ഉപഭോക്താവ്. സാങ്കേതികമായി അതൊരു ക്ലസ്റ്ററായിരുന്നു കുബേർനെറ്റ്, വരെ ഉയരുന്നു AWS EC2 നിരവധി മൈക്രോസർവീസുകളും EPAM-ന്റെ അടിസ്ഥാന ഓപ്പൺ സോഴ്സ് പ്രോജക്റ്റും ഉള്ള ഉദാഹരണങ്ങൾ - വലിയസേന, ഒരു പ്രത്യേക ഉപഭോക്താവിന്റെ ആവശ്യങ്ങളുമായി പൊരുത്തപ്പെട്ടു (ഇപ്പോൾ പദ്ധതി പുനർജനിച്ചു ഒഡാഹു). ഉപയോഗിച്ച് ETL പ്രക്രിയകൾ സംഘടിപ്പിച്ചു അപ്പാച്ചെ എയർഫ്ലോ എന്നതിൽ നിന്ന് ഡാറ്റ നീക്കി സെയിൽസ്ഫോഴ്സ് ഉപഭോക്തൃ സംവിധാനങ്ങൾ AWS S3 ബക്കറ്റുകൾ. അടുത്തതായി, ഒരു മെഷീൻ ലേണിംഗ് മോഡലിന്റെ ഒരു ഡോക്കർ ഇമേജ് പ്ലാറ്റ്‌ഫോമിലേക്ക് വിന്യസിച്ചു, അത് പുതിയ ഡാറ്റയിൽ പരിശീലിപ്പിക്കുകയും REST API ഇന്റർഫേസ് ഉപയോഗിച്ച് ബിസിനസ്സിന് താൽപ്പര്യമുള്ള പ്രവചനങ്ങൾ നിർമ്മിക്കുകയും നിർദ്ദിഷ്ട പ്രശ്നങ്ങൾ പരിഹരിക്കുകയും ചെയ്തു.

കാഴ്ചയിൽ, എല്ലാം ഇതുപോലെ കാണപ്പെടുന്നു:

ഈ പ്രോജക്‌റ്റിൽ ധാരാളം ഫംഗ്‌ഷണൽ ടെസ്റ്റിംഗ് ഉണ്ടായിരുന്നു, കൂടാതെ ഫീച്ചർ ഡെവലപ്‌മെന്റിന്റെ വേഗതയും റിലീസ് സൈക്കിളിന്റെ വേഗത നിലനിർത്തേണ്ടതിന്റെ ആവശ്യകതയും കണക്കിലെടുക്കുമ്പോൾ (രണ്ടാഴ്‌ചത്തെ സ്‌പ്രിന്റുകൾ), ഏറ്റവും നിർണായക ഘടകങ്ങളുടെ ഓട്ടോമേറ്റ് പരിശോധനയെക്കുറിച്ച് ഉടനടി ചിന്തിക്കേണ്ടത് ആവശ്യമാണ്. സംവിധാനം. കുബെർനെറ്റസ് അധിഷ്‌ഠിത പ്ലാറ്റ്‌ഫോമിന്റെ ഭൂരിഭാഗവും ഓട്ടോടെസ്റ്റുകൾ നടപ്പിലാക്കി റോബോട്ട് ഫ്രെയിംവർക്ക് + പൈത്തൺ, പക്ഷേ അവയെ പിന്തുണയ്ക്കുകയും വികസിപ്പിക്കുകയും ചെയ്യേണ്ടത് ആവശ്യമാണ്. കൂടാതെ, ഉപഭോക്താവിന്റെ സൗകര്യാർത്ഥം, ക്ലസ്റ്ററിലേക്ക് വിന്യസിച്ചിരിക്കുന്ന മെഷീൻ ലേണിംഗ് മോഡലുകൾ കൈകാര്യം ചെയ്യുന്നതിനായി ഒരു GUI സൃഷ്ടിച്ചു, കൂടാതെ മോഡലുകളെ പരിശീലിപ്പിക്കുന്നതിന് എവിടെ, എവിടേക്ക് ഡാറ്റ കൈമാറണമെന്ന് വ്യക്തമാക്കാനുള്ള കഴിവും. ഈ വിപുലമായ കൂട്ടിച്ചേർക്കൽ ഓട്ടോമേറ്റഡ് ഫംഗ്ഷണൽ ടെസ്റ്റിംഗിന്റെ വിപുലീകരണത്തിന് കാരണമായി, ഇത് കൂടുതലും REST API കോളുകളിലൂടെയും ചെറിയ എണ്ണം എൻഡ്-2-എൻഡ് UI ടെസ്റ്റുകളിലൂടെയും ചെയ്തു. ഈ ചലനത്തിന്റെ മധ്യരേഖയ്ക്ക് ചുറ്റും, ഉൽപ്പന്ന പതിപ്പുകളുടെ സ്വീകാര്യത പരിശോധിക്കുന്നതിലും അടുത്ത പതിപ്പിന്റെ സ്വീകാര്യത സംബന്ധിച്ച് ഉപഭോക്താവുമായി ആശയവിനിമയം നടത്തുന്നതിലും മികച്ച ജോലി ചെയ്ത ഒരു മാനുവൽ ടെസ്റ്റർ ഞങ്ങളോടൊപ്പം ചേർന്നു. കൂടാതെ, ഒരു പുതിയ സ്പെഷ്യലിസ്റ്റിന്റെ വരവ് കാരണം, ഞങ്ങളുടെ ജോലി രേഖപ്പെടുത്താനും ഉടനടി ഓട്ടോമേറ്റ് ചെയ്യാൻ ബുദ്ധിമുട്ടുള്ള വളരെ പ്രധാനപ്പെട്ട നിരവധി മാനുവൽ ചെക്കുകൾ ചേർക്കാനും ഞങ്ങൾക്ക് കഴിഞ്ഞു.

ഒടുവിൽ, പ്ലാറ്റ്‌ഫോമിൽ നിന്നും GUI ആഡ്-ഓണിൽ നിന്നും ഞങ്ങൾ സ്ഥിരത കൈവരിച്ചതിന് ശേഷം, ഞങ്ങൾ Apache Airflow DAG-കൾ ഉപയോഗിച്ച് ETL പൈപ്പ്ലൈനുകൾ നിർമ്മിക്കാൻ തുടങ്ങി. ETL പ്രക്രിയയുടെ ഫലങ്ങളെ അടിസ്ഥാനമാക്കി ഡാറ്റ പരിശോധിച്ച പ്രത്യേക എയർഫ്ലോ DAG-കൾ എഴുതിയാണ് ഓട്ടോമേറ്റഡ് ഡാറ്റ ഗുണനിലവാര പരിശോധന നടത്തിയത്. ഈ പ്രോജക്റ്റിന്റെ ഭാഗമായി, ഞങ്ങൾ ഭാഗ്യവാന്മാരായിരുന്നു, ഞങ്ങൾ പരീക്ഷിച്ച അജ്ഞാത ഡാറ്റാ സെറ്റുകളിലേക്ക് ഉപഭോക്താവ് ഞങ്ങൾക്ക് ആക്‌സസ് നൽകി. തരങ്ങളുമായി പൊരുത്തപ്പെടൽ, തകർന്ന ഡാറ്റയുടെ സാന്നിധ്യം, മുമ്പും ശേഷവുമുള്ള മൊത്തം റെക്കോർഡുകളുടെ എണ്ണം, സമാഹരണത്തിനായി ETL പ്രക്രിയ നടത്തിയ പരിവർത്തനങ്ങളുടെ താരതമ്യം, കോളം പേരുകൾ മാറ്റൽ, മറ്റ് കാര്യങ്ങൾ എന്നിവയ്ക്കായി ഞങ്ങൾ ഡാറ്റ ലൈൻ ലൈൻ പരിശോധിച്ചു. കൂടാതെ, ഈ ചെക്കുകൾ വ്യത്യസ്ത ഡാറ്റ ഉറവിടങ്ങളിലേക്ക് സ്കെയിൽ ചെയ്തു, ഉദാഹരണത്തിന്, സെയിൽസ്ഫോഴ്സിന് പുറമേ, MySQL ലേക്ക്.

അന്തിമ ഡാറ്റ ഗുണനിലവാര പരിശോധനകൾ ഇതിനകം തന്നെ S3 തലത്തിൽ നടത്തി, അവിടെ അവ സംഭരിക്കുകയും മെഷീൻ ലേണിംഗ് മോഡലുകൾ പരിശീലിപ്പിക്കുന്നതിന് ഉപയോഗിക്കാൻ തയ്യാറാവുകയും ചെയ്തു. S3 ബക്കറ്റിൽ സ്ഥിതി ചെയ്യുന്ന അന്തിമ CSV ഫയലിൽ നിന്ന് ഡാറ്റ നേടുന്നതിനും അത് സാധൂകരിക്കുന്നതിനും, കോഡ് എഴുതിയത് ഉപയോഗിച്ചാണ് boto3 ക്ലയന്റുകൾ.

ഡാറ്റയുടെ ഒരു ഭാഗം ഒരു S3 ബക്കറ്റിലും ഭാഗം മറ്റൊരു ബക്കറ്റിലും സംഭരിക്കാൻ ഉപഭോക്താവിന്റെ നിർബന്ധവും ഉണ്ടായിരുന്നു. അത്തരം സോർട്ടിംഗിന്റെ വിശ്വാസ്യത പരിശോധിക്കുന്നതിന് അധിക പരിശോധനകൾ എഴുതേണ്ടതും ഇതിന് ആവശ്യമാണ്.

മറ്റ് പ്രോജക്റ്റുകളിൽ നിന്നുള്ള പൊതുവായ അനുഭവം

ഒരു ഡാറ്റാ ക്വാളിറ്റി എഞ്ചിനീയറുടെ ഏറ്റവും സാധാരണമായ പ്രവർത്തനങ്ങളുടെ ഒരു ഉദാഹരണം:

• ഒരു ഓട്ടോമേറ്റഡ് ടൂൾ വഴി ടെസ്റ്റ് ഡാറ്റ തയ്യാറാക്കുക (സാധുവായ അസാധുവായ വലിയ ചെറുത്).
• തയ്യാറാക്കിയ ഡാറ്റ സെറ്റ് യഥാർത്ഥ ഉറവിടത്തിലേക്ക് അപ്‌ലോഡ് ചെയ്‌ത് അത് ഉപയോഗത്തിന് തയ്യാറാണോയെന്ന് പരിശോധിക്കുക.
• ഒരു നിശ്ചിത ക്രമീകരണങ്ങൾ ഉപയോഗിച്ച് സോഴ്‌സ് സ്റ്റോറേജിൽ നിന്ന് അന്തിമ അല്ലെങ്കിൽ ഇന്റർമീഡിയറ്റ് സ്റ്റോറേജിലേക്ക് ഒരു കൂട്ടം ഡാറ്റ പ്രോസസ്സ് ചെയ്യുന്നതിന് ETL പ്രോസസ്സുകൾ സമാരംഭിക്കുക (സാധ്യമെങ്കിൽ, ETL ടാസ്‌ക്കിനായി കോൺഫിഗർ ചെയ്യാവുന്ന പാരാമീറ്ററുകൾ സജ്ജമാക്കുക).
• ETL പ്രോസസ്സ് ചെയ്ത ഡാറ്റ അതിന്റെ ഗുണനിലവാരത്തിനും ബിസിനസ് ആവശ്യകതകൾ പാലിക്കുന്നതിനുമായി പരിശോധിച്ചുറപ്പിക്കുക.

അതേസമയം, സിസ്റ്റത്തിലെ ഡാറ്റാ ഫ്ലോ തത്വത്തിൽ പ്രവർത്തിക്കുകയും പൂർത്തീകരിക്കുകയും ചെയ്‌തു (ഇത് ഫംഗ്ഷണൽ ടെസ്റ്റിംഗിന്റെ ഭാഗമാണ്) എന്ന വസ്തുതയിൽ മാത്രമല്ല, കൂടുതലും ഡാറ്റ പരിശോധിക്കുന്നതിലും സാധൂകരിക്കുന്നതിലും ആയിരിക്കണം പരിശോധനകളുടെ പ്രധാന ശ്രദ്ധ. പ്രതീക്ഷിക്കുന്ന ആവശ്യകതകൾ പാലിക്കൽ, അപാകതകളും മറ്റ് കാര്യങ്ങളും തിരിച്ചറിയൽ.

ഉപകരണങ്ങൾ

ഡാറ്റാ പ്രോസസ്സിംഗിന്റെ ഓരോ ഘട്ടത്തിലും ചെയിൻ ചെക്കുകളുടെ ഓർഗനൈസേഷനാണ് അത്തരം ഡാറ്റ നിയന്ത്രണത്തിനുള്ള സാങ്കേതികതകളിലൊന്ന്, സാഹിത്യത്തിൽ "ഡാറ്റ ചെയിൻ" എന്ന് വിളിക്കപ്പെടുന്നവ - ഉറവിടത്തിൽ നിന്ന് അന്തിമ ഉപയോഗം വരെയുള്ള ഡാറ്റയുടെ നിയന്ത്രണം. ഇത്തരത്തിലുള്ള പരിശോധനകൾ മിക്കപ്പോഴും നടപ്പിലാക്കുന്നത് SQL അന്വേഷണങ്ങൾ പരിശോധിക്കുന്നതിലൂടെയാണ്. അത്തരം അന്വേഷണങ്ങൾ കഴിയുന്നത്ര ഭാരം കുറഞ്ഞതും ഡാറ്റയുടെ ഗുണനിലവാരത്തിന്റെ വ്യക്തിഗത ഭാഗങ്ങൾ പരിശോധിക്കേണ്ടതും വ്യക്തമാണ് (പട്ടിക മെറ്റാഡാറ്റ, ബ്ലാങ്ക് ലൈനുകൾ, NULL-കൾ, വാക്യഘടനയിലെ പിശകുകൾ - പരിശോധിക്കുന്നതിന് ആവശ്യമായ മറ്റ് ആട്രിബ്യൂട്ടുകൾ).

റെഡിമെയ്ഡ് (മാറ്റാനാവാത്ത, ചെറുതായി മാറ്റാവുന്ന) ഡാറ്റാ സെറ്റുകൾ ഉപയോഗിക്കുന്ന റിഗ്രഷൻ ടെസ്റ്റിംഗിന്റെ കാര്യത്തിൽ, ഓട്ടോടെസ്റ്റ് കോഡിന് ഗുണനിലവാരം പാലിക്കുന്നതിനുള്ള ഡാറ്റ പരിശോധിക്കുന്നതിനായി റെഡിമെയ്ഡ് ടെംപ്ലേറ്റുകൾ സംഭരിക്കാൻ കഴിയും (പ്രതീക്ഷിക്കുന്ന ടേബിൾ മെറ്റാഡാറ്റയുടെ വിവരണങ്ങൾ; വരി സാമ്പിൾ ഒബ്ജക്റ്റുകൾ. ടെസ്റ്റ് സമയത്ത് ക്രമരഹിതമായി തിരഞ്ഞെടുത്തത് മുതലായവ ).

കൂടാതെ, ടെസ്റ്റിംഗ് സമയത്ത്, അപ്പാച്ചെ എയർഫ്ലോ പോലുള്ള ചട്ടക്കൂടുകൾ ഉപയോഗിച്ച് നിങ്ങൾ ETL ടെസ്റ്റ് പ്രക്രിയകൾ എഴുതേണ്ടതുണ്ട്. അപ്പാച്ചെ സ്പാർക്ക് അല്ലെങ്കിൽ ഒരു ബ്ലാക്ക് ബോക്സ് ക്ലൗഡ് ടൈപ്പ് ടൂൾ പോലും ജിസിപി ഡാറ്റപ്രെപ്പ്, GCP ഡാറ്റാഫ്ലോ ഇത്യാദി. ഈ സാഹചര്യം മേൽപ്പറഞ്ഞ ഉപകരണങ്ങളുടെ പ്രവർത്തന തത്വങ്ങളിൽ മുഴുകാൻ ടെസ്റ്റ് എഞ്ചിനീയറെ പ്രേരിപ്പിക്കുന്നു, കൂടാതെ കൂടുതൽ ഫലപ്രദമായി ഫംഗ്ഷണൽ ടെസ്റ്റിംഗ് നടത്തുകയും (ഉദാഹരണത്തിന്, ഒരു പ്രോജക്റ്റിൽ നിലവിലുള്ള ETL പ്രക്രിയകൾ) ഡാറ്റ പരിശോധിക്കാൻ അവ ഉപയോഗിക്കുകയും ചെയ്യുന്നു. പ്രത്യേകിച്ചും, ജനപ്രിയ അനലിറ്റിക്കൽ ഡാറ്റാബേസുകളിൽ പ്രവർത്തിക്കാൻ അപ്പാച്ചെ എയർഫ്ലോയ്ക്ക് റെഡിമെയ്ഡ് ഓപ്പറേറ്റർമാരുണ്ട്, ഉദാഹരണത്തിന് GCP BigQuery. അതിന്റെ ഉപയോഗത്തിന്റെ ഏറ്റവും അടിസ്ഥാനപരമായ ഉദാഹരണം ഇതിനകം വിവരിച്ചിട്ടുണ്ട് ഇവിടെ, അതിനാൽ ഞാൻ സ്വയം ആവർത്തിക്കില്ല.

റെഡിമെയ്ഡ് സൊല്യൂഷനുകൾ കൂടാതെ, നിങ്ങളുടെ സ്വന്തം ടെക്നിക്കുകളും ഉപകരണങ്ങളും നടപ്പിലാക്കാൻ ആരും നിങ്ങളെ വിലക്കുന്നില്ല. ഇത് പ്രോജക്റ്റിന് മാത്രമല്ല, ഡാറ്റാ ക്വാളിറ്റി എഞ്ചിനീയർക്കും ഗുണം ചെയ്യും, അതുവഴി തന്റെ സാങ്കേതിക ചക്രവാളങ്ങളും കോഡിംഗ് കഴിവുകളും മെച്ചപ്പെടുത്തും.

ഒരു യഥാർത്ഥ പ്രോജക്റ്റിൽ ഇത് എങ്ങനെ പ്രവർത്തിക്കുന്നു

"ഡാറ്റ ശൃംഖല", ETL, സർവ്വവ്യാപിയായ ചെക്കുകൾ എന്നിവയെക്കുറിച്ചുള്ള അവസാന ഖണ്ഡികകളുടെ ഒരു നല്ല ചിത്രീകരണം യഥാർത്ഥ പ്രോജക്റ്റുകളിൽ ഒന്നിൽ നിന്നുള്ള ഇനിപ്പറയുന്ന പ്രക്രിയയാണ്:

ഇവിടെ, വിവിധ ഡാറ്റ (സ്വാഭാവികമായി, ഞങ്ങൾ തയ്യാറാക്കിയത്) ഞങ്ങളുടെ സിസ്റ്റത്തിന്റെ ഇൻപുട്ട് "ഫണൽ" നൽകുക: സാധുവായ, അസാധുവായ, മിക്സഡ്, മുതലായവ, തുടർന്ന് അവ ഫിൽട്ടർ ചെയ്യുകയും ഒരു ഇന്റർമീഡിയറ്റ് സ്റ്റോറേജിൽ അവസാനിക്കുകയും ചെയ്യുന്നു, തുടർന്ന് അവ വീണ്ടും പരിവർത്തനങ്ങളുടെ ഒരു പരമ്പരയ്ക്ക് വിധേയമാകുന്നു. കൂടാതെ അന്തിമ സംഭരണത്തിൽ സ്ഥാപിച്ചിരിക്കുന്നു, അതിൽ നിന്ന്, അനലിറ്റിക്‌സ്, ഡാറ്റാ മാർട്ടുകൾ നിർമ്മിക്കൽ, ബിസിനസ്സ് സ്ഥിതിവിവരക്കണക്കുകൾക്കായി തിരയൽ എന്നിവ നടത്തും. അത്തരമൊരു സിസ്റ്റത്തിൽ, ETL പ്രക്രിയകളുടെ പ്രവർത്തനം പ്രവർത്തനപരമായി പരിശോധിക്കാതെ, പരിവർത്തനങ്ങൾക്ക് മുമ്പും ശേഷവും ഡാറ്റയുടെ ഗുണനിലവാരത്തിലും അനലിറ്റിക്സിലേക്കുള്ള ഔട്ട്പുട്ടിലും ഞങ്ങൾ ശ്രദ്ധ കേന്ദ്രീകരിക്കുന്നു.

മുകളിൽ പറഞ്ഞവ സംഗ്രഹിക്കുന്നതിന്, ഞാൻ ജോലി ചെയ്ത സ്ഥലങ്ങൾ പരിഗണിക്കാതെ തന്നെ, ഇനിപ്പറയുന്ന സവിശേഷതകൾ പങ്കിടുന്ന ഡാറ്റ പ്രോജക്റ്റുകളിൽ ഞാൻ ഏർപ്പെട്ടിരുന്ന എല്ലായിടത്തും:

• ഓട്ടോമേഷൻ വഴി മാത്രമേ നിങ്ങൾക്ക് ചില കേസുകൾ പരീക്ഷിക്കാനും ബിസിനസ്സിന് സ്വീകാര്യമായ ഒരു റിലീസ് സൈക്കിൾ നേടാനും കഴിയൂ.
• അത്തരമൊരു പ്രോജക്റ്റിലെ ഒരു ടെസ്റ്റർ ടീമിലെ ഏറ്റവും ആദരണീയരായ അംഗങ്ങളിൽ ഒരാളാണ്, കാരണം ഇത് പങ്കെടുക്കുന്ന ഓരോരുത്തർക്കും വലിയ നേട്ടങ്ങൾ നൽകുന്നു (ടെസ്റ്റിംഗിന്റെ ത്വരിതപ്പെടുത്തൽ, ഡാറ്റാ സയന്റിസ്റ്റിൽ നിന്നുള്ള നല്ല ഡാറ്റ, പ്രാരംഭ ഘട്ടത്തിലെ വൈകല്യങ്ങൾ തിരിച്ചറിയൽ).
• നിങ്ങൾ നിങ്ങളുടെ സ്വന്തം ഹാർഡ്‌വെയറിലോ ക്ലൗഡുകളിലോ പ്രവർത്തിക്കുന്നുണ്ടോ എന്നത് പ്രശ്നമല്ല - എല്ലാ വിഭവങ്ങളും ഹോർട്ടൺ വർക്ക്സ്, ക്ലൗഡറ, മെസോസ്, കുബർനെറ്റസ് മുതലായവ പോലുള്ള ഒരു ക്ലസ്റ്ററിലേക്ക് സംഗ്രഹിച്ചിരിക്കുന്നു.
• പ്രോജക്റ്റുകൾ ഒരു മൈക്രോ സർവീസ് സമീപനത്തിലാണ് നിർമ്മിച്ചിരിക്കുന്നത്, വിതരണം ചെയ്തതും സമാന്തര കമ്പ്യൂട്ടിംഗ് പ്രബലവുമാണ്.

ഡാറ്റ ക്വാളിറ്റി മേഖലയിൽ ടെസ്റ്റിംഗ് നടത്തുമ്പോൾ, ഒരു ടെസ്റ്റിംഗ് സ്പെഷ്യലിസ്റ്റ് ഉൽപ്പന്നത്തിന്റെ കോഡിലേക്കും ഉപയോഗിക്കുന്ന ഉപകരണങ്ങളിലേക്കും തന്റെ പ്രൊഫഷണൽ ഫോക്കസ് മാറ്റുന്നത് ഞാൻ ശ്രദ്ധിക്കാൻ ആഗ്രഹിക്കുന്നു.

ഡാറ്റ ഗുണനിലവാര പരിശോധനയുടെ വ്യതിരിക്ത സവിശേഷതകൾ

കൂടാതെ, എനിക്കായി, ഇനിപ്പറയുന്നവ ഞാൻ തിരിച്ചറിഞ്ഞു (അവ വളരെ സാമാന്യവൽക്കരിച്ചതും പ്രത്യേകമായി ആത്മനിഷ്ഠവുമാണെന്ന് ഞാൻ ഉടൻ തന്നെ റിസർവേഷൻ ചെയ്യും) ഡാറ്റ (ബിഗ് ഡാറ്റ) പ്രോജക്റ്റുകളിലും (സിസ്റ്റംസ്) മറ്റ് മേഖലകളിലും പരിശോധനയുടെ വ്യതിരിക്ത സവിശേഷതകൾ:

ഉപയോഗപ്രദമായ ലിങ്കുകൾ

1. സിദ്ധാന്തം: DAMA-DMBOK: ഡാറ്റ മാനേജ്‌മെന്റ് ബോഡി ഓഫ് നോളജ്: രണ്ടാം പതിപ്പ്.
2. പരിശീലന കേന്ദ്രം EPAM 
3. ഒരു പ്രാരംഭ ഡാറ്റാ ക്വാളിറ്റി എഞ്ചിനീയർക്കായി ശുപാർശ ചെയ്യുന്ന മെറ്റീരിയലുകൾ:
   1. സ്റ്റെപിക്കിനെക്കുറിച്ചുള്ള സൗജന്യ കോഴ്‌സ്: ഡാറ്റാബേസുകളിലേക്കുള്ള ആമുഖം. 
   2. ലിങ്ക്ഡ്ഇൻ ലേണിംഗിനെക്കുറിച്ചുള്ള കോഴ്‌സ്: ഡാറ്റ സയൻസ് ഫൗണ്ടേഷനുകൾ: ഡാറ്റ എഞ്ചിനീയറിംഗ്.
   3. ലേഖനങ്ങൾ:
      • ബിസിനസ് ഇന്റലിജൻസും ഡാറ്റ ക്വാളിറ്റിയും; 
      • ETL ടെസ്റ്റിംഗ്; 
      • എന്താണ് ഡാറ്റ പ്രൊഫൈലിംഗ്? പ്രക്രിയ, മികച്ച രീതികൾ, ഉപകരണങ്ങൾ; 
      • ടെസ്റ്റ് ഡാറ്റ ജനറേഷൻ: എന്താണ്, എങ്ങനെ, ഉദാഹരണം, ഉപകരണങ്ങൾ; 
      • നിങ്ങൾ അറിഞ്ഞിരിക്കേണ്ട 5 ടെസ്റ്റ് ഡാറ്റ ജനറേഷൻ ടെക്നിക്കുകൾ. 
   4. വീഡിയോ:
      • ഡാറ്റ ഗുണനിലവാര ആശയങ്ങൾ | ഡാറ്റ ക്വാളിറ്റി ട്യൂട്ടോറിയൽ | ഡാറ്റ വെയർഹൗസിംഗ് ട്യൂട്ടോറിയൽ;
      • SSIS ഉപയോഗിച്ചുള്ള ഡാറ്റ പ്രൊഫൈലിംഗ്;
      • സ്പാർക്കിനൊപ്പം ഡാറ്റ പ്രൊഫൈലിംഗും പൈപ്പ് ലൈൻ പ്രോസസ്സിംഗും.

തീരുമാനം

ഡാറ്റ ഗുണമേന്മ വളരെ ചെറുപ്പമായ വാഗ്ദാനമായ ദിശയാണ്, ഇതിന്റെ ഭാഗമാകുക എന്നതിനർത്ഥം ഒരു സ്റ്റാർട്ടപ്പിന്റെ ഭാഗമാകുക എന്നാണ്. ഡാറ്റ ഗുണനിലവാരത്തിൽ ഒരിക്കൽ, നിങ്ങൾ ആധുനികവും ആവശ്യാനുസരണം സാങ്കേതിക വിദ്യകളിൽ മുഴുകും, എന്നാൽ ഏറ്റവും പ്രധാനമായി, നിങ്ങളുടെ ആശയങ്ങൾ സൃഷ്ടിക്കുന്നതിനും നടപ്പിലാക്കുന്നതിനുമുള്ള വലിയ അവസരങ്ങൾ നിങ്ങൾക്ക് തുറക്കും. പ്രോജക്റ്റിൽ മാത്രമല്ല, ഒരു സ്പെഷ്യലിസ്റ്റ് എന്ന നിലയിൽ തുടർച്ചയായി വികസിപ്പിച്ചുകൊണ്ട് നിങ്ങൾക്ക് തുടർച്ചയായ മെച്ചപ്പെടുത്തൽ സമീപനം ഉപയോഗിക്കാൻ കഴിയും.

അവലംബം: www.habr.com