ആരാണ് ഡാറ്റാ എഞ്ചിനീയർമാർ, നിങ്ങൾ എങ്ങനെയാണ് ഒരാളാകുന്നത്?

വീണ്ടും ഹലോ! ലേഖനത്തിന്റെ തലക്കെട്ട് സ്വയം സംസാരിക്കുന്നു. കോഴ്‌സിന്റെ തുടക്കത്തിന്റെ പ്രതീക്ഷയിൽ "ഡാറ്റ എഞ്ചിനീയർ" ഡാറ്റാ എഞ്ചിനീയർമാർ ആരാണെന്ന് മനസ്സിലാക്കാൻ ഞങ്ങൾ നിർദ്ദേശിക്കുന്നു. ലേഖനത്തിൽ ഉപയോഗപ്രദമായ ധാരാളം ലിങ്കുകൾ ഉണ്ട്. സന്തോഷകരമായ വായന.

ഡാറ്റാ എഞ്ചിനീയറിംഗ് തരംഗത്തെ എങ്ങനെ പിടിക്കാമെന്നും അത് നിങ്ങളെ അഗാധത്തിലേക്ക് വലിച്ചിഴയ്ക്കാൻ അനുവദിക്കരുതെന്നും ഒരു ലളിതമായ ഗൈഡ്.

ഇക്കാലത്ത് എല്ലാവരും ഒരു ഡാറ്റാ സയന്റിസ്റ്റ് ആകാൻ ആഗ്രഹിക്കുന്നുവെന്ന് തോന്നുന്നു. എന്നാൽ ഡാറ്റ എഞ്ചിനീയറിംഗിന്റെ കാര്യമോ? അടിസ്ഥാനപരമായി, ഇത് ഒരു ഡാറ്റാ അനലിസ്റ്റിന്റെയും ഡാറ്റാ സയന്റിസ്റ്റിന്റെയും ഒരുതരം ഹൈബ്രിഡ് ആണ്; വർക്ക്ഫ്ലോകൾ കൈകാര്യം ചെയ്യുന്നതിനും പൈപ്പ് ലൈനുകൾ പ്രോസസ്സ് ചെയ്യുന്നതിനും ETL പ്രക്രിയകൾക്കും ഒരു ഡാറ്റാ എഞ്ചിനീയർ സാധാരണയായി ഉത്തരവാദിയാണ്. ഈ ഫംഗ്‌ഷനുകളുടെ പ്രാധാന്യം കാരണം, ഇത് നിലവിൽ സജീവമായി ശക്തി പ്രാപിക്കുന്ന മറ്റൊരു ജനപ്രിയ പ്രൊഫഷണൽ പദപ്രയോഗമാണ്.

ഉയർന്ന ശമ്പളവും വലിയ ഡിമാൻഡും ഈ ജോലിയെ വളരെ ആകർഷകമാക്കുന്നതിന്റെ ഒരു ചെറിയ ഭാഗം മാത്രമാണ്! നിങ്ങൾ നായകന്മാരുടെ നിരയിൽ ചേരാൻ ആഗ്രഹിക്കുന്നുവെങ്കിൽ, പഠനം ആരംഭിക്കാൻ ഒരിക്കലും വൈകില്ല. ഈ പോസ്റ്റിൽ, നിങ്ങളുടെ ആദ്യ ചുവടുകൾ എടുക്കാൻ നിങ്ങളെ സഹായിക്കുന്നതിന് ആവശ്യമായ എല്ലാ വിവരങ്ങളും ഞാൻ ശേഖരിച്ചിട്ടുണ്ട്.

അതിനാൽ നമുക്ക് ആരംഭിക്കാം!

എന്താണ് ഡാറ്റ എഞ്ചിനീയറിംഗ്?

സത്യസന്ധമായി, ഇതിനേക്കാൾ മികച്ച വിശദീകരണമില്ല:

"ഒരു ശാസ്ത്രജ്ഞന് ഒരു പുതിയ നക്ഷത്രം കണ്ടെത്താൻ കഴിയും, പക്ഷേ അവനത് സൃഷ്ടിക്കാൻ കഴിയില്ല. അയാൾക്ക് അത് ചെയ്യാൻ ഒരു എഞ്ചിനീയറോട് ആവശ്യപ്പെടേണ്ടിവരും.

-ഗോർഡൻ ലിൻഡ്സെ ഗ്ലെഗ്

അതിനാൽ, ഒരു ഡാറ്റാ എഞ്ചിനീയറുടെ പങ്ക് വളരെ പ്രധാനമാണ്.

പേര് സൂചിപ്പിക്കുന്നത് പോലെ, ഡാറ്റ എഞ്ചിനീയറിംഗ് ഡാറ്റയുമായി ബന്ധപ്പെട്ടിരിക്കുന്നു, അതായത് അതിന്റെ ഡെലിവറി, സംഭരണം, പ്രോസസ്സിംഗ്. അതനുസരിച്ച്, എഞ്ചിനീയർമാരുടെ പ്രധാന ദൌത്യം ഡാറ്റയ്ക്ക് വിശ്വസനീയമായ ഒരു അടിസ്ഥാന സൗകര്യമൊരുക്കുക എന്നതാണ്. AI യുടെ ആവശ്യകതകളുടെ ശ്രേണി നോക്കുകയാണെങ്കിൽ, ഡാറ്റ എഞ്ചിനീയറിംഗ് ആദ്യത്തെ 2-3 ഘട്ടങ്ങൾ ഉൾക്കൊള്ളുന്നു: ശേഖരണം, ചലനം, സംഭരണം, ഡാറ്റ തയ്യാറാക്കൽ.

ഒരു ഡാറ്റാ എഞ്ചിനീയർ എന്താണ് ചെയ്യുന്നത്?

വലിയ ഡാറ്റയുടെ വരവോടെ, ഉത്തരവാദിത്തത്തിന്റെ വ്യാപ്തി ഗണ്യമായി മാറി. മുമ്പ് ഈ വിദഗ്‌ധർ വലിയ SQL അന്വേഷണങ്ങളും ഇൻഫോർമാറ്റിക്ക ഇ.ടി.എൽ, പെന്റഹോ ഇ.ടി.എൽ, ടാലൻഡ് തുടങ്ങിയ ടൂളുകൾ ഉപയോഗിച്ച് ഡാറ്റാ ഡിസ്റ്റിലുകളും എഴുതിയിരുന്നുവെങ്കിൽ, ഇപ്പോൾ ഡാറ്റാ എൻജിനീയർമാരുടെ ആവശ്യകതകൾ വർദ്ധിച്ചു.

ഡാറ്റാ എഞ്ചിനീയർ സ്ഥാനത്തേക്ക് തുറന്ന ഒഴിവുകളുള്ള മിക്ക കമ്പനികൾക്കും ഇനിപ്പറയുന്ന ആവശ്യകതകൾ ഉണ്ട്:

• SQL, Python എന്നിവയെ കുറിച്ചുള്ള മികച്ച അറിവ്.
• ക്ലൗഡ് പ്ലാറ്റ്‌ഫോമുകളുമായുള്ള പരിചയം, പ്രത്യേകിച്ച് ആമസോൺ വെബ് സേവനങ്ങൾ.
• ജാവ/സ്കാല പരിജ്ഞാനം മുൻഗണന.
• SQL, NoSQL ഡാറ്റാബേസുകളെക്കുറിച്ചുള്ള നല്ല ധാരണ (ഡാറ്റ മോഡലിംഗ്, ഡാറ്റ വെയർഹൗസിംഗ്).

ഓർമ്മിക്കുക, ഇവ അവശ്യവസ്തുക്കൾ മാത്രമാണ്. ഈ ലിസ്റ്റിൽ നിന്ന്, ഡാറ്റാ എഞ്ചിനീയർമാർ സോഫ്റ്റ്‌വെയർ വികസനത്തിലും ബാക്കെൻഡിലും സ്പെഷ്യലിസ്റ്റുകളാണെന്ന് അനുമാനിക്കാം.
ഉദാഹരണത്തിന്, ഒരു കമ്പനി വിവിധ ഉറവിടങ്ങളിൽ നിന്ന് വലിയ അളവിൽ ഡാറ്റ സൃഷ്ടിക്കാൻ തുടങ്ങിയാൽ, ഒരു ഡാറ്റാ എഞ്ചിനീയർ എന്ന നിലയിൽ നിങ്ങളുടെ ചുമതല വിവരങ്ങളുടെ ശേഖരണം, അതിന്റെ പ്രോസസ്സിംഗ്, സംഭരണം എന്നിവ സംഘടിപ്പിക്കുക എന്നതാണ്.

ഈ കേസിൽ ഉപയോഗിക്കുന്ന ഉപകരണങ്ങളുടെ പട്ടിക വ്യത്യാസപ്പെടാം, ഇതെല്ലാം ഈ ഡാറ്റയുടെ അളവ്, അതിന്റെ രസീതിയുടെ വേഗത, വൈവിധ്യം എന്നിവയെ ആശ്രയിച്ചിരിക്കുന്നു. മിക്ക കമ്പനികളും വലിയ ഡാറ്റയുമായി ഇടപെടുന്നില്ല, അതിനാൽ ഒരു കേന്ദ്രീകൃത ശേഖരം, ഡാറ്റ വെയർഹൗസ് എന്ന് വിളിക്കപ്പെടുന്ന, നിങ്ങൾക്ക് ഡാറ്റ നൽകുന്ന ഒരു ചെറിയ സ്ക്രിപ്റ്റുകളുള്ള ഒരു SQL ഡാറ്റാബേസ് (PostgreSQL, MySQL, മുതലായവ) ഉപയോഗിക്കാം. സംഭരണശാല.

ഗൂഗിൾ, ആമസോൺ, ഫേസ്ബുക്ക് അല്ലെങ്കിൽ ഡ്രോപ്പ്ബോക്സ് പോലുള്ള ഐടി ഭീമന്മാർക്ക് ഉയർന്ന ആവശ്യകതകളുണ്ട്: പൈത്തൺ, ജാവ അല്ലെങ്കിൽ സ്കാല എന്നിവയെക്കുറിച്ചുള്ള അറിവ്.

• വലിയ ഡാറ്റ ഉപയോഗിച്ചുള്ള അനുഭവം: ഹഡൂപ്പ്, സ്പാർക്ക്, കാഫ്ക.
• അൽഗോരിതങ്ങളെയും ഡാറ്റാ ഘടനകളെയും കുറിച്ചുള്ള അറിവ്.
• വിതരണ സംവിധാനങ്ങളുടെ അടിസ്ഥാനകാര്യങ്ങൾ മനസ്സിലാക്കുക.
• Tableau അല്ലെങ്കിൽ ElasticSearch പോലുള്ള ഡാറ്റാ വിഷ്വലൈസേഷൻ ടൂളുകളുമായുള്ള പരിചയം ഒരു പ്ലസ് ആയിരിക്കും.

അതായത്, വലിയ ഡാറ്റയിലേക്കുള്ള വ്യക്തമായ മാറ്റമുണ്ട്, അതായത് ഉയർന്ന ലോഡുകളിൽ അതിന്റെ പ്രോസസ്സിംഗിൽ. ഈ കമ്പനികൾക്ക് സിസ്റ്റം തെറ്റ് സഹിഷ്ണുതയ്ക്കുള്ള ആവശ്യകതകൾ വർദ്ധിപ്പിച്ചിട്ടുണ്ട്.

ഡാറ്റാ എഞ്ചിനീയർമാർ വി. ഡാറ്റ ശാസ്ത്രജ്ഞർ

ശരി, അത് ലളിതവും രസകരവുമായ ഒരു താരതമ്യമായിരുന്നു (വ്യക്തിഗതമായി ഒന്നുമില്ല), എന്നാൽ വാസ്തവത്തിൽ ഇത് കൂടുതൽ സങ്കീർണ്ണമാണ്.

ആദ്യം, ഒരു ഡാറ്റാ സയന്റിസ്റ്റിന്റെയും ഒരു ഡാറ്റാ എഞ്ചിനീയറുടെയും റോളുകളുടെയും കഴിവുകളുടെയും നിർവചനത്തിൽ ധാരാളം അവ്യക്തതയുണ്ടെന്ന് നിങ്ങൾ അറിഞ്ഞിരിക്കണം. അതായത്, വിജയകരമായ ഒരു ഡാറ്റാ എഞ്ചിനീയർ ആകാൻ എന്ത് വൈദഗ്ധ്യം ആവശ്യമാണ് എന്നതിനെക്കുറിച്ച് നിങ്ങൾക്ക് എളുപ്പത്തിൽ ആശയക്കുഴപ്പമുണ്ടാകാം. തീർച്ചയായും, രണ്ട് റോളുകളുമായും ഓവർലാപ്പ് ചെയ്യുന്ന ചില കഴിവുകളുണ്ട്. എന്നാൽ തികച്ചും വിപരീതമായ കഴിവുകളും ഉണ്ട്.

ഡാറ്റാ സയൻസ് ഗൗരവമേറിയ ബിസിനസ്സാണ്, എന്നാൽ പ്രാക്ടീഷണർമാർക്ക് അവരുടെ സ്വന്തം അനലിറ്റിക്‌സ് ചെയ്യാൻ കഴിയുന്ന ഫങ്ഷണൽ ഡാറ്റാ സയൻസിന്റെ ലോകത്തേക്ക് ഞങ്ങൾ നീങ്ങുകയാണ്. ഡാറ്റ പൈപ്പ്‌ലൈനുകളും സംയോജിത ഡാറ്റാ ഘടനകളും പ്രവർത്തനക്ഷമമാക്കുന്നതിന്, നിങ്ങൾക്ക് ഡാറ്റാ എഞ്ചിനീയർമാരെ ആവശ്യമാണ്, ഡാറ്റ ശാസ്ത്രജ്ഞരെയല്ല.

ഒരു ഡാറ്റാ സയന്റിസ്റ്റിനെക്കാൾ ഒരു ഡാറ്റാ എഞ്ചിനീയർക്ക് ആവശ്യക്കാരുണ്ടോ?

- അതെ, കാരണം നിങ്ങൾ കാരറ്റ് കേക്ക് ഉണ്ടാക്കുന്നതിനുമുമ്പ്, നിങ്ങൾ ആദ്യം വിളവെടുക്കുകയും തൊലി കളഞ്ഞ് ക്യാരറ്റ് സ്റ്റോക്ക് ചെയ്യുകയും വേണം!

ഏതൊരു ഡാറ്റാ സയന്റിസ്റ്റിനെക്കാളും ഒരു ഡാറ്റാ എഞ്ചിനീയർ പ്രോഗ്രാമിംഗ് നന്നായി മനസ്സിലാക്കുന്നു, എന്നാൽ സ്ഥിതിവിവരക്കണക്കുകൾ വരുമ്പോൾ, നേരെ വിപരീതമാണ്.

എന്നാൽ ഒരു ഡാറ്റാ എഞ്ചിനീയറുടെ പ്രയോജനം ഇതാ:

അവൻ/അവളില്ലാതെ, ഒരു ഡാറ്റാ സയന്റിസ്റ്റിൽ നിന്ന് ലഭിച്ചതും എങ്ങനെയെങ്കിലും ഫലം ഉണ്ടാക്കുന്നതുമായ, പൈത്തൺ ഫയലിലെ ഭയാനകമായ ഗുണമേന്മയുള്ള കോഡിന്റെ ഒരു ഭാഗം അടങ്ങുന്ന പ്രോട്ടോടൈപ്പ് മോഡലിന്റെ മൂല്യം പൂജ്യമായി മാറുന്നു.

ഒരു ഡാറ്റാ എഞ്ചിനീയർ ഇല്ലാതെ, ഈ കോഡ് ഒരിക്കലും ഒരു പ്രോജക്റ്റ് ആകില്ല, ഒരു ബിസിനസ് പ്രശ്‌നവും ഫലപ്രദമായി പരിഹരിക്കപ്പെടില്ല. ഇതെല്ലാം ഒരു ഉൽപ്പന്നമാക്കി മാറ്റാനാണ് ഡാറ്റാ എഞ്ചിനീയർ ശ്രമിക്കുന്നത്.

ഒരു ഡാറ്റാ എഞ്ചിനീയർ അറിഞ്ഞിരിക്കേണ്ട അടിസ്ഥാന വിവരങ്ങൾ

അതിനാൽ, ഈ ജോലി നിങ്ങളിൽ വെളിച്ചം കൊണ്ടുവരികയും നിങ്ങൾ ഉത്സാഹഭരിതരാണെങ്കിൽ - നിങ്ങൾക്കത് പഠിക്കാം, ആവശ്യമായ എല്ലാ കഴിവുകളും നിങ്ങൾക്ക് മാസ്റ്റർ ചെയ്യാനും ഡാറ്റാ എഞ്ചിനീയറിംഗ് മേഖലയിൽ ഒരു യഥാർത്ഥ റോക്ക് സ്റ്റാർ ആകാനും കഴിയും. കൂടാതെ, അതെ, പ്രോഗ്രാമിംഗ് കഴിവുകളോ മറ്റ് സാങ്കേതിക പരിജ്ഞാനമോ ഇല്ലാതെ പോലും നിങ്ങൾക്ക് ഇത് പിൻവലിക്കാനാകും. ഇത് ബുദ്ധിമുട്ടാണ്, പക്ഷേ സാധ്യമാണ്!

ആദ്യ ഘട്ടങ്ങൾ എന്തൊക്കെയാണ്?

എന്താണ് എന്നതിനെക്കുറിച്ച് നിങ്ങൾക്ക് ഒരു പൊതു ധാരണ ഉണ്ടായിരിക്കണം.

ഒന്നാമതായി, ഡാറ്റ എഞ്ചിനീയറിംഗ് എന്നത് കമ്പ്യൂട്ടർ സയൻസിനെ സൂചിപ്പിക്കുന്നു. കൂടുതൽ വ്യക്തമായി പറഞ്ഞാൽ, കാര്യക്ഷമമായ അൽഗോരിതങ്ങളും ഡാറ്റാ ഘടനകളും നിങ്ങൾ മനസ്സിലാക്കണം. രണ്ടാമതായി, ഡാറ്റ എഞ്ചിനീയർമാർ ഡാറ്റയുമായി പ്രവർത്തിക്കുന്നതിനാൽ, ഡാറ്റാബേസുകളുടെ തത്വങ്ങളും അവയ്ക്ക് അടിവരയിടുന്ന ഘടനകളും മനസ്സിലാക്കേണ്ടത് ആവശ്യമാണ്.

ഉദാഹരണത്തിന്, പരമ്പരാഗത ബി-ട്രീ എസ്‌ക്യുഎൽ ഡാറ്റാബേസുകൾ ബി-ട്രീ ഡാറ്റാ ഘടനയെ അടിസ്ഥാനമാക്കിയുള്ളതാണ്, അതുപോലെ തന്നെ, ആധുനിക ഡിസ്ട്രിബ്യൂഡ് റിപ്പോസിറ്ററികളിലും, എൽഎസ്എം-ട്രീയിലും ഹാഷ് ടേബിളുകളുടെ മറ്റ് പരിഷ്‌ക്കരണങ്ങളിലും.

*ഈ ഘട്ടങ്ങൾ ഒരു മികച്ച ലേഖനത്തെ അടിസ്ഥാനമാക്കിയുള്ളതാണ് ആദില്യ ഖഷ്ടമോവ. അതിനാൽ, നിങ്ങൾക്ക് റഷ്യൻ അറിയാമെങ്കിൽ, ഈ രചയിതാവിനെ പിന്തുണച്ച് വായിക്കുക അവന്റെ പോസ്റ്റ്.

1. അൽഗോരിതങ്ങളും ഡാറ്റാ ഘടനകളും

ശരിയായ ഡാറ്റാ ഘടന ഉപയോഗിക്കുന്നത് ഒരു അൽഗോരിതത്തിന്റെ പ്രകടനം ഗണ്യമായി മെച്ചപ്പെടുത്തും. നമ്മുടെ സ്കൂളുകളിലെ ഡാറ്റാ ഘടനകളെയും അൽഗോരിതങ്ങളെയും കുറിച്ച് നമ്മൾ എല്ലാവരും പഠിക്കണം, എന്നാൽ ഇത് വളരെ അപൂർവമായി മാത്രമേ ഉൾക്കൊള്ളുന്നുള്ളൂ. എന്തായാലും, പരിചയപ്പെടാൻ ഒരിക്കലും വൈകില്ല.
അതിനാൽ, ഡാറ്റാ ഘടനകളും അൽഗോരിതങ്ങളും പഠിക്കുന്നതിനുള്ള എന്റെ പ്രിയപ്പെട്ട സൗജന്യ കോഴ്‌സുകൾ ഇതാ:

• ലളിതത്തിൽ നിന്ന് സങ്കീർണ്ണതയിലേക്ക്: ഡാറ്റാ ഘടനകൾ (ഉഡെമി)
• അൽഗോരിതങ്ങൾ, ഭാഗം I (കോഴ്‌സറ)
• അൽഗോരിതങ്ങൾ, ഭാഗം II (കോഴ്‌സറ)

കൂടാതെ അൽഗോരിതങ്ങളെക്കുറിച്ചുള്ള തോമസ് കോർമാന്റെ ക്ലാസിക് വർക്കിനെക്കുറിച്ച് മറക്കരുത് - അൽഗോരിതങ്ങൾക്കുള്ള ആമുഖം. നിങ്ങളുടെ മെമ്മറി പുതുക്കേണ്ടിവരുമ്പോൾ ഇത് മികച്ച റഫറൻസാണ്.

• നിങ്ങളുടെ കഴിവുകൾ മെച്ചപ്പെടുത്താൻ, ഉപയോഗിക്കുക ലീറ്റ്കോഡ്.

Youtube-ലെ Carnegie Mellon University-ൽ നിന്നുള്ള അത്ഭുതകരമായ വീഡിയോകൾ ഉപയോഗിച്ച് നിങ്ങൾക്ക് ഡാറ്റാബേസുകളുടെ ലോകത്തേക്ക് കടക്കാനും കഴിയും:

• ഡാറ്റാബേസ് സിസ്റ്റങ്ങളുടെ ആമുഖം.
• വിപുലമായ ഡാറ്റാബേസ് സിസ്റ്റങ്ങൾ.

2. SQL പഠിക്കുക

നമ്മുടെ ജീവിതം മുഴുവൻ ഡാറ്റയാണ്. ഡാറ്റാബേസിൽ നിന്ന് ഈ ഡാറ്റ എക്‌സ്‌ട്രാക്‌റ്റുചെയ്യുന്നതിന്, നിങ്ങൾ അതേ ഭാഷയിൽ “സംസാരിക്കേണ്ടതുണ്ട്”.

SQL (സ്ട്രക്ചേർഡ് ക്വറി ലാംഗ്വേജ്) എന്നത് ഡാറ്റാ ഡൊമെയ്‌നിലെ ആശയവിനിമയത്തിന്റെ ഭാഷയാണ്. ആരു പറഞ്ഞാലും, SQL ജീവിച്ചിരിക്കുന്നു, ജീവിച്ചിരിക്കുന്നു, വളരെക്കാലം ജീവിക്കും.

നിങ്ങൾ വളരെക്കാലമായി വികസനത്തിലാണെങ്കിൽ, SQL-ന്റെ ആസന്ന മരണത്തെക്കുറിച്ചുള്ള കിംവദന്തികൾ ഇടയ്ക്കിടെ പോപ്പ് അപ്പ് ചെയ്യുന്നത് നിങ്ങൾ ശ്രദ്ധിച്ചിരിക്കാം. 70 കളുടെ തുടക്കത്തിൽ ഈ ഭാഷ വികസിപ്പിച്ചെടുത്തു, വിശകലന വിദഗ്ധർ, ഡവലപ്പർമാർ, ലളിതമായി താൽപ്പര്യമുള്ളവർ എന്നിവരിൽ ഇപ്പോഴും വളരെ ജനപ്രിയമാണ്.
SQL-നെക്കുറിച്ചുള്ള അറിവില്ലാതെ ഡാറ്റാ എഞ്ചിനീയറിംഗിൽ ഒന്നും ചെയ്യാനില്ല, കാരണം ഡാറ്റ വീണ്ടെടുക്കാൻ നിങ്ങൾ അനിവാര്യമായും അന്വേഷണങ്ങൾ സൃഷ്ടിക്കേണ്ടതുണ്ട്. എല്ലാ ആധുനിക ബിഗ് ഡാറ്റ വെയർഹൗസുകളും SQL-നെ പിന്തുണയ്ക്കുന്നു:

• ആമസോൺ റെഡ്ഷിഫ്റ്റ്
• എച്ച്പി വെർട്ടിക്ക
• ഒറാക്കിൾ
• SQL Server

... കൂടാതെ മറ്റു പലതും.

HDFS പോലെയുള്ള വിതരണ സംവിധാനങ്ങളിൽ സംഭരിച്ചിരിക്കുന്ന ഡാറ്റയുടെ ഒരു വലിയ പാളി വിശകലനം ചെയ്യാൻ, SQL എഞ്ചിനുകൾ കണ്ടുപിടിച്ചു: അപ്പാച്ചെ ഹൈവ്, ഇംപാല മുതലായവ. നോക്കൂ, ഇത് എവിടെയും പോകുന്നില്ല.

SQL എങ്ങനെ പഠിക്കാം? പ്രായോഗികമായി മാത്രം ചെയ്യുക.

ഇത് ചെയ്യുന്നതിന്, ഒരു മികച്ച ട്യൂട്ടോറിയൽ പരിശോധിക്കാൻ ഞാൻ ശുപാർശചെയ്യുന്നു, അത് വഴിയിൽ നിന്ന് സൗജന്യമാണ് മോഡ് അനലിറ്റിക്സ്.

1. ഇന്റർമീഡിയറ്റ് SQL
2. SQL-ൽ ഡാറ്റ ചേരുന്നു

നിങ്ങളുടെ ബ്രൗസറിൽ തന്നെ SQL ചോദ്യങ്ങൾ എഴുതാനും പ്രവർത്തിപ്പിക്കാനും കഴിയുന്ന ഒരു സംവേദനാത്മക അന്തരീക്ഷം അവയ്‌ക്കുണ്ട് എന്നതാണ് ഈ കോഴ്‌സുകളുടെ പ്രത്യേകത. വിഭവം ആധുനിക SQL അമിതമായിരിക്കില്ല. കൂടാതെ നിങ്ങൾക്ക് ഈ അറിവ് പ്രയോഗിക്കാൻ കഴിയും ലീറ്റ്കോഡ് ടാസ്ക്കുകൾ ഡാറ്റാബേസ് വിഭാഗത്തിൽ.

3. പൈത്തണിലും ജാവ/സ്കാലയിലും പ്രോഗ്രാമിംഗ്

എന്തുകൊണ്ടാണ് നിങ്ങൾ പൈത്തൺ പ്രോഗ്രാമിംഗ് ഭാഷ പഠിക്കേണ്ടത്, ഞാൻ ഇതിനകം ലേഖനത്തിൽ എഴുതിയിട്ടുണ്ട് പൈത്തൺ vs R. AI, ML, ഡാറ്റാ സയൻസ് എന്നിവയ്‌ക്കായുള്ള മികച്ച ഉപകരണം തിരഞ്ഞെടുക്കുന്നു. ജാവയുടെയും സ്കാലയുടെയും കാര്യം വരുമ്പോൾ, വലിയ അളവിലുള്ള ഡാറ്റ സംഭരിക്കുന്നതിനും പ്രോസസ്സ് ചെയ്യുന്നതിനുമുള്ള മിക്ക ഉപകരണങ്ങളും ഈ ഭാഷകളിൽ എഴുതിയിരിക്കുന്നു. ഉദാഹരണത്തിന്:

• അപ്പാച്ചെ കാഫ്ക (സ്കാല)
• ഹദൂപ്, HDFS (ജാവ)
• അപ്പാച്ചെ സ്പാർക്ക് (സ്കാല)
• അപ്പാച്ചെ കസാന്ദ്ര (ജാവ)
• HBase (Java)
• അപ്പാച്ചെ ഹൈവ് (ജാവ)

ഈ ഉപകരണങ്ങൾ എങ്ങനെ പ്രവർത്തിക്കുന്നുവെന്ന് മനസിലാക്കാൻ, അവ എഴുതിയിരിക്കുന്ന ഭാഷകൾ നിങ്ങൾ അറിഞ്ഞിരിക്കണം. സമാന്തര ഡാറ്റ പ്രോസസ്സിംഗ് പ്രശ്നങ്ങൾ ഫലപ്രദമായി പരിഹരിക്കാൻ സ്കാലയുടെ പ്രവർത്തനപരമായ സമീപനം നിങ്ങളെ അനുവദിക്കുന്നു. നിർഭാഗ്യവശാൽ, പൈത്തണിന് വേഗതയും സമാന്തര പ്രോസസ്സിംഗും അഭിമാനിക്കാൻ കഴിയില്ല. പൊതുവേ, പ്രശ്നങ്ങൾ പരിഹരിക്കുന്നതിനുള്ള സമീപനങ്ങളുടെ വിശാലതയ്ക്ക് നിരവധി ഭാഷകളെക്കുറിച്ചും പ്രോഗ്രാമിംഗ് മാതൃകകളെക്കുറിച്ചും ഉള്ള അറിവ് നല്ലതാണ്.

സ്കാല ഭാഷയിലേക്ക് മുങ്ങാൻ, നിങ്ങൾക്ക് വായിക്കാം സ്കാലയിൽ പ്രോഗ്രാമിംഗ് ഭാഷയുടെ രചയിതാവിൽ നിന്ന്. ട്വിറ്റർ ഒരു നല്ല ആമുഖ ഗൈഡും പ്രസിദ്ധീകരിച്ചു - സ്കാല സ്കൂൾ.

പൈത്തണിനെ സംബന്ധിച്ചിടത്തോളം, ഞാൻ വിശ്വസിക്കുന്നു ഒഴുക്കുള്ള പൈത്തൺ മികച്ച മധ്യനിര പുസ്തകം.

4. വലിയ ഡാറ്റ ഉപയോഗിച്ച് പ്രവർത്തിക്കുന്നതിനുള്ള ഉപകരണങ്ങൾ

വലിയ ഡാറ്റയുടെ ലോകത്തിലെ ഏറ്റവും ജനപ്രിയമായ ഉപകരണങ്ങളുടെ ഒരു ലിസ്റ്റ് ഇതാ:

• അപ്പാച്ചെ സ്പാർക്ക്
• അപ്പാച്ച കാഫ്ക
• അപ്പാച്ചെ ഹഡൂപ്പ് (HDFS, HBase, Hive)
• അപ്പാച്ചെ കസ്സാൻഡ്ര

വലിയ ഡാറ്റാ ബ്ലോക്കുകൾ നിർമ്മിക്കുന്നതിനെക്കുറിച്ചുള്ള കൂടുതൽ വിവരങ്ങൾ ഈ അത്ഭുതകരമായതിൽ നിങ്ങൾക്ക് കണ്ടെത്താനാകും സംവേദനാത്മക അന്തരീക്ഷം. സ്പാർക്ക്, കാഫ്ക എന്നിവയാണ് ഏറ്റവും ജനപ്രിയമായ ഉപകരണങ്ങൾ. അവ തീർച്ചയായും പഠിക്കേണ്ടതാണ്, അവ ഉള്ളിൽ നിന്ന് എങ്ങനെ പ്രവർത്തിക്കുന്നുവെന്ന് മനസിലാക്കുന്നത് നല്ലതാണ്. ജെയ് ക്രെപ്സ് (കാഫ്കയുടെ സഹ-രചയിതാവ്) 2013-ൽ ഒരു സ്മാരക കൃതി പ്രസിദ്ധീകരിച്ചു. ലോഗ്: തത്സമയ ഡാറ്റ സംഗ്രഹത്തെക്കുറിച്ച് ഓരോ സോഫ്‌റ്റ്‌വെയർ ഡെവലപ്പറും അറിഞ്ഞിരിക്കേണ്ട കാര്യങ്ങൾവഴിയിൽ, ഈ താൽമൂഡിൽ നിന്നുള്ള പ്രധാന ആശയങ്ങൾ അപ്പാച്ചെ കാഫ്ക സൃഷ്ടിക്കാൻ ഉപയോഗിച്ചു.

• ഹദൂപ്പിന് ഒരു ആമുഖം ആകാം ഹഡൂപ്പ് മാസ്റ്ററിംഗ് ചെയ്യുന്നതിനുള്ള സമ്പൂർണ്ണ ഗൈഡ് (സൌജന്യ).
• എന്നെ സംബന്ധിച്ചിടത്തോളം അപ്പാച്ചെ സ്പാർക്കിന്റെ ഏറ്റവും സമഗ്രമായ ഗൈഡ് ഇതാണ് - സ്പാർക്ക്: ദി കംപ്ലീറ്റ് ഗൈഡ്.

5. ക്ലൗഡ് പ്ലാറ്റ്‌ഫോമുകൾ

ഡാറ്റാ എഞ്ചിനീയർ തസ്തികയിലേക്കുള്ള അപേക്ഷകർക്കുള്ള അടിസ്ഥാന ആവശ്യകതകളുടെ പട്ടികയിൽ കുറഞ്ഞത് ഒരു ക്ലൗഡ് പ്ലാറ്റ്‌ഫോമിനെ കുറിച്ചുള്ള അറിവ് ഉണ്ട്. തൊഴിലുടമകൾ ആമസോൺ വെബ് സേവനങ്ങളെയാണ് ഇഷ്ടപ്പെടുന്നത്, ഗൂഗിളിന്റെ ക്ലൗഡ് പ്ലാറ്റ്‌ഫോം രണ്ടാം സ്ഥാനത്തും മൈക്രോസോഫ്റ്റ് അസ്യൂർ ആദ്യ മൂന്ന് സ്ഥാനങ്ങളിൽ എത്തി.

Amazon EC2, AWS Lambda, Amazon S3, DynamoDB എന്നിവയെക്കുറിച്ച് നിങ്ങൾക്ക് നല്ല അറിവുണ്ടായിരിക്കണം.

6. വിതരണ സംവിധാനങ്ങൾ

വലിയ ഡാറ്റ ഉപയോഗിച്ച് പ്രവർത്തിക്കുന്നത് സ്വതന്ത്രമായി പ്രവർത്തിക്കുന്ന കമ്പ്യൂട്ടറുകളുടെ ക്ലസ്റ്ററുകളുടെ സാന്നിധ്യം സൂചിപ്പിക്കുന്നു, അവ തമ്മിലുള്ള ആശയവിനിമയം ഒരു നെറ്റ്‌വർക്കിലൂടെയാണ് നടത്തുന്നത്. വലിയ ക്ലസ്റ്റർ, അതിന്റെ അംഗ നോഡുകൾ പരാജയപ്പെടാനുള്ള സാധ്യത കൂടുതലാണ്. ഒരു മികച്ച ഡാറ്റാ ശാസ്ത്രജ്ഞനാകാൻ, വിതരണം ചെയ്ത സിസ്റ്റങ്ങളുടെ പ്രശ്നങ്ങളും നിലവിലുള്ള പരിഹാരങ്ങളും നിങ്ങൾ മനസ്സിലാക്കേണ്ടതുണ്ട്. ഈ പ്രദേശം പഴയതും സങ്കീർണ്ണവുമാണ്.

ആൻഡ്രൂ ടാനെൻബോം ഈ മേഖലയിലെ ഒരു പയനിയറായി കണക്കാക്കപ്പെടുന്നു. സിദ്ധാന്തത്തെ ഭയപ്പെടാത്തവർക്ക്, ഞാൻ അദ്ദേഹത്തിന്റെ പുസ്തകം ശുപാർശ ചെയ്യുന്നു "വിതരണ സംവിധാനങ്ങൾ", തുടക്കക്കാർക്ക് ഇത് ഭയങ്കരമായി തോന്നിയേക്കാം, എന്നാൽ നിങ്ങളുടെ കഴിവുകൾ വികസിപ്പിക്കാൻ ഇത് നിങ്ങളെ സഹായിക്കും.

ഞാൻ കരുതുന്നു മാർട്ടിൻ ക്ലെപ്പ്മാൻ എഴുതിയ ഡാറ്റ-ഇന്റൻസീവ് ആപ്ലിക്കേഷനുകൾ രൂപകൽപ്പന ചെയ്യുന്നു മികച്ച ആമുഖ പുസ്തകം. വഴിയിൽ, മാർട്ടിന് ഒരു അത്ഭുതമുണ്ട് ബ്ലോഗ്. വലിയ ഡാറ്റ സംഭരിക്കുന്നതിനും പ്രോസസ്സ് ചെയ്യുന്നതിനുമായി ഒരു ആധുനിക ഇൻഫ്രാസ്ട്രക്ചർ നിർമ്മിക്കുന്നതിനെക്കുറിച്ചുള്ള അറിവ് ചിട്ടപ്പെടുത്താൻ അദ്ദേഹത്തിന്റെ പ്രവർത്തനം സഹായിക്കും.
വീഡിയോകൾ കാണാൻ ഇഷ്ടപ്പെടുന്നവർക്കായി യുട്യൂബിൽ ഒരു കോഴ്‌സ് ഉണ്ട് വിതരണം ചെയ്ത കമ്പ്യൂട്ടർ സംവിധാനങ്ങൾ.

7. ഡാറ്റ പൈപ്പ് ലൈനുകൾ

ഒരു ഡാറ്റാ എഞ്ചിനീയർ എന്ന നിലയിൽ നിങ്ങൾക്ക് ജീവിക്കാൻ കഴിയാത്ത ഒന്നാണ് ഡാറ്റ പൈപ്പ് ലൈനുകൾ.

മിക്കപ്പോഴും, ഒരു ഡാറ്റാ എഞ്ചിനീയർ ഒരു ഡാറ്റ പൈപ്പ്ലൈൻ നിർമ്മിക്കുന്നു, അതായത്, ഒരിടത്ത് നിന്ന് മറ്റൊരിടത്തേക്ക് ഡാറ്റ എത്തിക്കുന്നതിനുള്ള ഒരു പ്രക്രിയ അദ്ദേഹം സൃഷ്ടിക്കുന്നു. ഇത് ഒരു ബാഹ്യ സേവനത്തിന്റെ API-യിലേക്ക് പോകുന്ന അല്ലെങ്കിൽ ഒരു SQL അന്വേഷണം നടത്തുകയും ഡാറ്റ വർദ്ധിപ്പിക്കുകയും ഒരു കേന്ദ്രീകൃത സ്റ്റോറിൽ (ഡാറ്റ വെയർഹൗസ്) അല്ലെങ്കിൽ ഒരു ഘടനയില്ലാത്ത ഡാറ്റ സ്റ്റോറിൽ (ഡാറ്റ തടാകങ്ങൾ) ഇടുകയും ചെയ്യുന്ന ഇഷ്‌ടാനുസൃത സ്ക്രിപ്റ്റുകൾ ആകാം.

ചുരുക്കത്തിൽ: ഒരു ഡാറ്റാ എഞ്ചിനീയർക്കുള്ള അടിസ്ഥാന ചെക്ക്‌ലിസ്റ്റ്

ചുരുക്കത്തിൽ, ഇനിപ്പറയുന്നവയെക്കുറിച്ച് നല്ല ധാരണ ആവശ്യമാണ്:

• വിവര സംവിധാനം;
• സോഫ്‌റ്റ്‌വെയർ വികസനം (എജൈൽ, ഡെവോപ്‌സ്, ഡിസൈൻ ടെക്‌നിക്‌സ്, എസ്‌ഒ‌എ);
• വിതരണ സംവിധാനങ്ങളും സമാന്തര പ്രോഗ്രാമിംഗും;
• ഡാറ്റാബേസ് അടിസ്ഥാനകാര്യങ്ങൾ - പ്ലാനിംഗ്, ഡിസൈൻ, ഓപ്പറേഷൻ, ട്രബിൾഷൂട്ടിംഗ്;
• പരീക്ഷണങ്ങളുടെ രൂപകല്പന - ആശയങ്ങൾ തെളിയിക്കാനും, വിശ്വാസ്യത, സിസ്റ്റം പ്രകടനം എന്നിവ നിർണ്ണയിക്കാനും, നല്ല പരിഹാരങ്ങൾ വേഗത്തിൽ നൽകുന്നതിന് വിശ്വസനീയമായ പാതകൾ വികസിപ്പിക്കാനുമുള്ള എ/ബി ടെസ്റ്റുകൾ.

ഒരു ഡാറ്റാ എഞ്ചിനീയർ ആകാനുള്ള ആവശ്യകതകളിൽ ചിലത് മാത്രമാണിത്, അതിനാൽ ഡാറ്റാ സിസ്റ്റങ്ങൾ, ഇൻഫർമേഷൻ സിസ്റ്റങ്ങൾ, തുടർച്ചയായ ഡെലിവറി/വിന്യാസം/സംയോജനം, പ്രോഗ്രാമിംഗ് ഭാഷകൾ, മറ്റ് കമ്പ്യൂട്ടർ സയൻസ് വിഷയങ്ങൾ (എല്ലാ വിഷയ മേഖലകളുമല്ല) എന്നിവ പഠിക്കുകയും മനസ്സിലാക്കുകയും ചെയ്യുക.

അവസാനമായി, ഞാൻ പറയാൻ ആഗ്രഹിക്കുന്ന അവസാനവും എന്നാൽ വളരെ പ്രധാനപ്പെട്ടതുമായ കാര്യം.

ഡാറ്റാ എഞ്ചിനീയറിംഗ് ആകാനുള്ള വഴി തോന്നിയേക്കാവുന്നത്ര ലളിതമല്ല. അവൻ ക്ഷമിക്കുന്നില്ല, അവൻ നിരാശനാക്കുന്നു, നിങ്ങൾ ഇതിന് തയ്യാറാകണം. ഈ യാത്രയിലെ ചില നിമിഷങ്ങൾ നിങ്ങളെ ഉപേക്ഷിക്കാൻ പ്രേരിപ്പിച്ചേക്കാം. എന്നാൽ ഇത് യഥാർത്ഥ ജോലിയും പഠന പ്രക്രിയയുമാണ്.

തുടക്കം മുതൽ ഇത് ഷുഗർ കോട്ട് ചെയ്യരുത്. കഴിയുന്നത്ര പഠിക്കുകയും പുതിയ വെല്ലുവിളികൾക്ക് തയ്യാറാകുകയും ചെയ്യുക എന്നതാണ് യാത്രയുടെ മുഴുവൻ പോയിന്റും.
ഈ പോയിന്റ് നന്നായി ചിത്രീകരിക്കുന്ന ഒരു മികച്ച ചിത്രം ഇതാ:

അതെ, പൊള്ളലും വിശ്രമവും ഒഴിവാക്കാൻ ഓർക്കുക. ഇതും വളരെ പ്രധാനമാണ്. നല്ലതുവരട്ടെ!

സുഹൃത്തുക്കളേ, ലേഖനത്തെക്കുറിച്ച് നിങ്ങൾക്ക് എന്തു തോന്നുന്നു? ഞങ്ങൾ നിങ്ങളെ ക്ഷണിക്കുന്നു സൗജന്യ വെബിനാർ, ഇന്ന് 20.00 ന് നടക്കും. വെബിനാറിനിടെ, ഒരു ചെറിയ കമ്പനിയ്‌ക്കോ സ്റ്റാർട്ടപ്പിനുമായി കുറഞ്ഞ ചെലവിൽ ഫലപ്രദവും അളക്കാവുന്നതുമായ ഡാറ്റാ പ്രോസസ്സിംഗ് സിസ്റ്റം എങ്ങനെ നിർമ്മിക്കാമെന്ന് ഞങ്ങൾ ചർച്ച ചെയ്യും. ഒരു പരിശീലനമെന്ന നിലയിൽ, ഞങ്ങൾ Google ക്ലൗഡ് ഡാറ്റ പ്രോസസ്സിംഗ് ടൂളുകളുമായി പരിചയപ്പെടും. കാണാം!

അവലംബം: www.habr.com