പ്രൊഫഷൻ ഡാറ്റാ എഞ്ചിനീയർ നേടുന്നതിനുള്ള ലെവലിംഗ് പ്ലാൻ

കഴിഞ്ഞ എട്ട് വർഷമായി ഞാൻ ഒരു പ്രോജക്റ്റ് മാനേജരായി ജോലി ചെയ്യുന്നു (ഞാൻ ജോലിസ്ഥലത്ത് കോഡ് എഴുതുന്നില്ല), ഇത് സ്വാഭാവികമായും എന്റെ സാങ്കേതിക ബാക്കെൻഡിനെ പ്രതികൂലമായി ബാധിക്കുന്നു. എന്റെ സാങ്കേതിക വിടവ് അവസാനിപ്പിച്ച് ഡാറ്റാ എഞ്ചിനീയറുടെ തൊഴിൽ നേടാൻ ഞാൻ തീരുമാനിച്ചു. ഡാറ്റാ വെയർഹൗസുകൾ രൂപകൽപ്പന ചെയ്യാനും നിർമ്മിക്കാനും പരിപാലിക്കാനുമുള്ള കഴിവാണ് ഒരു ഡാറ്റാ എഞ്ചിനീയറുടെ പ്രധാന വൈദഗ്ദ്ധ്യം.

ഞാൻ ഒരു പരിശീലന പദ്ധതി തയ്യാറാക്കി, ഇത് എനിക്ക് മാത്രമല്ല ഉപയോഗപ്രദമാകുമെന്ന് ഞാൻ കരുതുന്നു. സ്വയം പഠന കോഴ്സുകൾ കേന്ദ്രീകരിച്ചാണ് പദ്ധതി. റഷ്യൻ ഭാഷയിൽ സൗജന്യ കോഴ്സുകൾക്ക് മുൻഗണന നൽകുന്നു.

വിഭാഗങ്ങൾ:

• അൽഗോരിതങ്ങളും ഡാറ്റാ ഘടനകളും. പ്രധാന വിഭാഗം. ഇത് പഠിക്കുക, മറ്റെല്ലാം പ്രവർത്തിക്കും. കോഡിൽ നിങ്ങളുടെ കൈകൾ നേടുകയും അടിസ്ഥാന ഘടനകളും അൽഗോരിതങ്ങളും ഉപയോഗിക്കുകയും ചെയ്യേണ്ടത് പ്രധാനമാണ്.
• ഡാറ്റാബേസുകളും ഡാറ്റ വെയർഹൗസുകളും, ബിസിനസ് ഇന്റലിജൻസ്. ഞങ്ങൾ അൽഗോരിതങ്ങളിൽ നിന്ന് ഡാറ്റ സംഭരണത്തിലേക്കും പ്രോസസ്സിംഗിലേക്കും നീങ്ങുകയാണ്.
• ഹഡൂപ്പും ബിഗ് ഡാറ്റയും. ഡാറ്റാബേസ് ഹാർഡ് ഡ്രൈവിൽ ഉൾപ്പെടുത്തിയിട്ടില്ലാത്തപ്പോൾ, അല്ലെങ്കിൽ ഡാറ്റ വിശകലനം ചെയ്യേണ്ടത് ആവശ്യമായി വരുമ്പോൾ, എന്നാൽ Excel-ന് അവ ലോഡ് ചെയ്യാൻ കഴിയില്ല, വലിയ ഡാറ്റ ആരംഭിക്കുന്നു. എന്റെ അഭിപ്രായത്തിൽ, മുമ്പത്തെ രണ്ട് കാര്യങ്ങളെക്കുറിച്ച് ആഴത്തിലുള്ള പഠനത്തിന് ശേഷം മാത്രമേ ഈ വിഭാഗത്തിലേക്ക് പോകേണ്ടതുള്ളൂ.

അൽഗോരിതങ്ങളും ഡാറ്റ ഘടനകളും

എന്റെ പ്ലാനിൽ, പൈത്തൺ പഠിക്കുന്നതും ഗണിതത്തിന്റെയും അൽഗോരിതമൈസേഷന്റെയും അടിസ്ഥാനകാര്യങ്ങൾ ആവർത്തിക്കുന്നതും ഞാൻ ഉൾപ്പെടുത്തിയിട്ടുണ്ട്.

• പൈത്തണിലെ പ്രോഗ്രാമിംഗ്
• പൈത്തൺ: അടിസ്ഥാനങ്ങളും പ്രയോഗങ്ങളും
• ലീനിയർ ആൾജിബ്ര
• വ്യതിരിക്ത ഗണിതത്തിൽ ലിക്ബെസ്
• അൽഗോരിതങ്ങൾ: സിദ്ധാന്തവും പ്രയോഗവും. രീതികൾ
• അൽഗോരിതങ്ങൾ: സിദ്ധാന്തവും പ്രയോഗവും. ഡാറ്റ ഘടനകൾ

ഡാറ്റാബേസുകളും ഡാറ്റ വെയർഹൗസുകളും, ബിസിനസ് ഇന്റലിജൻസ്

• പുസ്തകം: മാർട്ടിൻ ക്ലെപ്പ്മാൻ - ഉയർന്ന തോതിൽ ലോഡ് ചെയ്ത ആപ്ലിക്കേഷനുകൾ. പ്രോഗ്രാമിംഗ്, സ്കെയിലിംഗ്, പിന്തുണ. വ്യത്യസ്ത ഡാറ്റ മോഡലുകൾ എങ്ങനെ പ്രവർത്തിക്കുന്നു, ഉള്ളിൽ നിന്ന് അവ നടപ്പിലാക്കുന്നത്, ചുമതലയെ ആശ്രയിച്ച് പരിമിതികളും തിരഞ്ഞെടുപ്പുകളും പുസ്തകം വിവരിക്കുന്നു.
• ഡാറ്റാബേസുകളിലേക്കുള്ള ആമുഖം
• DBMS-ലേക്ക് മുങ്ങുക
• നോൺ റിലേഷണൽ ഡാറ്റാബേസുകളിലേക്കുള്ള ആമുഖം

ഡാറ്റ വെയർഹൗസുകൾ നിർമ്മിക്കുന്നതുമായി ബന്ധപ്പെട്ട വിഷയങ്ങൾ, ETL, OLAP ക്യൂബുകൾ ടൂളുകളെ വളരെയധികം ആശ്രയിച്ചിരിക്കുന്നു, അതിനാൽ ഈ ഡോക്യുമെന്റിലെ കോഴ്സുകളിലേക്കുള്ള ലിങ്കുകൾ ഞാൻ നൽകുന്നില്ല. ഒരു നിർദ്ദിഷ്ട കമ്പനിയിൽ ഒരു നിർദ്ദിഷ്ട പ്രോജക്റ്റിൽ പ്രവർത്തിക്കുമ്പോൾ അത്തരം സംവിധാനങ്ങൾ പഠിക്കുന്നത് ഉചിതമാണ്. ETL-നെ പരിചയപ്പെടാൻ, നിങ്ങൾക്ക് ശ്രമിക്കാം ടാലന്റ് അഥവാ വായു പ്രവാഹം.

എന്റെ അഭിപ്രായത്തിൽ, ആധുനിക ഡാറ്റ വോൾട്ട് ഡിസൈൻ രീതി പഠിക്കേണ്ടത് പ്രധാനമാണ് ലിങ്ക് 1, ലിങ്ക് 2. അത് പഠിക്കാനുള്ള ഏറ്റവും നല്ല മാർഗം അത് എടുത്ത് ലളിതമായ ഒരു ഉദാഹരണത്തിലൂടെ നടപ്പിലാക്കുക എന്നതാണ്. GitHub-ൽ നിരവധി ഡാറ്റ വോൾട്ട് നടപ്പിലാക്കൽ ഉദാഹരണങ്ങളുണ്ട് ലിങ്ക്. മോഡേൺ ഡാറ്റ വെയർഹൗസ് ബുക്ക്: ഹാൻസ് ഹൾട്ട്ഗ്രെൻ എഴുതിയ ഡാറ്റ വോൾട്ട് ഉപയോഗിച്ച് എജൈൽ ഡാറ്റ വെയർഹൗസ് മോഡലിംഗ്.

അന്തിമ ഉപയോക്താക്കൾക്കുള്ള ബിസിനസ് ഇന്റലിജൻസ് ടൂളുകൾ പരിചയപ്പെടാൻ, നിങ്ങൾക്ക് റിപ്പോർട്ടുകൾ, ഡാഷ്ബോർഡുകൾ, മിനി ഡാറ്റ വെയർഹൗസുകൾ എന്നിവയുടെ സൗജന്യ ഡിസൈനർ പവർ ബിഐ ഡെസ്ക്ടോപ്പ് ഉപയോഗിക്കാം. വിദ്യാഭ്യാസ സാമഗ്രികൾ: ലിങ്ക് 1, ലിങ്ക് 2.

ഹഡൂപ്പും ബിഗ് ഡാറ്റയും

• മൂന്നാം കക്ഷി ലൈബ്രറികളില്ലാതെ MapReduce സ്വതന്ത്രമായി നടപ്പിലാക്കുന്നതിലൂടെ നിങ്ങൾ ആരംഭിക്കേണ്ടതുണ്ട്. ഇത് ഭാവിയിൽ മൾട്ടിത്രെഡ് നടപ്പിലാക്കലുകളെ കുറിച്ച് നന്നായി മനസ്സിലാക്കാൻ അനുവദിക്കും. പൈത്തണിലെ ഒരു മികച്ച ഉദാഹരണം വിവരിച്ചിരിക്കുന്നു ഇവിടെ.
• ഹദൂപ്. വലിയ അളവിലുള്ള ഡാറ്റ പ്രോസസ്സ് ചെയ്യുന്നതിനുള്ള സിസ്റ്റം.
• ബിഗ് ഡാറ്റ എഞ്ചിനീയറിംഗിന്റെ ആമുഖം

തീരുമാനം

നിങ്ങൾ പഠിക്കുന്നതെല്ലാം ജോലിയിൽ പ്രയോഗിക്കാൻ കഴിയില്ല. അതിനാൽ, നിങ്ങൾക്ക് ഒരു ബിരുദ പദ്ധതി ആവശ്യമാണ്, അതിൽ നിങ്ങൾ പുതിയ അറിവ് പ്രയോഗിക്കാൻ ശ്രമിക്കും.

പ്ലാനിൽ ഡാറ്റ വിശകലനം, മെഷീൻ ലേണിംഗ് എന്നിവയുമായി ബന്ധപ്പെട്ട വിഷയങ്ങളൊന്നുമില്ല. ഡാറ്റാ സയന്റിസ്റ്റ് തൊഴിലിന് ഇത് കൂടുതൽ ബാധകമാണ്. AWS മേഘങ്ങൾ, അസൂർ എന്നിവയുമായി ബന്ധപ്പെട്ട വിഷയങ്ങളൊന്നുമില്ല. ഈ തീമുകൾ പ്ലാറ്റ്‌ഫോമിന്റെ തിരഞ്ഞെടുപ്പിനെ വളരെയധികം ആശ്രയിച്ചിരിക്കുന്നു.

സമൂഹത്തോടുള്ള ചോദ്യങ്ങൾ:
എന്റെ ലെവലിംഗ് പ്ലാൻ എത്രത്തോളം പര്യാപ്തമാണ്? എന്ത് നീക്കം ചെയ്യണം അല്ലെങ്കിൽ ചേർക്കണം?
ഒരു തീസിസായി നിങ്ങൾ ഏത് പ്രോജക്റ്റ് ശുപാർശ ചെയ്യും?

അവലംബം: www.habr.com