વ્યવસાય ડેટા એન્જિનિયર મેળવવા માટે સ્તરીકરણ યોજના

છેલ્લા આઠ વર્ષથી હું પ્રોજેક્ટ મેનેજર તરીકે કામ કરું છું (હું કામ પર કોડ લખતો નથી), જે કુદરતી રીતે મારા ટેક્નોલોજીકલ બેકએન્ડ પર નકારાત્મક અસર કરે છે. મેં મારી ટેક્નોલોજીકલ ગેપને બંધ કરીને ડેટા એન્જિનિયરનો વ્યવસાય મેળવવાનું નક્કી કર્યું. ડેટા એન્જીનીયરની મુખ્ય કૌશલ્ય એ ડેટા વેરહાઉસ ડિઝાઇન, બિલ્ડ અને જાળવણી કરવાની ક્ષમતા છે.

મેં એક તાલીમ યોજના બનાવી છે, મને લાગે છે કે તે ફક્ત મારા માટે જ ઉપયોગી થશે નહીં. આ યોજના સ્વ-અભ્યાસ અભ્યાસક્રમો પર કેન્દ્રિત છે. રશિયનમાં મફત અભ્યાસક્રમોને પ્રાથમિકતા આપવામાં આવે છે.

વિભાગો:

• અલ્ગોરિધમ્સ અને ડેટા સ્ટ્રક્ચર્સ. કી વિભાગ. તે શીખો અને બાકીનું બધું પણ કામ કરશે. કોડ પર તમારો હાથ મેળવવો અને મૂળભૂત માળખાં અને અલ્ગોરિધમનો ઉપયોગ કરવો મહત્વપૂર્ણ છે.
• ડેટાબેસેસ અને ડેટા વેરહાઉસ, બિઝનેસ ઇન્ટેલિજન્સ. અમે એલ્ગોરિધમથી ડેટા સ્ટોરેજ અને પ્રોસેસિંગ તરફ આગળ વધી રહ્યા છીએ.
• હડુપ અને બિગ ડેટા. જ્યારે હાર્ડ ડ્રાઈવમાં ડેટાબેઝનો સમાવેશ થતો નથી, અથવા જ્યારે ડેટાનું વિશ્લેષણ કરવાની જરૂર હોય, પરંતુ એક્સેલ હવે તેને લોડ કરી શકતું નથી, ત્યારે મોટો ડેટા શરૂ થાય છે. મારા મતે, અગાઉના બે વિભાગોના ઊંડા અભ્યાસ પછી જ આ વિભાગમાં આગળ વધવું જરૂરી છે.

અલ્ગોરિધમ્સ અને ડેટા સ્ટ્રક્ચર્સ

મારી યોજનામાં, મેં પાયથોન શીખવાનું, ગણિતની મૂળભૂત બાબતોનું પુનરાવર્તન અને અલ્ગોરિધમાઇઝેશનનો સમાવેશ કર્યો.

• પાયથોનમાં પ્રોગ્રામિંગ
• પાયથોન: બેઝિક્સ અને એપ્લિકેશન્સ
• રેખીય બીજગણિત
• અલગ ગણિત પર Likbez
• અલ્ગોરિધમ્સ: સિદ્ધાંત અને વ્યવહાર. પદ્ધતિઓ
• અલ્ગોરિધમ્સ: સિદ્ધાંત અને વ્યવહાર. ડેટા સ્ટ્રક્ચર્સ

ડેટાબેસેસ અને ડેટા વેરહાઉસ, બિઝનેસ ઇન્ટેલિજન્સ

• પુસ્તક: માર્ટિન ક્લેપમેન - અત્યંત લોડ કરેલી એપ્લિકેશન. પ્રોગ્રામિંગ, સ્કેલિંગ, સપોર્ટ. આ પુસ્તક વર્ણવે છે કે કેવી રીતે વિવિધ ડેટા મોડલ્સ કામ કરે છે, અંદરથી તેમના અમલીકરણ, મર્યાદાઓ અને કાર્યના આધારે પસંદગીઓ.
• ડેટાબેઝનો પરિચય
• DBMS માં ડાઇવ કરો
• બિન-સંબંધિત ડેટાબેસેસનો પરિચય

ડેટા વેરહાઉસ, ETL, OLAP ક્યુબ્સ બનાવવા સંબંધિત વિષયો ટૂલ્સ પર ખૂબ જ નિર્ભર છે, તેથી હું આ દસ્તાવેજમાં અભ્યાસક્રમોની લિંક આપતો નથી. ચોક્કસ કંપનીમાં ચોક્કસ પ્રોજેક્ટ પર કામ કરતી વખતે આવી સિસ્ટમોનો અભ્યાસ કરવાની સલાહ આપવામાં આવે છે. ETL સાથે પરિચિતતા માટે, તમે પ્રયાસ કરી શકો છો કalendલેન્ડર અથવા હવા પ્રવાહ.

મારા મતે, આધુનિક ડેટા વૉલ્ટ ડિઝાઇન પદ્ધતિનો અભ્યાસ કરવો મહત્વપૂર્ણ છે લિંક 1, લિંક 2. અને તે શીખવાની શ્રેષ્ઠ રીત એ છે કે તેને લો અને તેને એક સરળ ઉદાહરણ સાથે અમલમાં મુકો. GitHub પર ઘણા ડેટા વૉલ્ટ અમલીકરણ ઉદાહરણો છે ссылка. ધ મોર્ડન ડેટા વેરહાઉસ બુક: હેન્સ હલ્ટગ્રેન દ્વારા ડેટા વૉલ્ટ સાથે ચપળ ડેટા વેરહાઉસનું મોડેલિંગ.

અંતિમ વપરાશકર્તાઓ માટે બિઝનેસ ઇન્ટેલિજન્સ ટૂલ્સથી પરિચિત થવા માટે, તમે રિપોર્ટ્સ, ડેશબોર્ડ્સ, મિની ડેટા વેરહાઉસીસ પાવર BI ડેસ્કટોપના મફત ડિઝાઇનરનો ઉપયોગ કરી શકો છો. શૈક્ષણિક સામગ્રી: લિંક 1, લિંક 2.

હડુપ અને બિગ ડેટા

• તમારે તૃતીય-પક્ષ પુસ્તકાલયો વિના MapReduce ના સ્વતંત્ર અમલીકરણ સાથે પ્રારંભ કરવાની જરૂર છે. આ ભવિષ્યમાં મલ્ટિથ્રેડેડ અમલીકરણની વધુ સારી સમજણ માટે પરવાનગી આપશે. પાયથોનમાં એક ઉત્તમ ઉદાહરણ વર્ણવવામાં આવ્યું છે અહીં.
• હડૂપ. મોટી માત્રામાં ડેટા પર પ્રક્રિયા કરવા માટેની સિસ્ટમ.
• બિગ ડેટા એન્જિનિયરિંગનો પરિચય

નિષ્કર્ષ

તમે જે શીખો છો તે બધું કામ પર લાગુ કરી શકાતું નથી. તેથી, તમારે ગ્રેજ્યુએશન પ્રોજેક્ટની જરૂર છે જેમાં તમે નવા જ્ઞાનને લાગુ કરવાનો પ્રયાસ કરશો.

પ્લાનમાં ડેટા એનાલિસિસ અને મશીન લર્નિંગ સંબંધિત કોઈ વિષયો નથી. આ ડેટા સાયન્ટિસ્ટ વ્યવસાયને વધુ લાગુ પડે છે. AWS વાદળો, Azure થી સંબંધિત કોઈ વિષયો પણ નથી. આ થીમ્સ પ્લેટફોર્મની પસંદગી પર ખૂબ આધાર રાખે છે.

સમુદાય માટે પ્રશ્નો:
મારી લેવલિંગ યોજના કેટલી પર્યાપ્ત છે? શું દૂર કરવું અથવા ઉમેરવું?
થીસીસ તરીકે તમે કયા પ્રોજેક્ટની ભલામણ કરશો?

સોર્સ: www.habr.com