கடந்த எட்டு ஆண்டுகளாக நான் திட்ட மேலாளராக பணிபுரிந்து வருகிறேன் (நான் வேலையில் குறியீட்டை எழுதுவதில்லை), இது இயற்கையாகவே எனது தொழில்நுட்ப பின்தளத்தை எதிர்மறையாக பாதிக்கிறது. எனது தொழில்நுட்ப இடைவெளியை மூடிவிட்டு டேட்டா இன்ஜினியர் தொழிலைப் பெற முடிவு செய்தேன். தரவுக் கிடங்குகளை வடிவமைத்தல், உருவாக்குதல் மற்றும் பராமரித்தல் ஆகியவை டேட்டா இன்ஜினியரின் முக்கியத் திறன் ஆகும்.
நான் ஒரு பயிற்சித் திட்டத்தை உருவாக்கினேன், அது எனக்கு மட்டுமல்ல பயனுள்ளதாக இருக்கும் என்று நினைக்கிறேன். திட்டம் சுய படிப்பு படிப்புகளில் கவனம் செலுத்துகிறது. ரஷ்ய மொழியில் இலவச படிப்புகளுக்கு முன்னுரிமை அளிக்கப்படுகிறது.
பிரிவுகள்:
- அல்காரிதம்கள் மற்றும் தரவு கட்டமைப்புகள். முக்கிய பிரிவு. அதைக் கற்றுக் கொள்ளுங்கள், மற்ற அனைத்தும் செயல்படும். குறியீட்டில் உங்கள் கைகளைப் பெறுவது மற்றும் அடிப்படை கட்டமைப்புகள் மற்றும் வழிமுறைகளைப் பயன்படுத்துவது முக்கியம்.
- தரவுத்தளங்கள் மற்றும் தரவுக் கிடங்குகள், வணிக நுண்ணறிவு. நாங்கள் அல்காரிதம்களிலிருந்து தரவு சேமிப்பு மற்றும் செயலாக்கத்திற்கு நகர்கிறோம்.
- ஹடூப் மற்றும் பிக் டேட்டா. தரவுத்தளம் வன்வட்டில் சேர்க்கப்படாதபோது அல்லது தரவை பகுப்பாய்வு செய்ய வேண்டியிருக்கும் போது, எக்செல் இனி அவற்றை ஏற்ற முடியாது, பெரிய தரவு தொடங்குகிறது. என் கருத்துப்படி, முந்தைய இரண்டையும் ஆழமாகப் படித்த பின்னரே இந்தப் பகுதிக்குச் செல்ல வேண்டும்.
அல்காரிதம்கள் மற்றும் தரவு கட்டமைப்புகள்
எனது திட்டத்தில், பைத்தானைக் கற்றல், கணிதம் மற்றும் அல்காரிதமைசேஷன் ஆகியவற்றின் அடிப்படைகளைத் திரும்பத் திரும்பச் சொன்னேன்.
தரவுத்தளங்கள் மற்றும் தரவுக் கிடங்குகள், வணிக நுண்ணறிவு
- புத்தகம்: மார்ட்டின் க்ளெப்மேன் - அதிகம் ஏற்றப்பட்ட பயன்பாடுகள். நிரலாக்க, அளவிடுதல், ஆதரவு. வெவ்வேறு தரவு மாதிரிகள் எவ்வாறு செயல்படுகின்றன, அவற்றை உள்ளே இருந்து செயல்படுத்துதல், பணியைப் பொறுத்து வரம்புகள் மற்றும் தேர்வுகள் ஆகியவற்றை புத்தகம் விவரிக்கிறது.
தரவுக் கிடங்குகளை உருவாக்குவது தொடர்பான தலைப்புகள், ETL, OLAP க்யூப்ஸ் ஆகியவை கருவிகளைச் சார்ந்து இருப்பதால், இந்த ஆவணத்தில் உள்ள படிப்புகளுக்கான இணைப்புகளை நான் கொடுக்கவில்லை. ஒரு குறிப்பிட்ட நிறுவனத்தில் ஒரு குறிப்பிட்ட திட்டத்தில் பணிபுரியும் போது அத்தகைய அமைப்புகளைப் படிப்பது நல்லது. ETL உடன் அறிமுகம் செய்ய, நீங்கள் முயற்சி செய்யலாம் அல்லது .
என் கருத்துப்படி, நவீன தரவு வால்ட் வடிவமைப்பு முறையைப் படிப்பது முக்கியம் , . அதைக் கற்றுக்கொள்வதற்கான சிறந்த வழி, அதை எடுத்து ஒரு எளிய உதாரணத்துடன் செயல்படுத்துவதாகும். GitHub இல் பல தரவு வால்ட் செயலாக்க எடுத்துக்காட்டுகள் உள்ளன . தி மாடர்ன் டேட்டா வேர்ஹவுஸ் புக்: ஹான்ஸ் ஹல்ட்கிரனின் டேட்டா வால்ட் மூலம் சுறுசுறுப்பான தரவுக் கிடங்கை மாதிரியாக்குதல்.
இறுதிப் பயனர்களுக்கான வணிக நுண்ணறிவுக் கருவிகளைப் பற்றி அறிந்துகொள்ள, நீங்கள் அறிக்கைகள், டாஷ்போர்டுகள், மினி தரவுக் கிடங்குகள் பவர் பிஐ டெஸ்க்டாப் ஆகியவற்றின் இலவச வடிவமைப்பாளரைப் பயன்படுத்தலாம். கல்வி பொருட்கள்: , .
ஹடூப் மற்றும் பிக் டேட்டா
- மூன்றாம் தரப்பு நூலகங்கள் இல்லாமல் MapReduce இன் சுயாதீன செயலாக்கத்துடன் நீங்கள் தொடங்க வேண்டும். இது எதிர்காலத்தில் மல்டித்ரெட் செயலாக்கங்களை நன்கு புரிந்துகொள்ள அனுமதிக்கும். பைத்தானில் ஒரு சிறந்த உதாரணம் விவரிக்கப்பட்டுள்ளது .
முடிவுக்கு
நீங்கள் கற்றுக்கொண்ட அனைத்தையும் வேலையில் பயன்படுத்த முடியாது. எனவே, உங்களுக்கு ஒரு பட்டப்படிப்பு திட்டம் தேவை, அதில் நீங்கள் புதிய அறிவைப் பயன்படுத்த முயற்சிப்பீர்கள்.
திட்டத்தில் தரவு பகுப்பாய்வு மற்றும் இயந்திர கற்றல் தொடர்பான தலைப்புகள் எதுவும் இல்லை. இது தரவு விஞ்ஞானி தொழிலுக்கு அதிகம் பொருந்தும். AWS மேகங்கள், Azure தொடர்பான தலைப்புகள் எதுவும் இல்லை. இந்த கருப்பொருள்கள் தளத்தின் தேர்வைப் பொறுத்தது.
சமூகத்திற்கான கேள்விகள்:
எனது நிலைப்படுத்தல் திட்டம் எவ்வளவு போதுமானது? எதை நீக்குவது அல்லது சேர்ப்பது?
ஆய்வறிக்கையாக எந்த திட்டத்தைப் பரிந்துரைக்கிறீர்கள்?
ஆதாரம்: www.habr.com