डेटा इंजीनियर का पेशा प्राप्त करने के लिए लेवलिंग योजना

पिछले आठ वर्षों से मैं एक प्रोजेक्ट मैनेजर के रूप में काम कर रहा हूं (मैं काम पर कोड नहीं लिखता), जो स्वाभाविक रूप से मेरे तकनीकी बैकएंड को नकारात्मक रूप से प्रभावित करता है। मैंने अपने तकनीकी अंतर को पाटने और डेटा इंजीनियर का पेशा अपनाने का फैसला किया। डेटा इंजीनियर का मुख्य कौशल डेटा वेयरहाउस को डिजाइन, निर्माण और रखरखाव करने की क्षमता है।

मैंने एक प्रशिक्षण योजना बनाई, मुझे लगता है कि यह न केवल मेरे लिए उपयोगी होगी। यह योजना स्व-अध्ययन पाठ्यक्रमों पर केंद्रित है। रूसी में निःशुल्क पाठ्यक्रमों को प्राथमिकता दी जाती है।

अनुभाग:

• एल्गोरिदम और डेटा संरचनाएं। मुख्य अनुभाग. इसे सीखो और बाकी सब भी काम करेगा। कोड पर अपना हाथ रखना और बुनियादी संरचनाओं और एल्गोरिदम का उपयोग करना महत्वपूर्ण है।
• डेटाबेस और डेटा वेयरहाउस, बिजनेस इंटेलिजेंस। हम एल्गोरिदम से डेटा स्टोरेज और प्रोसेसिंग की ओर बढ़ रहे हैं।
• Hadoop और बिग डेटा। जब डेटाबेस हार्ड ड्राइव पर शामिल नहीं होता है, या जब डेटा का विश्लेषण करने की आवश्यकता होती है, लेकिन एक्सेल अब उन्हें लोड नहीं कर सकता है, तो बड़ा डेटा शुरू होता है। मेरी राय में पिछले दोनों का गहन अध्ययन करने के बाद ही इस अनुभाग पर आगे बढ़ना आवश्यक है।

एल्गोरिदम और डेटा संरचनाएं

अपनी योजना में, मैंने पायथन सीखना, गणित की मूल बातें दोहराना और एल्गोरिथमीकरण शामिल किया।

• पायथन में प्रोग्रामिंग
• पायथन: मूल बातें और अनुप्रयोग
• लीनियर अलजेब्रा
• असतत गणित पर लाइकबेज़
• एल्गोरिदम: सिद्धांत और व्यवहार। तरीकों
• एल्गोरिदम: सिद्धांत और व्यवहार। डेटा संरचनाएं

डेटाबेस और डेटा वेयरहाउस, बिजनेस इंटेलिजेंस

• पुस्तक: मार्टिन क्लेपमैन - अत्यधिक लोड किए गए एप्लिकेशन। प्रोग्रामिंग, स्केलिंग, समर्थन। पुस्तक बताती है कि विभिन्न डेटा मॉडल कैसे काम करते हैं, अंदर से उनका कार्यान्वयन, कार्य के आधार पर सीमाएं और विकल्प।
• डेटाबेस का परिचय
• डीबीएमएस में गोता लगाएँ
• गैर-संबंधपरक डेटाबेस का परिचय

डेटा वेयरहाउस, ईटीएल, ओएलएपी क्यूब्स के निर्माण से संबंधित विषय उपकरणों पर अत्यधिक निर्भर हैं, इसलिए मैं इस दस्तावेज़ में पाठ्यक्रमों के लिंक नहीं देता हूं। किसी विशिष्ट कंपनी में किसी विशिष्ट परियोजना पर काम करते समय ऐसी प्रणालियों का अध्ययन करने की सलाह दी जाती है। ईटीएल से परिचित होने के लिए आप प्रयास कर सकते हैं Talend या Airflow.

मेरी राय में, आधुनिक डेटा वॉल्ट डिज़ाइन पद्धति का अध्ययन करना महत्वपूर्ण है 1 लिंक, 2 लिंक. और इसे सीखने का सबसे अच्छा तरीका इसे लेना और इसे एक सरल उदाहरण के साथ लागू करना है। GitHub पर कई डेटा वॉल्ट कार्यान्वयन उदाहरण हैं लिंक. द मॉडर्न डेटा वेयरहाउस बुक: हंस हल्टग्रेन द्वारा डेटा वॉल्ट के साथ एजाइल डेटा वेयरहाउस की मॉडलिंग।

अंतिम उपयोगकर्ताओं के लिए बिजनेस इंटेलिजेंस टूल से परिचित होने के लिए, आप रिपोर्ट, डैशबोर्ड, मिनी डेटा वेयरहाउस पावर बीआई डेस्कटॉप के मुफ्त डिजाइनर का उपयोग कर सकते हैं। शिक्षण सामग्री: 1 लिंक, 2 लिंक.

Hadoop और बिग डेटा

• आपको तृतीय-पक्ष लाइब्रेरी के बिना MapReduce के स्वतंत्र कार्यान्वयन के साथ शुरुआत करने की आवश्यकता है। इससे भविष्य में मल्टीथ्रेडेड कार्यान्वयन को बेहतर ढंग से समझने में मदद मिलेगी। पायथन में एक उत्कृष्ट उदाहरण वर्णित है यहां.
• Hadoop. बड़ी मात्रा में डेटा संसाधित करने की प्रणाली।
• बिग डेटा इंजीनियरिंग का परिचय

निष्कर्ष

आप जो कुछ भी सीखते हैं उसे काम पर लागू नहीं किया जा सकता। इसलिए, आपको एक स्नातक परियोजना की आवश्यकता है जिसमें आप नए ज्ञान को लागू करने का प्रयास करेंगे।

योजना में डेटा विश्लेषण और मशीन लर्निंग से संबंधित कोई विषय नहीं हैं। यह डेटा वैज्ञानिक पेशे पर अधिक लागू होता है। AWS क्लाउड, Azure से संबंधित कोई विषय भी नहीं हैं। ये थीम प्लेटफ़ॉर्म की पसंद पर अत्यधिक निर्भर हैं।

समुदाय से प्रश्न:
मेरी लेवलिंग योजना कितनी पर्याप्त है? क्या हटाना या जोड़ना है?
थीसिस के रूप में आप किस प्रोजेक्ट की अनुशंसा करेंगे?

स्रोत: www.habr.com