पेशा डाटा इन्जिनियर प्राप्त गर्नको लागि स्तर योजना

विगत आठ वर्षदेखि म परियोजना प्रबन्धकको रूपमा काम गरिरहेको छु (म काममा कोड लेख्दिन), जसले स्वाभाविक रूपमा मेरो प्राविधिक ब्याकइन्डलाई नकारात्मक रूपमा असर गर्छ। मैले मेरो प्राविधिक ग्याप बन्द गर्ने र डाटा इन्जिनियरको पेशा लिने निर्णय गरें। डाटा इन्जिनियरको मुख्य सीप भनेको डाटा गोदामहरू डिजाइन, निर्माण र मर्मत गर्ने क्षमता हो।

मैले प्रशिक्षण योजना बनाएको छु, मलाई लाग्छ कि यो मेरो लागि मात्र होइन उपयोगी हुनेछ। योजना स्व-अध्ययन पाठ्यक्रमहरूमा केन्द्रित छ। रुसी भाषामा नि:शुल्क पाठ्यक्रमहरूलाई प्राथमिकता दिइन्छ।

खण्डहरू:

• एल्गोरिदम र डाटा संरचना। कुञ्जी खण्ड। यो सिक्नुहोस् र अरू सबै काम पनि हुनेछ। कोडमा आफ्नो हात प्राप्त गर्न र आधारभूत संरचना र एल्गोरिदमहरू प्रयोग गर्न महत्त्वपूर्ण छ।
• डाटाबेस र डाटा गोदामहरू, व्यापार खुफिया। हामी एल्गोरिदमबाट डाटा भण्डारण र प्रशोधनमा जाँदैछौं।
• Hadoop र बिग डाटा। जब डाटाबेस हार्ड ड्राइभमा समावेश गरिएको छैन, वा जब डाटा विश्लेषण गर्न आवश्यक छ, तर एक्सेलले तिनीहरूलाई लोड गर्न सक्दैन, ठूलो डाटा सुरु हुन्छ। मेरो विचारमा, अघिल्ला दुईवटा गहिरो अध्ययन गरेपछि मात्र यो खण्डमा अगाडि बढ्न आवश्यक छ।

एल्गोरिदम र डाटा संरचना

मेरो योजनामा, मैले पाइथन सिक्ने, गणित र एल्गोरिदमाइजेसनको आधारभूत कुराहरू दोहोर्याउने समावेश गरें।

• Python मा प्रोग्रामिङ
• पाइथन: आधारभूत र अनुप्रयोगहरू
• रेखीय बीजगणित
• अलग गणित मा Likbez
• एल्गोरिदम: सिद्धान्त र अभ्यास। विधिहरू
• एल्गोरिदम: सिद्धान्त र अभ्यास। डाटा संरचनाहरू

डाटाबेस र डाटा गोदामहरू, व्यापार खुफिया

• पुस्तक: मार्टिन क्लेपम्यान - अत्यधिक लोड गरिएका अनुप्रयोगहरू। प्रोग्रामिङ, स्केलिंग, समर्थन। पुस्तकले विभिन्न डेटा मोडेलहरूले कसरी काम गर्छ, भित्रबाट तिनीहरूको कार्यान्वयन, सीमितताहरू र कार्यहरूमा निर्भर छनौटहरू वर्णन गर्दछ।
• डाटाबेस को परिचय
• DBMS मा डुब्नुहोस्
• गैर-रिलेशनल डाटाबेसहरूको परिचय

डाटा गोदामहरू, ETL, OLAP क्यूबहरू निर्माणसँग सम्बन्धित विषयहरू उपकरणहरूमा अत्यधिक निर्भर छन्, त्यसैले म यस कागजातमा पाठ्यक्रमहरूको लिङ्कहरू दिँदिन। एक विशेष कम्पनी मा एक विशेष परियोजना मा काम गर्दा यस्तो प्रणाली अध्ययन गर्न सल्लाह दिइन्छ। ETL संग परिचित को लागी, तपाइँ प्रयास गर्न सक्नुहुन्छ पात्रो वा हावा प्रवाह.

मेरो विचारमा, आधुनिक डाटा भल्ट डिजाइन पद्धति अध्ययन गर्नु महत्त्वपूर्ण छ लिङ्क 1, लिङ्क 2। र यो सिक्ने सबैभन्दा राम्रो तरिका यसलाई लिनु र यसलाई सरल उदाहरणको साथ लागू गर्नु हो। GitHub मा धेरै डाटा भल्ट कार्यान्वयन उदाहरणहरू छन् लिङ्क। आधुनिक डाटा वेयरहाउस बुक: ह्यान्स हल्टग्रेन द्वारा डाटा भल्टको साथ एजाइल डाटा वेयरहाउसको मोडेलिंग।

अन्त प्रयोगकर्ताहरूका लागि व्यापार खुफिया उपकरणहरूसँग परिचित हुन, तपाईंले रिपोर्टहरू, ड्यासबोर्डहरू, मिनी डाटा गोदामहरू Power BI डेस्कटपको नि:शुल्क डिजाइनर प्रयोग गर्न सक्नुहुन्छ। शैक्षिक सामग्री: लिङ्क 1, लिङ्क 2.

Hadoop र बिग डाटा

• तपाईंले तेस्रो-पक्ष पुस्तकालयहरू बिना MapReduce को एक स्वतन्त्र कार्यान्वयनको साथ सुरु गर्न आवश्यक छ। यसले भविष्यमा मल्टिथ्रेड गरिएका कार्यान्वयनहरूको राम्रोसँग बुझ्नको लागि अनुमति दिनेछ। पाइथन मा एक उत्कृष्ट उदाहरण वर्णन गरिएको छ यहाँ.
• हडुप। ठूलो मात्रामा डाटा प्रशोधन गर्ने प्रणाली।
• बिग डाटा ईन्जिनियरिङ् को परिचय

निष्कर्षमा

तपाईंले सिकेका सबै कुरा काममा लागू गर्न सकिँदैन। त्यसकारण, तपाईलाई स्नातक परियोजना चाहिन्छ जसमा तपाईले नयाँ ज्ञान लागू गर्ने प्रयास गर्नुहुनेछ।

योजनामा ​​डेटा विश्लेषण र मेसिन लर्निङसँग सम्बन्धित कुनै विषयहरू छैनन्। यो डेटा वैज्ञानिक पेशा मा अधिक लागू हुन्छ। AWS क्लाउडहरू, Azure सँग सम्बन्धित कुनै विषयहरू पनि छैनन्। यी विषयवस्तुहरू प्लेटफर्मको छनौटमा अत्यधिक निर्भर छन्।

समुदायका लागि प्रश्नहरू:
मेरो स्तरीकरण योजना कत्तिको पर्याप्त छ? के थप्ने वा हटाउने?
तपाईं थीसिसको रूपमा कुन परियोजना सिफारिस गर्नुहुन्छ?

स्रोत: www.habr.com