डेटा इंजीनियर कौन हैं, और आप कैसे बनते हैं?

फिर से हैलो! लेख का शीर्षक अपने आप में बहुत कुछ कहता है। पाठ्यक्रम प्रारंभ होने की प्रत्याशा में डाटा इंजीनियर हमारा सुझाव है कि आप समझें कि डेटा इंजीनियर कौन हैं। लेख में बहुत सारे उपयोगी लिंक हैं। पढ़ने का आनंद लो।

डेटा इंजीनियरिंग तरंग को कैसे पकड़ें और इसे आपको रसातल में न ले जाने दें, इस पर एक सरल मार्गदर्शिका।

ऐसा लगता है जैसे आजकल हर कोई डेटा साइंटिस्ट बनना चाहता है। लेकिन डेटा इंजीनियरिंग के बारे में क्या? मूलतः, यह डेटा विश्लेषक और डेटा वैज्ञानिक का एक प्रकार का मिश्रण है; एक डेटा इंजीनियर आमतौर पर वर्कफ़्लो, प्रोसेसिंग पाइपलाइन और ईटीएल प्रक्रियाओं के प्रबंधन के लिए जिम्मेदार होता है. इन कार्यों के महत्व के कारण, यह वर्तमान में एक और लोकप्रिय पेशेवर शब्दजाल है जो सक्रिय रूप से गति प्राप्त कर रहा है।

उच्च वेतन और भारी मांग इस नौकरी को बेहद आकर्षक बनाने का एक छोटा सा हिस्सा है! यदि आप नायकों की श्रेणी में शामिल होना चाहते हैं, तो सीखना शुरू करने में कभी देर नहीं होती। इस पोस्ट में, मैंने आपको अपना पहला कदम उठाने में मदद करने के लिए सभी आवश्यक जानकारी एकत्र की है।

तो चलिए शुरू करते है!

डेटा इंजीनियरिंग क्या है?

ईमानदारी से कहूं तो इससे बेहतर कोई स्पष्टीकरण नहीं है:

“एक वैज्ञानिक एक नया सितारा खोज सकता है, लेकिन वह एक तारा नहीं बना सकता। उसे एक इंजीनियर से यह करने के लिए कहना होगा।"

-गॉर्डन लिंडसे ग्लीग

इस प्रकार, एक डेटा इंजीनियर की भूमिका काफी महत्वपूर्ण है।

जैसा कि नाम से पता चलता है, डेटा इंजीनियरिंग डेटा से संबंधित है, अर्थात् इसकी डिलीवरी, भंडारण और प्रसंस्करण। तदनुसार, इंजीनियरों का मुख्य कार्य डेटा के लिए एक विश्वसनीय बुनियादी ढांचा प्रदान करना है। यदि हम आवश्यकताओं के AI पदानुक्रम को देखें, तो डेटा इंजीनियरिंग पहले 2-3 चरणों में रहती है: संग्रह, संचलन और भंडारण, डेटा तैयार करना.

एक डेटा इंजीनियर क्या करता है?

बड़े डेटा के आगमन के साथ, जिम्मेदारी का दायरा नाटकीय रूप से बदल गया है। यदि पहले ये विशेषज्ञ इंफॉर्मेटिका ईटीएल, पेंटाहो ईटीएल, टैलेंड जैसे उपकरणों का उपयोग करके बड़े एसक्यूएल प्रश्न और डिस्टिल्ड डेटा लिखते थे, तो अब डेटा इंजीनियरों की आवश्यकताएं बढ़ गई हैं।

डेटा इंजीनियर के पद के लिए खुली रिक्तियों वाली अधिकांश कंपनियों की निम्नलिखित आवश्यकताएं हैं:

• SQL और Python का उत्कृष्ट ज्ञान।
• क्लाउड प्लेटफ़ॉर्म, विशेष रूप से अमेज़ॅन वेब सेवाओं के साथ अनुभव।
• जावा/स्कैला के ज्ञान को प्राथमिकता।
• SQL और NoSQL डेटाबेस (डेटा मॉडलिंग, डेटा वेयरहाउसिंग) की अच्छी समझ।

ध्यान रखें, ये केवल आवश्यक चीजें हैं। इस सूची से यह माना जा सकता है कि डेटा इंजीनियर सॉफ्टवेयर विकास और बैकएंड के क्षेत्र के विशेषज्ञ हैं।
उदाहरण के लिए, यदि कोई कंपनी विभिन्न स्रोतों से बड़ी मात्रा में डेटा उत्पन्न करना शुरू करती है, तो डेटा इंजीनियर के रूप में आपका कार्य सूचना के संग्रह, उसके प्रसंस्करण और भंडारण को व्यवस्थित करना है।

इस मामले में उपयोग किए जाने वाले उपकरणों की सूची भिन्न हो सकती है, यह सब इस डेटा की मात्रा, इसकी प्राप्ति की गति और विविधता पर निर्भर करता है। अधिकांश कंपनियाँ बड़े डेटा के साथ बिल्कुल भी व्यवहार नहीं करती हैं, इसलिए एक केंद्रीकृत रिपॉजिटरी, एक तथाकथित डेटा वेयरहाउस के रूप में, आप स्क्रिप्ट के एक छोटे सेट के साथ SQL डेटाबेस (PostgreSQL, MySQL, आदि) का उपयोग कर सकते हैं जो डेटा को फीड करता है गोदाम।

गूगल, अमेज़ॅन, फेसबुक या ड्रॉपबॉक्स जैसे आईटी दिग्गजों की उच्च आवश्यकताएं हैं: पायथन, जावा या स्काला का ज्ञान।

• बड़े डेटा के साथ अनुभव: Hadoop, Spark, Kafka।
• एल्गोरिदम और डेटा संरचनाओं का ज्ञान।
• वितरित प्रणालियों की मूल बातें समझना।
• टेब्लू या इलास्टिकसर्च जैसे डेटा विज़ुअलाइज़ेशन टूल के साथ अनुभव एक प्लस होगा।

अर्थात्, बड़े डेटा की ओर एक स्पष्ट बदलाव है, अर्थात् उच्च भार के तहत इसके प्रसंस्करण में। इन कंपनियों ने सिस्टम दोष सहनशीलता की आवश्यकताओं में वृद्धि की है।

डेटा इंजीनियर बनाम। डेटा वैज्ञानिक

ठीक है, यह एक सरल और मज़ेदार तुलना थी (कुछ भी व्यक्तिगत नहीं), लेकिन वास्तव में यह कहीं अधिक जटिल है।

सबसे पहले, आपको पता होना चाहिए कि एक डेटा वैज्ञानिक और एक डेटा इंजीनियर की भूमिकाओं और कौशल के चित्रण में बहुत अस्पष्टता है। यानी आप इस बात को लेकर आसानी से भ्रमित हो सकते हैं कि एक सफल डेटा इंजीनियर बनने के लिए किन कौशलों की आवश्यकता है। बेशक, कुछ ऐसे कौशल हैं जो दोनों भूमिकाओं के साथ ओवरलैप होते हैं। लेकिन कई बिल्कुल विपरीत कौशल भी हैं।

डेटा विज्ञान एक गंभीर व्यवसाय है, लेकिन हम कार्यात्मक डेटा विज्ञान की दुनिया की ओर बढ़ रहे हैं जहां व्यवसायी अपना स्वयं का विश्लेषण करने में सक्षम हैं। डेटा पाइपलाइनों और एकीकृत डेटा संरचनाओं को सक्षम करने के लिए, आपको डेटा इंजीनियरों की आवश्यकता है, डेटा वैज्ञानिकों की नहीं।

क्या डेटा वैज्ञानिक की तुलना में डेटा इंजीनियर की मांग अधिक है?

- हाँ, क्योंकि इससे पहले कि आप गाजर का केक बना सकें, आपको सबसे पहले गाजरों को इकट्ठा करना, छीलना और स्टॉक करना होगा!

एक डेटा इंजीनियर किसी भी डेटा वैज्ञानिक की तुलना में प्रोग्रामिंग को बेहतर ढंग से समझता है, लेकिन जब आंकड़ों की बात आती है, तो स्थिति विपरीत होती है।

लेकिन यहाँ एक डेटा इंजीनियर का लाभ है:

उसके बिना, प्रोटोटाइप मॉडल का मूल्य, जिसमें अक्सर पायथन फ़ाइल में भयानक गुणवत्ता वाले कोड का एक टुकड़ा शामिल होता है, जो डेटा वैज्ञानिक से प्राप्त होता है और किसी तरह परिणाम उत्पन्न करता है, शून्य हो जाता है।

डेटा इंजीनियर के बिना, यह कोड कभी भी प्रोजेक्ट नहीं बनेगा और कोई भी व्यावसायिक समस्या प्रभावी ढंग से हल नहीं होगी। डेटा इंजीनियर इन सबको एक उत्पाद में बदलने की कोशिश कर रहा है।

बुनियादी जानकारी एक डेटा इंजीनियर को पता होनी चाहिए

इसलिए, यदि यह नौकरी आपके अंदर रोशनी लाती है और आप उत्साही हैं - तो आप इसे सीख सकते हैं, आप सभी आवश्यक कौशल में महारत हासिल कर सकते हैं और डेटा इंजीनियरिंग के क्षेत्र में एक वास्तविक रॉक स्टार बन सकते हैं। और हां, आप प्रोग्रामिंग कौशल या अन्य तकनीकी ज्ञान के बिना भी इसे पूरा कर सकते हैं। यह कठिन है, लेकिन संभव है!

पहले कदम क्या हैं?

आपके पास एक सामान्य विचार होना चाहिए कि क्या है।

सबसे पहले, डेटा इंजीनियरिंग कंप्यूटर विज्ञान को संदर्भित करता है। अधिक विशेष रूप से, आपको कुशल एल्गोरिदम और डेटा संरचनाओं को समझना चाहिए। दूसरे, चूंकि डेटा इंजीनियर डेटा के साथ काम करते हैं, इसलिए डेटाबेस के सिद्धांतों और उन्हें अंतर्निहित संरचनाओं को समझना आवश्यक है।

उदाहरण के लिए, पारंपरिक बी-ट्री एसक्यूएल डेटाबेस बी-ट्री डेटा संरचना के साथ-साथ आधुनिक वितरित रिपॉजिटरी, एलएसएम-ट्री और हैश तालिकाओं के अन्य संशोधनों पर आधारित हैं।

*ये चरण एक बेहतरीन लेख पर आधारित हैं आदिल्या खश्तामोवा. इसलिए, यदि आप रूसी जानते हैं, तो इस लेखक का समर्थन करें और पढ़ें उसकी पोस्ट.

1. एल्गोरिदम और डेटा संरचनाएं

सही डेटा संरचना का उपयोग करने से एल्गोरिदम के प्रदर्शन में काफी सुधार हो सकता है। आदर्श रूप से, हम सभी को अपने स्कूलों में डेटा संरचनाओं और एल्गोरिदम के बारे में सीखना चाहिए, लेकिन इसे शायद ही कभी कवर किया जाता है। किसी भी स्थिति में, परिचित होने में कभी देर नहीं होती।
तो यहाँ डेटा संरचनाओं और एल्गोरिदम सीखने के लिए मेरे पसंदीदा निःशुल्क पाठ्यक्रम हैं:

• सरल से जटिल तक: डेटा संरचनाएं (उडेमी)
• एल्गोरिदम, भाग I (कोर्सेरा)
• एल्गोरिदम, भाग II (कोर्सेरा)

साथ ही एल्गोरिदम पर थॉमस कॉर्मन के क्लासिक काम के बारे में भी न भूलें - एल्गोरिदम का परिचय. जब आपको अपनी याददाश्त ताज़ा करने की आवश्यकता हो तो यह एकदम सही संदर्भ है।

• अपने कौशल को बेहतर बनाने के लिए उपयोग करें लेटकोड.

आप यूट्यूब पर कार्नेगी मेलॉन यूनिवर्सिटी के अद्भुत वीडियो के साथ डेटाबेस की दुनिया में भी उतर सकते हैं:

• डेटाबेस सिस्टम का परिचय.
• उन्नत डेटाबेस सिस्टम.

2. एसक्यूएल सीखें

हमारा पूरा जीवन डेटा है। और इस डेटा को डेटाबेस से निकालने के लिए, आपको इसके साथ वही भाषा "बोलनी" होगी।

SQL (स्ट्रक्चर्ड क्वेरी लैंग्वेज) डेटा डोमेन में संचार की भाषा है। चाहे कोई कुछ भी कहे, SQL जीवित है, जीवित है, और बहुत लंबे समय तक जीवित रहेगा।

यदि आप लंबे समय से विकास में हैं, तो आपने शायद देखा होगा कि SQL की आसन्न मृत्यु के बारे में अफवाहें समय-समय पर सामने आती रहती हैं। यह भाषा 70 के दशक की शुरुआत में विकसित की गई थी और यह अभी भी विश्लेषकों, डेवलपर्स और उत्साही लोगों के बीच बहुत लोकप्रिय है।
SQL के ज्ञान के बिना डेटा इंजीनियरिंग में कुछ नहीं करना है क्योंकि आपको डेटा पुनर्प्राप्त करने के लिए अनिवार्य रूप से क्वेरीज़ बनानी होंगी। सभी आधुनिक बड़े डेटा वेयरहाउस SQL ​​का समर्थन करते हैं:

• अमेज़न रेडशिफ्ट
• एचपी वर्टिका
• ओरेकल
• SQL सर्वर

... गंभीर प्रयास।

एचडीएफएस जैसे वितरित सिस्टम में संग्रहीत डेटा की एक बड़ी परत का विश्लेषण करने के लिए, एसक्यूएल इंजन का आविष्कार किया गया था: अपाचे हाइव, इम्पाला, आदि। देखिए, यह कहीं नहीं जा रहा है।

एसक्यूएल कैसे सीखें? बस इसे अभ्यास में करो.

ऐसा करने के लिए, मैं एक उत्कृष्ट ट्यूटोरियल की जाँच करने की अनुशंसा करूँगा, जो, वैसे, मुफ़्त है मोड एनालिटिक्स.

1. मध्यवर्ती एसक्यूएल
2. SQL में डेटा जोड़ना

इन पाठ्यक्रमों को जो खास बनाता है वह यह है कि इनमें एक इंटरैक्टिव वातावरण होता है जहां आप सीधे अपने ब्राउज़र में SQL क्वेरी लिख और चला सकते हैं। संसाधन आधुनिक एसक्यूएल अतिश्योक्तिपूर्ण नहीं होगा. और आप इस ज्ञान को लागू कर सकते हैं लेटकोड कार्य डेटाबेस अनुभाग में.

3. पायथन और जावा/स्कैला में प्रोग्रामिंग

आपको पायथन प्रोग्रामिंग भाषा क्यों सीखनी चाहिए, मैंने पहले ही लेख में लिखा है पायथन बनाम आर। एआई, एमएल और डेटा साइंस के लिए सर्वश्रेष्ठ टूल चुनना. जब जावा और स्काला की बात आती है, तो भारी मात्रा में डेटा संग्रहीत करने और संसाधित करने के अधिकांश उपकरण इन भाषाओं में लिखे गए हैं। उदाहरण के लिए:

• अपाचे काफ्का (स्काला)
• हडूप, एचडीएफएस (जावा)
• अपाचे स्पार्क (स्कैला)
• अपाचे कैसेंड्रा (जावा)
• एचबेस (जावा)
• अपाचे हाइव (जावा)

यह समझने के लिए कि ये उपकरण कैसे काम करते हैं, आपको उन भाषाओं को जानना होगा जिनमें वे लिखे गए हैं। स्काला का कार्यात्मक दृष्टिकोण आपको समानांतर डेटा प्रोसेसिंग समस्याओं को प्रभावी ढंग से हल करने की अनुमति देता है। दुर्भाग्य से, पायथन गति और समानांतर प्रसंस्करण का दावा नहीं कर सकता। सामान्य तौर पर, कई भाषाओं और प्रोग्रामिंग प्रतिमानों का ज्ञान समस्याओं को हल करने के दृष्टिकोण की व्यापकता के लिए अच्छा है।

स्काला भाषा में गहराई से जानने के लिए, आप पढ़ सकते हैं स्काला में प्रोग्रामिंग भाषा के लेखक से. ट्विटर ने एक अच्छी परिचयात्मक मार्गदर्शिका भी प्रकाशित की - स्काला स्कूल.

जहां तक ​​पाइथॉन का सवाल है, मेरा मानना ​​है धाराप्रवाह पायथन सर्वोत्तम मध्यम स्तर की पुस्तक।

4. बड़े डेटा के साथ काम करने के लिए उपकरण

यहां बड़े डेटा की दुनिया में सबसे लोकप्रिय टूल की सूची दी गई है:

• अपाचे स्पार्क
• अपाचे काफ्का
• अपाचे Hadoop (HDFS, HBase, Hive)
• अपाचे कैसंद्रा

आप इस अद्भुत में बड़े डेटा ब्लॉक बनाने के बारे में अधिक जानकारी पा सकते हैं इंटरैक्टिव वातावरण. सबसे लोकप्रिय उपकरण स्पार्क और काफ्का हैं। वे निश्चित रूप से अध्ययन के लायक हैं, यह समझना उचित है कि वे अंदर से कैसे काम करते हैं। जे क्रेप्स (काफ्का के सह-लेखक) ने 2013 में एक स्मारकीय कार्य प्रकाशित किया लॉग: प्रत्येक सॉफ़्टवेयर डेवलपर को रीयल-टाइम डेटा एकत्रीकरण अमूर्तन के बारे में क्या पता होना चाहिएवैसे, अपाचे काफ्का को बनाने के लिए इस तल्मूड के मुख्य विचारों का उपयोग किया गया था।

• Hadoop का परिचय हो सकता है Hadoop में महारत हासिल करने की संपूर्ण मार्गदर्शिका (निःशुल्क).
• मेरे लिए अपाचे स्पार्क की सबसे व्यापक मार्गदर्शिका है - स्पार्क: संपूर्ण गाइड.

5. क्लाउड प्लेटफार्म

डेटा इंजीनियर के पद के लिए आवेदकों के लिए बुनियादी आवश्यकताओं की सूची में कम से कम एक क्लाउड प्लेटफ़ॉर्म का ज्ञान होना आवश्यक है। नियोक्ता अमेज़ॅन वेब सेवाओं को पसंद करते हैं, जिसमें Google का क्लाउड प्लेटफ़ॉर्म दूसरे स्थान पर है और Microsoft Azure शीर्ष तीन में है।

आपको Amazon EC2, AWS Lambda, Amazon S3, DynamoDB की अच्छी जानकारी होनी चाहिए।

6. वितरित प्रणाली

बड़े डेटा के साथ काम करने का तात्पर्य स्वतंत्र रूप से संचालित कंप्यूटरों के समूहों की उपस्थिति से है, जिनके बीच संचार एक नेटवर्क पर किया जाता है। क्लस्टर जितना बड़ा होगा, उसके सदस्य नोड्स की विफलता की संभावना उतनी ही अधिक होगी। एक महान डेटा वैज्ञानिक बनने के लिए, आपको वितरित सिस्टम की समस्याओं और मौजूदा समाधानों को समझना होगा। यह क्षेत्र पुराना एवं जटिल है।

एंड्रयू टैनेनबाम को इस क्षेत्र में अग्रणी माना जाता है। जो लोग सिद्धांत से नहीं डरते, मैं उनकी किताब की अनुशंसा करता हूं "वितरित प्रणाली", यह शुरुआती लोगों के लिए कठिन लग सकता है, लेकिन यह वास्तव में आपके कौशल को निखारने में मदद करेगा।

मैं विचार करता हूं मार्टिन क्लेपमैन द्वारा डेटा-सघन अनुप्रयोगों को डिजाइन करना सर्वोत्तम परिचयात्मक पुस्तक. वैसे, मार्टिन के पास एक अद्भुत चीज़ है ब्लॉग. उनका काम बड़े डेटा के भंडारण और प्रसंस्करण के लिए एक आधुनिक बुनियादी ढांचे के निर्माण के बारे में ज्ञान को व्यवस्थित करने में मदद करेगा।
जो लोग वीडियो देखना पसंद करते हैं उनके लिए यूट्यूब पर एक कोर्स मौजूद है वितरित कंप्यूटर सिस्टम.

7. डेटा पाइपलाइन

डेटा पाइपलाइन एक ऐसी चीज़ है जिसके बिना आप एक डेटा इंजीनियर के रूप में नहीं रह सकते।

अधिकांश समय, एक डेटा इंजीनियर एक तथाकथित डेटा पाइपलाइन बनाता है, अर्थात वह डेटा को एक स्थान से दूसरे स्थान तक पहुंचाने की प्रक्रिया बनाता है। ये कस्टम स्क्रिप्ट हो सकती हैं जो किसी बाहरी सेवा के एपीआई पर जाती हैं या SQL क्वेरी बनाती हैं, डेटा को बढ़ाती हैं, और इसे एक केंद्रीकृत स्टोर (डेटा वेयरहाउस) या एक असंरचित डेटा स्टोर (डेटा लेक) में डालती हैं।

संक्षेप में कहें तो: डेटा इंजीनियर के लिए बुनियादी चेकलिस्ट

संक्षेप में, निम्नलिखित की अच्छी समझ आवश्यक है:

• जानकारी के सिस्टम;
• सॉफ्टवेयर विकास (एजाइल, डेवऑप्स, डिजाइन तकनीक, एसओए);
• वितरित सिस्टम और समानांतर प्रोग्रामिंग;
• डेटाबेस के बुनियादी सिद्धांत - योजना, डिज़ाइन, संचालन और समस्या निवारण;
• प्रयोगों का डिज़ाइन - अवधारणाओं को साबित करने, विश्वसनीयता, सिस्टम प्रदर्शन निर्धारित करने और जल्दी से अच्छे समाधान देने के लिए विश्वसनीय पथ विकसित करने के लिए ए/बी परीक्षण।

डेटा इंजीनियर बनने के लिए ये कुछ आवश्यकताएं हैं, इसलिए डेटा सिस्टम, सूचना प्रणाली, निरंतर वितरण/तैनाती/एकीकरण, प्रोग्रामिंग भाषाएं और अन्य कंप्यूटर विज्ञान विषयों (सभी विषय क्षेत्रों को नहीं) को सीखें और समझें।

और अंत में, आखिरी लेकिन बहुत महत्वपूर्ण बात जो मैं कहना चाहता हूं।

डेटा इंजीनियरिंग बनने का रास्ता उतना आसान नहीं है जितना लगता है। वह माफ नहीं करता, वह निराश करता है और आपको इसके लिए तैयार रहना चाहिए। इस यात्रा में कुछ क्षण आपको हार मानने के लिए प्रेरित कर सकते हैं। लेकिन यह वास्तविक कार्य और सीखने की प्रक्रिया है।

बस शुरू से ही इसमें चीनी न मिलाएं। यात्रा का पूरा उद्देश्य जितना संभव हो उतना सीखना और नई चुनौतियों के लिए तैयार रहना है।
यहाँ एक बेहतरीन तस्वीर है जो मुझे मिली जो इस बिंदु को अच्छी तरह से दर्शाती है:

और हां, थकावट से बचना और आराम करना याद रखें। ये भी बहुत महत्वपूर्ण है. आपको कामयाबी मिले!

दोस्तों, आप लेख के बारे में क्या सोचते हैं? हम आपको आमंत्रित करते हैं मुफ्त वेबिनार, जो आज 20.00 बजे होगा। वेबिनार के दौरान, हम चर्चा करेंगे कि न्यूनतम लागत पर एक छोटी कंपनी या स्टार्टअप के लिए एक प्रभावी और स्केलेबल डेटा प्रोसेसिंग सिस्टम कैसे बनाया जाए। अभ्यास के तौर पर, हम Google क्लाउड डेटा प्रोसेसिंग टूल से परिचित होंगे। फिर मिलते हैं!

स्रोत: www.habr.com