डाटा ईन्जिनियर पेशामा सबैभन्दा मा-माग कौशल

अनुसार तथ्याङ्क 2019, डाटा इन्जिनियर हाल एक पेशा हो जसको माग अन्य कुनै पनि भन्दा छिटो बढिरहेको छ। एक डाटा इन्जिनियरले संगठनमा महत्त्वपूर्ण भूमिका खेल्छ - पाइपलाइनहरू र डाटाबेसहरू सिर्जना गर्ने र मर्मत गर्ने जुन डाटा प्रक्रिया, रूपान्तरण र भण्डारण गर्न प्रयोग गरिन्छ। यस पेशाका प्रतिनिधिहरूलाई सबैभन्दा पहिले कुन सीपहरू चाहिन्छ? के यो सूची डाटा वैज्ञानिकहरूको आवश्यकता भन्दा फरक छ? तपाईले मेरो लेखबाट यो सबैको बारेमा सिक्नुहुनेछ।

कुन टेक्नोलोजी सीपहरू सबैभन्दा लोकप्रिय छन् भनेर बुझ्नको लागि मैले डाटा ईन्जिनियरको पदका लागि रिक्त पदहरूको विश्लेषण गरें किनकि तिनीहरू जनवरी २०२० मा छन्। त्यसपछि मैले डेटा वैज्ञानिक स्थितिको लागि रिक्त पदहरूमा तथ्याङ्कहरूसँग परिणामहरू तुलना गरें - र केही रोचक भिन्नताहरू देखा परे।

धेरै प्रस्तावना बिना, यहाँ शीर्ष दस टेक्नोलोजीहरू छन् जुन प्रायः रोजगार पोस्टिङहरूमा उल्लेख गरिएको छ:

२०२० मा डाटा इन्जिनियरको पदको लागि रिक्त पदहरूमा टेक्नोलोजीहरूको उल्लेख

यसलाई आंकडा गरौं।

डाटा इन्जिनियरको जिम्मेवारी

आज, डाटा ईन्जिनियरहरूले गर्ने काम संगठनहरूको लागि ठूलो महत्त्वको छ - यी व्यक्तिहरू हुन् जसले जानकारी भण्डारण गर्न र यसलाई यस्तो फारममा ल्याउनका लागि जिम्मेवार छन् कि अन्य कर्मचारीहरूले यससँग काम गर्न सक्छन्। डाटा इन्जिनियरहरूले धेरै स्रोतहरूबाट डाटा स्ट्रिम वा ब्याच गर्न पाइपलाइनहरू निर्माण गर्छन्। त्यसपछि पाइपलाइनहरूले निकासी, रूपान्तरण, र लोडिङ अपरेसनहरू (अर्को शब्दमा, ETL प्रक्रियाहरू), डेटालाई थप प्रयोगको लागि उपयुक्त बनाउँछ। यस पछि, डाटालाई गहिरो प्रक्रियाको लागि विश्लेषकहरू र डाटा वैज्ञानिकहरूलाई पेश गरिन्छ। अन्तमा, डाटाले ड्यासबोर्डहरू, रिपोर्टहरू, र मेसिन लर्निङ मोडेलहरूमा आफ्नो यात्रा समाप्त गर्छ।

म जानकारी खोज्दै थिएँ जसले मलाई यो निष्कर्ष निकाल्न अनुमति दिनेछ कि कुन प्रविधिहरू अहिले डाटा इन्जिनियरको काममा सबैभन्दा बढी माग छन्।

विधिहरू

मैले तीन काम खोजी साइटहरूबाट जानकारी सङ्कलन गरें - सिम्पलीहेयर, वास्तवमा и राक्षस र अमेरिकाका बासिन्दाहरूलाई लक्षित खाली पदहरूको पाठहरूमा "डेटा इन्जिनियर" सँग संयोजनमा कुन कुञ्जी शब्दहरू आएका थिए भनेर हेरे। यस कार्यको लागि मैले दुई पाइथन पुस्तकालयहरू प्रयोग गरें - अनुरोध и सुन्दर सूप। कुञ्जी शब्दहरू मध्ये, मैले डेटा वैज्ञानिकको पदका लागि रिक्त पदहरू विश्लेषण गर्न अघिल्लो सूचीमा समावेश गरिएका र डेटा इन्जिनियरहरूको लागि जागिर प्रस्तावहरू पढ्दा मैले म्यानुअल रूपमा चयन गरेको दुवैलाई समावेश गरेको छु। LinkedIn लाई स्रोतहरूको सूचीमा समावेश गरिएको थिएन, किनकि मैले डेटा सङ्कलन गर्ने अन्तिम प्रयास पछि त्यहाँ प्रतिबन्ध लगाएको थियो।

प्रत्येक कुञ्जी शब्दको लागि, मैले प्रत्येक साइटमा पाठहरूको कुल संख्याबाट अलग-अलग हिटहरूको प्रतिशत गणना गरें, र त्यसपछि तीन स्रोतहरूको लागि औसत गणना गरें।

Результаты

तल तीसवटा प्राविधिक डेटा इन्जिनियरिङ् सर्तहरू छन् जसमा तीनवटै जागिर साइटहरूमा उच्चतम स्कोरहरू छन्।

र यहाँ समान संख्याहरू छन्, तर तालिकाको रूपमा प्रस्तुत गरिएको छ:

क्रममा जाऔं।

परिणामहरूको समीक्षा

दुबै SQL र पाइथन कामको दुई तिहाइ भन्दा बढीमा समीक्षा गरिएको छ। यो यी दुई प्रविधिहरू छन् जुन पहिले अध्ययन गर्न अर्थ बनाउँछ। अजगर डाटासँग काम गर्न, वेबसाइटहरू सिर्जना गर्न र लिपिहरू लेख्नको लागि प्रयोग गरिने एक धेरै लोकप्रिय प्रोग्रामिङ भाषा हो। SQL स्ट्रक्चर्ड क्वेरी भाषाको लागि खडा हुन्छ; यसले भाषाहरूको समूहद्वारा लागू गरिएको मानक समावेश गर्दछ र रिलेसनल डाटाबेसहरूबाट डाटा पुन: प्राप्त गर्न प्रयोग गरिन्छ। यो लामो समय पहिले देखा पर्‍यो र आफैलाई अत्यधिक प्रतिरोधी साबित भएको छ।

करिब आधा रिक्त पदहरूमा स्पार्क उल्लेख छ। अपाचे स्पार्क स्ट्रिमिङ, SQL, मेसिन लर्निङ, र ग्राफ प्रशोधनका लागि निर्मित मोड्युलहरू भएको एक एकीकृत ठूलो डाटा एनालिटिक्स इन्जिन हो। यो विशेष गरी ठूला डाटाबेसहरूसँग काम गर्नेहरू बीच लोकप्रिय छ।

AWS लगभग ४५% जागिर पोस्टिङहरूमा देखिन्छ। यो अमेजन द्वारा निर्मित क्लाउड कम्प्युटिङ प्लेटफर्म हो; यो सबै क्लाउड प्लेटफर्महरू बीच सबैभन्दा ठूलो बजार साझेदारी छ।
अर्को जाभा र हडूप आउनुहोस् - तिनीहरूको भाइको लागि 40% भन्दा अलि बढी। Java एक व्यापक रूपमा बोलिने, युद्ध-परीक्षण भाषा हो २०१९ स्ट्याक ओभरफ्लो विकासकर्ता सर्वेक्षण प्रोग्रामरहरू बीच डरलाग्दो भाषाहरू मध्ये दशौं स्थानलाई सम्मानित गरियो। यसको विपरित, पाइथन दोस्रो सबैभन्दा मनपर्ने भाषा थियो। जाभा भाषा Oracle द्वारा सञ्चालित छ, र तपाईंले यसको बारेमा जान्न आवश्यक सबै कुरा जनवरी 2020 देखि आधिकारिक पृष्ठको यो स्क्रिनसटबाट बुझ्न सकिन्छ।

यो एक टाइम मेसिन मा सवारी जस्तै छ
अपाचे हडोप ठूला डाटाका लागि सर्भर क्लस्टरहरूसँग MapReduce प्रोग्रामिङ मोडेल प्रयोग गर्दछ। अब यो मोडेल बढ्दो परित्याग गरिएको छ।

त्यसपछि हामी Hive, Scala, Kafka र NoSQL देख्छौं - यी प्रत्येक प्रविधिहरू पेश गरिएका रिक्त पदहरूको एक चौथाईमा उल्लेख गरिएको छ। Apache Hive एउटा डाटा गोदाम सफ्टवेयर हो जसले "SQL प्रयोग गरेर वितरित स्टोरहरूमा बस्ने ठूला डाटासेटहरू पढ्न, लेख्न र व्यवस्थापन गर्न सजिलो बनाउँछ।" Scala - ठूलो डाटासँग काम गर्दा सक्रिय रूपमा प्रयोग हुने प्रोग्रामिङ भाषा। विशेष गरी, स्पार्क स्कालामा सिर्जना गरिएको थियो। डराउने भाषाहरूको पहिले नै उल्लेख गरिएको रैंकिंगमा, स्काला एघारौं स्थानमा छ। अपाचे काफ्का - स्ट्रिमिङ सन्देशहरू प्रशोधन गर्न एक वितरित प्लेटफर्म। डाटा स्ट्रिमिङ को माध्यम को रूप मा धेरै लोकप्रिय।

NoSQL डाटाबेसहरू आफूलाई SQL सँग कन्ट्रास्ट गर्नुहोस्। तिनीहरू भिन्न छन् कि तिनीहरू गैर-सम्बन्धित, असंरचित, र तेर्सो रूपमा मापनयोग्य छन्। NoSQL ले केही लोकप्रियता हासिल गरेको छ, तर दृष्टिकोणको लागि सनक, भविष्यवाणीको बिन्दुसम्म पनि कि यसले SQL लाई प्रमुख भण्डारण प्रतिमानको रूपमा बदल्नेछ, समाप्त भएको देखिन्छ।

डाटा वैज्ञानिक रिक्त पदहरूमा सर्तहरूसँग तुलना

यहाँ तीस प्रविधि सर्तहरू डेटा विज्ञान नियोक्ताहरू बीच सबैभन्दा सामान्य छन्। मैले यो सूचीलाई डाटा इन्जिनियरिङको लागि माथि वर्णन गरे जस्तै प्राप्त गरें।

२०२० मा डाटा वैज्ञानिकको पदका लागि रिक्त पदहरूमा टेक्नोलोजीको उल्लेख

यदि हामीले कुल संख्याको बारेमा कुरा गर्छौं, पहिले मानिएको भर्तीको तुलनामा, त्यहाँ २८% बढी रिक्त पदहरू थिए (१२,०१३ बनाम ९,३९६)। डाटा इन्जिनियरहरूको तुलनामा डाटा वैज्ञानिकहरूका लागि रिक्त पदहरूमा कुन प्रविधिहरू कम सामान्य छन् हेरौं।

डाटा ईन्जिनियरिङ् मा अधिक लोकप्रिय

तलको ग्राफले 10% भन्दा बढी वा -10% भन्दा कमको औसत भिन्नता भएका कीवर्डहरू देखाउँछ।

डाटा इन्जिनियर र डाटा वैज्ञानिक बीच खोजशब्द आवृत्ति मा सबैभन्दा ठूलो भिन्नता

AWS ले सबैभन्दा महत्त्वपूर्ण वृद्धि देखाउँछ: डाटा इन्जिनियरिङमा यो डाटा विज्ञानको तुलनामा नियमित रूपमा 25% बढी देखिन्छ (क्रमशः कुल रिक्त संख्याको 45% र 20%)। फरक उल्लेखनीय छ!

यहाँ थोरै फरक प्रस्तुतीकरणमा उही डाटा छ - ग्राफमा, डाटा इन्जिनियर र डाटा वैज्ञानिकको पदका लागि रिक्त स्थानहरूमा एउटै कुञ्जी शब्दको नतिजा छेउमा छ।

डाटा इन्जिनियर र डाटा वैज्ञानिक बीच खोजशब्द आवृत्ति मा सबैभन्दा ठूलो भिन्नता

मैले उल्लेख गरेको अर्को सबैभन्दा ठूलो जम्प स्पार्कमा थियो - एक डाटा इन्जिनियरले प्रायः ठूलो डाटासँग काम गर्नुपर्छ। काफका पनि २०% ले वृद्धि भयो, अर्थात्, डाटा वैज्ञानिक रिक्त पदहरूको परिणामको तुलनामा झन्डै चार गुणा। डाटा ट्रान्सफर एक डाटा इन्जिनियर को प्रमुख जिम्मेवारीहरु मध्ये एक हो। अन्तमा, उल्लेखहरूको संख्या Java, NoSQL, Redshift, SQL र Hadoop को लागि डाटा इन्जिनियरिङको क्षेत्रमा 20% बढी थियो।

डाटा ईन्जिनियरिङ् मा कम लोकप्रिय

अब हेरौं कुन प्रविधिहरू डाटा इन्जिनियर रिक्त पदहरूमा कम लोकप्रिय छन्।
तथ्याङ्क विज्ञान क्षेत्रको तुलनामा सबैभन्दा तीव्र गिरावट सन् २०१५ मा भएको थियो R: त्यहाँ उहाँ लगभग 56% रिक्त पदहरूमा देखा पर्नुभयो, यहाँ - केवल 17% मा। प्रभावशाली। R एक प्रोग्रामिङ भाषा हो जुन वैज्ञानिकहरू र तथ्याङ्कविद्हरू द्वारा मनपराइएको छ, र संसारमा आठौं सबैभन्दा डरलाग्दो भाषा हो।

एसएएस डाटा ईन्जिनियरको पदको लागि रिक्त पदहरूमा पनि उल्लेखनीय रूपमा कम पाइन्छ - भिन्नता 14% हो। SAS तथ्याङ्क र डेटा संग काम गर्न डिजाइन गरिएको स्वामित्व भाषा हो। रोचक बिन्दु: परिणाम द्वारा न्याय डाटा वैज्ञानिकहरूको लागि जागिर खोल्ने मेरो अनुसन्धान, यसले भर्खरै धेरै जमीन गुमायो - कुनै पनि अन्य प्रविधि भन्दा बढी।

डाटा इन्जिनियरिङ् र डाटा विज्ञान दुवैमा माग छ

यो ध्यान दिनुपर्छ कि दुवै सेटमा पहिलो दस स्थानहरू मध्ये आठ समान छन्। SQL, Python, Spark, AWS, Java, Hadoop, Hive र Scala ले यसलाई डाटा इन्जिनियरिङ र डाटा विज्ञान उद्योग दुवैका लागि शीर्ष दसमा बनायो। तलको ग्राफमा तपाईले डेटा इन्जिनियर नियोक्ताहरू बीच पन्ध्र सबैभन्दा लोकप्रिय प्रविधिहरू देख्न सक्नुहुन्छ, र तिनीहरूको छेउमा डेटा वैज्ञानिकहरूको लागि तिनीहरूको रिक्तता दर छ।

सिफारिसहरू

यदि तपाइँ डेटा इन्जिनियरिङमा जान चाहनुहुन्छ भने, म तपाइँलाई निम्न प्रविधिहरू मास्टर गर्न सल्लाह दिन्छु - म तिनीहरूलाई अनुमानित प्राथमिकताको क्रममा सूचीबद्ध गर्दछु।

SQL सिक्नुहोस्। म PostgreSQL तिर झुकिरहेको छु किनकि यो खुला स्रोत हो, समुदायमा धेरै लोकप्रिय छ, र विकासको चरणमा छ। तपाईंले My Memorable SQL पुस्तकबाट भाषा कसरी प्रयोग गर्ने भनेर सिक्न सक्नुहुन्छ - यसको पायलट संस्करण उपलब्ध छ यहाँ.

मास्टर पाइथन, सबैभन्दा हार्डकोर स्तरमा नभए पनि। मेरो यादगार पाइथन विशेष गरी शुरुवातकर्ताहरूको लागि डिजाइन गरिएको हो। मा खरिद गर्न सकिन्छ अमेजन, इलेक्ट्रोनिक वा भौतिक प्रतिलिपि, तपाईंको छनौट, वा pdf वा epub ढाँचामा डाउनलोड गर्नुहोस् यो साइटमा.

एकचोटि तपाईंले पाइथनसँग परिचित भएपछि, पान्डामा जानुहोस्, पाइथन पुस्तकालय जुन डाटा सफा र प्रशोधनका लागि प्रयोग गरिन्छ। यदि तपाइँ एक कम्पनीमा काम गर्ने लक्ष्य राख्दै हुनुहुन्छ जुन पाइथनमा लेख्न सक्ने क्षमता चाहिन्छ (र यो ती मध्ये धेरै हो), तपाइँ निश्चित हुन सक्नुहुन्छ कि पान्डाहरूको ज्ञान पूर्वनिर्धारित रूपमा ग्रहण गरिनेछ। म हाल पाण्डाहरूसँग काम गर्ने परिचयात्मक गाइड पूरा गर्दैछु - तपाईं सक्नुहुन्छ सदस्यता लिनुहोस्ताकि रिलिजको क्षण नछुटाउनुहोस्।

मास्टर AWS। यदि तपाइँ डाटा इन्जिनियर बन्न चाहनुहुन्छ भने, तपाइँ स्ट्यासमा क्लाउड प्लेटफर्म बिना गर्न सक्नुहुन्न, र AWS ती मध्ये सबैभन्दा लोकप्रिय हो। पाठ्यक्रमहरूले मलाई धेरै मद्दत गर्यो लिनक्स एकेडेमीजब म पढ्दै थिएँ Google Cloud मा डाटा इन्जिनियरिङ्, मलाई लाग्छ कि तिनीहरूसँग AWS मा पनि राम्रो सामग्री हुनेछ।

यदि तपाईंले पहिले नै यो सम्पूर्ण सूची पूरा गरिसक्नुभएको छ र डेटा इन्जिनियरको रूपमा रोजगारदाताहरूको नजरमा अझ बढ्न चाहनुहुन्छ भने, म ठूलो डाटासँग काम गर्नको लागि Apache Spark थप्न सुझाव दिन्छु। यद्यपि डाटा वैज्ञानिक रिक्तताहरूमा मेरो अनुसन्धानले चासोमा गिरावट देखाएको छ, डाटा इन्जिनियरहरू बीच यो अझै पनि लगभग हरेक सेकेन्ड रिक्त स्थानमा देखिन्छ।

अन्तमा

मलाई आशा छ कि तपाईंले डाटा इन्जिनियरहरूको लागि सबैभन्दा इन-डिमांड टेक्नोलोजीहरूको यो सिंहावलोकन उपयोगी पाउनुभयो। यदि तपाईं विश्लेषक कार्यहरू कसरी चलिरहेको छ भनेर सोच्दै हुनुहुन्छ भने, पढ्नुहोस् मेरो अर्को लेख। शुभ ईन्जिनियरिङ्!

स्रोत: www.habr.com