डाटा इन्जिनियर वा मरो: एक विकासकर्ताको कथा

डिसेम्बरको सुरुमा, मैले एक घातक गल्ती गरें र एक विकासकर्ताको रूपमा मेरो जीवनमा एउटा मोड लिएँ र कम्पनी भित्र डाटा इन्जिनियरिङ् (DE) टोलीमा सारियो। यस लेखमा म DE टोलीमा काम गरेको दुई महिनाको अवधिमा गरेको केही अवलोकनहरू साझा गर्नेछु।

डाटा इन्जिनियरिङ किन?

DE मा मेरो यात्रा २०१९ को गर्मीमा सुरु भयो, जब हामी Xneg जाऔं वितरित कम्प्युटिङ स्कूलर त्यहाँ मैले बुद्धत्व प्राप्त गरें। म विषय, अध्ययन एल्गोरिदम र तिनीहरूको बारेमा पनि रुचि हुन थाले लेख्न, र त्यसपछि आवेदन को दायरा बारे सोच्यो र छिट्टै पत्ता लगायो कि हाम्रो कम्पनी मा व्यावहारिक अनुप्रयोग डाटाबेस वितरित छ।

हाम्रो टोलीले वास्तवमा के गर्छ? हामी, सबै फेसनशील केटा र केटीहरू जस्तै, एक डाटा संचालित कम्पनी बन्न चाहन्छौं। र यो सम्भव हुनको लागि, हामीले कम्तिमा एक भरपर्दो भण्डारण सुविधा निर्माण गर्न आवश्यक छ, जुन कम्पनीलाई आवश्यक पर्ने कुनै पनि रिपोर्टहरू निर्माण गर्न प्रयोग गर्न सकिन्छ। तर सबैभन्दा महत्त्वपूर्ण कुरा यो भण्डारण मा डाटा विश्वसनीय हुनुपर्छ भन्ने छ। यसबाहेक, यी डाटा प्रयोग गरेर, तपाईंले समयमा प्रणालीको स्थिति पुनर्स्थापना गर्न सक्षम हुन आवश्यक छ। यो सबै तथ्यले जटिल छ कि हामी माइक्रोसर्भिसेसको साहसी नयाँ संसारमा बस्छौं, र यो विचारधाराले प्रत्येक सेवाले आफ्नै सानो कार्यक्षमता लागू गर्दछ, यसको डाटाबेस आफ्नै व्यवसाय हो, र यसले कम्तिमा हरेक दिन यसलाई मेटाउन सक्छ, तर एकै समयमा हामीले सेवाको अवस्था प्राप्त गर्न र प्रशोधन गर्न सक्षम हुनुपर्दछ।

यदि तपाइँ डाटा ड्राइभ हुन चाहनुहुन्छ भने, पहिले घटना संचालित बन्नुहोस्

त्यति सरल छैन। घटनाहरू फरक छन्, र विकासकर्ता र डेटा इन्जिनियरले तिनीहरूलाई फरक रूपमा हेर्छन्। घटनाहरूको बारेमा कुरा गर्नु छुट्टै लेखको लागि विषय हो, त्यसैले म यसमा जाने छैन। साथै, यस्तो लेख पहिले नै छ लेखियो एक निश्चित मार्टिन फाउलर, म उनको ख्याति खोस्ने छैन, उसलाई पनि प्रसिद्ध हुन दिनुहोस्।

सामान्यतया, त्यहाँ विचार गर्न धेरै छ र त्यसैले यो क्षेत्र आकर्षक छ। यो यस्तो हुन्छ कि हाम्रो कम्पनीमा, डाटा इन्जिनियर भनेको ETL/ELT पाइपलाइनहरू लेख्ने व्यक्ति भन्दा जिम्मेवारीको धेरै फराकिलो क्षेत्र हो (यदि तपाईंलाई यी संक्षिप्त शब्दहरूको अर्थ थाहा छैन भने, आउनुहोस्। भेटघाट. प्रासंगिक विज्ञापनको रूपमा).

हामी भण्डारण आर्किटेक्चर, डेटा मोडलिङ, डाटा सुरक्षासँग सम्बन्धित मुद्दाहरू, र पाइपलाइनहरू आफैंसँग सम्झौता गर्छौं। हामीले यो पनि सुनिश्चित गर्न आवश्यक छ कि, एकातिर, हाम्रो उपस्थिति उत्पादन विकासकर्ताहरूका लागि धेरै बोझिलो छैन र तिनीहरू प्रणालीमा नयाँ सुविधाहरू काट्दा हाम्रा आवश्यकताहरूबाट सकेसम्म थोरै विचलित हुनुपर्दछ, र अर्कोतर्फ, हामी। विश्लेषकहरू र BI टोलीका लागि भण्डारण डाटामा सहज रूपमा राखिएको तिनीहरूलाई प्रदान गर्न आवश्यक छ। हामी यसरी बाँचिरहेका छौं।

विकासबाट सङ्क्रमण हुँदा कठिनाइहरू

मेरो कामको पहिलो दिनमा, मैले धेरै कठिनाइहरूको सामना गरे जुन म तपाईंसँग साझा गर्न चाहन्छु।

१. मैले देखेको पहिलो कुरा टुलिङ र केही अभ्यासहरूको अभाव थियो। उदाहरण को लागी, परीक्षण संग कोड कवरेज लिनुहोस्। हामीसँग विकासमा सयौं परीक्षण फ्रेमवर्कहरू छन्। डाटा संग काम गर्दा, सबै अधिक जटिल छ। हो, हामी परीक्षण डाटामा ETL पाइपलाइनहरू परीक्षण गर्न सक्छौं, तर हामीले यो सबै म्यानुअल रूपमा गर्नुपर्छ र प्रत्येक विशिष्ट केसको लागि समाधानहरू खोज्नु पर्छ। नतिजाको रूपमा, परीक्षण कवरेज धेरै खराब छ। सौभाग्यवश, अनुगमन र लगहरूको रूपमा प्रतिक्रियाको अर्को तह छ, तर यसले पहिले नै हामीलाई सक्रिय रूपमा भन्दा प्रतिक्रियात्मक रूपमा प्रतिक्रिया गर्न आवश्यक छ, जुन क्रुद्ध र निराशाजनक छ।

2. DE परिप्रेक्ष्यबाट संसार सामान्य उत्पादन विकासकर्तालाई जस्तो देखिन्छ जस्तो छैन (राम्रो, अवश्य पनि पाठक त्यस्तो होइन, र उसलाई पहिले नै सबै कुरा थाहा छ, तर मलाई थाहा थिएन र अब म चकनाचुर गर्दैछु। माथि)। एक विकासकर्ताको रूपमा, म मेरो आफ्नै माइक्रोसर्भिस सिर्जना गर्छु, डाटा [तपाईको रोजाइको डाटाबेस] मा राख्छु, त्यहाँ मेरो राज्य बचत गर्छु, आईडी द्वारा केहि प्राप्त गर्दछु र यो ठीक छ। सेवा सुस्त छ, अर्डरहरू भ्रामक छन्, यो सबै हो। तिनीहरूले मलाई अर्को सेवामा मेरो राज्य खोज्न सोध्छन्, त्यसैले म घटनालाई केही RabbitMQ मा फाल्नेछु र त्यो हो। र यहाँ हामी फेरि माथि उल्लेखित घटनाहरूको मुद्दामा फर्कियौं।

परिचालन कार्यको लागि सेवालाई के चाहिन्छ ऐतिहासिक डेटाको लागि हामीलाई उपयुक्त छैन, त्यसैले सेवा सम्झौताहरू पुन: कार्य गर्ने र विकास टोलीहरूसँग नजिकको कामको प्रश्न सुरु हुन्छ। तपाईले कल्पना पनि गर्न सक्नुहुन्न कि हामीलाई सहमत हुन कति घण्टा लाग्यो: उहाँ हाम्रो कम्पनीमा कस्तो प्रकारको घटना संचालित हुनुहुन्छ।

3. तपाईंले आफ्नो टाउको संग सोच्न आवश्यक छ। होइन, मेरो मतलब यो होइन कि विकासकर्ताहरूले सोच्दैनन् (यद्यपि म सबैको लागि बोल्ने को हुँ), यो मात्र हो कि उत्पादन विकासमा प्रायः तपाइँसँग पहिले नै कुनै प्रकारको वास्तुकला छ, र तपाइँ ब्याकलगबाट विभिन्न शफलहरू काट्नुहुन्छ। निस्सन्देह, यसको लागि योजना र सोच आवश्यक छ, तर यो स्ट्रिम कार्य हो, जहाँ मुख्य समस्या मात्र यसलाई राम्रो र कुशलतापूर्वक गर्न हो।

हाम्रो लागि, यो त्यति सरल छैन किनकि न्यानो र आरामदायी मोनोलिथबाट जंगली माइक्रोसर्भिस जंगलको संसारमा विभिन्न प्रणाली घटकहरूको स्थानान्तरण त्यति सरल छैन। जब सेवाले घटनाहरू फैलाउन थाल्छ, तपाईंले भण्डारण भर्नको लागि तर्कलाई पुनर्विचार गर्न आवश्यक छ, किनभने डाटा अब फरक देखिन्छ। यो हो जहाँ तपाईले धेरै र राम्ररी सोच्न आवश्यक छ, अब एक विकासकर्ताको रूपमा होइन, तर डेटा इन्जिनियरको रूपमा। तपाईंले नोटबुक र पेन वा बोर्डमा मार्करको साथ दिन बिताउँदा यो सामान्य कथा हो। यो धेरै गाह्रो छ, मलाई सोच्न मन पर्दैन, मलाई उत्पादन पनि मन पर्छ।

4. सायद सबैभन्दा महत्त्वपूर्ण कुरा जानकारी हो। ज्ञानको कमी हुँदा के गर्ने ? स्ट्याकओभरफ्लो कसले भन्यो? यस व्यक्तिलाई कोठाबाट बाहिर निकाल्नुहोस्। हामी विषयहरूमा कागजातहरू, पुस्तकहरू पढ्न जान्छौं, र त्यहाँ एउटा समुदाय पनि छ जसले फोरमहरू, भेटघाटहरू र सम्मेलनहरू आयोजना गर्दछ। कागजात महान छ, तर दुर्भाग्यवश, यो अपूर्ण हुन सक्छ। हामी धेरै परियोजनाहरूमा Cosmos DB प्रयोग गर्छौं। यस उत्पादनको लागि कागजात पढ्नको लागि शुभकामना। पुस्तकहरू मात्र मुक्ति हुन्; सौभाग्यवश, तिनीहरू अवस्थित छन् र पाउन सकिन्छ, तिनीहरूमा धेरै आधारभूत ज्ञानहरू छन् र तपाईंले धेरै र निरन्तर पढ्नु पर्छ। तर समस्या समाजमा छ ।

अब हाम्रो क्षेत्रमा कम्तिमा एक पर्याप्त सम्मेलन वा भेटघाट पाउन गाह्रो छ। होइन, निस्सन्देह, डाटा शब्दसँग धेरै भेटघाटहरू छन्, तर यस शब्दको छेउमा ML वा AI जस्ता अनौठो संक्षिप्त शब्दहरू छन्। त्यसोभए, यो हाम्रो लागि होइन, हामी कसरी भण्डारण सुविधाहरू निर्माण गर्ने भन्ने बारे कुरा गर्दैछौं, र न्युरोनहरूसँग कसरी आफैंलाई स्मियर गर्ने भनेर होइन। यी हिपस्टरहरूले सबै कुरा कब्जा गरेका छन्। फलस्वरूप, हामी समुदायविहीन छौं। वैसे, यदि तपाईं डाटा इन्जिनियर हुनुहुन्छ र राम्रो समुदायहरू जान्नुहुन्छ भने, कृपया टिप्पणीहरूमा लेख्नुहोस्।

बैठकको निष्कर्ष र घोषणा

हामी के संग अन्त? मेरो पहिलो अनुभवले मलाई बताउँछ कि डेटा इन्जिनियरको जुत्तामा महसुस गर्नु प्रत्येक विकासकर्ताको लागि उपयोगी हुनेछ। यसले हामीलाई चीजहरूलाई फरक रूपमा हेर्न अनुमति दिन्छ र विकासकर्ताहरूले उनीहरूको डेटालाई कसरी व्यवहार गर्छन् भन्ने देख्दा हाम्रो आँखा रगतमा पर्दा छक्क पर्दैन। त्यसोभए, यदि तपाईंको कम्पनीमा DE छ भने, यी केटाहरूसँग कुरा गर्नुहोस्, तपाईंले धेरै नयाँ कुराहरू सिक्नुहुनेछ (आफ्नो बारेमा)।

र अन्तमा, घोषणा। दिनको समयमा हाम्रो विषयमा भेटघाट पाउन गाह्रो भएकोले, हामीले आफ्नै बनाउने निर्णय गर्यौं। हामी किन खराब छौं? सौभाग्य देखि हामी एक अद्भुत छ Schvepsss र हाम्रा साथीहरूबाट नयाँ पेशा प्रयोगशाला, जसले, हामी जस्तै, डेटा इन्जिनियरहरू अनुचित रूपमा ध्यानबाट वञ्चित छन् भन्ने महसुस गर्छन्।

यो अवसरलाई सदुपयोग गर्दै, डोडो पिज्जा कार्यालयमा फेब्रुअरी २७, २०२० मा हुने आशाजनक शीर्षक "DE or DIE" को साथमा हाम्रो पहिलो सामुदायिक बैठकमा आउन ख्याल राख्ने सबैलाई म आमन्त्रित गर्दछु। मा विवरण टाइमप्याड.

यदि केहि भयो भने, म त्यहाँ हुनेछु, तपाईले मलाई व्यक्तिगत रूपमा मेरो अनुहारमा भन्न सक्नुहुन्छ कि म विकासकर्ताहरूको बारेमा कति गलत छु।

स्रोत: www.habr.com