डाटा इन्जिनियर वा मरो: एक विकासकर्ताको कथा

डिसेम्बरको सुरुमा, मैले एउटा गम्भीर गल्ती गरें—डेभलपरको रूपमा मेरो जीवनमा एउटा महत्वपूर्ण मोड आयो—र कम्पनी भित्रको डाटा इन्जिनियरिङ (DE) टोलीमा सामेल भएँ। यस लेखमा, म DE टोलीमा काम गरिरहेको दुई महिनामा मैले गरेका केही अवलोकनहरू साझा गर्नेछु।

डाटा इन्जिनियरिङ किन?

डेनमार्कमा मेरो यात्रा २०१९ को गर्मीमा सुरु भयो जब हामीले एक्सनेग जाऔं स्कूल अफ डिस्ट्रिब्युटेड कम्प्युटिङ, र त्यहाँ म ज्ञानमा पुगेँ। मैले विषयमा रुचि लिन थालेँ, एल्गोरिदमहरू र तिनीहरूको बारेमा पनि अध्ययन गर्न थालेँ। लेख्नुहोस्, र त्यसपछि मैले आवेदनको क्षेत्रको बारेमा सोचें र चाँडै थाहा पाएँ कि हाम्रो कम्पनीमा व्यावहारिक अनुप्रयोग वितरित डाटाबेस हो।

त्यसोभए हाम्रो टोलीले वास्तवमा के गर्छ? हामी, सबै फेसनशील केटाहरू र केटीहरू जस्तै, डेटा-संचालित कम्पनी बन्न चाहन्छौं। र त्यो सम्भव बनाउन, हामीलाई कम्तिमा पनि, कम्पनीलाई आवश्यक पर्ने कुनै पनि रिपोर्टहरू उत्पन्न गर्न सक्षम भरपर्दो डेटा गोदाम निर्माण गर्न आवश्यक छ। तर सबैभन्दा महत्त्वपूर्ण कुरा, यस गोदाममा रहेको डेटालाई विश्वास गर्नुपर्दछ। यसबाहेक, हामीले यो डेटा प्रयोग गरेर निश्चित समयमा प्रणालीको अवस्था पुनर्निर्माण गर्न सक्षम हुनु आवश्यक छ। यो सबै यस तथ्यले जटिल छ कि हामी लघु सेवाहरूको एक साहसी नयाँ संसारमा बाँचिरहेका छौं, र यो विचारधाराले संकेत गर्दछ कि प्रत्येक सेवाले आफ्नै सानो कार्यक्षमता लागू गर्दछ, यसको डाटाबेस यसको आफ्नै व्यवसाय हो, र यसले यसलाई दैनिक मेटाउन सक्छ। यद्यपि, हामी सेवाको अवस्था पुन: प्राप्त गर्न र प्रशोधन गर्न सक्षम हुनुपर्छ।

यदि तपाईं डेटा संचालित हुन चाहनुहुन्छ भने, पहिले घटना संचालित बन्नुहोस्।

यो त्यति सजिलो छैन। घटनाहरू फरक-फरक रूपमा आउँछन्, र विकासकर्ताहरू र डेटा इन्जिनियरहरूले तिनीहरूलाई फरक तरिकाले हेर्छन्। घटनाहरू छुट्टै लेखको विषय हुन्, त्यसैले म यहाँ यसमा जाँदिन। यसबाहेक, यस्तो लेख पहिले नै लेखिएको छ। लेखियो एक जना मार्टिन फाउलर, म उसको प्रतिष्ठा खोस्ने छैन, उसलाई पनि प्रसिद्ध हुन देऊ।

छोटकरीमा भन्नुपर्दा, सोच्नुपर्ने धेरै कुराहरू छन्, र त्यसैले यो क्षेत्रलाई यति आकर्षक बनाउँछ। यो यस्तो हुन्छ कि हाम्रो कम्पनीमा, एक डाटा इन्जिनियरको जिम्मेवारीको क्षेत्र ETL/ELT पाइपलाइनहरू लेख्ने व्यक्ति भन्दा धेरै फराकिलो हुन्छ (यदि तपाईंलाई यी संक्षिप्त नामहरूको अर्थ थाहा छैन भने, आउनुहोस् भेटघाट. प्रासंगिक विज्ञापनको अधिकारको बारेमा).

हामी गोदाम वास्तुकला, डेटा मोडेलिङ, डेटा सुरक्षा मुद्दाहरू, र अवश्य पनि, पाइपलाइनहरू आफैंमा संलग्न छौं। हामीले यो पनि सुनिश्चित गर्न आवश्यक छ कि, एकातिर, हाम्रो उपस्थिति उत्पादन विकासकर्ताहरूको लागि धेरै बोझिलो नहोस्, र प्रणालीमा नयाँ सुविधाहरू लागू गर्दा उनीहरू हाम्रा आवश्यकताहरूबाट सकेसम्म कम विचलित नहोस्, अर्कोतर्फ, हामीले विश्लेषकहरू र BI टोलीलाई गोदाममा सुविधाजनक रूपमा व्यवस्थित डेटा प्रदान गर्न आवश्यक छ। हामी यसरी बाँचिरहेका छौं।

विकासबाट संक्रमणमा कठिनाइहरू

कामको पहिलो दिनमै मैले धेरै कठिनाइहरूको सामना गरें जुन म तपाईंहरूसँग साझा गर्न चाहन्छु।

१. मैले देखेको पहिलो कुरा भनेको उपकरण र केही उत्कृष्ट अभ्यासहरूको अभाव थियो। उदाहरणका लागि, कोड परीक्षण कभरेज लिनुहोस्। विकासमा, हामीसँग एक सय पचास परीक्षण फ्रेमवर्कहरू छन्। डेटासँग काम गर्नु बढी जटिल छ। हो, हामी परीक्षण डेटामा ETL पाइपलाइनहरू परीक्षण गर्न सक्छौं, तर हामीले यो सबै म्यानुअल रूपमा गर्नुपर्छ र प्रत्येक विशिष्ट केसको लागि समाधान खोज्नुपर्छ। फलस्वरूप, परीक्षण कभरेज धेरै खराब छ। सौभाग्यवश, अनुगमन र लगिङको रूपमा प्रतिक्रियाको अर्को तह छ, तर यसले हामीलाई सक्रिय भन्दा प्रतिक्रियाशील हुन आवश्यक छ, जुन कष्टप्रद र निराशाजनक छ।

२. DE दृष्टिकोणबाट संसार औसत उत्पादन विकासकर्तालाई देखिने भन्दा पूर्ण रूपमा फरक छ (अवश्य पनि, पाठक त्यस्तो छैन, र उनीहरूलाई पहिले नै सबै कुरा थाहा छ, तर मलाई थाहा थिएन र अब म बुझ्दै छु)। एक विकासकर्ताको रूपमा, म मेरो माइक्रोसर्भिस निर्माण गर्दैछु, [तपाईंको रोजाइको डाटाबेस] मा डेटा राख्दै, त्यहाँ मेरो राज्य भण्डारण गर्दै, ID द्वारा केहि प्राप्त गर्दै, र सबै ठीक छ। सेवा चल्छ, अर्डरहरू गडबड हुन्छन्, र त्यो सबै ज्याज। कसैले मलाई अर्को सेवामा मेरो राज्य हेर्न सोध्छ, त्यसैले म घटनालाई केही RabbitMQ मा डम्प गर्नेछु र यो भयो। र त्यहाँ हामी माथि वर्णन गरिएको घटना मुद्दामा फर्कन्छौं।

सेवालाई सञ्चालन कार्यको लागि चाहिने कुरा ऐतिहासिक डेटाको लागि हाम्रो लागि काम गर्दैन, त्यसैले हामीले सेवा सम्झौताहरू पुन: निर्माण गर्नुपर्छ र विकास टोलीहरूसँग नजिकबाट काम गर्नुपर्छ। हाम्रो कम्पनीमा Event Driven वास्तवमा के हो भन्ने कुरामा सहमत हुन हामीले कति घण्टा बितायौं भनेर तपाईं कल्पना पनि गर्न सक्नुहुन्न।

३. तपाईंले आफ्नो दिमागले सोच्नु आवश्यक छ। म भनिरहेको छैन कि विकासकर्ताहरूले सोच्दैनन् (यद्यपि म सबैको लागि बोल्ने को हुँ), तर उत्पादन विकासमा, तपाईंसँग प्रायः पहिले नै कुनै न कुनै प्रकारको वास्तुकला हुन्छ, र तपाईं ब्याकलगबाट विभिन्न कार्यहरूसँग छेडछाड गर्दै हुनुहुन्छ। अवश्य पनि, यसको लागि योजना र प्रतिबिम्ब आवश्यक छ, तर यो एक निरन्तर प्रक्रिया हो, जहाँ मुख्य चुनौती भनेको कामहरू राम्रो र कुशलतापूर्वक सम्पन्न गर्नु हो।

हाम्रो लागि यो त्यति सजिलो छैन, किनकि विभिन्न प्रणाली कम्पोनेन्टहरूलाई न्यानो र आरामदायी मोनोलिथबाट माइक्रोसर्भिसेजको जंगली संसारमा स्थानान्तरण गर्नु सजिलो छैन। जब कुनै सेवाले घटनाहरू फैलाउन थाल्छ, तपाईंले भण्डारण भर्ने तर्कलाई पुनर्विचार गर्न आवश्यक छ, किनभने डेटा अब फरक देखिन्छ। यसको लागि धेरै सोच आवश्यक छ, विकासकर्ताको रूपमा होइन, तर डेटा इन्जिनियरको रूपमा। नोटबुक र कलम वा ह्वाइटबोर्डमा मार्कर लिएर दिन बिताउनु सामान्य कुरा हो। यो धेरै गाह्रो छ; मलाई सोच्न मन पर्दैन; म केवल धमाधम र उत्पादनमा जान रुचाउँछु।

४. सायद सबैभन्दा महत्त्वपूर्ण कुरा जानकारी हो। हामीसँग ज्ञानको कमी हुँदा हामी के गर्छौं? स्ट्याक ओभरफ्लो कसले भन्यो? त्यो व्यक्तिलाई कोठाबाट बाहिर निकाल्नुहोस्। हामी कागजातहरू पढ्न जान्छौं, विषयमा पुस्तकहरू, र त्यसपछि त्यहाँ समुदाय छ जसले फोरमहरू, बैठकहरू र सम्मेलनहरू आयोजना गर्दछ। कागजातहरू उत्कृष्ट छन्, तर दुर्भाग्यवश, यो अपूर्ण हुन सक्छ। हामी धेरै परियोजनाहरूमा Cosmos DB प्रयोग गर्छौं। यस उत्पादनको लागि कागजातहरू पढ्न शुभकामना। पुस्तकहरू हाम्रो एक मात्र मुक्ति हुन्; सौभाग्यवश, तिनीहरू अवस्थित छन् र फेला पार्न सकिन्छ। तिनीहरूमा धेरै आधारभूत ज्ञान हुन्छ, र तपाईंले धेरै र निरन्तर पढ्नुपर्छ। तर समुदाय एक विपत्ति हो।

हाम्रो क्षेत्रमा अहिले एउटा पनि पर्याप्त सम्मेलन वा भेटघाट भेट्टाउन गाह्रो छ। पक्कै पनि, "डेटा" शब्द भएका भेटघाटहरू धेरै हुन्छन्, तर तिनीहरू सामान्यतया "ML" वा "AI" जस्ता अनौठा संक्षिप्त रूपहरूमा समाप्त हुन्छन्। खैर, त्यो हाम्रो कुरा होइन; हामी डेटा गोदामहरू निर्माण गर्ने बारेमा कुरा गर्दैछौं, आफूलाई तंत्रिका नेटवर्कहरूमा थुन्ने बारेमा होइन। यी हिपस्टरहरूले सबै कुरा कब्जा गरेका छन्। फलस्वरूप, हामी समुदाय बिना छौं। खैर, यदि तपाईं डेटा इन्जिनियर हुनुहुन्छ र कुनै राम्रो समुदायहरू बारे जान्नुहुन्छ भने, कृपया मलाई टिप्पणीहरूमा थाहा दिनुहोस्।

बैठकको निष्कर्ष र घोषणा

त्यसो भए निष्कर्ष के हो? मेरो सुरुवाती अनुभवले मलाई भन्छ कि प्रत्येक विकासकर्ताले डेटा इन्जिनियरको जुत्ता अनुभव गरेर लाभ उठाउन सक्छ। यसले हामीलाई चीजहरू फरक तरिकाले हेर्न र विकासकर्ताहरूले आफ्नो डेटा कसरी ह्यान्डल गर्छन् भनेर देख्दा हाम्रो आँखा रसाउँदैन भन्ने कुरालाई छक्क नपार्न अनुमति दिन्छ। त्यसैले, यदि तपाईंको कम्पनीमा डेटा इन्जिनियर छ भने, उनीहरूसँग कुरा गर्नुहोस् र तपाईंले (आफ्नो बारेमा) धेरै कुरा सिक्नुहुनेछ।

अनि अन्तमा, एउटा घोषणा। हाम्रो विषयमा कुनै पनि भेटघाटहरू फेला पार्न नसकेकोले, हामीले आफ्नै सिर्जना गर्ने निर्णय गर्यौं। हामीलाई के भयो? भाग्यवश, हामीसँग एउटा अद्भुत श्वेप्स र हाम्रा साथीहरू नयाँ पेशा प्रयोगशाला, जसलाई, हामी जस्तै, लाग्छ कि डेटा इन्जिनियरहरूलाई अनुचित रूपमा बेवास्ता गरिएको छ।

म यो अवसरमा हाम्रो पहिलो सामुदायिक भेटघाटमा आउन इच्छुक सबैलाई आमन्त्रित गर्न चाहन्छु, जसको शीर्षक "DE or DIE" हुनेछ, जुन फेब्रुअरी २७, २०२० मा डोडो पिज्जा कार्यालयमा आयोजना हुनेछ। विवरणहरू यहाँ उपलब्ध छन्। टाइमप्याड.

यदि केहि भयो भने, म त्यहाँ हुनेछु, र तपाईंले मलाई व्यक्तिगत रूपमा मेरो अनुहारमा भन्न सक्नुहुन्छ कि म विकासकर्ताहरूको बारेमा कति गलत छु।

स्रोत: www.habr.com