बड़े और छोटे डेटा परीक्षक: रुझान, सिद्धांत, मेरी कहानी

सभी को नमस्कार, मेरा नाम अलेक्जेंडर है, और मैं एक डेटा क्वालिटी इंजीनियर हूं जो डेटा की गुणवत्ता की जांच करता है। यह लेख इस बारे में बात करेगा कि मैं इस तक कैसे पहुंचा और 2020 में परीक्षण का यह क्षेत्र लहर के शिखर पर क्यों था।

वैश्विक रुझान

आज की दुनिया एक और तकनीकी क्रांति का अनुभव कर रही है, जिसका एक पहलू सभी प्रकार की कंपनियों द्वारा बिक्री, मुनाफे और पीआर के अपने स्वयं के फ्लाईव्हील को बढ़ावा देने के लिए संचित डेटा का उपयोग करना है। ऐसा लगता है कि अच्छे (गुणवत्ता वाले) डेटा की उपस्थिति, साथ ही कुशल दिमाग जो इससे पैसा कमा सकते हैं (सही ढंग से प्रक्रिया करना, कल्पना करना, मशीन लर्निंग मॉडल बनाना आदि), आज कई लोगों के लिए सफलता की कुंजी बन गए हैं। यदि 15-20 साल पहले बड़ी कंपनियाँ मुख्य रूप से डेटा संचय और मुद्रीकरण के गहन कार्य में लगी हुई थीं, तो आज यह लगभग सभी समझदार लोगों की नियति है।

इस संबंध में, कई साल पहले, दुनिया भर में नौकरी खोज के लिए समर्पित सभी पोर्टल डेटा वैज्ञानिकों के लिए रिक्तियों से भरे जाने लगे, क्योंकि सभी को यकीन था कि, ऐसे विशेषज्ञ को काम पर रखने से, मशीन लर्निंग का एक सुपरमॉडल बनाना संभव होगा। , भविष्य की भविष्यवाणी करें और कंपनी के लिए "क्वांटम लीप" का प्रदर्शन करें। समय के साथ, लोगों को एहसास हुआ कि यह दृष्टिकोण लगभग कभी भी कहीं भी काम नहीं करता है, क्योंकि ऐसे विशेषज्ञों के हाथों में पड़ने वाला सारा डेटा प्रशिक्षण मॉडल के लिए उपयुक्त नहीं है।

और डेटा वैज्ञानिकों के अनुरोध शुरू हो गए: "आइए इन और उन लोगों से अधिक डेटा खरीदें...", "हमारे पास पर्याप्त डेटा नहीं है...", "हमें कुछ और डेटा की आवश्यकता है, अधिमानतः उच्च गुणवत्ता वाला..." . इन अनुरोधों के आधार पर, उन कंपनियों के बीच कई इंटरैक्शन बनने शुरू हुए जिनके पास डेटा का एक या दूसरा सेट है। स्वाभाविक रूप से, इसके लिए इस प्रक्रिया के तकनीकी संगठन की आवश्यकता थी - डेटा स्रोत से जुड़ना, इसे डाउनलोड करना, यह जाँचना कि यह पूरी तरह से लोड हो गया है, आदि। ऐसी प्रक्रियाओं की संख्या बढ़ने लगी, और आज हमें एक अन्य प्रकार की भारी आवश्यकता है विशेषज्ञ - डेटा गुणवत्ता इंजीनियर - जो सिस्टम (डेटा पाइपलाइन) में डेटा के प्रवाह, इनपुट और आउटपुट पर डेटा की गुणवत्ता की निगरानी करेंगे और उनकी पर्याप्तता, अखंडता और अन्य विशेषताओं के बारे में निष्कर्ष निकालेंगे।

डेटा क्वालिटी इंजीनियरों की प्रवृत्ति अमेरिका से हमारे पास आई, जहां पूंजीवाद के उग्र युग के बीच, कोई भी डेटा की लड़ाई हारने के लिए तैयार नहीं है। नीचे मैंने अमेरिका की दो सबसे लोकप्रिय नौकरी खोज साइटों के स्क्रीनशॉट प्रदान किए हैं: www.monster.com и www.dice.com - जो कीवर्ड का उपयोग करके प्राप्त पोस्ट की गई रिक्तियों की संख्या पर 17 मार्च, 2020 तक का डेटा प्रदर्शित करता है: डेटा गुणवत्ता और डेटा वैज्ञानिक।

www.monster.com

डेटा साइंटिस्ट - 21416 रिक्तियां
डेटा गुणवत्ता - 41104 रिक्तियां

www.dice.com

डेटा साइंटिस्ट - 404 रिक्तियां
डेटा गुणवत्ता - 2020 रिक्तियां

जाहिर है, ये पेशे किसी भी तरह से एक-दूसरे से प्रतिस्पर्धा नहीं कर रहे हैं। स्क्रीनशॉट के साथ, मैं डेटा गुणवत्ता इंजीनियरों के अनुरोधों के संदर्भ में श्रम बाजार की वर्तमान स्थिति को स्पष्ट करना चाहता था, जिनकी अब डेटा वैज्ञानिकों की तुलना में बहुत अधिक आवश्यकता है।

जून 2019 में, EPAM ने आधुनिक आईटी बाजार की जरूरतों का जवाब देते हुए, डेटा गुणवत्ता को एक अलग अभ्यास में अलग कर दिया। डेटा गुणवत्ता इंजीनियर, अपने दैनिक कार्य के दौरान, डेटा का प्रबंधन करते हैं, नई स्थितियों और प्रणालियों में इसके व्यवहार की जांच करते हैं, डेटा की प्रासंगिकता, इसकी पर्याप्तता और प्रासंगिकता की निगरानी करते हैं। इन सबके साथ, व्यावहारिक अर्थ में, डेटा गुणवत्ता इंजीनियर वास्तव में शास्त्रीय कार्यात्मक परीक्षण के लिए बहुत कम समय देते हैं, लेकिन यह काफी हद तक प्रोजेक्ट पर निर्भर करता है (मैं नीचे एक उदाहरण दूंगा)।

डेटा क्वालिटी इंजीनियर की ज़िम्मेदारियाँ केवल डेटाबेस तालिकाओं में "शून्य, गिनती और योग" के लिए नियमित मैन्युअल/स्वचालित जांच तक ही सीमित नहीं हैं, बल्कि ग्राहक की व्यावसायिक आवश्यकताओं की गहरी समझ और तदनुसार, उपलब्ध डेटा को रूपांतरित करने की क्षमता की आवश्यकता होती है। उपयोगी व्यावसायिक जानकारी.

डेटा गुणवत्ता सिद्धांत

ऐसे इंजीनियर की भूमिका की पूरी तरह से कल्पना करने के लिए, आइए जानें कि सैद्धांतिक रूप से डेटा गुणवत्ता क्या है।

डेटा की गुणवत्ता - डेटा प्रबंधन के चरणों में से एक (एक पूरी दुनिया जिसे हम आपके अध्ययन के लिए छोड़ देंगे) और निम्नलिखित मानदंडों के अनुसार डेटा का विश्लेषण करने के लिए जिम्मेदार है:

मुझे लगता है कि प्रत्येक बिंदु को समझने की कोई आवश्यकता नहीं है (सैद्धांतिक रूप से उन्हें "डेटा आयाम" कहा जाता है), वे चित्र में काफी अच्छी तरह से वर्णित हैं। लेकिन परीक्षण प्रक्रिया में इन विशेषताओं को परीक्षण मामलों में सख्ती से कॉपी करना और उनकी जांच करना शामिल नहीं है। डेटा गुणवत्ता में, किसी भी अन्य प्रकार के परीक्षण की तरह, सबसे पहले, व्यावसायिक निर्णय लेने वाले परियोजना प्रतिभागियों के साथ सहमत डेटा गुणवत्ता आवश्यकताओं पर निर्माण करना आवश्यक है।

डेटा गुणवत्ता परियोजना के आधार पर, एक इंजीनियर विभिन्न कार्य कर सकता है: डेटा गुणवत्ता के सतही मूल्यांकन के साथ एक सामान्य स्वचालन परीक्षक से, उपरोक्त मानदंडों के अनुसार डेटा की गहरी प्रोफाइलिंग करने वाले व्यक्ति तक।

नामक पुस्तक में डेटा प्रबंधन, डेटा गुणवत्ता और संबंधित प्रक्रियाओं का बहुत विस्तृत विवरण दिया गया है "DAMA-DMBOK: ज्ञान का डेटा प्रबंधन निकाय: दूसरा संस्करण". मैं इस विषय के परिचय के रूप में इस पुस्तक की अत्यधिक अनुशंसा करता हूं (आपको लेख के अंत में इसका लिंक मिलेगा)।

मेरी कहानी

आईटी उद्योग में, मैंने उत्पाद कंपनियों में एक जूनियर परीक्षक से लेकर ईपीएएम में लीड डेटा क्वालिटी इंजीनियर तक काम किया। एक परीक्षक के रूप में लगभग दो वर्षों तक काम करने के बाद, मुझे दृढ़ विश्वास हो गया कि मैंने बिल्कुल सभी प्रकार के परीक्षण किए हैं: प्रतिगमन, कार्यात्मक, तनाव, स्थिरता, सुरक्षा, यूआई, आदि - और बड़ी संख्या में परीक्षण उपकरण आज़माए। एक ही समय में तीन प्रोग्रामिंग भाषाओं में काम किया: जावा, स्काला, पायथन।

पीछे मुड़कर देखने पर, मुझे समझ आता है कि मेरा कौशल सेट इतना विविध क्यों था - मैं बड़ी और छोटी, डेटा-संचालित परियोजनाओं में शामिल था। इसने मुझे विकास के लिए कई उपकरणों और अवसरों की दुनिया में ला दिया।

नए ज्ञान और कौशल हासिल करने के लिए विभिन्न प्रकार के टूल और अवसरों की सराहना करने के लिए, बस नीचे दी गई तस्वीर देखें, जो "डेटा और एआई" दुनिया में सबसे लोकप्रिय टूल दिखाती है।

इस प्रकार का चित्रण प्रतिवर्ष प्रसिद्ध उद्यम पूंजीपतियों में से एक मैट टर्क द्वारा संकलित किया जाता है, जो सॉफ्टवेयर विकास से आते हैं। यहाँ लिंक उनके ब्लॉग पर और उधम पूंजी बाजार, जहां वह एक भागीदार के रूप में काम करता है।

जब मैं प्रोजेक्ट पर एकमात्र परीक्षक था, या कम से कम प्रोजेक्ट की शुरुआत में, तो मैं विशेष रूप से तेजी से पेशेवर रूप से विकसित हुआ। यह ऐसे क्षण में होता है जब आपको पूरी परीक्षण प्रक्रिया के लिए जिम्मेदार होना पड़ता है, और आपके पास पीछे हटने का कोई अवसर नहीं होता है, केवल आगे बढ़ने का अवसर होता है। पहले तो यह डरावना था, लेकिन अब इस तरह के परीक्षण के सभी फायदे मेरे लिए स्पष्ट हैं:

• आप पूरी टीम के साथ पहले की तरह संवाद करना शुरू करते हैं, क्योंकि संचार के लिए कोई प्रॉक्सी नहीं है: न तो परीक्षण प्रबंधक और न ही साथी परीक्षक।
• परियोजना में विसर्जन अविश्वसनीय रूप से गहरा हो जाता है, और आपके पास सामान्य और विस्तृत दोनों तरह से सभी घटकों के बारे में जानकारी होती है।
• डेवलपर्स आपको "परीक्षण करने वाले उस व्यक्ति के रूप में नहीं देखते हैं जो नहीं जानता कि वह क्या कर रहा है", बल्कि एक ऐसे व्यक्ति के रूप में देखते हैं जो अपने स्वचालित परीक्षणों और एक विशिष्ट घटक में दिखाई देने वाले बग की प्रत्याशा के साथ टीम के लिए अविश्वसनीय लाभ पैदा करता है। उत्पाद।
• परिणामस्वरूप, आप अधिक प्रभावी, अधिक योग्य और अधिक मांग वाले हैं।

जैसे-जैसे प्रोजेक्ट बढ़ता गया, 100% मामलों में मैं नए परीक्षकों के लिए एक सलाहकार बन गया, उन्हें पढ़ा रहा था और जो ज्ञान मैंने खुद सीखा था, उसे आगे बढ़ा रहा था। उसी समय, परियोजना के आधार पर, मुझे प्रबंधन से हमेशा उच्चतम स्तर के ऑटो परीक्षण विशेषज्ञ नहीं मिले और या तो उन्हें स्वचालन में प्रशिक्षित करने की आवश्यकता थी (रुचि रखने वालों के लिए) या रोजमर्रा की गतिविधियों में उपयोग के लिए उपकरण बनाने की (उपकरण) डेटा उत्पन्न करने और उसे सिस्टम में लोड करने के लिए, लोड परीक्षण/स्थिरता परीक्षण "त्वरित" आदि करने के लिए एक उपकरण)।

एक विशिष्ट परियोजना का उदाहरण

दुर्भाग्य से, गैर-प्रकटीकरण दायित्वों के कारण, मैं उन परियोजनाओं के बारे में विस्तार से बात नहीं कर सकता जिन पर मैंने काम किया, लेकिन मैं एक परियोजना पर डेटा गुणवत्ता इंजीनियर के विशिष्ट कार्यों का उदाहरण दूंगा।

परियोजना का सार इसके आधार पर मशीन लर्निंग मॉडल के प्रशिक्षण के लिए डेटा तैयार करने के लिए एक मंच लागू करना है। ग्राहक संयुक्त राज्य अमेरिका की एक बड़ी दवा कंपनी थी। तकनीकी रूप से यह एक क्लस्टर था Kubernetes, की ओर बढ़ रहा है एडब्ल्यूएस ईसी2 उदाहरण, कई माइक्रोसर्विसेज और ईपीएएम के अंतर्निहित ओपन सोर्स प्रोजेक्ट के साथ - लशकर, एक विशिष्ट ग्राहक की आवश्यकताओं के अनुरूप अनुकूलित (अब इस परियोजना का पुनर्जन्म हो गया है ओडाहु). ईटीएल प्रक्रियाओं का उपयोग करके व्यवस्थित किया गया था अपाचे एयरफ्लो और से डेटा ले जाया गया बिक्री बल ग्राहक प्रणाली में एडब्ल्यूएस एस 3 बाल्टियाँ। इसके बाद, मशीन लर्निंग मॉडल की एक डॉकर छवि को प्लेटफ़ॉर्म पर तैनात किया गया था, जिसे ताज़ा डेटा पर प्रशिक्षित किया गया था और REST API इंटरफ़ेस का उपयोग करके, ऐसी भविष्यवाणियाँ तैयार की गईं जो व्यवसाय के लिए रुचिकर थीं और विशिष्ट समस्याओं का समाधान किया।

देखने में, सब कुछ कुछ इस तरह दिखता था:

इस परियोजना पर बहुत सारे कार्यात्मक परीक्षण हुए थे, और फीचर विकास की गति और रिलीज चक्र (दो-सप्ताह स्प्रिंट) की गति को बनाए रखने की आवश्यकता को देखते हुए, सबसे महत्वपूर्ण घटकों के स्वचालित परीक्षण के बारे में तुरंत सोचना आवश्यक था प्रणाली। कुबेरनेट्स-आधारित प्लेटफ़ॉर्म का अधिकांश भाग स्वयं लागू किए गए ऑटोटेस्ट द्वारा कवर किया गया था रोबोट फ्रेमवर्क + पायथन, लेकिन उनका समर्थन और विस्तार करना भी आवश्यक था। इसके अलावा, ग्राहक की सुविधा के लिए, क्लस्टर में तैनात मशीन लर्निंग मॉडल को प्रबंधित करने के लिए एक जीयूआई बनाया गया था, साथ ही मॉडल को प्रशिक्षित करने के लिए डेटा को कहां और कहां स्थानांतरित करने की आवश्यकता है, यह निर्दिष्ट करने की क्षमता भी बनाई गई थी। इस व्यापक परिवर्धन में स्वचालित कार्यात्मक परीक्षण का विस्तार शामिल था, जो ज्यादातर REST API कॉल और थोड़ी संख्या में एंड-2-एंड UI परीक्षणों के माध्यम से किया गया था। इस पूरे आंदोलन के भूमध्य रेखा के आसपास, हम एक मैनुअल परीक्षक से जुड़े थे जिसने उत्पाद संस्करणों की स्वीकृति परीक्षण और अगली रिलीज की स्वीकृति के संबंध में ग्राहक के साथ संचार करने में उत्कृष्ट काम किया था। इसके अलावा, एक नए विशेषज्ञ के आगमन के कारण, हम अपने काम का दस्तावेजीकरण करने में सक्षम हुए और कई महत्वपूर्ण मैन्युअल जांचें जोड़ पाए जिन्हें तुरंत स्वचालित करना मुश्किल था।

और अंततः, प्लेटफ़ॉर्म और उस पर जीयूआई ऐड-ऑन से स्थिरता हासिल करने के बाद, हमने अपाचे एयरफ्लो डीएजी का उपयोग करके ईटीएल पाइपलाइनों का निर्माण शुरू किया। विशेष एयरफ्लो डीएजी लिखकर स्वचालित डेटा गुणवत्ता जांच की गई, जिसने ईटीएल प्रक्रिया के परिणामों के आधार पर डेटा की जांच की। इस परियोजना के हिस्से के रूप में, हम भाग्यशाली थे और ग्राहक ने हमें अज्ञात डेटा सेट तक पहुंच प्रदान की, जिस पर हमने परीक्षण किया। हमने प्रकारों के अनुपालन, टूटे हुए डेटा की उपस्थिति, पहले और बाद में रिकॉर्ड की कुल संख्या, एकत्रीकरण के लिए ईटीएल प्रक्रिया द्वारा किए गए परिवर्तनों की तुलना, कॉलम नाम बदलने और अन्य चीजों के लिए डेटा लाइन की जांच की। इसके अलावा, इन जांचों को विभिन्न डेटा स्रोतों पर स्केल किया गया था, उदाहरण के लिए, SalesForce के अलावा, MySQL पर भी।

अंतिम डेटा गुणवत्ता जांच पहले से ही S3 स्तर पर की गई थी, जहां वे संग्रहीत थे और मशीन लर्निंग मॉडल के प्रशिक्षण के लिए उपयोग के लिए तैयार थे। S3 बकेट पर स्थित अंतिम CSV फ़ाइल से डेटा प्राप्त करने और उसे मान्य करने के लिए, कोड का उपयोग करके लिखा गया था boto3 ग्राहक.

ग्राहक को डेटा का कुछ हिस्सा एक S3 बकेट में और कुछ हिस्सा दूसरे में स्टोर करने की भी आवश्यकता थी। इस तरह की सॉर्टिंग की विश्वसनीयता की जांच करने के लिए अतिरिक्त जांच लिखने की भी आवश्यकता होती है।

अन्य परियोजनाओं से सामान्यीकृत अनुभव

डेटा गुणवत्ता इंजीनियर की गतिविधियों की सबसे सामान्य सूची का एक उदाहरण:

• एक स्वचालित उपकरण के माध्यम से परीक्षण डेटा (वैध अमान्य बड़ा छोटा) तैयार करें।
• तैयार डेटा सेट को मूल स्रोत पर अपलोड करें और जांचें कि यह उपयोग के लिए तैयार है।
• सेटिंग्स के एक निश्चित सेट का उपयोग करके स्रोत भंडारण से अंतिम या मध्यवर्ती भंडारण तक डेटा के एक सेट को संसाधित करने के लिए ईटीएल प्रक्रियाएं लॉन्च करें (यदि संभव हो, तो ईटीएल कार्य के लिए कॉन्फ़िगर करने योग्य पैरामीटर सेट करें)।
• ईटीएल प्रक्रिया द्वारा संसाधित डेटा को उसकी गुणवत्ता और व्यावसायिक आवश्यकताओं के अनुपालन के लिए सत्यापित करें।

साथ ही, जांच का मुख्य फोकस न केवल इस तथ्य पर होना चाहिए कि सिस्टम में डेटा प्रवाह, सिद्धांत रूप में, काम कर चुका है और अंत तक पहुंच गया है (जो कार्यात्मक परीक्षण का हिस्सा है), बल्कि ज्यादातर डेटा की जांच और सत्यापन पर होना चाहिए। अपेक्षित आवश्यकताओं के अनुपालन, विसंगतियों और अन्य चीजों की पहचान करने के लिए।

उपकरण

ऐसे डेटा नियंत्रण के लिए तकनीकों में से एक डेटा प्रोसेसिंग के प्रत्येक चरण में श्रृंखला जांच का संगठन हो सकता है, साहित्य में तथाकथित "डेटा श्रृंखला" - स्रोत से अंतिम उपयोग के बिंदु तक डेटा का नियंत्रण। इस प्रकार की जाँचें अक्सर जाँच SQL क्वेरी लिखकर कार्यान्वित की जाती हैं। यह स्पष्ट है कि ऐसे प्रश्न यथासंभव हल्के होने चाहिए और डेटा गुणवत्ता के अलग-अलग हिस्सों (टेबल मेटाडेटा, रिक्त पंक्तियाँ, NULLs, सिंटैक्स में त्रुटियाँ - जाँच के लिए आवश्यक अन्य विशेषताएँ) की जाँच करनी चाहिए।

प्रतिगमन परीक्षण के मामले में, जो तैयार-निर्मित (अपरिवर्तनीय, थोड़ा परिवर्तनीय) डेटा सेट का उपयोग करता है, ऑटोटेस्ट कोड गुणवत्ता के अनुपालन के लिए डेटा की जांच के लिए तैयार किए गए टेम्पलेट्स को संग्रहीत कर सकता है (अपेक्षित तालिका मेटाडेटा का विवरण; पंक्ति नमूना ऑब्जेक्ट जो हो सकते हैं) परीक्षण आदि के दौरान यादृच्छिक रूप से चयनित)।

इसके अलावा, परीक्षण के दौरान, आपको अपाचे एयरफ्लो जैसे फ्रेमवर्क का उपयोग करके ईटीएल परीक्षण प्रक्रियाएं लिखनी होंगी। अपाचे स्पार्क या यहां तक ​​कि एक ब्लैक-बॉक्स क्लाउड प्रकार का टूल भी जीसीपी डेटाप्रेप, जीसीपी डेटाफ्लो और इसी तरह। यह परिस्थिति परीक्षण इंजीनियर को उपरोक्त उपकरणों के संचालन के सिद्धांतों में खुद को डुबोने के लिए मजबूर करती है और इससे भी अधिक प्रभावी ढंग से कार्यात्मक परीक्षण (उदाहरण के लिए, किसी परियोजना पर मौजूदा ईटीएल प्रक्रियाएं) करती है और डेटा की जांच करने के लिए उनका उपयोग करती है। उदाहरण के लिए, विशेष रूप से, Apache Airflow के पास लोकप्रिय विश्लेषणात्मक डेटाबेस के साथ काम करने के लिए तैयार ऑपरेटर हैं जीसीपी बिगक्वेरी. इसके उपयोग का सबसे बुनियादी उदाहरण पहले ही रेखांकित किया जा चुका है यहां, इसलिए मैं खुद को नहीं दोहराऊंगा।

तैयार समाधानों के अलावा, कोई भी आपको अपनी तकनीकों और उपकरणों को लागू करने से मना नहीं करता है। यह न केवल परियोजना के लिए फायदेमंद होगा, बल्कि स्वयं डेटा गुणवत्ता इंजीनियर के लिए भी फायदेमंद होगा, जो इस प्रकार अपने तकनीकी क्षितिज और कोडिंग कौशल में सुधार करेगा।

यह वास्तविक प्रोजेक्ट पर कैसे काम करता है

"डेटा श्रृंखला", ईटीएल और सर्वव्यापी जांच के बारे में अंतिम पैराग्राफ का एक अच्छा उदाहरण वास्तविक परियोजनाओं में से एक की निम्नलिखित प्रक्रिया है:

यहां, विभिन्न डेटा (स्वाभाविक रूप से, हमारे द्वारा तैयार) हमारे सिस्टम के इनपुट "फ़नल" में प्रवेश करते हैं: वैध, अमान्य, मिश्रित, आदि, फिर उन्हें फ़िल्टर किया जाता है और एक मध्यवर्ती भंडारण में समाप्त किया जाता है, फिर वे फिर से परिवर्तनों की एक श्रृंखला से गुजरते हैं और अंतिम भंडारण में रखे गए हैं, जहां से, बदले में, विश्लेषण, डेटा मार्ट का निर्माण और व्यावसायिक अंतर्दृष्टि की खोज की जाएगी। ऐसी प्रणाली में, ईटीएल प्रक्रियाओं के संचालन की कार्यात्मक जांच किए बिना, हम परिवर्तनों से पहले और बाद में डेटा की गुणवत्ता के साथ-साथ एनालिटिक्स के आउटपुट पर भी ध्यान केंद्रित करते हैं।

उपरोक्त को सारांशित करने के लिए, चाहे मैंने जिन भी स्थानों पर काम किया हो, हर जगह मैं उन डेटा परियोजनाओं में शामिल था जिनमें निम्नलिखित विशेषताएं थीं:

• केवल स्वचालन के माध्यम से ही आप कुछ मामलों का परीक्षण कर सकते हैं और व्यवसाय के लिए स्वीकार्य रिलीज़ चक्र प्राप्त कर सकते हैं।
• ऐसी परियोजना पर एक परीक्षक टीम के सबसे सम्मानित सदस्यों में से एक है, क्योंकि यह प्रत्येक प्रतिभागियों को बहुत लाभ पहुंचाता है (परीक्षण में तेजी, डेटा वैज्ञानिक से अच्छा डेटा, प्रारंभिक चरणों में दोषों की पहचान)।
• इससे कोई फर्क नहीं पड़ता कि आप अपने हार्डवेयर पर काम करते हैं या क्लाउड में - सभी संसाधनों को एक क्लस्टर में समाहित किया जाता है जैसे कि हॉर्टनवर्क्स, क्लौडेरा, मेसोस, कुबेरनेट्स, आदि।
• परियोजनाएं माइक्रोसर्विस दृष्टिकोण पर बनाई जाती हैं, वितरित और समानांतर कंप्यूटिंग प्रबल होती हैं।

मैं यह नोट करना चाहूंगा कि डेटा गुणवत्ता के क्षेत्र में परीक्षण करते समय, एक परीक्षण विशेषज्ञ अपना पेशेवर ध्यान उत्पाद के कोड और उपयोग किए गए उपकरणों पर केंद्रित कर देता है।

डेटा गुणवत्ता परीक्षण की विशिष्ट विशेषताएं

इसके अलावा, अपने लिए, मैंने निम्नलिखित की पहचान की है (मैं तुरंत आरक्षण कर दूंगा कि वे बहुत सामान्यीकृत और विशेष रूप से व्यक्तिपरक हैं) डेटा (बिग डेटा) परियोजनाओं (सिस्टम) और अन्य क्षेत्रों में परीक्षण की विशिष्ट विशेषताएं:

उपयोगी लिंक्स

1. सिद्धांत: DAMA-DMBOK: डेटा मैनेजमेंट बॉडी ऑफ नॉलेज: दूसरा संस्करण.
2. प्रशिक्षण केंद्र ईपीएएम 
3. आरंभिक डेटा गुणवत्ता इंजीनियर के लिए अनुशंसित सामग्री:
   1. स्टेपिक पर निःशुल्क पाठ्यक्रम: डेटाबेस का परिचय. 
   2. लिंक्डइन लर्निंग पर पाठ्यक्रम: डेटा साइंस फ़ाउंडेशन: डेटा इंजीनियरिंग.
   3. लेख:
      • बिजनेस इंटेलिजेंस और डेटा गुणवत्ता; 
      • ईटीएल परीक्षण; 
      • डेटा प्रोफाइलिंग क्या है? प्रक्रिया, सर्वोत्तम अभ्यास और उपकरण; 
      • परीक्षण डेटा जनरेशन: क्या है, कैसे करें, उदाहरण, उपकरण; 
      • 5 टेस्ट डेटा जेनरेशन तकनीकें जिन्हें आपको जानना आवश्यक है। 
   4. वीडियो:
      • डेटा गुणवत्ता अवधारणाएँ | डेटा गुणवत्ता ट्यूटोरियल | डेटा वेयरहाउसिंग ट्यूटोरियल;
      • एसएसआईएस का उपयोग करके डेटा प्रोफाइलिंग;
      • स्पार्क के साथ डेटा प्रोफाइलिंग और पाइपलाइन प्रोसेसिंग।

निष्कर्ष

डेटा की गुणवत्ता एक बहुत ही युवा आशाजनक दिशा है, जिसका हिस्सा बनने का मतलब है एक स्टार्टअप का हिस्सा बनना। एक बार डेटा गुणवत्ता में, आप बड़ी संख्या में आधुनिक, मांग वाली तकनीकों में डूब जाएंगे, लेकिन सबसे महत्वपूर्ण बात यह है कि आपके लिए अपने विचारों को उत्पन्न करने और लागू करने के लिए भारी अवसर खुलेंगे। आप न केवल प्रोजेक्ट पर, बल्कि अपने लिए भी निरंतर सुधार दृष्टिकोण का उपयोग करने में सक्षम होंगे, एक विशेषज्ञ के रूप में लगातार विकसित होते रहेंगे।

स्रोत: www.habr.com