मोठा आणि लहान डेटा परीक्षक: ट्रेंड, सिद्धांत, माझी कथा

सर्वांना नमस्कार, माझे नाव अलेक्झांडर आहे आणि मी एक डेटा गुणवत्ता अभियंता आहे जो डेटाच्या गुणवत्तेसाठी तपासतो. हा लेख मी येथे कसा आलो आणि 2020 मध्ये चाचणीचे हे क्षेत्र लाटेच्या शिखरावर का होते याबद्दल बोलेल.

जागतिक कल

आजचे जग आणखी एका तांत्रिक क्रांतीचा अनुभव घेत आहे, ज्याचा एक पैलू म्हणजे सर्व प्रकारच्या कंपन्यांद्वारे त्यांच्या स्वत: च्या विक्री, नफा आणि PR च्या फ्लायव्हीलचा प्रचार करण्यासाठी संचित डेटाचा वापर. असे दिसते की चांगल्या (दर्जेदार) डेटाची उपस्थिती, तसेच कुशल मेंदू जे त्यातून पैसे कमवू शकतात (योग्यरित्या प्रक्रिया करणे, व्हिज्युअलाइझ करणे, मशीन लर्निंग मॉडेल तयार करणे इ.), आज अनेकांसाठी यशाची गुरुकिल्ली बनली आहे. जर 15-20 वर्षांपूर्वी मोठ्या कंपन्या मुख्यतः डेटा जमा करणे आणि कमाई करण्याच्या गहन कामात गुंतल्या होत्या, तर आज बहुतेक सर्व समजूतदार लोकांचे हे प्रमाण आहे.

या संदर्भात, बर्‍याच वर्षांपूर्वी, जगभरातील जॉब शोधासाठी समर्पित सर्व पोर्टल्स डेटा सायंटिस्ट्सच्या रिक्त पदांनी भरू लागले, कारण प्रत्येकाला खात्री होती की अशा तज्ञाची नियुक्ती केल्यामुळे, मशीन लर्निंगचे सुपरमॉडेल तयार करणे शक्य होईल. , भविष्याचा अंदाज लावा आणि कंपनीसाठी "क्वांटम लीप" करा. कालांतराने, लोकांना समजले की हा दृष्टीकोन जवळजवळ कधीही कुठेही कार्य करत नाही, कारण अशा तज्ञांच्या हातात येणारा सर्व डेटा प्रशिक्षण मॉडेलसाठी योग्य नाही.

आणि डेटा सायंटिस्ट्सच्या विनंत्या सुरू झाल्या: “चला या आणि त्यांच्याकडून अधिक डेटा खरेदी करूया...”, “आमच्याकडे पुरेसा डेटा नाही...”, “आम्हाला आणखी काही डेटा हवा आहे, शक्यतो उच्च-गुणवत्तेचा...” . या विनंत्यांच्या आधारे, डेटाचा एक किंवा दुसरा संच असलेल्या कंपन्यांमध्ये असंख्य परस्परसंवाद तयार होऊ लागले. साहजिकच, यासाठी या प्रक्रियेच्या तांत्रिक संस्थेची आवश्यकता होती - डेटा स्त्रोताशी कनेक्ट करणे, ते डाउनलोड करणे, ते पूर्ण लोड केले आहे की नाही हे तपासणे इ. अशा प्रक्रियांची संख्या वाढू लागली आणि आज आपल्याला दुसर्‍या प्रकारच्या प्रक्रियेची खूप गरज आहे. विशेषज्ञ - डेटा गुणवत्ता अभियंते - जे सिस्टममधील डेटाच्या प्रवाहावर (डेटा पाइपलाइन), इनपुट आणि आउटपुटमधील डेटाच्या गुणवत्तेचे निरीक्षण करतील आणि त्यांची पर्याप्तता, अखंडता आणि इतर वैशिष्ट्यांबद्दल निष्कर्ष काढतील.

डेटा क्वालिटी इंजिनिअर्सचा ट्रेंड यूएसए मधून आमच्याकडे आला, जिथे भांडवलशाहीच्या उग्र युगात, डेटासाठीची लढाई कोणीही हरायला तयार नाही. खाली मी यूएस मधील दोन सर्वात लोकप्रिय नोकरी शोध साइट्सचे स्क्रीनशॉट प्रदान केले आहेत: www.monster.com и www.dice.com — जे कीवर्ड: डेटा क्वालिटी आणि डेटा सायंटिस्ट वापरून प्राप्त झालेल्या पोस्ट केलेल्या रिक्त पदांच्या संख्येवर 17 मार्च 2020 पर्यंत डेटा प्रदर्शित करते.

www.monster.com

डेटा सायंटिस्ट – २१४१६ जागा
डेटा गुणवत्ता – 41104 रिक्त जागा

www.dice.com

डेटा सायंटिस्ट – ४०४ जागा
डेटा गुणवत्ता – २०२० रिक्त जागा

अर्थात, हे व्यवसाय कोणत्याही प्रकारे एकमेकांशी स्पर्धा करत नाहीत. स्क्रीनशॉट्ससह, मला फक्त डेटा गुणवत्ता अभियंत्यांच्या विनंत्यांच्या संदर्भात श्रमिक बाजारपेठेतील सद्य परिस्थितीचे वर्णन करायचे आहे, ज्यांच्यापैकी आता डेटा वैज्ञानिकांपेक्षा बरेच काही आवश्यक आहे.

जून 2019 मध्ये, EPAM, आधुनिक IT बाजाराच्या गरजांना प्रतिसाद देत, डेटा गुणवत्तेला वेगळ्या सरावात वेगळे केले. डेटा गुणवत्ता अभियंते, त्यांच्या दैनंदिन कामाच्या दरम्यान, डेटा व्यवस्थापित करतात, नवीन परिस्थिती आणि प्रणालींमध्ये त्याचे वर्तन तपासतात, डेटाची प्रासंगिकता, त्याची पर्याप्तता आणि प्रासंगिकतेचे निरीक्षण करतात. या सर्व गोष्टींसह, व्यावहारिक अर्थाने, डेटा गुणवत्ता अभियंते शास्त्रीय कार्यात्मक चाचणीसाठी खरोखर कमी वेळ देतात, पण हे मोठ्या प्रमाणावर प्रकल्पावर अवलंबून आहे (मी खाली एक उदाहरण देईन).

डेटा क्वालिटी इंजिनिअरच्या जबाबदाऱ्या केवळ डेटाबेस टेबलमधील "नल्स, काउंट्स आणि सम्स" साठी नियमित मॅन्युअल/स्वयंचलित तपासण्यांपुरत्या मर्यादित नसतात, परंतु ग्राहकाच्या व्यावसायिक गरजा आणि त्यानुसार, उपलब्ध डेटामध्ये रूपांतरित करण्याची क्षमता सखोल समजून घेणे आवश्यक असते. उपयुक्त व्यवसाय माहिती.

डेटा गुणवत्ता सिद्धांत

अशा अभियंत्याच्या भूमिकेची पूर्ण कल्पना करण्यासाठी, सिद्धांतानुसार डेटा गुणवत्ता काय आहे ते शोधू या.

डेटा गुणवत्ता — डेटा मॅनेजमेंटच्या टप्प्यांपैकी एक (एक संपूर्ण जग जे आम्ही तुमच्यासाठी स्वतःचा अभ्यास करण्यासाठी सोडू) आणि खालील निकषांनुसार डेटाचे विश्लेषण करण्यासाठी जबाबदार आहे:

मला वाटते की प्रत्येक बिंदूचा उलगडा करण्याची गरज नाही (सिद्धांतात त्यांना "डेटा आयाम" म्हणतात), चित्रात त्यांचे वर्णन चांगले केले आहे. परंतु चाचणी प्रक्रियेतच या वैशिष्ट्यांची चाचणी प्रकरणांमध्ये काटेकोरपणे कॉपी करणे आणि त्यांची तपासणी करणे सूचित करत नाही. डेटा गुणवत्तेमध्ये, इतर कोणत्याही प्रकारच्या चाचणीप्रमाणे, सर्व प्रथम, व्यावसायिक निर्णय घेणार्‍या प्रकल्पातील सहभागींशी सहमत असलेल्या डेटा गुणवत्तेची आवश्यकता तयार करणे आवश्यक आहे.

डेटा गुणवत्तेच्या प्रकल्पावर अवलंबून, अभियंता भिन्न कार्ये करू शकतो: डेटा गुणवत्तेचे वरवरचे मूल्यांकन असलेल्या सामान्य ऑटोमेशन टेस्टरपासून, वरील निकषांनुसार डेटाचे सखोल प्रोफाइलिंग करणार्‍या व्यक्तीपर्यंत.

डेटा व्यवस्थापन, डेटा गुणवत्ता आणि संबंधित प्रक्रियांचे अतिशय तपशीलवार वर्णन नावाच्या पुस्तकात केले आहे "DAMA-DMBOK: डेटा मॅनेजमेंट बॉडी ऑफ नॉलेज: 2री आवृत्ती". या विषयाची ओळख म्हणून या पुस्तकाची मी अत्यंत शिफारस करतो (लेखाच्या शेवटी तुम्हाला त्याची लिंक मिळेल).

माझा इतिहास

IT उद्योगात, मी उत्पादन कंपन्यांमधील कनिष्ठ परीक्षक ते EPAM मधील लीड डेटा क्वालिटी इंजिनीअरपर्यंत काम केले. परीक्षक म्हणून सुमारे दोन वर्षे काम केल्यानंतर, मला खात्री होती की मी पूर्णपणे सर्व प्रकारच्या चाचणी केल्या आहेत: प्रतिगमन, कार्यात्मक, तणाव, स्थिरता, सुरक्षा, UI, इ. - आणि मोठ्या संख्येने चाचणी साधने वापरून पाहिली, एकाच वेळी तीन प्रोग्रामिंग भाषांमध्ये काम केले: Java, Scala, Python.

मागे वळून पाहताना, मला समजते की माझा कौशल्य संच इतका वैविध्यपूर्ण का आहे—मी डेटा-चालित प्रकल्पांमध्ये सामील होतो, मोठ्या आणि लहान. यामुळेच मला अनेक साधनांच्या आणि वाढीच्या संधींच्या जगात आणले.

नवीन ज्ञान आणि कौशल्ये मिळविण्याच्या विविध साधनांचे आणि संधींचे कौतुक करण्यासाठी, फक्त खालील चित्र पहा, जे "डेटा आणि एआय" जगातील सर्वात लोकप्रिय दर्शविते.

सॉफ्टवेअर डेव्हलपमेंटमधून आलेल्या प्रसिद्ध उद्यम भांडवलदार मॅट टर्कने या प्रकारचे चित्रण दरवर्षी संकलित केले आहे. येथे ссылка त्याच्या ब्लॉगवर आणि उद्यम भांडवल फर्म, जिथे तो भागीदार म्हणून काम करतो.

जेव्हा मी प्रकल्पावर एकटा परीक्षक होतो तेव्हा किंवा किमान प्रकल्पाच्या सुरूवातीस मी व्यावसायिकदृष्ट्या विशेषतः लवकर वाढलो. अशा क्षणी तुम्हाला संपूर्ण चाचणी प्रक्रियेसाठी जबाबदार राहावे लागेल आणि तुम्हाला मागे हटण्याची संधी नाही, फक्त पुढे जा. सुरुवातीला ते भितीदायक होते, परंतु आता अशा चाचणीचे सर्व फायदे माझ्यासाठी स्पष्ट आहेत:

• संप्रेषणासाठी कोणतीही प्रॉक्सी नसल्यामुळे तुम्ही संपूर्ण टीमशी संप्रेषण करण्यास सुरुवात करता जसे की यापूर्वी कधीही नव्हते: ना चाचणी व्यवस्थापक किंवा सहकारी परीक्षक.
• प्रकल्पातील विसर्जन आश्चर्यकारकपणे खोल होते आणि आपल्याकडे सर्व घटकांबद्दल माहिती असते, सर्वसाधारणपणे आणि तपशीलवार.
• डेव्हलपर तुमच्याकडे “तो काय करत आहे हे माहीत नसलेल्या चाचणीतला माणूस” म्हणून पाहत नाही, तर त्याच्या स्वयंचलित चाचण्यांद्वारे आणि संघाच्या विशिष्ट घटकामध्ये दिसणार्‍या बग्सच्या अपेक्षेने संघासाठी अविश्वसनीय फायदे निर्माण करणारा एक समान म्हणून पाहत नाही. उत्पादन
• परिणामी, तुम्ही अधिक प्रभावी, अधिक पात्र आणि मागणीत अधिक आहात.

प्रकल्प जसजसा वाढत गेला, 100% प्रकरणांमध्ये मी नवीन परीक्षकांसाठी मार्गदर्शक झालो, त्यांना शिकवले आणि मी स्वतः शिकलेले ज्ञान पुढे केले. त्याच वेळी, प्रकल्पाच्या आधारावर, मला व्यवस्थापनाकडून नेहमीच उच्च स्तरावरील ऑटो चाचणी विशेषज्ञ प्राप्त होत नव्हते आणि त्यांना एकतर ऑटोमेशनमध्ये प्रशिक्षण देण्याची (इच्छुकांसाठी) किंवा दैनंदिन क्रियाकलापांमध्ये वापरण्यासाठी साधने तयार करण्याची आवश्यकता होती (साधने). डेटा व्युत्पन्न करण्यासाठी आणि त्यांना सिस्टममध्ये लोड करण्यासाठी, लोड चाचणी/स्थिरता चाचणी “त्वरीत” करण्यासाठी एक साधन).

विशिष्ट प्रकल्पाचे उदाहरण

दुर्दैवाने, नॉन-डिक्लोजर दायित्वांमुळे, मी ज्या प्रकल्पांवर काम केले त्याबद्दल मी तपशीलवार बोलू शकत नाही, परंतु मी एका प्रकल्पावरील डेटा गुणवत्ता अभियंत्याच्या वैशिष्ट्यपूर्ण कार्यांची उदाहरणे देईन.

त्यावर आधारित मशीन लर्निंग मॉडेल्सच्या प्रशिक्षणासाठी डेटा तयार करण्यासाठी एक व्यासपीठ लागू करणे हे या प्रकल्पाचे सार आहे. ग्राहक यूएसए मधील एक मोठी फार्मास्युटिकल कंपनी होती. तांत्रिकदृष्ट्या ते क्लस्टर होते कुबेरनेट्स, पर्यंत वाढत आहे AWS EC2 उदाहरणे, अनेक मायक्रोसर्व्हिसेस आणि EPAM च्या अंतर्निहित मुक्त स्रोत प्रकल्पासह - मोठी संख्या, विशिष्ट ग्राहकाच्या गरजेनुसार रुपांतरित (आता प्रकल्पाचा पुनर्जन्म झाला आहे odahu). वापरून ईटीएल प्रक्रिया आयोजित केल्या गेल्या अपाचे एअरफ्लो आणि येथून डेटा हलविला सेल्सफोर्स मध्ये ग्राहक प्रणाली एडब्ल्यूएस एस 3 बादल्या. पुढे, प्लॅटफॉर्मवर मशीन लर्निंग मॉडेलची डॉकर प्रतिमा तैनात करण्यात आली, जी ताज्या डेटावर प्रशिक्षित झाली आणि REST API इंटरफेस वापरून, व्यवसायासाठी स्वारस्य असलेल्या आणि विशिष्ट समस्यांचे निराकरण करणारे अंदाज तयार केले.

दृश्यमानपणे, सर्व काही असे दिसते:

या प्रकल्पावर भरपूर कार्यात्मक चाचणी होती आणि वैशिष्ट्यांच्या विकासाचा वेग आणि रिलीझ सायकलचा वेग (दोन-आठवड्याचे स्प्रिंट) राखण्याची गरज लक्षात घेता, सर्वात गंभीर घटकांच्या स्वयंचलित चाचणीबद्दल त्वरित विचार करणे आवश्यक होते. प्रणाली कुबर्नेट्स-आधारित बहुतेक प्लॅटफॉर्म स्वतःच मध्ये लागू केलेल्या ऑटोटेस्ट्सने कव्हर केले होते रोबोट फ्रेमवर्क + पायथन, परंतु त्यांचे समर्थन आणि विस्तार करणे देखील आवश्यक होते. याशिवाय, ग्राहकांच्या सोयीसाठी, क्लस्टरमध्ये तैनात केलेले मशीन लर्निंग मॉडेल व्यवस्थापित करण्यासाठी, तसेच मॉडेल्सच्या प्रशिक्षणासाठी डेटा कुठे आणि कुठे हस्तांतरित करणे आवश्यक आहे हे निर्दिष्ट करण्याची क्षमता यासाठी एक GUI तयार करण्यात आला. या विस्तृत जोडणीमुळे स्वयंचलित कार्यात्मक चाचणीचा विस्तार करण्यात आला, जो मुख्यतः REST API कॉल्स आणि थोड्या प्रमाणात एंड-2-एंड UI चाचण्यांद्वारे केला गेला. या सर्व चळवळीच्या विषुववृत्ताच्या आसपास, आम्हाला मॅन्युअल परीक्षकाने सामील केले ज्याने उत्पादन आवृत्त्यांची स्वीकृती चाचणी आणि पुढील प्रकाशनाच्या स्वीकृतीबाबत ग्राहकांशी संवाद साधून उत्कृष्ट कार्य केले. याशिवाय, नवीन तज्ञाच्या आगमनामुळे, आम्ही आमच्या कामाचे दस्तऐवजीकरण करू शकलो आणि अनेक अत्यंत महत्त्वाच्या मॅन्युअल तपासण्या जोडू शकलो ज्या त्वरित स्वयंचलित करणे कठीण होते.

आणि शेवटी, आम्ही प्लॅटफॉर्म आणि GUI अॅड-ऑन वरून स्थिरता प्राप्त केल्यानंतर, आम्ही Apache Airflow DAGs वापरून ETL पाइपलाइन तयार करण्यास सुरुवात केली. स्वयंचलित डेटा गुणवत्ता तपासणी विशेष एअरफ्लो DAGs लिहून केली गेली ज्याने ETL प्रक्रियेच्या परिणामांवर आधारित डेटा तपासला. या प्रकल्पाचा भाग म्हणून, आम्ही भाग्यवान होतो आणि ग्राहकाने आम्हाला अज्ञात डेटा सेटमध्ये प्रवेश दिला ज्यावर आम्ही चाचणी केली. आम्ही प्रकारांच्या अनुपालनासाठी, तुटलेल्या डेटाची उपस्थिती, रेकॉर्डच्या आधी आणि नंतरची एकूण संख्या, एकत्रीकरणासाठी ETL प्रक्रियेद्वारे केलेल्या परिवर्तनांची तुलना, स्तंभांची नावे बदलणे आणि इतर गोष्टींसाठी आम्ही डेटा लाइन द्वारे तपासले. या व्यतिरिक्त, या तपासण्या वेगवेगळ्या डेटा स्रोतांवर मोजल्या गेल्या, उदाहरणार्थ, SalesForce व्यतिरिक्त, MySQL वर देखील.

अंतिम डेटा गुणवत्ता तपासणी आधीच S3 स्तरावर केली गेली होती, जिथे ते संग्रहित केले गेले होते आणि मशीन लर्निंग मॉडेल्सच्या प्रशिक्षणासाठी वापरण्यास तयार होते. S3 बकेटवर असलेल्या अंतिम CSV फाईलमधून डेटा प्राप्त करण्यासाठी आणि त्याचे प्रमाणीकरण करण्यासाठी, कोड वापरून लिहिला गेला. boto3 क्लायंट.

ग्राहकाकडून डेटाचा काही भाग एका S3 बकेटमध्ये आणि काही भाग दुसऱ्यामध्ये ठेवण्याचीही आवश्यकता होती. यासाठी अशा क्रमवारीची विश्वासार्हता तपासण्यासाठी अतिरिक्त चेक लिहिणे आवश्यक आहे.

इतर प्रकल्पांमधून सामान्यीकृत अनुभव

डेटा क्वालिटी इंजिनिअरच्या क्रियाकलापांच्या सर्वात सामान्य सूचीचे उदाहरण:

• स्वयंचलित साधनाद्वारे चाचणी डेटा (वैध अवैध मोठा लहान) तयार करा.
• तयार केलेला डेटा सेट मूळ स्त्रोतावर अपलोड करा आणि तो वापरासाठी तयार आहे का ते तपासा.
• सेटिंग्जचा एक निश्चित संच वापरून स्त्रोत स्टोरेजपासून अंतिम किंवा इंटरमीडिएट स्टोरेजपर्यंत डेटाच्या संचावर प्रक्रिया करण्यासाठी ETL प्रक्रिया लाँच करा (शक्य असल्यास, ETL कार्यासाठी कॉन्फिगर करण्यायोग्य पॅरामीटर्स सेट करा).
• ETL प्रक्रियेद्वारे प्रक्रिया केलेल्या डेटाची गुणवत्ता आणि व्यवसाय आवश्यकतांच्या अनुपालनासाठी पडताळणी करा.

त्याच वेळी, तपासणीचा मुख्य फोकस केवळ सिस्टममधील डेटा प्रवाहाने तत्त्वतः कार्य केला आहे आणि शेवटपर्यंत पोहोचला आहे (जो कार्यात्मक चाचणीचा भाग आहे), परंतु मुख्यतः डेटा तपासणे आणि सत्यापित करणे यावर केंद्रित असले पाहिजे. अपेक्षित आवश्यकतांचे पालन करण्यासाठी, विसंगती ओळखणे आणि इतर गोष्टी.

साधने

अशा डेटा नियंत्रणाच्या तंत्रांपैकी एक म्हणजे डेटा प्रक्रियेच्या प्रत्येक टप्प्यावर साखळी तपासणीची संस्था असू शकते, साहित्यात तथाकथित "डेटा साखळी" - स्त्रोतापासून अंतिम वापराच्या बिंदूपर्यंत डेटाचे नियंत्रण. या प्रकारच्या तपासण्या बहुधा एसक्यूएल क्वेरी चेकिंग लिहून अंमलात आणल्या जातात. हे स्पष्ट आहे की अशा क्वेरी शक्य तितक्या हलक्या असाव्यात आणि डेटा गुणवत्तेचे वैयक्तिक तुकडे तपासा (टेबल मेटाडेटा, रिक्त ओळी, NULL, वाक्यरचनामधील त्रुटी - तपासण्यासाठी आवश्यक इतर विशेषता).

रीग्रेशन टेस्टिंगच्या बाबतीत, जे रेडीमेड (अपरिवर्तनीय, किंचित बदलण्यायोग्य) डेटा संच वापरतात, ऑटोटेस्ट कोड गुणवत्तेच्या अनुपालनासाठी डेटा तपासण्यासाठी तयार टेम्पलेट संचयित करू शकतो (अपेक्षित टेबल मेटाडेटाचे वर्णन; पंक्ती नमुना ऑब्जेक्ट्स जे असू शकतात. चाचणी दरम्यान यादृच्छिकपणे निवडले, इ.).

तसेच, चाचणी दरम्यान, तुम्हाला Apache Airflow सारख्या फ्रेमवर्कचा वापर करून ETL चाचणी प्रक्रिया लिहाव्या लागतील. अपाचे स्पार्क किंवा अगदी ब्लॅक-बॉक्स क्लाउड प्रकार साधन GCP डेटाप्रेप, GCP डेटाफ्लो वगैरे. ही परिस्थिती चाचणी अभियंत्याला वरील साधनांच्या ऑपरेशनच्या तत्त्वांमध्ये स्वतःला विसर्जित करण्यास भाग पाडते आणि त्याहूनही अधिक प्रभावीपणे दोन्ही कार्यात्मक चाचणी (उदाहरणार्थ, एखाद्या प्रकल्पावर विद्यमान ईटीएल प्रक्रिया) आयोजित करतात आणि डेटा तपासण्यासाठी त्यांचा वापर करतात. विशेषतः, लोकप्रिय विश्लेषणात्मक डेटाबेससह कार्य करण्यासाठी अपाचे एअरफ्लो रेडीमेड ऑपरेटर आहेत, उदाहरणार्थ GCP BigQuery. त्याच्या वापराचे सर्वात मूलभूत उदाहरण आधीच वर्णन केले गेले आहे येथे, म्हणून मी स्वतःची पुनरावृत्ती करणार नाही.

तयार सोल्यूशन्स व्यतिरिक्त, कोणीही तुम्हाला तुमची स्वतःची तंत्रे आणि साधने लागू करण्यास मनाई करत नाही. हे केवळ प्रकल्पासाठीच नव्हे तर स्वत: डेटा गुणवत्ता अभियंतासाठी देखील फायदेशीर ठरेल, जे त्याद्वारे त्याचे तांत्रिक क्षितिज आणि कोडिंग कौशल्ये सुधारतील.

वास्तविक प्रकल्पावर ते कसे कार्य करते

“डेटा चेन”, ईटीएल आणि सर्वव्यापी तपासण्यांबद्दलच्या शेवटच्या परिच्छेदांचे एक चांगले उदाहरण म्हणजे वास्तविक प्रकल्पांपैकी एक खालील प्रक्रिया आहे:

येथे, विविध डेटा (नैसर्गिकपणे, आमच्याद्वारे तयार केलेले) आमच्या सिस्टमचे इनपुट "फनेल" प्रविष्ट करतात: वैध, अवैध, मिश्रित इ., नंतर ते फिल्टर केले जातात आणि मध्यवर्ती स्टोरेजमध्ये समाप्त होतात, त्यानंतर ते पुन्हा परिवर्तनांच्या मालिकेतून जातात. आणि अंतिम स्टोरेजमध्ये ठेवल्या जातात, ज्यामधून, विश्लेषणे, डेटा मार्ट तयार करणे आणि व्यवसाय अंतर्दृष्टी शोधणे चालते. अशा प्रणालीमध्ये, ईटीएल प्रक्रियेचे कार्यशीलतेने कार्य न करता, आम्ही परिवर्तनाच्या आधी आणि नंतर डेटाच्या गुणवत्तेवर तसेच विश्लेषणाच्या आउटपुटवर लक्ष केंद्रित करतो.

वरील गोष्टींचा सारांश देण्यासाठी, मी ज्या ठिकाणी काम केले त्याकडे दुर्लक्ष करून, सर्वत्र मी खालील वैशिष्ट्ये सामायिक केलेल्या डेटा प्रकल्पांमध्ये सामील होतो:

• केवळ ऑटोमेशनद्वारे तुम्ही काही प्रकरणांची चाचणी घेऊ शकता आणि व्यवसायासाठी स्वीकार्य रिलीझ सायकल मिळवू शकता.
• अशा प्रकल्पावरील परीक्षक हा संघातील सर्वात आदरणीय सदस्यांपैकी एक आहे, कारण ते प्रत्येक सहभागींना (चाचणीचा वेग, डेटा सायंटिस्टकडून चांगला डेटा, सुरुवातीच्या टप्प्यात दोष ओळखणे) खूप फायदे देते.
• तुम्ही तुमच्या स्वतःच्या हार्डवेअरवर किंवा क्लाउडमध्ये काम करत असलात तरी काही फरक पडत नाही - सर्व संसाधने हॉर्टनवर्क्स, क्लाउडेरा, मेसोस, कुबर्नेट्स इत्यादी क्लस्टरमध्ये अ‍ॅब्स्ट्रॅक्ट केली जातात.
• प्रकल्प मायक्रोसर्व्हिस पध्दतीवर तयार केले जातात, वितरित आणि समांतर संगणन प्रबळ असतात.

मी हे लक्षात घेऊ इच्छितो की डेटा गुणवत्तेच्या क्षेत्रात चाचणी करताना, चाचणी तज्ञ त्याचे व्यावसायिक लक्ष उत्पादनाच्या कोडवर आणि वापरलेल्या साधनांकडे वळवतो.

डेटा गुणवत्ता चाचणीची विशिष्ट वैशिष्ट्ये

या व्यतिरिक्त, माझ्यासाठी, मी खालील गोष्टी ओळखल्या आहेत (मी ताबडतोब आरक्षण करीन की ते खूप सामान्यीकृत आणि केवळ व्यक्तिनिष्ठ आहेत) डेटा (बिग डेटा) प्रकल्प (सिस्टम) आणि इतर क्षेत्रांमधील चाचणीची विशिष्ट वैशिष्ट्ये:

उपयुक्त दुवे

1. सिद्धांत: DAMA-DMBOK: डेटा मॅनेजमेंट बॉडी ऑफ नॉलेज: 2री आवृत्ती.
2. प्रशिक्षण केंद्र EPAM 
3. प्रारंभिक डेटा गुणवत्ता अभियंता साठी शिफारस केलेले साहित्य:
   1. Stepik वर मोफत कोर्स: डेटाबेसचा परिचय. 
   2. लिंक्डइन लर्निंगचा कोर्स: डेटा सायन्स फाउंडेशन्स: डेटा इंजिनिअरिंग.
   3. लेख:
      • व्यवसाय बुद्धिमत्ता आणि डेटा गुणवत्ता; 
      • ईटीएल चाचणी; 
      • डेटा प्रोफाइलिंग म्हणजे काय? प्रक्रिया, सर्वोत्तम पद्धती आणि साधने; 
      • चाचणी डेटा निर्मिती: काय आहे, कसे करावे, उदाहरण, साधने; 
      • 5 चाचणी डेटा निर्मिती तंत्र तुम्हाला माहित असणे आवश्यक आहे. 
   4. व्हिडिओ:
      • डेटा गुणवत्ता संकल्पना | डेटा गुणवत्ता ट्यूटोरियल | डेटा वेअरहाउसिंग ट्यूटोरियल;
      • SSIS वापरून डेटा प्रोफाइलिंग;
      • स्पार्कसह डेटा प्रोफाइलिंग आणि पाइपलाइन प्रक्रिया.

निष्कर्ष

डेटा गुणवत्ता एक अतिशय तरुण आशादायक दिशा आहे, ज्याचा एक भाग बनणे म्हणजे स्टार्टअपचा भाग असणे. एकदा डेटा गुणवत्तेत, तुम्ही मोठ्या संख्येने आधुनिक, मागणीनुसार तंत्रज्ञानामध्ये बुडून जाल, परंतु सर्वात महत्त्वाचे म्हणजे, तुमच्या कल्पना निर्माण करण्यासाठी आणि त्यांची अंमलबजावणी करण्यासाठी तुमच्यासाठी मोठ्या संधी उपलब्ध होतील. तुम्ही केवळ प्रकल्पावरच नव्हे तर स्वत:साठी सतत सुधारणेचा दृष्टीकोन वापरण्यास सक्षम असाल, एक विशेषज्ञ म्हणून सतत विकसित व्हाल.

स्त्रोत: www.habr.com