ठूलो र सानो डाटा परीक्षक: प्रवृत्ति, सिद्धान्त, मेरो कथा

सबैलाई नमस्कार, मेरो नाम अलेक्जेन्डर हो, र म एक डाटा क्वालिटी इन्जिनियर हुँ जसले डाटाको गुणस्तर जाँच गर्छ। यस लेखले म कसरी यहाँ आइपुग्यो र किन २०२० मा यो परीक्षण क्षेत्र छालको शिखरमा थियो भन्ने बारे कुरा गर्नेछ।

विश्वव्यापी प्रवृत्ति

आजको संसारले अर्को प्राविधिक क्रान्तिको अनुभव गरिरहेको छ, जसको एउटा पक्ष भनेको सबै प्रकारका कम्पनीहरूले आफ्नो बिक्री, नाफा र PR को फ्लाईव्हील प्रवर्द्धन गर्न संचित डाटाको प्रयोग हो। यस्तो देखिन्छ कि राम्रो (गुणवत्ता) डाटाको उपस्थिति, साथसाथै त्यसबाट पैसा कमाउन सक्ने दक्ष दिमागहरू (सही तरिकाले प्रशोधन, कल्पना, मेसिन लर्निङ मोडेलहरू, आदि) आज धेरैको लागि सफलताको कुञ्जी बनेको छ। यदि 15-20 वर्ष पहिले ठूला कम्पनीहरू मुख्यतया डाटा सङ्कलन र मुद्रीकरणको साथ गहन काममा संलग्न थिए भने, आज यो लगभग सबै समझदार व्यक्तिहरूको संख्या हो।

यस सन्दर्भमा, धेरै वर्ष पहिले, विश्वभरि रोजगार खोजीका लागि समर्पित सबै पोर्टलहरू डाटा वैज्ञानिकहरूको लागि रिक्त पदहरू भर्न थाले, किनकि सबैजना निश्चित थिए कि यस्तो विशेषज्ञलाई काममा लिएर, मेसिन लर्निंगको सुपर मोडेल निर्माण गर्न सम्भव छ। , भविष्यको भविष्यवाणी गर्नुहोस् र कम्पनीको लागि "क्वान्टम लीप" प्रदर्शन गर्नुहोस्। समय बित्दै जाँदा, मानिसहरूले महसुस गरे कि यो दृष्टिकोण लगभग कहिँ पनि काम गर्दैन, किनकि त्यस्ता विशेषज्ञहरूको हातमा पर्ने सबै डेटा प्रशिक्षण मोडेलहरूको लागि उपयुक्त छैन।

र डेटा वैज्ञानिकहरूबाट अनुरोधहरू सुरु भयो: "यिनीहरू र तीबाट थप डाटा किनौं...", "हामीसँग पर्याप्त डाटा छैन...", "हामीलाई केही थप डाटा चाहिन्छ, प्राथमिकतामा उच्च गुणस्तरको..." । यी अनुरोधहरूको आधारमा, डाटाको एक वा अर्को सेटको स्वामित्व भएका कम्पनीहरू बीच असंख्य अन्तरक्रियाहरू निर्माण हुन थाले। स्वाभाविक रूपमा, यस प्रक्रियाको प्राविधिक संगठन आवश्यक थियो - डाटा स्रोतमा जडान गर्ने, यसलाई डाउनलोड गर्ने, यो पूर्ण रूपमा लोड भएको जाँच गर्ने, आदि। त्यस्ता प्रक्रियाहरूको संख्या बढ्न थाल्यो, र आज हामीलाई अर्को प्रकारको ठूलो आवश्यकता छ। विशेषज्ञहरू - डाटा गुणस्तर इन्जिनियरहरू - जसले प्रणालीमा डाटाको प्रवाह (डेटा पाइपलाइनहरू), इनपुट र आउटपुटमा डाटाको गुणस्तर, र तिनीहरूको पर्याप्तता, अखण्डता र अन्य विशेषताहरूको बारेमा निष्कर्ष निकाल्ने निगरानी गर्दछ।

डाटा क्वालिटी इन्जिनियरहरूको लागि प्रवृति हामीलाई संयुक्त राज्य अमेरिकाबाट आएको हो, जहाँ पुँजीवादको उग्र युगको बीचमा, कोही पनि डाटाको लागि लडाई हार्न तयार छैनन्। तल मैले संयुक्त राज्यमा दुई सबैभन्दा लोकप्रिय रोजगार खोज साइटहरूबाट स्क्रिनसटहरू प्रदान गरेको छु: www.monster.com и www.dice.com - जसले किवर्डहरू प्रयोग गरेर प्राप्त पोस्ट गरिएका रिक्त पदहरूको संख्यामा मार्च 17, 2020 सम्मको डेटा प्रदर्शन गर्दछ: डेटा गुणस्तर र डेटा वैज्ञानिक।

www.monster.com

डाटा वैज्ञानिकहरू - 21416 रिक्त पदहरू
डाटा गुणस्तर - 41104 रिक्त पदहरू

www.dice.com

डाटा वैज्ञानिकहरू - 404 रिक्त पदहरू
डाटा गुणस्तर - २०२० रिक्त पदहरू

जाहिर छ, यी पेशाहरू कुनै पनि हिसाबले एकअर्कासँग प्रतिस्पर्धा गर्दैनन्। स्क्रिनसटहरूको साथ, म डाटा गुणस्तर इन्जिनियरहरूका लागि अनुरोधहरूको सन्दर्भमा श्रम बजारमा हालको अवस्था चित्रण गर्न चाहन्छु, जसमध्ये डाटा वैज्ञानिकहरू भन्दा अहिले धेरै आवश्यक छ।

जुन 2019 मा, EPAM ले आधुनिक IT बजारको आवश्यकतालाई जवाफ दिँदै, डेटा गुणस्तरलाई छुट्टै अभ्यासमा अलग गर्‍यो। डाटा क्वालिटी इन्जिनियरहरू, आफ्नो दैनिक कामको क्रममा, डाटा व्यवस्थापन गर्नुहोस्, नयाँ अवस्था र प्रणालीहरूमा यसको व्यवहार जाँच गर्नुहोस्, डाटाको सान्दर्भिकता, यसको पर्याप्तता र सान्दर्भिकता निगरानी गर्नुहोस्। यी सबैको साथमा, व्यावहारिक अर्थमा, डाटा क्वालिटी इन्जिनियरहरूले वास्तवमै शास्त्रीय कार्यात्मक परीक्षणमा थोरै समय खर्च गर्छन्, तर यो धेरै परियोजना मा निर्भर गर्दछ (म तल एक उदाहरण दिनेछु)।

डाटा क्वालिटी इन्जिनियरका जिम्मेवारीहरू डाटाबेस तालिकाहरूमा "नल्स, गणना र योगहरू" को लागि नियमित म्यानुअल/स्वचालित जाँचहरूमा मात्र सीमित छैनन्, तर ग्राहकको व्यावसायिक आवश्यकताहरूको गहिरो बुझाइ आवश्यक छ र, तदनुसार, उपलब्ध डाटालाई रूपान्तरण गर्ने क्षमता। उपयोगी व्यापार जानकारी।

डाटा गुणस्तर सिद्धान्त

यस्तो इन्जिनियरको भूमिकालाई पूर्ण रूपमा कल्पना गर्नको लागि, सिद्धान्तमा डेटा गुणस्तर के हो भनेर पत्ता लगाउनुहोस्।

डाटा गुणस्तर - डाटा व्यवस्थापनको चरणहरू मध्ये एक (एक सम्पूर्ण संसार जुन हामी तपाइँलाई तपाइँको आफ्नै अध्ययनको लागि छोड्नेछौं) र निम्न मापदण्ड अनुसार डाटा विश्लेषण गर्न जिम्मेवार छ:

मलाई लाग्छ कि प्रत्येक बिन्दुलाई बुझाउन आवश्यक छैन (सिद्धान्तमा तिनीहरूलाई "डेटा आयाम" भनिन्छ), तिनीहरू चित्रमा राम्ररी वर्णन गरिएका छन्। तर परीक्षण प्रक्रिया आफैंले यी सुविधाहरू परीक्षण केसहरूमा कडाईका साथ प्रतिलिपि गर्ने र तिनीहरूलाई जाँच गर्ने संकेत गर्दैन। डाटा गुणस्तरमा, कुनै पनि अन्य प्रकारको परीक्षणमा जस्तै, यो आवश्यक छ, सबै भन्दा पहिले, व्यापार निर्णय गर्ने परियोजना सहभागीहरूसँग सहमत डाटा गुणस्तर आवश्यकताहरू निर्माण गर्न।

डाटा क्वालिटी प्रोजेक्टमा निर्भर गर्दै, एक इन्जिनियरले विभिन्न कार्यहरू गर्न सक्छ: डाटा गुणस्तरको सतही मूल्याङ्कनको साथ एक साधारण स्वचालन परीक्षकबाट, माथिको मापदण्ड अनुसार डाटाको गहिरो प्रोफाइलिङ सञ्चालन गर्ने व्यक्तिसम्म।

डाटा व्यवस्थापन, डाटा गुणस्तर र सम्बन्धित प्रक्रियाहरूको एक धेरै विस्तृत विवरण भनिन्छ पुस्तकमा राम्रोसँग वर्णन गरिएको छ "DAMA-DMBOK: ज्ञानको डाटा व्यवस्थापन निकाय: दोस्रो संस्करण"। म यस विषयको परिचयको रूपमा यस पुस्तकलाई अत्यधिक सिफारिस गर्दछु (तपाईले लेखको अन्त्यमा यसको लिङ्क पाउनुहुनेछ)।

मेरो कथा

IT उद्योगमा, मैले उत्पादन कम्पनीहरूमा जुनियर परीक्षकबाट EPAM मा लीड डाटा क्वालिटी इन्जिनियरसम्म काम गरें। लगभग दुई वर्ष एक परीक्षकको रूपमा काम गरेपछि, मैले पूर्ण रूपमा सबै प्रकारका परीक्षणहरू गरेको छु: प्रतिगमन, कार्यात्मक, तनाव, स्थिरता, सुरक्षा, UI, इत्यादि - र धेरै संख्यामा परीक्षण उपकरणहरू प्रयास गरें। एकै समयमा तीन प्रोग्रामिङ भाषाहरूमा काम गर्यो: Java, Scala, Python।

फर्केर हेर्दा, म बुझ्छु किन मेरो सीप सेट यति विविध थियो — म डेटा-संचालित परियोजनाहरूमा संलग्न थिएँ, ठूला र साना। यसले मलाई धेरै उपकरण र विकासका अवसरहरूको संसारमा ल्यायो।

नयाँ ज्ञान र सीपहरू प्राप्त गर्नका लागि विभिन्न प्रकारका उपकरणहरू र अवसरहरूको प्रशंसा गर्न, तलको चित्रलाई हेर्नुहोस्, जसले "डेटा र एआई" संसारमा सबैभन्दा लोकप्रियहरू देखाउँछ।

यस प्रकारको चित्रण प्रत्येक वर्ष एक प्रसिद्ध उद्यम पूंजीवादी म्याट टर्क द्वारा संकलित गरिन्छ, जो सफ्टवेयर विकासबाट आउँछन्। यहाँ लिङ्क उनको ब्लगमा र उद्यम पूंजी फर्मजहाँ उहाँ साझेदारको रूपमा काम गर्नुहुन्छ।

म परियोजनामा ​​एक मात्र परीक्षक हुँदा, वा कम्तिमा परियोजनाको शुरुवातमा म व्यावसायिक रूपमा चाँडै बढें। यो यस्तो क्षण हो कि तपाईं सम्पूर्ण परीक्षण प्रक्रियाको लागि जिम्मेवार हुनुपर्दछ, र तपाईंसँग पछाडि हट्ने कुनै अवसर छैन, केवल अगाडि बढ्नुहोस्। सुरुमा यो डरलाग्दो थियो, तर अब यस्तो परीक्षणको सबै फाइदाहरू मलाई स्पष्ट छन्:

• तपाईँले पहिले कहिल्यै नभएको जस्तो सम्पूर्ण टोलीसँग सञ्चार गर्न थाल्नुहुन्छ, किनभने त्यहाँ सञ्चारको लागि कुनै प्रोक्सी छैन: न त परीक्षण प्रबन्धक न त साथी परीक्षकहरू।
• परियोजनामा ​​विसर्जन अविश्वसनीय रूपमा गहिरो हुन्छ, र तपाइँसँग सामान्य र विस्तृत रूपमा सबै कम्पोनेन्टहरूको बारेमा जानकारी छ।
• विकासकर्ताहरूले तपाइँलाई "परीक्षण गर्ने त्यो मानिस जसले उसले के गरिरहेको छ थाहा छैन" भनेर हेर्दैनन्, बरु उसको स्वचालित परीक्षणहरू र टोलीको विशिष्ट भागमा देखा पर्ने बगहरूको प्रत्याशाको साथ टोलीको लागि अविश्वसनीय फाइदाहरू उत्पादन गर्ने बराबरको रूपमा हेर्छन्। उत्पादन।
• नतिजाको रूपमा, तपाईं अधिक प्रभावकारी, अधिक योग्य, र मागमा अधिक हुनुहुन्छ।

जसरी परियोजना बढ्दै गयो, 100% केसहरूमा म नयाँ परीक्षकहरूको लागि सल्लाहकार बनें, उनीहरूलाई सिकाउँदै र मैले आफैले सिकेको ज्ञानलाई पास गर्दै। एकै समयमा, परियोजनाको आधारमा, मैले व्यवस्थापनबाट सधैं उच्च स्तरको अटो परीक्षण विशेषज्ञहरू प्राप्त गरेन र त्यहाँ तिनीहरूलाई स्वचालनमा तालिम दिन आवश्यक थियो (चासो राख्नेहरूका लागि) वा दैनिक गतिविधिहरूमा प्रयोगको लागि उपकरणहरू (उपकरणहरू) सिर्जना गर्न आवश्यक थियो। डाटा उत्पन्न गर्न र प्रणालीमा लोड गर्नको लागि, लोड परीक्षण/स्थिरता परीक्षण "छिटो", इत्यादि प्रदर्शन गर्ने उपकरण।

एक विशिष्ट परियोजना को उदाहरण

दुर्भाग्यवश, गैर-प्रकटीकरण दायित्वहरूको कारण, मैले काम गरेको परियोजनाहरूको बारेमा विस्तृत रूपमा कुरा गर्न सक्दिन, तर म कुनै एक परियोजनामा ​​डेटा गुणस्तर इन्जिनियरको विशिष्ट कार्यहरूको उदाहरण दिनेछु।

परियोजनाको सार यसको आधारमा प्रशिक्षण मेसिन लर्निंग मोडेलहरूको लागि डाटा तयार गर्नको लागि प्लेटफर्म कार्यान्वयन गर्नु हो। ग्राहक संयुक्त राज्य अमेरिका देखि एक ठूलो औषधि कम्पनी थियो। प्राविधिक रूपमा यो एक क्लस्टर थियो कुबर्नेट्स, मा बढ्दै AWS EC2 उदाहरणहरू, धेरै माइक्रोसेवाहरू र EPAM को अन्तर्निहित खुला स्रोत परियोजनाको साथ - रोमी पल्टनमा, एक विशिष्ट ग्राहक को आवश्यकताहरु लाई अनुकूलित (अब परियोजना मा पुनर्जन्म भएको छ odahu)। ETL प्रक्रियाहरू प्रयोग गरी व्यवस्थित गरिएको थियो अपाचे एयरफ्लो र बाट डाटा सारियो सेल्सफोर्स ग्राहक प्रणाली मा AWS S3 बाल्टिन। अर्को, प्लेटफर्ममा मेसिन लर्निङ मोडेलको डकर छवि तैनाथ गरिएको थियो, जुन ताजा डाटामा तालिम दिइएको थियो र, REST API इन्टरफेस प्रयोग गरेर, व्यवसायको रुचि र विशेष समस्याहरू समाधान गर्ने भविष्यवाणीहरू उत्पादन गरियो।

दृश्यात्मक रूपमा, सबै कुरा यस्तो देखिन्छ:

यस परियोजनामा ​​धेरै कार्यात्मक परीक्षणहरू थिए, र सुविधा विकासको गति र रिलीज चक्र (दुई-हप्ता स्प्रिन्टहरू) को गति कायम राख्नु पर्ने आवश्यकतालाई दिईयो, यो तुरुन्तै सबैभन्दा महत्त्वपूर्ण घटकहरूको स्वचालित परीक्षणको बारेमा सोच्न आवश्यक थियो। प्रणाली। धेरै जसो Kubernetes-आधारित प्लेटफर्म आफैंमा लागू गरिएको autotests द्वारा कभर गरिएको थियो रोबोट फ्रेमवर्क + पाइथन, तर तिनीहरूलाई समर्थन र विस्तार गर्न पनि आवश्यक थियो। थप रूपमा, ग्राहकको सुविधाको लागि, क्लस्टरमा तैनाथ गरिएका मेसिन लर्निङ मोडेलहरू व्यवस्थापन गर्न GUI सिर्जना गरिएको थियो, साथै मोडेलहरूलाई तालिम दिन कहाँ र कहाँ डाटा स्थानान्तरण गर्न आवश्यक छ भनी निर्दिष्ट गर्ने क्षमता। यो व्यापक थपले स्वचालित कार्यात्मक परीक्षणको विस्तारलाई समावेश गर्यो, जुन प्रायः REST API कलहरू र अन्त्य-2-अन्त UI परीक्षणहरूको सानो संख्या मार्फत गरिएको थियो। यो सबै आन्दोलनको भूमध्य रेखाको वरिपरि, हामी एक म्यानुअल परीक्षकद्वारा सामेल भयौं जसले उत्पादन संस्करणहरूको स्वीकृति परीक्षण र अर्को रिलीजको स्वीकृतिको सन्दर्भमा ग्राहकसँग सञ्चार गर्न उत्कृष्ट काम गर्यो। थप रूपमा, नयाँ विशेषज्ञको आगमनको कारणले, हामीले हाम्रो काम कागजात गर्न र धेरै महत्त्वपूर्ण म्यानुअल जाँचहरू थप्न सक्षम भयौं जुन तुरुन्तै स्वचालित गर्न गाह्रो थियो।

र अन्तमा, हामीले प्लेटफर्म र GUI एड-अनबाट स्थिरता हासिल गरेपछि, हामीले Apache Airflow DAGs प्रयोग गरेर ETL पाइपलाइनहरू निर्माण गर्न थाल्यौं। स्वचालित डाटा गुणस्तर जाँच विशेष एयरफ्लो DAG हरू लेखेर गरिएको थियो जसले ETL प्रक्रियाको नतिजाहरूमा आधारित डाटा जाँच गर्‍यो। यस परियोजनाको एक भागको रूपमा, हामी भाग्यशाली थियौं र ग्राहकले हामीलाई गुमनाम डेटा सेटहरूमा पहुँच दिनुभयो जसमा हामीले परीक्षण गरेका थियौं। हामीले प्रकारहरूको अनुपालनको लागि लाइनद्वारा डेटा लाइन जाँच गर्यौं, टुटेको डेटाको उपस्थिति, रेकर्डको कुल सङ्ख्या पहिले र पछि, ETL प्रक्रियाद्वारा गरिएको परिवर्तनको तुलना, स्तम्भको नाम परिवर्तन, र अन्य चीजहरू। थप रूपमा, यी जाँचहरू विभिन्न डेटा स्रोतहरूमा मापन गरिएका थिए, उदाहरणका लागि, SalesForce को अतिरिक्त, MySQL मा पनि।

अन्तिम डेटा गुणस्तर जाँचहरू पहिले नै S3 स्तरमा गरिसकिएको थियो, जहाँ तिनीहरू भण्डारण गरिएका थिए र प्रशिक्षण मेसिन लर्निङ मोडेलहरूको लागि प्रयोग गर्न तयार थिए। S3 बाल्टीमा अवस्थित अन्तिम CSV फाइलबाट डाटा प्राप्त गर्न र यसलाई प्रमाणित गर्न, कोड प्रयोग गरेर लेखिएको थियो। boto3 ग्राहकहरू.

ग्राहकले डाटाको केही अंश एउटा S3 बकेटमा र केही अंश अर्कोमा भण्डारण गर्नुपर्ने बाध्यता पनि थियो। यसले यस्तो क्रमबद्धताको विश्वसनीयता जाँच गर्न थप जाँचहरू लेख्न आवश्यक छ।

अन्य परियोजनाहरूबाट सामान्यीकृत अनुभव

डाटा क्वालिटी इन्जिनियरका गतिविधिहरूको सबैभन्दा सामान्य सूचीको उदाहरण:

• एक स्वचालित उपकरण मार्फत परीक्षण डाटा (मान्य अवैध ठूलो सानो) तयार गर्नुहोस्।
• तयार डेटा सेट मूल स्रोतमा अपलोड गर्नुहोस् र यो प्रयोगको लागि तयार छ भनेर जाँच गर्नुहोस्।
• सेटिङहरूको निश्चित सेट प्रयोग गरेर स्रोत भण्डारणबाट अन्तिम वा मध्यवर्ती भण्डारणमा डेटाको सेट प्रशोधन गर्न ETL प्रक्रियाहरू सुरु गर्नुहोस् (यदि सम्भव भएमा, ETL कार्यको लागि कन्फिगर योग्य प्यारामिटरहरू सेट गर्नुहोस्)।
• ETL प्रक्रिया द्वारा प्रशोधित डाटा यसको गुणस्तर र व्यापार आवश्यकताहरु संग अनुपालन को लागी प्रमाणित गर्नुहोस्।

एकै समयमा, चेकको मुख्य फोकस प्रणालीमा डाटा प्रवाह, सिद्धान्तमा, काम गरेको र पूरा भएको तथ्यमा मात्र होइन (जुन कार्यात्मक परीक्षणको भाग हो), तर अधिकतर डाटा जाँच र प्रमाणीकरणमा। अपेक्षित आवश्यकताहरूको अनुपालन, विसंगतिहरू र अन्य चीजहरू पहिचान गर्दै।

उपकरणहरू

यस्तो डेटा नियन्त्रण को लागी एक प्रविधि डाटा प्रोसेसिंग को प्रत्येक चरण मा चेन चेक को संगठन हुन सक्छ, साहित्य मा तथाकथित "डेटा चेन" - स्रोत देखि अन्तिम उपयोग को बिन्दु सम्म डाटा को नियन्त्रण। यी प्रकारका जाँचहरू प्रायः SQL क्वेरीहरू जाँच गर्दै लेखेर लागू गरिन्छ। यो स्पष्ट छ कि त्यस्ता प्रश्नहरू सम्भव भएसम्म हल्का हुनुपर्छ र डेटा गुणस्तरको व्यक्तिगत टुक्राहरू जाँच गर्नुहोस् (तालिका मेटाडेटा, खाली रेखाहरू, NULLs, सिन्ट्याक्समा त्रुटिहरू - जाँचको लागि आवश्यक अन्य विशेषताहरू)।

रिग्रेसन परीक्षणको अवस्थामा, जसले रेडिमेड (अपरिवर्तनीय, थोरै परिवर्तन योग्य) डेटा सेटहरू प्रयोग गर्दछ, स्वत: परीक्षण कोडले गुणस्तरको अनुपालनको लागि डाटा जाँच गर्नको लागि तयार टेम्प्लेटहरू भण्डारण गर्न सक्छ (अपेक्षित तालिका मेटाडेटाको विवरण; पङ्क्ति नमूना वस्तुहरू जुन हुन सक्छ। परीक्षणको समयमा अनियमित रूपमा चयन गरिएको, आदि)।

साथै, परीक्षणको क्रममा, तपाईंले अपाचे एयरफ्लो जस्ता फ्रेमवर्कहरू प्रयोग गरेर ETL परीक्षण प्रक्रियाहरू लेख्नु पर्छ, अपाचे स्पार्क वा ब्ल्याक-बक्स क्लाउड प्रकारको उपकरण पनि GCP डाटाप्रेप, GCP Dataflow र यस्तै। यो परिस्थितिले परीक्षण इन्जिनियरलाई माथिका उपकरणहरूको सञ्चालनको सिद्धान्तहरूमा डुब्न बाध्य बनाउँछ र अझ प्रभावकारी रूपमा दुबै कार्यात्मक परीक्षणहरू सञ्चालन गर्दछ (उदाहरणका लागि, परियोजनामा ​​अवस्थित ETL प्रक्रियाहरू) र डाटा जाँच गर्न तिनीहरूलाई प्रयोग गर्नुहोस्। विशेष गरी, Apache Airflow लोकप्रिय विश्लेषणात्मक डाटाबेसहरूसँग काम गर्नका लागि तयार अपरेटरहरू छन्, उदाहरणका लागि GCP BigQuery। यसको प्रयोगको सबैभन्दा आधारभूत उदाहरण पहिले नै उल्लेख गरिएको छ यहाँ, त्यसैले म आफैलाई दोहोर्याउने छैन।

तयार समाधानहरू बाहेक, कसैले तपाईंलाई आफ्नै प्रविधि र उपकरणहरू लागू गर्न निषेध गर्दैन। यो परियोजनाको लागि मात्र नभई डाटा क्वालिटी इन्जिनियरका लागि पनि लाभदायक हुनेछ, जसले यसरी आफ्नो प्राविधिक क्षितिज र कोडिङ सीपहरू सुधार गर्नेछ।

यो कसरी एक वास्तविक परियोजना मा काम गर्दछ

"डेटा चेन", ETL र सर्वव्यापी जाँचहरूको बारेमा अन्तिम अनुच्छेदहरूको राम्रो दृष्टान्त वास्तविक परियोजनाहरू मध्ये एकबाट निम्न प्रक्रिया हो:

यहाँ, विभिन्न डेटा (स्वाभाविक रूपमा, हामी द्वारा तयार गरिएको) हाम्रो प्रणालीको इनपुट "फनेल" प्रविष्ट गर्दछ: मान्य, अमान्य, मिश्रित, आदि, त्यसपछि तिनीहरू फिल्टर हुन्छन् र एक मध्यवर्ती भण्डारणमा समाप्त हुन्छन्, त्यसपछि तिनीहरू फेरि रूपान्तरणको श्रृंखलाबाट गुजर्छन्। र अन्तिम भण्डारणमा राखिएको छ, जसबाट, बारीमा, विश्लेषण, डाटा मार्ट निर्माण र व्यापार अन्तर्दृष्टि खोजी गरिनेछ। यस्तो प्रणालीमा, कार्यात्मक रूपमा ETL प्रक्रियाहरूको सञ्चालन जाँच नगरिकन, हामी रूपान्तरण अघि र पछि डेटाको गुणस्तर, साथै विश्लेषणमा आउटपुटमा फोकस गर्छौं।

माथिको संक्षेपमा, मैले काम गरेको ठाउँहरूको ख्याल नगरी, जताततै म निम्न सुविधाहरू साझा गर्ने डेटा परियोजनाहरूमा संलग्न थिएँ:

• स्वचालन मार्फत मात्र तपाईंले केही केसहरू परीक्षण गर्न सक्नुहुन्छ र व्यापारको लागि स्वीकार्य रिलीज चक्र प्राप्त गर्न सक्नुहुन्छ।
• यस्तो परियोजनामा ​​परीक्षक टोलीको सबैभन्दा सम्मानित सदस्यहरू मध्ये एक हो, किनकि यसले प्रत्येक सहभागीहरूलाई ठूलो फाइदाहरू ल्याउँछ (परीक्षणको गति, डाटा वैज्ञानिकबाट राम्रो डेटा, प्रारम्भिक चरणहरूमा त्रुटिहरूको पहिचान)।
• तपाईले आफ्नै हार्डवेयरमा वा क्लाउडमा काम गर्नुहुन्छ भन्ने फरक पर्दैन - सबै स्रोतहरू क्लस्टरमा सारिएका छन् जस्तै Hortonworks, Cloudera, Mesos, Kubernetes, आदि।
• परियोजनाहरू माइक्रोसर्भिस दृष्टिकोणमा निर्माण गरिएका छन्, वितरण र समानान्तर कम्प्युटिङ प्रबल हुन्छ।

म यो नोट गर्न चाहन्छु कि डाटा गुणस्तरको क्षेत्रमा परीक्षण गर्दा, एक परीक्षण विशेषज्ञले आफ्नो व्यावसायिक फोकस उत्पादनको कोड र प्रयोग गरिएका उपकरणहरूमा परिवर्तन गर्दछ।

डाटा गुणस्तर परीक्षण को विशिष्ट सुविधाहरू

थप रूपमा, मेरो लागि, मैले निम्न पहिचान गरेको छु (म तुरुन्तै आरक्षण गर्नेछु कि तिनीहरू धेरै सामान्यीकृत र विशेष रूपमा व्यक्तिपरक छन्) डाटा (बिग डाटा) परियोजनाहरू (प्रणालीहरू) र अन्य क्षेत्रहरूमा परीक्षणका विशिष्ट सुविधाहरू:

उपयोगी लिङ्कहरू

1. सिद्धान्त: DAMA-DMBOK: ज्ञानको डाटा व्यवस्थापन निकाय: दोस्रो संस्करण.
2. तालिम केन्द्र EPAM 
3. प्रारम्भिक डाटा क्वालिटी इन्जिनियरका लागि सिफारिस गरिएका सामग्रीहरू:
   1. Stepik मा नि: शुल्क पाठ्यक्रम: डाटाबेस को परिचय. 
   2. लिंक्डइन लर्निङमा पाठ्यक्रम: डाटा विज्ञान फाउन्डेशनहरू: डाटा इन्जिनियरिङ्.
   3. लेखहरू:
      • व्यापार खुफिया र डाटा गुणस्तर; 
      • ETL परीक्षण; 
      • डाटा प्रोफाइलिङ के हो? प्रक्रिया, उत्तम अभ्यास र उपकरणहरू; 
      • परीक्षण डाटा जेनेरेसन: के हो, कसरी गर्ने, उदाहरण, उपकरणहरू; 
      • 5 परीक्षण डाटा जेनेरेसन प्रविधिहरू तपाईंले जान्नु आवश्यक छ। 
   4. भिडियो:
      • डाटा गुणस्तर अवधारणाहरू | डाटा गुणस्तर ट्यूटोरियल | डाटा भण्डारण ट्यूटोरियल;
      • SSIS प्रयोग गरेर डाटा प्रोफाइलिङ;
      • स्पार्कको साथ डाटा प्रोफाइलिङ र पाइपलाइन प्रशोधन।

निष्कर्षमा

डाटा गुणस्तर एक धेरै युवा आशाजनक दिशा हो, जसको एक हिस्सा हुनु भनेको स्टार्टअपको हिस्सा हुनु हो। एक पटक डाटा गुणस्तरमा, तपाईं आधुनिक, इन-डिमांड टेक्नोलोजीहरूको ठूलो संख्यामा डुब्नुहुनेछ, तर सबैभन्दा महत्त्वपूर्ण कुरा, तपाईंका विचारहरू उत्पन्न गर्न र कार्यान्वयन गर्नका लागि प्रशस्त अवसरहरू खुल्नेछन्। तपाईं परियोजनामा ​​मात्र नभई आफ्नो लागि पनि निरन्तर सुधारको दृष्टिकोण प्रयोग गर्न सक्षम हुनुहुनेछ, एक विशेषज्ञको रूपमा निरन्तर विकास गर्दै।

स्रोत: www.habr.com