विश्लेषणात्मक प्लेटफर्महरूमा कम-कोडको आवेदन

प्रिय पाठकहरू, शुभ दिउँसो!

ढिलो वा चाँडो डाटा सङ्कलन र विश्लेषणको लागि IT प्लेटफर्महरू निर्माण गर्ने कार्य कुनै पनि कम्पनीको लागि उठ्छ जसको व्यवसाय बौद्धिक रूपमा लोड गरिएको सेवा वितरण मोडेल वा प्राविधिक रूपमा जटिल उत्पादनहरूको सिर्जनामा ​​आधारित छ। विश्लेषणात्मक प्लेटफर्महरू निर्माण गर्नु एक जटिल र समय-उपभोग कार्य हो। यद्यपि, कुनै पनि कार्यलाई सरल बनाउन सकिन्छ। यस लेखमा म विश्लेषणात्मक समाधानहरू सिर्जना गर्न मद्दतको लागि कम-कोड उपकरणहरू प्रयोग गर्ने मेरो अनुभव साझा गर्न चाहन्छु। यो अनुभव Neoflex कम्पनी को बिग डाटा समाधान दिशा मा धेरै परियोजनाहरु को कार्यान्वयन को समयमा प्राप्त भएको थियो। 2005 देखि, Neoflex को बिग डाटा समाधान दिशाले डाटा गोदामहरू र तालहरू निर्माण गर्ने, सूचना प्रशोधनको गतिलाई अनुकूलन गर्ने समस्याहरू समाधान गर्ने र डाटा गुणस्तर व्यवस्थापनको लागि एक पद्धतिमा काम गर्ने समस्याहरू समाधान गर्दै आएको छ।

कोही पनि कमजोर र/वा कडा संरचित डाटाको सचेत संचयबाट बच्न सक्षम हुनेछैन। सायद हामी साना व्यवसायहरूको बारेमा कुरा गर्दैछौं भने पनि। जे भए पनि, एक व्यवसाय मापन गर्दा, एक आशाजनक उद्यमीले वफादारी कार्यक्रम विकास गर्ने समस्याहरूको सामना गर्नुपर्नेछ, बिक्रीको बिन्दुको प्रभावकारिताको विश्लेषण गर्न चाहन्छ, लक्षित विज्ञापनको बारेमा सोच्नेछ, र सँगै उत्पादनहरूको मागबाट छक्क पर्नेछ। । पहिलो अनुमान गर्न, समस्या "घुँडा मा" हल गर्न सकिन्छ। तर व्यापार बढ्दै जाँदा, विश्लेषणात्मक प्लेटफर्ममा आउन अझै अपरिहार्य छ।

यद्यपि, कुन अवस्थामा डाटा एनालिटिक्स कार्यहरू "रकेट विज्ञान" वर्ग समस्याहरूमा विकास गर्न सक्छन्? सायद यस क्षणमा जब हामी वास्तवमै ठूलो डाटाको बारेमा कुरा गर्दैछौं।
रकेट विज्ञानलाई सजिलो बनाउन, तपाईं हात्तीको टुक्रा टुक्रा टुक्रा खान सक्नुहुन्छ।

तपाईंका एप्लिकेसन/सेवाहरू/माइक्रो सर्भिसहरू जति धेरै छुट्टै र स्वायत्त हुन्छन्, तपाईं, तपाईंका सहकर्मीहरू र सम्पूर्ण व्यवसायका लागि हात्तीलाई पचाउन त्यति नै सजिलो हुन्छ।

हाम्रा लगभग सबै ग्राहकहरू DevOps टोलीहरूको ईन्जिनियरिङ् अभ्यासहरूमा आधारित ल्यान्डस्केप पुन: निर्माण गरेर यस पोष्टुलेटमा आए।

तर "पृथक, हात्ती" आहारको साथ पनि, हामीसँग आईटी परिदृश्यको "ओभरस्याचुरेसन" को राम्रो मौका छ। यस क्षणमा यो रोक्न, सास फेर्न र छेउमा हेर्न लायक छ कम-कोड इन्जिनियरिङ प्लेटफर्म.

धेरै विकासकर्ताहरू कम-कोड प्रणालीहरूको UI इन्टरफेसहरूमा "ड्र्याग" एरोहरू तर्फ सिधै कोड लेखनबाट टाढा सर्दा आफ्नो क्यारियरको अन्त्यको सम्भावनाबाट डराउँछन्। तर मेशिन उपकरणको आगमनले इन्जिनियरहरूको बेपत्ता पारेन, तर तिनीहरूको कामलाई नयाँ स्तरमा ल्यायो!

आउनुहोस् कारण पत्ता लगाउनुहोस्।

रसद, दूरसंचार उद्योग, मिडिया अनुसन्धान, वित्तीय क्षेत्र को क्षेत्र मा डाटा विश्लेषण सधैं निम्न प्रश्नहरु संग सम्बन्धित छ:

• स्वचालित विश्लेषण को गति;
• मुख्य डाटा उत्पादन प्रवाहलाई असर नगरी प्रयोगहरू सञ्चालन गर्ने क्षमता;
• तयार डाटा को विश्वसनीयता;
• ट्र्याकिङ र संस्करण परिवर्तन गर्नुहोस्;
• डाटा प्रमाण, डाटा वंश, सीडीसी;
• उत्पादन वातावरणमा नयाँ सुविधाहरूको द्रुत डेलिभरी;
• र कुख्यात: विकास र समर्थन को लागत।

अर्थात्, इन्जिनियरहरूसँग ठूलो संख्यामा उच्च-स्तरका कार्यहरू छन्, जुन न्यून-स्तरको विकास कार्यहरूप्रति आफ्नो चेतनालाई सफा गरेर मात्र पर्याप्त दक्षताका साथ पूरा गर्न सकिन्छ।

विकासकर्ताहरूलाई नयाँ स्तरमा सार्नको लागि पूर्व शर्तहरू व्यवसायको विकास र डिजिटलाइजेशन थियो। विकासकर्ताको मूल्य पनि परिवर्तन हुँदैछ: त्यहाँ विकासकर्ताहरूको ठूलो कमी छ जसले व्यवसायलाई स्वचालित हुने अवधारणाहरूमा डुबाउन सक्छ।

निम्न-स्तर र उच्च-स्तर प्रोग्रामिङ भाषाहरूसँग एक समानता कोरौं। निम्न-स्तरका भाषाहरूबाट उच्च-स्तरका भाषाहरू तर्फको संक्रमण भनेको "हार्डवेयरको भाषामा प्रत्यक्ष निर्देशनहरू" लेख्नुबाट "मानिसहरूको भाषामा निर्देशनहरू" तर्फको संक्रमण हो। त्यो हो, अमूर्तता को केहि तह थप्दै। यस अवस्थामा, उच्च-स्तरीय प्रोग्रामिङ भाषाहरूबाट कम-कोड प्लेटफर्महरूमा संक्रमण "व्यवसायको भाषामा निर्देशनहरू" तर्फ "व्यवसायको भाषामा निर्देशनहरू" तर्फको संक्रमण हो। यदि त्यहाँ विकासकर्ताहरू छन् जो यस तथ्यबाट दुखी छन्, तब तिनीहरू दुखी छन्, सायद, जाभा स्क्रिप्टको जन्म भएको क्षणदेखि, जसले एरे क्रमबद्ध प्रकार्यहरू प्रयोग गर्दछ। र यी प्रकार्यहरू, पक्कै पनि, समान उच्च-स्तर प्रोग्रामिङका अन्य माध्यमहरूद्वारा हुड अन्तर्गत सफ्टवेयर कार्यान्वयन छ।

तसर्थ, कम-कोड भनेको अमूर्तताको अर्को स्तरको उपस्थिति मात्र हो।

कम-कोड प्रयोग गरेर लागू अनुभव

कम-कोडको विषय धेरै फराकिलो छ, तर अब म हाम्रो परियोजनाहरू मध्ये एकको उदाहरण प्रयोग गरेर "लो-कोड अवधारणाहरू" को व्यावहारिक अनुप्रयोगको बारेमा कुरा गर्न चाहन्छु।

Neoflex को Big Data Solutions डिभिजनले व्यापारको वित्तीय क्षेत्र, डाटा वेयरहाउस र तालहरू निर्माण गर्ने र विभिन्न रिपोर्टिङलाई स्वचालित बनाउने काममा बढी विशेषज्ञता दिन्छ। यस स्थानमा, कम-कोडको प्रयोग लामो समयसम्म मानक भएको छ। अन्य कम-कोड उपकरणहरू मध्ये, हामी ETL प्रक्रियाहरू व्यवस्थित गर्न उपकरणहरू उल्लेख गर्न सक्छौं: Informatica Power Center, IBM Datastage, Pentaho Data Integration। वा ओरेकल एपेक्स, जसले डेटा पहुँच र सम्पादनको लागि इन्टरफेसहरूको द्रुत विकासको लागि वातावरणको रूपमा कार्य गर्दछ। यद्यपि, कम-कोड विकास उपकरणहरूको प्रयोगले सँधै विक्रेतामा स्पष्ट निर्भरताको साथ व्यावसायिक प्रविधि स्ट्याकमा उच्च लक्षित अनुप्रयोगहरू निर्माण गर्न समावेश गर्दैन।

कम-कोड प्लेटफर्महरू प्रयोग गरेर, तपाईं डेटा स्ट्रिमहरूको अर्केस्ट्रेशन पनि व्यवस्थित गर्न सक्नुहुन्छ, डेटा विज्ञान प्लेटफर्महरू सिर्जना गर्न सक्नुहुन्छ वा, उदाहरणका लागि, डेटा गुणस्तर जाँच गर्न मोड्युलहरू।

कम-कोड विकास उपकरणहरू प्रयोग गर्ने अनुभवको लागू उदाहरणहरू मध्ये एक Neoflex र Mediascope बीचको सहकार्य हो, रूसी मिडिया अनुसन्धान बजारका नेताहरू मध्ये एक। यस कम्पनीको व्यावसायिक उद्देश्यहरू मध्ये एक डाटा उत्पादन हो जसको आधारमा विज्ञापनदाताहरू, इन्टरनेट प्लेटफर्महरू, टिभी च्यानलहरू, रेडियो स्टेशनहरू, विज्ञापन एजेन्सीहरू र ब्रान्डहरूले विज्ञापन खरीद गर्ने र उनीहरूको मार्केटिंग सञ्चारको योजना बनाउने निर्णयहरू गर्छन्।

मिडिया अनुसन्धान व्यवसायको प्राविधिक रूपमा भरिएको क्षेत्र हो। भिडियो अनुक्रमहरू पहिचान गर्ने, हेर्ने विश्लेषण गर्ने यन्त्रहरूबाट डाटा सङ्कलन गर्ने, वेब स्रोतहरूमा गतिविधि नाप्ने - यी सबैले कम्पनीसँग ठूलो IT कर्मचारी र विश्लेषणात्मक समाधानहरू निर्माण गर्ने ठूलो अनुभव रहेको संकेत गर्छ। तर जानकारीको मात्रा, संख्या र यसको स्रोतहरूको विविधतामा घातीय वृद्धिले आईटी डाटा उद्योगलाई निरन्तर प्रगति गर्न बाध्य बनाउँछ। पहिले नै कार्य गरिरहेको Mediascope विश्लेषणात्मक प्लेटफर्म मापन गर्न को लागी सरल समाधान आईटी कर्मचारीहरु को वृद्धि गर्न को लागी हुन सक्छ। तर धेरै प्रभावकारी समाधान भनेको विकास प्रक्रियालाई गति दिनु हो। यस दिशामा अग्रणी चरणहरू मध्ये एक कम-कोड प्लेटफर्महरूको प्रयोग हुन सक्छ।

परियोजना सुरु हुँदा, कम्पनीसँग पहिले नै एक कार्यात्मक उत्पादन समाधान थियो। यद्यपि, MSSQL मा समाधानको कार्यान्वयनले विकासको स्वीकार्य लागत कायम राख्दै स्केलिङ कार्यक्षमताका लागि अपेक्षाहरू पूरा गर्न सकेन।

हाम्रो अगाडिको कार्य साँच्चै महत्वाकांक्षी थियो - Neoflex र Mediascope ले एक वर्ष भन्दा कममा औद्योगिक समाधान सिर्जना गर्नुपर्‍यो, सुरु मितिको पहिलो क्वार्टर भित्र MVP को रिलीजको विषय हो।

Hadoop टेक्नोलोजी स्ट्याक कम-कोड कम्प्युटिङमा आधारित नयाँ डाटा प्लेटफर्म निर्माणको लागि आधारको रूपमा छनोट गरिएको थियो। HDFS पर्केट फाइलहरू प्रयोग गरेर डाटा भण्डारणको लागि मानक भएको छ। प्लेटफर्ममा अवस्थित डाटा पहुँच गर्न, Hive प्रयोग गरिएको थियो, जसमा सबै उपलब्ध स्टोरफ्रन्टहरू बाह्य तालिकाहरूको रूपमा प्रस्तुत गरिन्छ। काफ्का र Apache NiFi प्रयोग गरेर भण्डारणमा डाटा लोड गर्ने कार्य लागू गरिएको थियो।

यस अवधारणाको लोवे-कोड उपकरण विश्लेषणात्मक प्लेटफर्म निर्माणमा सबैभन्दा श्रम-गहन कार्यलाई अनुकूलन गर्न प्रयोग गरिएको थियो - डाटा गणनाको कार्य।

कम-कोड डाटाग्राम उपकरण डेटा म्यापिङको लागि मुख्य संयन्त्रको रूपमा छनोट गरिएको थियो। Neoflex डाटाग्राम रूपान्तरण र डाटा प्रवाह को विकास को लागी एक उपकरण हो।
यो उपकरण प्रयोग गरेर, तपाईं Scala कोड म्यानुअल रूपमा लेख्न बिना गर्न सक्नुहुन्छ। स्काला कोड मोडेल ड्राइभन आर्किटेक्चर दृष्टिकोण प्रयोग गरेर स्वचालित रूपमा उत्पन्न हुन्छ।

यो दृष्टिकोण को एक स्पष्ट लाभ विकास प्रक्रिया को गति मा छ। यद्यपि, गतिको अतिरिक्त, त्यहाँ निम्न फाइदाहरू छन्:

• स्रोत/प्राप्तकर्ताहरूको सामग्री र संरचना हेर्दै;
• व्यक्तिगत क्षेत्रहरूमा डाटा प्रवाह वस्तुहरूको उत्पत्ति ट्रेसिङ (वंश);
• मध्यवर्ती परिणामहरू हेर्नको साथ परिवर्तनहरूको आंशिक कार्यान्वयन;
• स्रोत कोडको समीक्षा गर्दै र कार्यान्वयन गर्नु अघि समायोजन गर्नुहोस्;
• रूपान्तरण को स्वचालित प्रमाणीकरण;
• स्वचालित डेटा डाउनलोड १ मा १।

रूपान्तरणहरू उत्पन्न गर्न कम-कोड समाधानहरूमा प्रवेश गर्न बाधा एकदम कम छ: विकासकर्ताले SQL जान्न आवश्यक छ र ETL उपकरणहरूसँग काम गर्ने अनुभव छ। यो उल्लेखनीय छ कि कोड-संचालित रूपान्तरण जनरेटरहरू शब्दको व्यापक अर्थमा ETL उपकरणहरू होइनन्। कम-कोड उपकरणहरूको आफ्नै कोड कार्यान्वयन वातावरण नहुन सक्छ। त्यो हो, उत्पन्न गरिएको कोड कम-कोड समाधान स्थापना गर्नु अघि क्लस्टरमा अवस्थित वातावरणमा कार्यान्वयन गरिनेछ। र यो सायद कम कोड कर्म को लागी अर्को प्लस हो। किनकि, कम-कोड टोलीसँग समानान्तरमा, "क्लासिक" टोलीले कार्य गर्न सक्छ जसले कार्यक्षमता लागू गर्दछ, उदाहरणका लागि, शुद्ध स्काला कोडमा। उत्पादनमा दुवै टोलीबाट सुधार ल्याउने सरल र निर्बाध हुनेछ।

यो सायद ध्यान दिन लायक छ कि कम-कोडको अतिरिक्त, त्यहाँ नो-कोड समाधानहरू पनि छन्। र तिनीहरूको मूलमा, यी फरक चीजहरू हुन्। कम-कोडले विकासकर्तालाई उत्पन्न कोडमा थप हस्तक्षेप गर्न अनुमति दिन्छ। Datagram को मामला मा, यो उत्पन्न Scala कोड हेर्न र सम्पादन गर्न सम्भव छ; नो-कोडले यस्तो अवसर प्रदान नगर्न सक्छ। यो भिन्नता समाधानको लचिलोपनको सन्दर्भमा मात्र होइन, तर डाटा इन्जिनियरहरूको काममा आराम र प्रेरणाको सन्दर्भमा पनि धेरै महत्त्वपूर्ण छ।

समाधान वास्तुकला

कम-कोड उपकरणले डेटा गणना कार्यक्षमता विकासको गति अनुकूलन गर्ने समस्यालाई कसरी समाधान गर्न मद्दत गर्दछ भन्ने कुरा पत्ता लगाउन प्रयास गरौं। पहिले, प्रणालीको कार्यात्मक वास्तुकला हेरौं। यस मामला मा एक उदाहरण मिडिया अनुसन्धान को लागी डाटा उत्पादन मोडेल हो।

हाम्रो मामला मा डाटा स्रोत धेरै विषम र विविध छन्:

• मान्छे मिटरहरू (टिभी मिटरहरू) सफ्टवेयर र हार्डवेयर उपकरणहरू हुन् जसले टेलिभिजन प्यानल उत्तरदाताहरूबाट प्रयोगकर्ताको व्यवहार पढ्छन् - अध्ययनमा भाग लिने घरपरिवारमा कसले, कहिले र कुन टिभी च्यानल हेरेको थियो। आपूर्ति गरिएको जानकारी मिडिया प्याकेज र मिडिया उत्पादनसँग लिङ्क गरिएको प्रसारण अवलोकन अन्तरालहरूको स्ट्रिम हो। डाटा लेकमा लोड हुने चरणमा डाटालाई जनसांख्यिकीय विशेषताहरू, भू-स्तरीकरण, समय क्षेत्र र कुनै विशेष मिडिया उत्पादनको टेलिभिजन अवलोकनको विश्लेषण गर्न आवश्यक अन्य जानकारीहरूद्वारा समृद्ध गर्न सकिन्छ। लिइएको मापनहरू विज्ञापन अभियानहरूको विश्लेषण वा योजना बनाउन, दर्शकहरूको गतिविधि र प्राथमिकताहरू मूल्याङ्कन गर्न, र प्रसारण नेटवर्क कम्पाइल गर्न प्रयोग गर्न सकिन्छ;
• डाटा टेलिभिजन प्रसारणहरू स्ट्रिम गर्न र इन्टरनेटमा भिडियो स्रोत सामग्री हेर्ने मापनको लागि निगरानी प्रणालीहरूबाट आउन सक्छ;
• वेब वातावरणमा मापन उपकरणहरू, दुबै साइट-केन्द्रित र प्रयोगकर्ता-केन्द्रित मिटरहरू सहित। डाटा लेकको लागि डाटा प्रदायक अनुसन्धान बार ब्राउजर एड-अन र निर्मित VPN भएको मोबाइल अनुप्रयोग हुन सक्छ।
• डाटा साइटहरूबाट पनि आउन सक्छ जसले अनलाइन प्रश्नावलीहरू भर्ने परिणामहरू र कम्पनी सर्वेक्षणहरूमा टेलिफोन अन्तर्वार्ताको नतिजाहरूलाई समेकित गर्दछ;
• साझेदार कम्पनीहरूको लगहरूबाट जानकारी डाउनलोड गरेर डाटा तालको थप संवर्धन हुन सक्छ।

कच्चा डाटाको प्राथमिक स्टेजिङमा स्रोत प्रणालीहरूबाट लोड हुँदै गरेको कार्यान्वयनलाई विभिन्न तरिकामा व्यवस्थित गर्न सकिन्छ। यदि यी उद्देश्यका लागि कम-कोड प्रयोग गरिन्छ भने, मेटाडेटामा आधारित लोडिङ स्क्रिप्टहरूको स्वचालित उत्पादन सम्भव छ। यस अवस्थामा, म्यापिङहरू लक्षित गर्न विकासशील स्रोतको स्तरमा जानु आवश्यक छैन। स्वचालित लोडिङ लागू गर्नको लागि, हामीले स्रोतमा जडान स्थापना गर्न आवश्यक छ, र त्यसपछि लोडिङ इन्टरफेसमा लोड हुने संस्थाहरूको सूची परिभाषित गर्नुहोस्। HDFS मा डाइरेक्टरी संरचना स्वचालित रूपमा सिर्जना हुनेछ र स्रोत प्रणालीमा डाटा भण्डारण संरचना अनुरूप हुनेछ।

यद्यपि, यस परियोजनाको सन्दर्भमा, हामीले मिडियास्कोप कम्पनीले Nifi + Kafka संयोजन प्रयोग गरेर समान सेवा उत्पादन गर्न स्वतन्त्र रूपमा काम सुरु गरिसकेको तथ्यको कारणले कम-कोड प्लेटफर्मको यो सुविधा प्रयोग नगर्ने निर्णय गर्‍यौं।

यो तुरुन्तै संकेत गर्न लायक छ कि यी उपकरणहरू आदानप्रदान योग्य छैनन्, तर पूरक हुन्। निफी र काफ्का दुवै प्रत्यक्ष (निफी -> काफ्का) र उल्टो (काफ्का -> निफी) जडानमा काम गर्न सक्षम छन्। मिडिया अनुसन्धान प्लेटफर्मको लागि, बन्डलको पहिलो संस्करण प्रयोग गरिएको थियो।

हाम्रो अवस्थामा, NayFi लाई स्रोत प्रणालीहरूबाट विभिन्न प्रकारका डाटाहरू प्रशोधन गर्न र काफ्का ब्रोकरलाई पठाउन आवश्यक छ। यस अवस्थामा, PublishKafka Nifi प्रोसेसरहरू प्रयोग गरेर विशिष्ट काफ्का विषयमा सन्देशहरू पठाइयो। यी पाइपलाइनहरूको आर्केस्ट्रेशन र मर्मतसम्भार दृश्य इन्टरफेसमा गरिन्छ। Nifi उपकरण र Nifi + काफ्का संयोजनको प्रयोगलाई विकासको लागि कम-कोड दृष्टिकोण पनि भन्न सकिन्छ, जसले बिग डाटा प्रविधिहरूमा प्रवेश गर्न कम अवरोध गर्दछ र अनुप्रयोग विकास प्रक्रियालाई गति दिन्छ।

परियोजना कार्यान्वयनको अर्को चरण एकल अर्थिक तह ढाँचामा विस्तृत डाटा ल्याउनु थियो। यदि कुनै निकायमा ऐतिहासिक विशेषताहरू छन् भने, गणना प्रश्नमा विभाजनको सन्दर्भमा गरिन्छ। यदि इकाई ऐतिहासिक छैन भने, यो वैकल्पिक रूपमा सम्भव छ कि या त वस्तुको सम्पूर्ण सामग्री पुन: गणना गर्न, वा पूर्ण रूपमा यो वस्तु पुन: गणना गर्न अस्वीकार गर्न (परिवर्तनहरूको कमीको कारण)। यस चरणमा, सबै निकायहरूको लागि कुञ्जीहरू उत्पन्न हुन्छन्। कुञ्जीहरू मास्टर वस्तुहरूसँग सम्बन्धित Hbase डाइरेक्टरीहरूमा भण्डारण गरिएका छन्, जसले विश्लेषणात्मक प्लेटफर्ममा कुञ्जीहरू र स्रोत प्रणालीहरूका कुञ्जीहरू बीचको पत्राचार समावेश गर्दछ। आणविक एकाइहरूको समेकन विश्लेषणात्मक डेटाको प्रारम्भिक गणनाको नतिजाहरूको साथ समृद्धिको साथमा छ। डाटा गणनाको लागि फ्रेमवर्क स्पार्क थियो। एकल सिमान्टिक्समा डाटा ल्याउनको लागि वर्णित कार्यक्षमता पनि कम-कोड डाटाग्राम उपकरणबाट म्यापिङहरूमा आधारित लागू गरिएको थियो।

लक्षित आर्किटेक्चरले व्यवसाय प्रयोगकर्ताहरूको लागि डाटामा SQL पहुँच आवश्यक छ। यो विकल्पको लागि Hive प्रयोग गरिएको थियो। तपाईंले कम-कोड उपकरणमा "Registr Hive Table" विकल्प सक्षम गर्दा वस्तुहरू Hive मा स्वचालित रूपमा दर्ता हुन्छन्।

गणना प्रवाह नियन्त्रण

कार्यप्रवाह प्रवाह डिजाइनहरू सिर्जना गर्न डाटाग्रामसँग इन्टरफेस छ। म्यापिङहरू Oozie अनुसूचक प्रयोग गरेर सुरु गर्न सकिन्छ। स्ट्रिम विकासकर्ता इन्टरफेसमा, समानान्तर, क्रमिक, वा कार्यान्वयन-निर्भर डेटा रूपान्तरणहरूको लागि योजनाहरू सिर्जना गर्न सम्भव छ। त्यहाँ शेल स्क्रिप्ट र जाभा प्रोग्रामहरूको लागि समर्थन छ। Apache Livy सर्भर प्रयोग गर्न पनि सम्भव छ। Apache Livy विकास वातावरणबाट सीधा अनुप्रयोगहरू चलाउन प्रयोग गरिन्छ।

यदि कम्पनीसँग पहिले नै आफ्नै प्रक्रिया अर्केस्ट्रेटर छ भने, अवस्थित प्रवाहमा म्यापिङहरू इम्बेड गर्न REST API प्रयोग गर्न सम्भव छ। उदाहरणका लागि, हामीले स्कालामा म्यापिङहरू PLSQL र Kotlin मा लेखिएका अर्केस्ट्रेटरहरूमा इम्बेड गर्ने धेरै सफल अनुभव पायौं। कम-कोड उपकरणको REST API मा म्यापिङ डिजाइनको आधारमा कार्यान्वयनयोग्य वर्ष उत्पन्न गर्ने, म्यापिङ कल गर्ने, म्यापिङहरूको क्रमलाई कल गर्ने, र निस्सन्देह, म्यापिङहरू चलाउन URL मा प्यारामिटरहरू पास गर्ने जस्ता कार्यहरू समावेश हुन्छन्।

Oozie संग, यो Airflow प्रयोग गरेर गणना प्रवाह संगठित गर्न सम्भव छ। सायद म ओजी र एयरफ्लो बीचको तुलनामा लामो समयसम्म बस्न सक्दिन, तर मात्र भन्न चाहन्छु कि मिडिया अनुसन्धान परियोजनामा ​​कामको सन्दर्भमा, छनौट एयरफ्लोको पक्षमा भयो। यस पटक मुख्य तर्कहरू उत्पादनको विकास गर्ने बढी सक्रिय समुदाय र थप विकसित इन्टरफेस + एपीआई थिए।

वायुप्रवाह पनि राम्रो छ किनभने यसले गणना प्रक्रियाहरू वर्णन गर्न प्रिय पाइथन प्रयोग गर्दछ। र सामान्यतया, त्यहाँ धेरै खुला स्रोत कार्यप्रवाह व्यवस्थापन प्लेटफर्महरू छैनन्। प्रक्रियाहरूको कार्यान्वयन (Gantt चार्ट सहित) सुरुवात र निगरानीले मात्र Airflow को कर्ममा अंक थप्छ।

कम-कोड समाधान म्यापिङहरू सुरु गर्नको लागि कन्फिगरेसन फाइल ढाँचा स्पार्क-सबमिट भएको छ। यो दुई कारणले भयो। पहिले, स्पार्क-सबमिटले तपाइँलाई कन्सोलबाट सीधा जार फाइल चलाउन अनुमति दिन्छ। दोस्रो, यसले कार्यप्रवाह कन्फिगर गर्न सबै आवश्यक जानकारी समावेश गर्न सक्छ (जसले Dag उत्पन्न गर्ने स्क्रिप्टहरू लेख्न सजिलो बनाउँछ)।
हाम्रो मामला मा Airflow कार्यप्रवाह को सबै भन्दा साधारण तत्व SparkSubmitOperator थियो।

SparkSubmitOperator ले तपाइँलाई जारहरू चलाउन अनुमति दिन्छ - प्याकेज गरिएको डेटाग्राम म्यापिङहरू तिनीहरूका लागि पूर्व-उत्पन्न इनपुट प्यारामिटरहरूसँग।

यो उल्लेखनीय छ कि प्रत्येक Airflow कार्य एक अलग थ्रेड मा चल्छ र अन्य कार्यहरु बारे केहि थाहा छैन। त्यसकारण, कार्यहरू बीचको अन्तरक्रिया नियन्त्रण अपरेटरहरू प्रयोग गरी गरिन्छ, जस्तै DummyOperator वा BranchPythonOperator।

सँगै लिएर, कन्फिगरेसन फाइलहरूको विश्वव्यापीकरण (डेग गठन) को संयोजनमा डाटाग्राम कम-कोड समाधानको प्रयोगले डाटा लोडिङ प्रवाहहरू विकास गर्ने प्रक्रियाको महत्त्वपूर्ण त्वरण र सरलीकरणको नेतृत्व गर्‍यो।

गणनाहरू देखाउनुहोस्

सायद विश्लेषणात्मक डाटाको उत्पादनमा सबैभन्दा बौद्धिक रूपमा लोड गरिएको चरण शोकेसहरू निर्माण गर्ने चरण हो। अनुसन्धान कम्पनीको डेटा गणना प्रवाह मध्ये एकको सन्दर्भमा, यस चरणमा, डेटालाई सन्दर्भ प्रसारणमा घटाइन्छ, समय क्षेत्रहरूको लागि खाता सुधारहरू लिएर र प्रसारण ग्रिडमा लिङ्क गरिएको छ। स्थानीय प्रसारण नेटवर्क (स्थानीय समाचार र विज्ञापन) को लागि समायोजन गर्न पनि सम्भव छ। अन्य चीजहरूको बीचमा, यो चरणले हेराइ अन्तरालहरूको विश्लेषणको आधारमा मिडिया उत्पादनहरूको निरन्तर अवलोकनको अन्तराललाई तोड्छ। तुरुन्तै, हेर्ने मानहरू तिनीहरूको महत्त्वको बारेमा जानकारीको आधारमा "भारित" हुन्छन् (सुधार कारकको गणना)।

शोकेसहरू तयार गर्ने एउटा छुट्टै चरण डेटा प्रमाणीकरण हो। प्रमाणीकरण एल्गोरिदमले गणितीय विज्ञान मोडेलहरूको संख्याको प्रयोग समावेश गर्दछ। यद्यपि, कम-कोड प्लेटफर्मको प्रयोगले तपाईंलाई जटिल एल्गोरिथ्मलाई अलग-अलग भिजुअल रूपमा पढ्न सकिने म्यापिङहरूमा तोड्न अनुमति दिन्छ। प्रत्येक म्यापिङले एउटा साँघुरो कार्य गर्दछ। नतिजाको रूपमा, मध्यवर्ती डिबगिङ, लगिङ र डाटा तयारी चरणहरूको दृश्यावलोकन सम्भव छ।

प्रमाणीकरण एल्गोरिथ्मलाई निम्न सबस्टेजहरूमा विभेद गर्ने निर्णय गरियो:

• 60 दिनको लागि क्षेत्रका सबै नेटवर्कहरू हेर्नको साथ क्षेत्रमा टिभि नेटवर्क हेर्ने निर्भरताहरूको रिग्रेसनहरू निर्माण गर्दै।
• सबै प्रतिगमन बिन्दुहरू र गणना गरिएको दिनको लागि विद्यार्थीकृत अवशिष्टहरूको गणना (रिग्रेसन मोडेलले भविष्यवाणी गरेको वास्तविक मानहरूको विचलन)।
• विसंगत क्षेत्र-सञ्जाल जोडीहरूको चयन, जहाँ बन्दोबस्त दिनको विद्यार्थीीकृत ब्यालेन्स मानक भन्दा बढी हुन्छ (सञ्चालन सेटिङहरूद्वारा निर्दिष्ट गरिएको)।
• यस क्षेत्रको सञ्जाल हेर्ने प्रत्येक उत्तरदाताका लागि असामान्य क्षेत्र-टिभी नेटवर्क जोडीहरूका लागि सुधार गरिएको विद्यार्थीकृत अवशिष्टको पुन: गणना, नमूनाबाट यस उत्तरदाताको अवलोकन बाहेक यस उत्तरदाताको योगदान (विद्यार्थीकृत अवशिष्टमा परिवर्तनको मात्रा) निर्धारण गर्दै। ।
• उम्मेदवारहरूको खोजी गर्नुहोस् जसको बहिष्करणले तलब दिनको विद्यार्थीीकृत ब्यालेन्सलाई सामान्यमा ल्याउँछ।

माथिको उदाहरणले एक डाटा इन्जिनियरको दिमागमा पहिले नै धेरै छ भन्ने परिकल्पनालाई पुष्टि गर्दछ ... र, यदि यो वास्तवमै एक "इन्जिनियर" हो र "कोडर" होइन भने, कम-कोड उपकरणहरू प्रयोग गर्दा व्यावसायिक गिरावटको डर छ। अन्ततः पछि हट्नु पर्छ।

कम-कोडले अरू के गर्न सक्छ?

स्कालामा म्यानुअल रूपमा कोड लेख्न आवश्यक बिना ब्याच र स्ट्रिम डाटा प्रोसेसिंगको लागि कम-कोड उपकरणको अनुप्रयोगको दायरा त्यहाँ समाप्त हुँदैन।

डाटालेकको विकासमा कम-कोडको प्रयोग पहिले नै हाम्रो लागि मानक बनिसकेको छ। हामी सम्भवतः भन्न सक्छौं कि Hadoop स्ट्याकमा आधारित समाधानहरूले RDBMS मा आधारित क्लासिक DWHs को विकास मार्ग अनुसरण गर्दछ। Hadoop स्ट्याकमा कम-कोड उपकरणहरूले डेटा प्रशोधन कार्यहरू र अन्तिम BI इन्टरफेसहरू निर्माण गर्ने कार्य दुवै समाधान गर्न सक्छ। यसबाहेक, यो ध्यान दिनु पर्छ कि BI ले डाटाको प्रतिनिधित्व मात्र होइन, तर व्यापार प्रयोगकर्ताहरूले यसको सम्पादन पनि गर्न सक्छ। वित्तीय क्षेत्रको लागि विश्लेषणात्मक प्लेटफर्महरू निर्माण गर्दा हामी प्राय: यो कार्यक्षमता प्रयोग गर्छौं।

अन्य चीजहरू मध्ये, कम-कोड र विशेष गरी, डाटाग्राम प्रयोग गरेर, व्यक्तिगत क्षेत्रहरू (वंश) मा परमाणुको साथ डाटा स्ट्रिम वस्तुहरूको उत्पत्ति ट्र्याक गर्ने समस्या समाधान गर्न सम्भव छ। यो गर्नको लागि, कम-कोड उपकरणले Apache Atlas र Cloudera नेभिगेटरसँग इन्टरफेस लागू गर्दछ। अनिवार्य रूपमा, विकासकर्ताले एटलस शब्दकोशहरूमा वस्तुहरूको सेट दर्ता गर्न र म्यापिङहरू निर्माण गर्दा दर्ता गरिएका वस्तुहरूलाई सन्दर्भ गर्न आवश्यक छ। डाटाको उत्पत्ति ट्र्याक गर्ने वा वस्तु निर्भरताहरूको विश्लेषण गर्ने संयन्त्रले गणना एल्गोरिदमहरूमा सुधार गर्न आवश्यक हुँदा धेरै समय बचत गर्दछ। उदाहरणका लागि, वित्तीय विवरणहरू तयार गर्दा, यो सुविधाले तपाईंलाई विधायी परिवर्तनहरूको अवधिमा अझ सहज रूपमा बाँच्न अनुमति दिन्छ। आखिर, हामीले विस्तृत तहका वस्तुहरूको सन्दर्भमा अन्तर-फार्म निर्भरतालाई जति राम्रोसँग बुझ्छौं, त्यति नै कम हामीले "अचानक" दोषहरू सामना गर्नेछौं र पुन: कार्यहरूको संख्या कम गर्नेछौं।

डाटा गुणस्तर र कम कोड

Mediascope परियोजनामा ​​कम-कोड उपकरण द्वारा लागू गरिएको अर्को कार्य डाटा गुणस्तर वर्ग कार्य थियो। अनुसन्धान कम्पनी परियोजना को लागी डाटा प्रमाणिकरण पाइपलाइन को कार्यान्वयन को एक विशेष सुविधा मुख्य डाटा गणना प्रवाह को प्रदर्शन र गति मा प्रभाव को कमी थियो। स्वतन्त्र डाटा प्रमाणिकरण प्रवाहहरू अर्केस्ट्रेट गर्न सक्षम हुन, पहिले नै परिचित Apache Airflow प्रयोग गरिएको थियो। डेटा उत्पादनको प्रत्येक चरण तयार भएपछि, DQ पाइपलाइनको एक अलग भाग समानान्तर रूपमा सुरू गरिएको थियो।

विश्लेषणात्मक प्लेटफर्ममा यसको स्थापनाको क्षणदेखि डाटाको गुणस्तर अनुगमन गर्न राम्रो अभ्यास मानिन्छ। मेटाडेटाको बारेमा जानकारी भएकोले, हामी जानकारी प्राथमिक तहमा प्रवेश गर्ने क्षणदेखि आधारभूत सर्तहरूको अनुपालन जाँच गर्न सक्छौं - शून्य, अवरोध, विदेशी कुञ्जीहरू होइन। यो कार्यक्षमता Datagram मा डाटा गुणस्तर परिवार को स्वचालित रूपमा उत्पन्न म्यापिङ को आधार मा लागू गरिएको छ। यस मामला मा कोड उत्पादन पनि मोडेल मेटाडेटा मा आधारित छ। Mediascope परियोजना मा, इन्टरफेस इन्टरप्राइज आर्किटेक्ट उत्पादन को मेटाडेटा संग गरिएको थियो।

इन्टरप्राइज आर्किटेक्टसँग कम-कोड उपकरण जोडा गरेर, निम्न जाँचहरू स्वचालित रूपमा उत्पन्न भएका थिए:

• "नल" परिमार्जकको साथ फिल्डहरूमा "नल" मानहरूको उपस्थितिको लागि जाँच गर्दै;
• प्राथमिक कुञ्जीको नक्कलहरूको उपस्थिति जाँच गर्दै;
• एक इकाईको विदेशी कुञ्जी जाँच गर्दै;
• फिल्डहरूको सेटमा आधारित स्ट्रिङको विशिष्टता जाँच गर्दै।

डाटा उपलब्धता र विश्वसनीयताको थप जटिल जाँचहरूको लागि, स्काला अभिव्यक्तिको साथ एक म्यापिङ सिर्जना गरिएको थियो, जसले Zeppelin मा विश्लेषकहरूले तयार गरेको बाह्य स्पार्क SQL चेक कोड इनपुटको रूपमा लिन्छ।

निस्सन्देह, चेकहरूको स्वचालित उत्पादन क्रमशः हासिल गरिनुपर्छ। वर्णन गरिएको परियोजनाको रूपरेखा भित्र, यो निम्न चरणहरू द्वारा अघि गरिएको थियो:

• Zeppelin नोटबुक मा DQ लागू;
• DQ म्यापिङमा निर्मित;
• DQ एक अलग इकाईको लागि चेकहरूको सम्पूर्ण सेट समावेश गरी छुट्टै विशाल म्यापिङहरूको रूपमा;
• सार्वभौमिक प्यारामिटराइज्ड DQ म्यापिङहरू जसले मेटाडेटा र व्यापार जाँचहरू इनपुटको रूपमा स्वीकार गर्दछ।

सायद प्यारामिटराइज्ड चेक सेवा सिर्जना गर्नुको मुख्य फाइदा भनेको उत्पादन वातावरणमा कार्यक्षमता प्रदान गर्न लाग्ने समयको कमी हो। नयाँ गुणस्तर जाँचहरूले विकास र परीक्षण वातावरणहरू मार्फत अप्रत्यक्ष रूपमा कोड डेलिभर गर्ने क्लासिक ढाँचालाई बाइपास गर्न सक्छ:

• सबै मेटाडेटा जाँचहरू स्वचालित रूपमा उत्पन्न हुन्छन् जब मोडेल EA मा परिमार्जन गरिन्छ;
• डाटा उपलब्धता जाँचहरू (समयमा कुनै पनि डाटाको उपस्थिति निर्धारण गर्ने) डाइरेक्टरीको आधारमा उत्पन्न गर्न सकिन्छ जुन वस्तुहरूको सन्दर्भमा डाटाको अर्को टुक्राको उपस्थितिको अपेक्षित समय भण्डारण गर्दछ;
• Zeppelin नोटबुकहरूमा विश्लेषकहरूले व्यापार डेटा प्रमाणीकरण जाँचहरू सिर्जना गरेका छन्। त्यहाँबाट तिनीहरू सीधै उत्पादन वातावरणमा DQ मोड्युल सेटअप तालिकाहरूमा पठाइन्छ।

उत्पादनमा लिपिहरू सिधै ढुवानी गर्ने कुनै जोखिमहरू छैनन्। सिन्ट्याक्स त्रुटि भए पनि, हामीलाई धम्की दिने अधिकतम भनेको एउटा जाँच गर्न असफल हुनु हो, किनभने डाटा गणना प्रवाह र गुणस्तर जाँच प्रक्षेपण प्रवाह एकअर्काबाट अलग छन्।

संक्षेपमा, DQ सेवा स्थायी रूपमा उत्पादन वातावरणमा चलिरहेको छ र डाटाको अर्को टुक्रा देखा पर्दा यसको काम सुरु गर्न तयार छ।

बरु एक निष्कर्षमा को

कम-कोड प्रयोग गर्ने फाइदा स्पष्ट छ। विकासकर्ताहरूले स्क्र्याचबाट अनुप्रयोग विकास गर्न आवश्यक छैन। र अतिरिक्त कार्यहरूबाट मुक्त गरिएको प्रोग्रामरले छिटो परिणामहरू उत्पादन गर्दछ। गति, बारीमा, अनुकूलन समस्याहरू समाधान गर्न अतिरिक्त समय खाली गर्दछ। त्यसकारण, यस अवस्थामा, तपाईं राम्रो र छिटो समाधानमा भरोसा गर्न सक्नुहुन्छ।

निस्सन्देह, कम-कोड एक रामबाण होइन, र जादू आफैंमा हुनेछैन:

• कम-कोड उद्योग "बलियो हुँदै" चरणबाट गुज्रिरहेको छ, र त्यहाँ कुनै समान औद्योगिक मापदण्डहरू छैनन्;
• धेरै कम-कोड समाधानहरू नि: शुल्क छैनन्, र तिनीहरूलाई खरिद गर्न एक सचेत कदम हुनुपर्छ, जुन तिनीहरूलाई प्रयोग गर्ने वित्तीय लाभहरूमा पूर्ण विश्वासका साथ बनाइनुपर्छ;
• धेरै कम-कोड समाधानहरू सधैं GIT/SVN सँग राम्रोसँग काम गर्दैनन्। वा उत्पन्न कोड लुकेको छ भने तिनीहरू प्रयोग गर्न असुविधाजनक छन्;
• आर्किटेक्चर विस्तार गर्दा, कम-कोड समाधान परिष्कृत गर्न आवश्यक हुन सक्छ - जसले, बारीमा, कम-कोड समाधानको आपूर्तिकर्तामा "संलग्नक र निर्भरता" को प्रभावलाई उक्साउँछ।
• सुरक्षाको पर्याप्त स्तर सम्भव छ, तर यो धेरै श्रम-गहन र कम-कोड प्रणाली इन्जिनहरूमा लागू गर्न गाह्रो छ। कम-कोड प्लेटफर्महरू तिनीहरूको प्रयोगबाट फाइदाहरू खोज्ने सिद्धान्तमा मात्र होइन छनौट गर्नुपर्छ। छनोट गर्दा, पहुँच नियन्त्रणको लागि कार्यक्षमताको उपलब्धता र संगठनको सम्पूर्ण IT परिदृश्यको स्तरमा पहिचान डेटाको डेलिगेसन/एस्केलेसनको बारेमा प्रश्नहरू सोध्न लायक छ।

यद्यपि, यदि छनोट गरिएको प्रणालीका सबै कमजोरीहरू तपाईंलाई थाहा छ, र यसको प्रयोगबाट फाइदाहरू, यद्यपि, प्रभावशाली बहुमतमा छन्, त्यसपछि डर बिना सानो कोडमा जानुहोस्। यसबाहेक, यसमा संक्रमण अपरिहार्य छ - जसरी कुनै पनि विकास अपरिहार्य छ।

यदि कम-कोड प्लेटफर्ममा एक विकासकर्ताले कम-कोड बिना दुई विकासकर्ताहरू भन्दा छिटो आफ्नो काम गर्दछ, तब यसले कम्पनीलाई सबै सन्दर्भमा हेड स्टार्ट दिन्छ। कम-कोड समाधानहरूमा प्रवेशको लागि थ्रेसहोल्ड "परम्परागत" प्रविधिहरू भन्दा कम छ, र यसले कर्मचारी अभावको मुद्दामा सकारात्मक प्रभाव पार्छ। कम-कोड उपकरणहरू प्रयोग गर्दा, कार्यात्मक टोलीहरू बीचको अन्तरक्रियालाई गति दिन र डेटा विज्ञान अनुसन्धानको छनौट मार्गको शुद्धताको बारेमा छिटो निर्णयहरू गर्न सम्भव छ। निम्न-स्तर प्लेटफर्महरूले संगठनको डिजिटल रूपान्तरणलाई ड्राइभ गर्न सक्छ किनभने उत्पादित समाधानहरू गैर-प्राविधिक विशेषज्ञहरू (विशेष गरी व्यापार प्रयोगकर्ताहरू) द्वारा बुझ्न सकिन्छ।

यदि तपाइँसँग कडा समयसीमा, लोड गरिएको व्यापार तर्क, प्राविधिक विशेषज्ञताको कमी छ, र तपाइँले बजारमा तपाइँको समयलाई गति दिन आवश्यक छ भने, कम-कोड तपाइँको आवश्यकताहरू पूरा गर्ने एक तरिका हो।

त्यहाँ परम्परागत विकास उपकरणहरूको महत्त्वलाई अस्वीकार गर्न सकिँदैन, तर धेरै अवस्थामा, कम-कोड समाधानहरू प्रयोग गर्नु नै समाधान भइरहेको कार्यहरूको दक्षता बढाउनको लागि उत्तम तरिका हो।

स्रोत: www.habr.com