विश्लेषणात्मक प्लेटफार्मों में लो-कोड का अनुप्रयोग

प्रिय पाठकों, शुभ दिन!

डेटा एकत्र करने और उसका विश्लेषण करने के लिए आईटी प्लेटफॉर्म बनाने का कार्य देर-सबेर किसी भी कंपनी के लिए उठता है, जिसका व्यवसाय बौद्धिक रूप से भरी हुई सेवा वितरण मॉडल या तकनीकी रूप से जटिल उत्पादों के निर्माण पर आधारित है। विश्लेषणात्मक प्लेटफ़ॉर्म बनाना एक जटिल और समय लेने वाला कार्य है। हालाँकि, किसी भी कार्य को सरल बनाया जा सकता है। इस लेख में मैं विश्लेषणात्मक समाधान बनाने में सहायता के लिए कम-कोड टूल का उपयोग करने में अपना अनुभव साझा करना चाहता हूं। यह अनुभव नियोफ्लेक्स कंपनी की बिग डेटा सॉल्यूशंस दिशा में कई परियोजनाओं के कार्यान्वयन के दौरान हासिल किया गया था। 2005 से, नियोफ्लेक्स की बिग डेटा सॉल्यूशंस दिशा डेटा वेयरहाउस और झीलों के निर्माण, सूचना प्रसंस्करण की गति को अनुकूलित करने की समस्याओं को हल करने और डेटा गुणवत्ता प्रबंधन के लिए एक पद्धति पर काम करने के मुद्दों से निपट रही है।

कोई भी कमजोर और/या दृढ़ता से संरचित डेटा के सचेत संचय से बचने में सक्षम नहीं होगा। शायद भले ही हम छोटे व्यवसायों के बारे में बात कर रहे हों। आख़िरकार, किसी व्यवसाय को बढ़ाते समय, एक होनहार उद्यमी को वफादारी कार्यक्रम विकसित करने के मुद्दों का सामना करना पड़ेगा, वह बिक्री के बिंदुओं की प्रभावशीलता का विश्लेषण करना चाहेगा, लक्षित विज्ञापन के बारे में सोचेगा, और संबंधित उत्पादों की मांग से हैरान हो जाएगा। . पहले अनुमान के अनुसार, समस्या को "घुटने के बल" हल किया जा सकता है। लेकिन जैसे-जैसे व्यवसाय बढ़ता है, विश्लेषणात्मक मंच पर आना अभी भी अपरिहार्य है।

हालाँकि, किस स्थिति में डेटा एनालिटिक्स कार्य "रॉकेट साइंस" वर्ग की समस्याओं में विकसित हो सकते हैं? शायद इस समय जब हम वास्तव में बड़े डेटा के बारे में बात कर रहे हैं।
रॉकेट साइंस को आसान बनाने के लिए आप हाथी को टुकड़े-टुकड़े करके खा सकते हैं।

आपके एप्लिकेशन/सेवाएं/माइक्रोसर्विसेज जितने अधिक पृथक और स्वायत्त होंगे, आपके, आपके सहकर्मियों और पूरे व्यवसाय के लिए हाथी को पचाना उतना ही आसान होगा।

DevOps टीमों की इंजीनियरिंग प्रथाओं के आधार पर परिदृश्य का पुनर्निर्माण करके, हमारे लगभग सभी ग्राहक इस धारणा पर आए।

लेकिन "अलग, हाथी" आहार के साथ भी, हमारे पास आईटी परिदृश्य के "अतिसंतृप्ति" का अच्छा मौका है। इस समय रुकने, सांस छोड़ने और बगल की ओर देखने लायक है लो-कोड इंजीनियरिंग प्लेटफ़ॉर्म.

कई डेवलपर्स कम-कोड सिस्टम के यूआई इंटरफेस में सीधे कोड लिखने से "खींचने" वाले तीरों की ओर बढ़ने पर अपने करियर में गतिरोध की संभावना से भयभीत हैं। लेकिन मशीन टूल्स के आगमन से इंजीनियर गायब नहीं हुए, बल्कि उनके काम को एक नए स्तर पर ले गए!

आइए जानें क्यों।

लॉजिस्टिक्स, दूरसंचार उद्योग, मीडिया अनुसंधान, वित्तीय क्षेत्र के क्षेत्र में डेटा विश्लेषण हमेशा निम्नलिखित प्रश्नों से जुड़ा होता है:

• स्वचालित विश्लेषण की गति;
• मुख्य डेटा उत्पादन प्रवाह को प्रभावित किए बिना प्रयोग करने की क्षमता;
• तैयार डेटा की विश्वसनीयता;
• ट्रैकिंग और संस्करण बदलें;
• डेटा उद्गम, डेटा वंश, सीडीसी;
• उत्पादन परिवेश में नई सुविधाओं का तेजी से वितरण;
• और कुख्यात: विकास और समर्थन की लागत।

अर्थात्, इंजीनियरों के पास उच्च-स्तरीय कार्यों की एक बड़ी संख्या होती है, जिन्हें निम्न-स्तरीय विकास कार्यों के प्रति अपनी चेतना को साफ़ करके ही पर्याप्त दक्षता के साथ पूरा किया जा सकता है।

डेवलपर्स के लिए एक नए स्तर पर जाने के लिए आवश्यक शर्तें व्यवसाय का विकास और डिजिटलीकरण थीं। डेवलपर का मूल्य भी बदल रहा है: ऐसे डेवलपर्स की भारी कमी है जो स्वचालित होने वाले व्यवसाय की अवधारणाओं में खुद को डुबो सकते हैं।

आइए निम्न-स्तरीय और उच्च-स्तरीय प्रोग्रामिंग भाषाओं के साथ एक सादृश्य बनाएं। निम्न-स्तरीय भाषाओं से उच्च-स्तरीय भाषाओं की ओर संक्रमण "हार्डवेयर की भाषा में प्रत्यक्ष निर्देश" लिखने से लेकर "लोगों की भाषा में निर्देश" लिखने तक का संक्रमण है। यानी अमूर्तता की कुछ परत जोड़ना। इस मामले में, उच्च-स्तरीय प्रोग्रामिंग भाषाओं से निम्न-कोड प्लेटफ़ॉर्म पर संक्रमण "लोगों की भाषा में निर्देश" से "व्यवसाय की भाषा में निर्देश" की ओर एक संक्रमण है। यदि ऐसे डेवलपर हैं जो इस तथ्य से दुखी हैं, तो वे दुखी हो गए हैं, शायद, जब से जावा स्क्रिप्ट का जन्म हुआ, जो सरणी सॉर्टिंग फ़ंक्शन का उपयोग करता है। और इन कार्यों में, निश्चित रूप से, समान उच्च-स्तरीय प्रोग्रामिंग के अन्य माध्यमों द्वारा हुड के तहत सॉफ़्टवेयर कार्यान्वयन होता है।

इसलिए, लो-कोड अमूर्तता के दूसरे स्तर की उपस्थिति मात्र है।

निम्न-कोड का उपयोग करके अनुप्रयुक्त अनुभव

लो-कोड का विषय काफी व्यापक है, लेकिन अब मैं हमारे एक प्रोजेक्ट के उदाहरण का उपयोग करके "लो-कोड अवधारणाओं" के व्यावहारिक अनुप्रयोग के बारे में बात करना चाहूंगा।

नियोफ्लेक्स का बिग डेटा सॉल्यूशंस डिवीजन व्यवसाय के वित्तीय क्षेत्र, डेटा वेयरहाउस और झीलों के निर्माण और विभिन्न रिपोर्टिंग को स्वचालित करने में अधिक माहिर है। इस क्षेत्र में, लो-कोड का उपयोग लंबे समय से एक मानक बन गया है। अन्य निम्न-कोड टूल में, हम ईटीएल प्रक्रियाओं को व्यवस्थित करने के लिए टूल का उल्लेख कर सकते हैं: इंफॉर्मेटिका पावर सेंटर, आईबीएम डेटास्टेज, पेंटाहो डेटा इंटीग्रेशन। या ओरेकल एपेक्स, जो डेटा तक पहुंचने और संपादित करने के लिए इंटरफेस के तेजी से विकास के लिए एक वातावरण के रूप में कार्य करता है। हालाँकि, कम-कोड विकास उपकरणों के उपयोग में हमेशा विक्रेता पर स्पष्ट निर्भरता के साथ वाणिज्यिक प्रौद्योगिकी स्टैक पर अत्यधिक लक्षित अनुप्रयोगों का निर्माण शामिल नहीं होता है।

कम-कोड प्लेटफ़ॉर्म का उपयोग करके, आप डेटा स्ट्रीम के ऑर्केस्ट्रेशन को भी व्यवस्थित कर सकते हैं, डेटा साइंस प्लेटफ़ॉर्म बना सकते हैं या, उदाहरण के लिए, डेटा गुणवत्ता की जाँच के लिए मॉड्यूल बना सकते हैं।

कम-कोड विकास टूल का उपयोग करने में अनुभव के लागू उदाहरणों में से एक नियोफ्लेक्स और मीडियास्कोप के बीच सहयोग है, जो रूसी मीडिया अनुसंधान बाजार में नेताओं में से एक है। इस कंपनी के व्यावसायिक उद्देश्यों में से एक डेटा का उत्पादन है जिसके आधार पर विज्ञापनदाता, इंटरनेट प्लेटफ़ॉर्म, टीवी चैनल, रेडियो स्टेशन, विज्ञापन एजेंसियां ​​और ब्रांड विज्ञापन खरीदने के बारे में निर्णय लेते हैं और अपने विपणन संचार की योजना बनाते हैं।

मीडिया अनुसंधान व्यवसाय का एक तकनीकी रूप से भरा हुआ क्षेत्र है। वीडियो अनुक्रमों को पहचानना, देखने का विश्लेषण करने वाले उपकरणों से डेटा एकत्र करना, वेब संसाधनों पर गतिविधि को मापना - यह सब दर्शाता है कि कंपनी के पास एक बड़ा आईटी स्टाफ है और विश्लेषणात्मक समाधान बनाने में व्यापक अनुभव है। लेकिन सूचना की मात्रा, उसके स्रोतों की संख्या और विविधता में तेजी से वृद्धि आईटी डेटा उद्योग को लगातार प्रगति करने के लिए मजबूर करती है। पहले से काम कर रहे मीडियास्कोप विश्लेषणात्मक प्लेटफॉर्म को बढ़ाने का सबसे सरल उपाय आईटी कर्मचारियों को बढ़ाना हो सकता है। लेकिन इससे कहीं अधिक प्रभावी समाधान विकास प्रक्रिया को तेज करना है। इस दिशा में अग्रणी कदमों में से एक कम-कोड प्लेटफ़ॉर्म का उपयोग हो सकता है।

जिस समय परियोजना शुरू हुई, कंपनी के पास पहले से ही एक कार्यशील उत्पाद समाधान था। हालाँकि, MSSQL में समाधान का कार्यान्वयन विकास की स्वीकार्य लागत को बनाए रखते हुए स्केलिंग कार्यक्षमता की अपेक्षाओं को पूरी तरह से पूरा नहीं कर सका।

हमारे सामने कार्य वास्तव में महत्वाकांक्षी था - नियोफ्लेक्स और मेडियास्कोप को एक वर्ष से भी कम समय में एक औद्योगिक समाधान तैयार करना था, जो आरंभ तिथि की पहली तिमाही के भीतर एमवीपी जारी करने के अधीन था।

Hadoop टेक्नोलॉजी स्टैक को लो-कोड कंप्यूटिंग पर आधारित एक नए डेटा प्लेटफ़ॉर्म के निर्माण के लिए आधार के रूप में चुना गया था। एचडीएफएस लकड़ी की छत फ़ाइलों का उपयोग करके डेटा भंडारण के लिए मानक बन गया है। प्लेटफ़ॉर्म में स्थित डेटा तक पहुंचने के लिए, हाइव का उपयोग किया गया था, जिसमें सभी उपलब्ध स्टोरफ्रंट को बाहरी तालिकाओं के रूप में प्रस्तुत किया गया है। स्टोरेज में डेटा लोड करना काफ्का और अपाचे NiFi का उपयोग करके कार्यान्वित किया गया था।

इस अवधारणा में लोव-कोड टूल का उपयोग एक विश्लेषणात्मक मंच के निर्माण में सबसे अधिक श्रम-गहन कार्य - डेटा गणना के कार्य को अनुकूलित करने के लिए किया गया था।

डेटा मैपिंग के लिए निम्न-कोड डेटाग्राम टूल को मुख्य तंत्र के रूप में चुना गया था। नियोफ्लेक्स डेटाग्राम परिवर्तनों और डेटा प्रवाह को विकसित करने के लिए एक उपकरण है।
इस टूल का उपयोग करके, आप मैन्युअल रूप से स्कैला कोड लिखे बिना काम कर सकते हैं। मॉडल संचालित आर्किटेक्चर दृष्टिकोण का उपयोग करके स्काला कोड स्वचालित रूप से उत्पन्न होता है।

इस दृष्टिकोण का एक स्पष्ट लाभ विकास प्रक्रिया को तेज़ करना है। हालाँकि, गति के अलावा, निम्नलिखित फायदे भी हैं:

• स्रोतों/रिसीवरों की सामग्री और संरचना को देखना;
• व्यक्तिगत क्षेत्रों (वंश) में डेटा प्रवाह वस्तुओं की उत्पत्ति का पता लगाना;
• मध्यवर्ती परिणामों को देखने के साथ परिवर्तनों का आंशिक निष्पादन;
• स्रोत कोड की समीक्षा करना और निष्पादन से पहले इसे समायोजित करना;
• परिवर्तनों का स्वचालित सत्यापन;
• स्वचालित डेटा डाउनलोड 1 इन 1।

परिवर्तन उत्पन्न करने के लिए कम-कोड समाधानों में प्रवेश की बाधा काफी कम है: डेवलपर को SQL जानने और ETL टूल के साथ काम करने का अनुभव होना आवश्यक है। यह उल्लेखनीय है कि कोड-संचालित परिवर्तन जनरेटर शब्द के व्यापक अर्थ में ईटीएल उपकरण नहीं हैं। कम-कोड टूल का अपना कोड निष्पादन वातावरण नहीं हो सकता है। अर्थात्, जेनरेट किया गया कोड उस वातावरण में निष्पादित किया जाएगा जो लो-कोड समाधान स्थापित करने से पहले भी क्लस्टर पर मौजूद था। और यह शायद कम-कोड कर्म के लिए एक और प्लस है। चूंकि, कम-कोड टीम के समानांतर, एक "क्लासिक" टीम काम कर सकती है जो कार्यक्षमता को लागू करती है, उदाहरण के लिए, शुद्ध स्काला कोड में। दोनों टीमों की ओर से उत्पादन में सुधार लाना सरल और निर्बाध होगा।

शायद यह ध्यान देने योग्य बात है कि लो-कोड के अलावा, नो-कोड समाधान भी हैं। और उनके मूल में, ये अलग चीजें हैं। लो-कोड डेवलपर को जेनरेट किए गए कोड में अधिक हस्तक्षेप करने की अनुमति देता है। डेटाग्राम के मामले में, उत्पन्न स्काला कोड को देखना और संपादित करना संभव है; नो-कोड ऐसा अवसर प्रदान नहीं कर सकता है। यह अंतर न केवल समाधान के लचीलेपन के संदर्भ में, बल्कि डेटा इंजीनियरों के काम में आराम और प्रेरणा के संदर्भ में भी बहुत महत्वपूर्ण है।

समाधान वास्तुकला

आइए यह पता लगाने का प्रयास करें कि कैसे एक कम-कोड उपकरण डेटा गणना कार्यक्षमता विकसित करने की गति को अनुकूलित करने की समस्या को हल करने में मदद करता है। सबसे पहले, आइए सिस्टम की कार्यात्मक वास्तुकला को देखें। इस मामले में एक उदाहरण मीडिया अनुसंधान के लिए डेटा उत्पादन मॉडल है।

हमारे मामले में डेटा स्रोत बहुत विषम और विविध हैं:

• पीपल मीटर (टीवी मीटर) सॉफ्टवेयर और हार्डवेयर उपकरण हैं जो टेलीविजन पैनल के उत्तरदाताओं से उपयोगकर्ता के व्यवहार को पढ़ते हैं - अध्ययन में भाग लेने वाले घर में किसने, कब और कौन सा टीवी चैनल देखा। आपूर्ति की गई जानकारी मीडिया पैकेज और मीडिया उत्पाद से जुड़े प्रसारण देखने के अंतराल की एक धारा है। डेटा लेक में लोड करने के चरण में डेटा को किसी विशेष मीडिया उत्पाद के टेलीविजन देखने के विश्लेषण के लिए आवश्यक जनसांख्यिकीय विशेषताओं, भू-स्तरीकरण, समय क्षेत्र और अन्य जानकारी से समृद्ध किया जा सकता है। लिए गए मापों का उपयोग विज्ञापन अभियानों का विश्लेषण या योजना बनाने, दर्शकों की गतिविधि और प्राथमिकताओं का आकलन करने और प्रसारण नेटवर्क को संकलित करने के लिए किया जा सकता है;
• डेटा टेलीविजन प्रसारणों की स्ट्रीमिंग और इंटरनेट पर वीडियो संसाधन सामग्री को देखने के माप के लिए निगरानी प्रणालियों से आ सकता है;
• वेब वातावरण में मापने के उपकरण, जिसमें साइट-केंद्रित और उपयोगकर्ता-केंद्रित मीटर दोनों शामिल हैं। डेटा लेक के लिए डेटा प्रदाता एक रिसर्च बार ब्राउज़र ऐड-ऑन और एक अंतर्निहित वीपीएन वाला मोबाइल एप्लिकेशन हो सकता है।
• डेटा उन साइटों से भी आ सकता है जो ऑनलाइन प्रश्नावली भरने के परिणामों और कंपनी सर्वेक्षणों में टेलीफोन साक्षात्कार के परिणामों को समेकित करती हैं;
• साझेदार कंपनियों के लॉग से जानकारी डाउनलोड करके डेटा लेक का अतिरिक्त संवर्धन हो सकता है।

स्रोत सिस्टम से कच्चे डेटा के प्राथमिक स्टेजिंग में लोड होने के कार्यान्वयन को विभिन्न तरीकों से व्यवस्थित किया जा सकता है। यदि इन उद्देश्यों के लिए लो-कोड का उपयोग किया जाता है, तो मेटाडेटा के आधार पर लोडिंग स्क्रिप्ट की स्वचालित पीढ़ी संभव है। इस मामले में, लक्षित मैपिंग के लिए विकासशील स्रोत के स्तर तक नीचे जाने की कोई आवश्यकता नहीं है। स्वचालित लोडिंग को लागू करने के लिए, हमें स्रोत से कनेक्शन स्थापित करने की आवश्यकता है, और फिर लोडिंग इंटरफ़ेस में लोड की जाने वाली संस्थाओं की सूची को परिभाषित करना होगा। एचडीएफएस में निर्देशिका संरचना स्वचालित रूप से बनाई जाएगी और स्रोत सिस्टम पर डेटा भंडारण संरचना के अनुरूप होगी।

हालाँकि, इस परियोजना के संदर्भ में, हमने इस तथ्य के कारण कम-कोड प्लेटफ़ॉर्म की इस सुविधा का उपयोग नहीं करने का निर्णय लिया कि मीडियास्कोप कंपनी ने निफ़ी + काफ्का संयोजन का उपयोग करके एक समान सेवा के उत्पादन पर स्वतंत्र रूप से काम शुरू कर दिया है।

यह तुरंत इंगित करने योग्य है कि ये उपकरण विनिमेय नहीं हैं, बल्कि पूरक हैं। निफ़ी और काफ्का प्रत्यक्ष (निफ़ी -> काफ्का) और रिवर्स (काफ्का -> निफ़ी) कनेक्शन दोनों में काम करने में सक्षम हैं। मीडिया अनुसंधान मंच के लिए, बंडल के पहले संस्करण का उपयोग किया गया था।

हमारे मामले में, NayFi को स्रोत सिस्टम से विभिन्न प्रकार के डेटा को संसाधित करने और उन्हें काफ्का ब्रोकर को भेजने की आवश्यकता थी। इस मामले में, पब्लिशकाफ्का निफी प्रोसेसर का उपयोग करके एक विशिष्ट काफ्का विषय पर संदेश भेजे गए थे। इन पाइपलाइनों का ऑर्केस्ट्रेशन और रखरखाव एक विज़ुअल इंटरफ़ेस में किया जाता है। निफ़ी टूल और निफ़ी + काफ्का संयोजन के उपयोग को विकास के लिए एक कम-कोड दृष्टिकोण भी कहा जा सकता है, जिसमें बिग डेटा प्रौद्योगिकियों में प्रवेश के लिए कम बाधा है और एप्लिकेशन विकास प्रक्रिया को गति मिलती है।

परियोजना कार्यान्वयन में अगला चरण विस्तृत डेटा को एकल सिमेंटिक लेयर प्रारूप में लाना था। यदि किसी इकाई में ऐतिहासिक विशेषताएं हैं, तो गणना प्रश्न में विभाजन के संदर्भ में की जाती है। यदि इकाई ऐतिहासिक नहीं है, तो वैकल्पिक रूप से या तो वस्तु की संपूर्ण सामग्री की पुनर्गणना करना संभव है, या इस वस्तु की पुनर्गणना करने से पूरी तरह इनकार करना (परिवर्तनों की कमी के कारण)। इस स्तर पर, सभी संस्थाओं के लिए कुंजियाँ उत्पन्न होती हैं। कुंजियाँ मास्टर ऑब्जेक्ट के अनुरूप Hbase निर्देशिकाओं में संग्रहीत की जाती हैं, जिसमें विश्लेषणात्मक प्लेटफ़ॉर्म की कुंजियों और स्रोत सिस्टम की कुंजियों के बीच एक पत्राचार होता है। परमाणु संस्थाओं का समेकन विश्लेषणात्मक डेटा की प्रारंभिक गणना के परिणामों के साथ संवर्धन के साथ होता है। डेटा गणना की रूपरेखा स्पार्क थी। डेटा को एकल शब्दार्थ में लाने के लिए वर्णित कार्यक्षमता को कम-कोड डेटाग्राम टूल से मैपिंग के आधार पर भी कार्यान्वित किया गया था।

लक्ष्य आर्किटेक्चर को व्यावसायिक उपयोगकर्ताओं के लिए डेटा तक SQL पहुंच की आवश्यकता होती है। इस विकल्प के लिए हाइव का उपयोग किया गया। जब आप लो-कोड टूल में "रजिस्टर हाइव टेबल" विकल्प को सक्षम करते हैं तो ऑब्जेक्ट स्वचालित रूप से हाइव में पंजीकृत हो जाते हैं।

गणना प्रवाह नियंत्रण

डेटाग्राम में वर्कफ़्लो फ़्लो डिज़ाइन बनाने के लिए एक इंटरफ़ेस है। मैपिंग को Oozie शेड्यूलर का उपयोग करके लॉन्च किया जा सकता है। स्ट्रीम डेवलपर इंटरफ़ेस में, समानांतर, अनुक्रमिक या निष्पादन-निर्भर डेटा परिवर्तनों के लिए योजनाएं बनाना संभव है। शेल स्क्रिप्ट और जावा प्रोग्राम के लिए समर्थन उपलब्ध है। अपाचे लिवी सर्वर का उपयोग करना भी संभव है। अपाचे लिवी का उपयोग सीधे विकास परिवेश से एप्लिकेशन चलाने के लिए किया जाता है।

यदि कंपनी के पास पहले से ही अपना स्वयं का प्रोसेस ऑर्केस्ट्रेटर है, तो मैपिंग को मौजूदा प्रवाह में एम्बेड करने के लिए REST API का उपयोग करना संभव है। उदाहरण के लिए, हमें स्काला में पीएलएसक्यूएल और कोटलिन में लिखे ऑर्केस्ट्रेटर्स में मैपिंग एम्बेड करने का काफी सफल अनुभव था। लो-कोड टूल के REST API में मैपिंग डिज़ाइन के आधार पर एक निष्पादन योग्य वर्ष तैयार करना, मैपिंग को कॉल करना, मैपिंग के अनुक्रम को कॉल करना और निश्चित रूप से, मैपिंग चलाने के लिए URL में पैरामीटर पास करना जैसे ऑपरेशन शामिल हैं।

ओज़ी के साथ, एयरफ्लो का उपयोग करके गणना प्रवाह को व्यवस्थित करना संभव है। शायद मैं ओजी और एयरफ्लो के बीच तुलना पर अधिक समय तक ध्यान नहीं दूंगा, लेकिन बस इतना कहूंगा कि मीडिया अनुसंधान परियोजना पर काम के संदर्भ में, विकल्प एयरफ्लो के पक्ष में गिरा। इस बार मुख्य तर्क उत्पाद विकसित करने वाला अधिक सक्रिय समुदाय और अधिक विकसित इंटरफ़ेस + एपीआई थे।

एयरफ़्लो इसलिए भी अच्छा है क्योंकि यह गणना प्रक्रियाओं का वर्णन करने के लिए प्रिय पायथन का उपयोग करता है। और सामान्य तौर पर, इतने सारे ओपन सोर्स वर्कफ़्लो प्रबंधन प्लेटफ़ॉर्म नहीं हैं। प्रक्रियाओं के निष्पादन को लॉन्च करना और निगरानी करना (गैंट चार्ट सहित) केवल एयरफ्लो के कर्म में अंक जोड़ता है।

निम्न-कोड समाधान मैपिंग लॉन्च करने के लिए कॉन्फ़िगरेशन फ़ाइल स्वरूप स्पार्क-सबमिट बन गया है। ऐसा दो कारणों से हुआ. सबसे पहले, स्पार्क-सबमिट आपको कंसोल से सीधे जार फ़ाइल चलाने की अनुमति देता है। दूसरे, इसमें वर्कफ़्लो को कॉन्फ़िगर करने के लिए सभी आवश्यक जानकारी शामिल हो सकती है (जिससे डैग उत्पन्न करने वाली स्क्रिप्ट लिखना आसान हो जाता है)।
हमारे मामले में एयरफ्लो वर्कफ़्लो का सबसे आम तत्व स्पार्कसबमिटऑपरेटर था।

SparkSubmitOperator आपको उनके लिए पूर्व-निर्मित इनपुट मापदंडों के साथ जार - पैकेज्ड डेटाग्राम मैपिंग चलाने की अनुमति देता है।

यह उल्लेखनीय है कि प्रत्येक एयरफ़्लो कार्य एक अलग थ्रेड में चलता है और अन्य कार्यों के बारे में कुछ भी नहीं जानता है। इसलिए, कार्यों के बीच इंटरैक्शन नियंत्रण ऑपरेटरों, जैसे डमीऑपरेटर या ब्रांचपाइथनऑपरेटर का उपयोग करके किया जाता है।

कुल मिलाकर, कॉन्फ़िगरेशन फ़ाइलों के सार्वभौमिकरण (डैग का निर्माण) के साथ डेटाग्राम कम-कोड समाधान के उपयोग से डेटा लोडिंग प्रवाह को विकसित करने की प्रक्रिया में महत्वपूर्ण तेजी और सरलीकरण हुआ।

गणनाएँ प्रदर्शित करें

शायद विश्लेषणात्मक डेटा के उत्पादन में सबसे बौद्धिक रूप से भरा हुआ चरण शोकेस के निर्माण का चरण है। अनुसंधान कंपनी के डेटा गणना प्रवाह में से एक के संदर्भ में, इस स्तर पर, डेटा को एक संदर्भ प्रसारण में कम कर दिया जाता है, समय क्षेत्रों के लिए सुधारों को ध्यान में रखते हुए और प्रसारण ग्रिड से जोड़ा जाता है। स्थानीय प्रसारण नेटवर्क (स्थानीय समाचार और विज्ञापन) के लिए समायोजन करना भी संभव है। अन्य बातों के अलावा, यह कदम देखने के अंतराल के विश्लेषण के आधार पर मीडिया उत्पादों को लगातार देखने के अंतराल को तोड़ता है। तुरंत, देखने के मूल्यों को उनके महत्व (सुधार कारक की गणना) के बारे में जानकारी के आधार पर "भारित" किया जाता है।

शोकेस तैयार करने में एक अलग कदम डेटा सत्यापन है। सत्यापन एल्गोरिथ्म में कई गणितीय विज्ञान मॉडल का उपयोग शामिल है। हालाँकि, कम-कोड प्लेटफ़ॉर्म का उपयोग आपको एक जटिल एल्गोरिदम को कई अलग-अलग दृश्यमान पठनीय मैपिंग में तोड़ने की अनुमति देता है। प्रत्येक मैपिंग एक संकीर्ण कार्य करती है। परिणामस्वरूप, मध्यवर्ती डिबगिंग, लॉगिंग और डेटा तैयारी चरणों का विज़ुअलाइज़ेशन संभव है।

सत्यापन एल्गोरिथ्म को निम्नलिखित उप-चरणों में विभाजित करने का निर्णय लिया गया:

• 60 दिनों के लिए क्षेत्र के सभी नेटवर्कों को देखने के साथ एक क्षेत्र में टीवी नेटवर्क देखने की निर्भरता का प्रतिगमन बनाना।
• सभी प्रतिगमन बिंदुओं और परिकलित दिन के लिए छात्रकृत अवशेषों की गणना (प्रतिगमन मॉडल द्वारा अनुमानित मूल्यों से वास्तविक मूल्यों का विचलन)।
• विसंगतिपूर्ण क्षेत्र-नेटवर्क जोड़े का चयन, जहां निपटान दिवस का छात्रीकृत संतुलन मानक (ऑपरेशन सेटिंग्स द्वारा निर्दिष्ट) से अधिक है।
• क्षेत्र में नेटवर्क देखने वाले प्रत्येक प्रतिवादी के लिए विसंगतिपूर्ण क्षेत्र-टीवी नेटवर्क जोड़े के लिए संशोधित छात्रकृत अवशेषों की पुनर्गणना, इस प्रतिवादी के योगदान को निर्धारित करते हुए (छात्रीकृत अवशिष्ट में परिवर्तन की मात्रा) जब इस प्रतिवादी को नमूने से देखा जाता है .
• ऐसे उम्मीदवारों की खोज करें जिनके बहिष्कार से वेतन-दिवस का छात्र-आधारित संतुलन वापस सामान्य हो जाता है।

उपरोक्त उदाहरण इस परिकल्पना की पुष्टि करता है कि एक डेटा इंजीनियर के दिमाग में पहले से ही बहुत कुछ है... और, यदि यह वास्तव में एक "इंजीनियर" है और "कोडर" नहीं है, तो कम-कोड टूल का उपयोग करते समय पेशेवर गिरावट का डर होता है अंततः पीछे हटना होगा.

लो-कोड और क्या कर सकता है?

स्काला में मैन्युअल रूप से कोड लिखने की आवश्यकता के बिना बैच और स्ट्रीम डेटा प्रोसेसिंग के लिए कम-कोड टूल के अनुप्रयोग का दायरा यहीं समाप्त नहीं होता है।

डेटालेक के विकास में लो-कोड का उपयोग पहले से ही हमारे लिए एक मानक बन गया है। हम शायद कह सकते हैं कि Hadoop स्टैक पर आधारित समाधान RDBMS पर आधारित क्लासिक DWH के विकास पथ का अनुसरण करते हैं। Hadoop स्टैक पर कम-कोड उपकरण डेटा प्रोसेसिंग कार्यों और अंतिम BI इंटरफ़ेस के निर्माण के कार्य दोनों को हल कर सकते हैं। इसके अलावा, यह ध्यान दिया जाना चाहिए कि बीआई का मतलब न केवल डेटा का प्रतिनिधित्व हो सकता है, बल्कि व्यावसायिक उपयोगकर्ताओं द्वारा इसका संपादन भी हो सकता है। वित्तीय क्षेत्र के लिए विश्लेषणात्मक प्लेटफ़ॉर्म बनाते समय हम अक्सर इस कार्यक्षमता का उपयोग करते हैं।

अन्य बातों के अलावा, लो-कोड और, विशेष रूप से, डेटाग्राम का उपयोग करके, व्यक्तिगत क्षेत्रों (वंश) तक परमाणुता के साथ डेटा स्ट्रीम ऑब्जेक्ट की उत्पत्ति को ट्रैक करने की समस्या को हल करना संभव है। ऐसा करने के लिए, लो-कोड टूल अपाचे एटलस और क्लाउडेरा नेविगेटर के साथ इंटरफ़ेस लागू करता है। अनिवार्य रूप से, डेवलपर को एटलस शब्दकोशों में वस्तुओं के एक सेट को पंजीकृत करने और मैपिंग बनाते समय पंजीकृत वस्तुओं को संदर्भित करने की आवश्यकता होती है। डेटा की उत्पत्ति को ट्रैक करने या ऑब्जेक्ट निर्भरता का विश्लेषण करने का तंत्र बहुत समय बचाता है जब गणना एल्गोरिदम में सुधार करना आवश्यक होता है। उदाहरण के लिए, वित्तीय विवरण तैयार करते समय, यह सुविधा आपको विधायी परिवर्तनों की अवधि में अधिक आराम से जीवित रहने की अनुमति देती है। आखिरकार, हम विस्तृत परत की वस्तुओं के संदर्भ में अंतर-रूप निर्भरता को जितना बेहतर समझेंगे, उतना ही कम हम "अचानक" दोषों का सामना करेंगे और पुनर्कार्यों की संख्या कम करेंगे।

डेटा गुणवत्ता और निम्न-कोड

मीडियास्कोप प्रोजेक्ट पर लो-कोड टूल द्वारा कार्यान्वित एक अन्य कार्य डेटा गुणवत्ता वर्ग कार्य था। अनुसंधान कंपनी परियोजना के लिए डेटा सत्यापन पाइपलाइन के कार्यान्वयन की एक विशेष विशेषता मुख्य डेटा गणना प्रवाह के प्रदर्शन और गति पर प्रभाव की कमी थी। स्वतंत्र डेटा सत्यापन प्रवाह को व्यवस्थित करने में सक्षम होने के लिए, पहले से ही परिचित अपाचे एयरफ्लो का उपयोग किया गया था। जैसे ही डेटा उत्पादन का प्रत्येक चरण तैयार हो गया, DQ पाइपलाइन का एक अलग हिस्सा समानांतर में लॉन्च किया गया।

विश्लेषणात्मक प्लेटफ़ॉर्म में इसकी शुरुआत के क्षण से ही डेटा की गुणवत्ता की निगरानी करना अच्छा अभ्यास माना जाता है। मेटाडेटा के बारे में जानकारी होने पर, हम उस क्षण से बुनियादी स्थितियों के अनुपालन की जांच कर सकते हैं जब जानकारी प्राथमिक परत में प्रवेश करती है - शून्य, बाधाएं, विदेशी कुंजी नहीं। यह कार्यक्षमता डेटाग्राम में डेटा गुणवत्ता परिवार की स्वचालित रूप से उत्पन्न मैपिंग के आधार पर कार्यान्वित की जाती है। इस मामले में कोड जनरेशन भी मॉडल मेटाडेटा पर आधारित है। मीडियास्कोप प्रोजेक्ट पर, इंटरफ़ेस एंटरप्राइज़ आर्किटेक्ट उत्पाद के मेटाडेटा के साथ किया गया था।

लो-कोड टूल को एंटरप्राइज़ आर्किटेक्ट के साथ जोड़कर, निम्नलिखित चेक स्वचालित रूप से जेनरेट किए गए:

• "शून्य नहीं" संशोधक वाले फ़ील्ड में "शून्य" मानों की उपस्थिति की जाँच करना;
• प्राथमिक कुंजी की डुप्लिकेट की उपस्थिति की जाँच करना;
• किसी इकाई की विदेशी कुंजी की जाँच करना;
• फ़ील्ड के सेट के आधार पर स्ट्रिंग की विशिष्टता की जाँच करना।

डेटा उपलब्धता और विश्वसनीयता की अधिक जटिल जांच के लिए, स्काला एक्सप्रेशन के साथ एक मैपिंग बनाई गई थी, जो ज़ेपेलिन के विश्लेषकों द्वारा तैयार किए गए बाहरी स्पार्क एसक्यूएल चेक कोड को इनपुट के रूप में लेती है।

बेशक, चेक की स्वचालित पीढ़ी धीरे-धीरे हासिल की जानी चाहिए। वर्णित परियोजना के ढांचे के भीतर, इससे पहले निम्नलिखित कदम उठाए गए थे:

• ज़ेपेलिन नोटबुक में डीक्यू लागू किया गया;
• मैपिंग में निर्मित DQ;
• एक अलग इकाई के लिए चेक के पूरे सेट वाले अलग-अलग विशाल मैपिंग के रूप में डीक्यू;
• यूनिवर्सल पैरामीटरयुक्त डीक्यू मैपिंग जो मेटाडेटा और व्यावसायिक जांच के बारे में जानकारी को इनपुट के रूप में स्वीकार करती है।

शायद पैरामीटरयुक्त जांच सेवा बनाने का मुख्य लाभ उत्पादन वातावरण में कार्यक्षमता प्रदान करने में लगने वाले समय में कमी है। नई गुणवत्ता जांच अप्रत्यक्ष रूप से विकास और परीक्षण वातावरण के माध्यम से कोड वितरित करने के क्लासिक पैटर्न को बायपास कर सकती है:

• जब मॉडल को ईए में संशोधित किया जाता है तो सभी मेटाडेटा जांच स्वचालित रूप से उत्पन्न होती हैं;
• डेटा उपलब्धता जांच (एक समय में किसी भी डेटा की उपस्थिति का निर्धारण) एक निर्देशिका के आधार पर उत्पन्न की जा सकती है जो वस्तुओं के संदर्भ में डेटा के अगले टुकड़े की उपस्थिति के अपेक्षित समय को संग्रहीत करती है;
• ज़ेपेलिन नोटबुक में विश्लेषकों द्वारा व्यावसायिक डेटा सत्यापन जाँचें बनाई जाती हैं। वहां से उन्हें सीधे उत्पादन परिवेश में DQ मॉड्यूल सेटअप टेबल पर भेजा जाता है।

उत्पादन के लिए सीधे स्क्रिप्ट भेजने का कोई जोखिम नहीं है। यहां तक ​​कि एक सिंटैक्स त्रुटि के साथ, अधिकतम जो हमें धमकी देता है वह एक जांच करने में विफलता है, क्योंकि डेटा गणना प्रवाह और गुणवत्ता जांच लॉन्च प्रवाह एक दूसरे से अलग हो जाते हैं।

संक्षेप में, DQ सेवा उत्पादन परिवेश में स्थायी रूप से चल रही है और डेटा का अगला भाग सामने आते ही अपना काम शुरू करने के लिए तैयार है।

इसके बजाय एक निष्कर्ष की

लो-कोड का उपयोग करने का लाभ स्पष्ट है। डेवलपर्स को एप्लिकेशन को नए सिरे से विकसित करने की आवश्यकता नहीं है। और अतिरिक्त कार्यों से मुक्त एक प्रोग्रामर तेजी से परिणाम देता है। गति, बदले में, अनुकूलन समस्याओं को हल करने के लिए अतिरिक्त समय बचाती है। इसलिए, इस मामले में, आप बेहतर और तेज़ समाधान पर भरोसा कर सकते हैं।

बेशक, लो-कोड कोई रामबाण इलाज नहीं है, और जादू अपने आप नहीं होगा:

• निम्न-कोड उद्योग "मजबूत होने" के चरण से गुजर रहा है, और अभी तक कोई समान औद्योगिक मानक नहीं हैं;
• कई कम-कोड समाधान मुफ़्त नहीं हैं, और उन्हें खरीदना एक सचेत कदम होना चाहिए, जिसे उनके उपयोग के वित्तीय लाभों में पूर्ण विश्वास के साथ लिया जाना चाहिए;
• कई कम-कोड समाधान हमेशा GIT/SVN के साथ अच्छा काम नहीं करते हैं। या यदि उत्पन्न कोड छिपा हुआ है तो उनका उपयोग करना असुविधाजनक है;
• आर्किटेक्चर का विस्तार करते समय, कम-कोड समाधान को परिष्कृत करना आवश्यक हो सकता है - जो बदले में, कम-कोड समाधान के आपूर्तिकर्ता पर "लगाव और निर्भरता" के प्रभाव को भड़काता है।
• पर्याप्त स्तर की सुरक्षा संभव है, लेकिन कम-कोड सिस्टम इंजनों में इसे लागू करना बहुत श्रम-गहन और कठिन है। लो-कोड प्लेटफ़ॉर्म को न केवल उनके उपयोग से लाभ प्राप्त करने के सिद्धांत पर चुना जाना चाहिए। चुनते समय, संगठन के संपूर्ण आईटी परिदृश्य के स्तर तक पहुंच नियंत्रण और पहचान डेटा के प्रतिनिधिमंडल/वृद्धि के लिए कार्यक्षमता की उपलब्धता के बारे में प्रश्न पूछना उचित है।

हालाँकि, यदि चुनी गई प्रणाली की सभी कमियाँ आपको ज्ञात हैं, और इसके उपयोग से होने वाले लाभ, फिर भी, प्रमुख बहुमत में हैं, तो बिना किसी डर के छोटे कोड की ओर बढ़ें। इसके अलावा, इसमें परिवर्तन अपरिहार्य है - जैसे कोई भी विकास अपरिहार्य है।

यदि लो-कोड प्लेटफॉर्म पर एक डेवलपर लो-कोड के बिना दो डेवलपर्स की तुलना में अपना काम तेजी से करता है, तो इससे कंपनी को सभी मामलों में बढ़त मिलती है। कम-कोड समाधानों में प्रवेश की सीमा "पारंपरिक" प्रौद्योगिकियों की तुलना में कम है, और इसका कर्मियों की कमी के मुद्दे पर सकारात्मक प्रभाव पड़ता है। कम-कोड टूल का उपयोग करते समय, कार्यात्मक टीमों के बीच बातचीत को तेज करना और डेटा विज्ञान अनुसंधान के चुने हुए पथ की शुद्धता के बारे में तेजी से निर्णय लेना संभव है। निम्न-स्तरीय प्लेटफ़ॉर्म किसी संगठन के डिजिटल परिवर्तन को आगे बढ़ा सकते हैं क्योंकि उत्पादित समाधानों को गैर-तकनीकी विशेषज्ञों (विशेषकर व्यावसायिक उपयोगकर्ताओं) द्वारा समझा जा सकता है।

यदि आपके पास तंग समय सीमा, व्यस्त व्यावसायिक तर्क, तकनीकी विशेषज्ञता की कमी है, और आपको बाजार में अपना समय तेज करने की आवश्यकता है, तो कम-कोड आपकी आवश्यकताओं को पूरा करने का एक तरीका है।

पारंपरिक विकास उपकरणों के महत्व से इनकार नहीं किया जा सकता है, लेकिन कई मामलों में, हल किए जा रहे कार्यों की दक्षता बढ़ाने के लिए कम-कोड समाधानों का उपयोग करना सबसे अच्छा तरीका है।

स्रोत: www.habr.com