Sber.DS एक ऐसा प्लेटफ़ॉर्म है जो आपको बिना कोड के भी मॉडल बनाने और लागू करने की अनुमति देता है

अन्य प्रक्रियाओं को स्वचालित किया जा सकता है, इसके बारे में विचार और बैठकें हर दिन विभिन्न आकार के व्यवसायों में उठती हैं। लेकिन इस तथ्य के अलावा कि एक मॉडल बनाने में बहुत समय खर्च किया जा सकता है, आपको इसे इसका मूल्यांकन करने और यह जांचने पर खर्च करने की ज़रूरत है कि प्राप्त परिणाम यादृच्छिक नहीं है। कार्यान्वयन के बाद किसी भी मॉडल की निगरानी और समय-समय पर जांच की जानी चाहिए।

और ये सभी चरण हैं जिन्हें किसी भी कंपनी में पूरा करने की आवश्यकता होती है, चाहे उसका आकार कुछ भी हो। यदि हम Sberbank के पैमाने और विरासत के बारे में बात कर रहे हैं, तो फाइन-ट्यूनिंग की संख्या काफी बढ़ जाती है। 2019 के अंत तक, Sber पहले ही 2000 से अधिक मॉडल का उपयोग कर चुका था। केवल एक मॉडल विकसित करना पर्याप्त नहीं है; औद्योगिक प्रणालियों के साथ एकीकृत करना, मॉडल बनाने के लिए डेटा मार्ट विकसित करना और क्लस्टर पर इसके संचालन का नियंत्रण सुनिश्चित करना आवश्यक है।

हमारी टीम Sber.DS प्लेटफ़ॉर्म विकसित कर रही है। यह आपको मशीन सीखने की समस्याओं को हल करने की अनुमति देता है, परिकल्पनाओं के परीक्षण की प्रक्रिया को गति देता है, सिद्धांत रूप में मॉडल के विकास और सत्यापन की प्रक्रिया को सरल बनाता है, और PROM में मॉडल के परिणाम को भी नियंत्रित करता है।

आपकी उम्मीदों को धोखा न देने के लिए, मैं पहले ही कहना चाहता हूं कि यह पोस्ट एक परिचयात्मक है, और शुरुआत के लिए, कट के तहत, हम इस बारे में बात करते हैं कि, सिद्धांत रूप में, Sber.DS प्लेटफॉर्म के हुड के तहत क्या है। हम निर्माण से कार्यान्वयन तक मॉडल के जीवन चक्र के बारे में अलग से कहानी बताएंगे।

Sber.DS में कई घटक शामिल हैं, जिनमें प्रमुख हैं लाइब्रेरी, विकास प्रणाली और मॉडल निष्पादन प्रणाली।

लाइब्रेरी मॉडल के जीवन चक्र को उस क्षण से नियंत्रित करती है जब इसे विकसित करने का विचार PROM में इसके कार्यान्वयन, निगरानी और डीकमीशनिंग तक प्रकट होता है। कई पुस्तकालय क्षमताएं नियामक नियमों द्वारा निर्धारित होती हैं, उदाहरण के लिए, प्रशिक्षण और सत्यापन नमूनों की रिपोर्टिंग और भंडारण। वास्तव में, यह हमारे सभी मॉडलों का एक रजिस्टर है।

विकास प्रणाली मॉडल और सत्यापन तकनीकों के दृश्य विकास के लिए डिज़ाइन की गई है। विकसित मॉडल प्रारंभिक सत्यापन से गुजरते हैं और अपने व्यावसायिक कार्यों को करने के लिए निष्पादन प्रणाली को आपूर्ति किए जाते हैं। इसके अलावा, रनटाइम सिस्टम में, मॉडल को इसके संचालन की निगरानी के लिए समय-समय पर सत्यापन तकनीकों को लॉन्च करने के उद्देश्य से मॉनिटर पर रखा जा सकता है।

सिस्टम में कई प्रकार के नोड होते हैं। कुछ को विभिन्न डेटा स्रोतों से कनेक्ट करने के लिए डिज़ाइन किया गया है, अन्य को स्रोत डेटा को बदलने और इसे समृद्ध करने (मार्कअप) के लिए डिज़ाइन किया गया है। विभिन्न मॉडलों के निर्माण के लिए कई नोड और उन्हें मान्य करने के लिए कई नोड हैं। डेवलपर किसी भी स्रोत से डेटा लोड कर सकता है, रूपांतरित कर सकता है, फ़िल्टर कर सकता है, मध्यवर्ती डेटा की कल्पना कर सकता है और उसे भागों में तोड़ सकता है।

प्लेटफ़ॉर्म में तैयार मॉड्यूल भी शामिल हैं जिन्हें खींचकर डिज़ाइन क्षेत्र पर छोड़ा जा सकता है। सभी क्रियाएं विज़ुअलाइज़्ड इंटरफ़ेस का उपयोग करके की जाती हैं। वास्तव में, आप कोड की एक भी पंक्ति के बिना समस्या का समाधान कर सकते हैं।

यदि अंतर्निहित क्षमताएं पर्याप्त नहीं हैं, तो सिस्टम आपके स्वयं के मॉड्यूल को शीघ्रता से बनाने की क्षमता प्रदान करता है। हमने इसके आधार पर एक एकीकृत विकास मोड बनाया ज्यूपिटर कर्नेल गेटवे उन लोगों के लिए जो स्क्रैच से नए मॉड्यूल बनाते हैं।

Sber.DS का आर्किटेक्चर माइक्रोसर्विसेज पर बनाया गया है। माइक्रोसर्विसेज क्या हैं, इसके बारे में कई राय हैं। कुछ लोग सोचते हैं कि मोनोलिथिक कोड को भागों में विभाजित करना पर्याप्त है, लेकिन साथ ही वे अभी भी उसी डेटाबेस पर जाते हैं। हमारी माइक्रोसर्विस को केवल REST API के माध्यम से किसी अन्य माइक्रोसर्विस के साथ संचार करना चाहिए। डेटाबेस तक सीधे पहुँचने का कोई उपाय नहीं।

हम यह सुनिश्चित करने का प्रयास करते हैं कि सेवाएं बहुत बड़ी और अनाड़ी न हो जाएं: एक इंस्टेंस में 4-8 गीगाबाइट से अधिक रैम की खपत नहीं होनी चाहिए और नए इंस्टेंस लॉन्च करके क्षैतिज रूप से अनुरोधों को स्केल करने की क्षमता प्रदान करनी चाहिए। प्रत्येक सेवा केवल REST API के माध्यम से दूसरों के साथ संचार करती है (ओपन एपीआई). सेवा के लिए ज़िम्मेदार टीम को एपीआई का उपयोग करने वाले अंतिम क्लाइंट तक बैकवर्ड संगत बनाए रखना आवश्यक है।

एप्लिकेशन का मूल स्प्रिंग फ्रेमवर्क का उपयोग करके जावा में लिखा गया है। समाधान को शुरू में क्लाउड इंफ्रास्ट्रक्चर में तेजी से तैनाती के लिए डिज़ाइन किया गया था, इसलिए एप्लिकेशन को कंटेनरीकरण सिस्टम का उपयोग करके बनाया गया था रेड हैट ओपनशिफ्ट (Kubernetes). प्लेटफ़ॉर्म लगातार विकसित हो रहा है, बढ़ती व्यावसायिक कार्यक्षमता (नए कनेक्टर, ऑटोएमएल जोड़े जा रहे हैं) और तकनीकी दक्षता दोनों के मामले में।

हमारे प्लेटफ़ॉर्म की एक विशेषता यह है कि हम किसी भी Sberbank मॉडल निष्पादन प्रणाली पर विज़ुअल इंटरफ़ेस में विकसित कोड चला सकते हैं। अब उनमें से दो पहले से ही मौजूद हैं: एक Hadoop पर, दूसरा OpenShift (Docker) पर। हम यहीं नहीं रुकते हैं और ऑन-प्रिमाइसेस और क्लाउड सहित किसी भी बुनियादी ढांचे पर कोड चलाने के लिए एकीकरण मॉड्यूल बनाते हैं। Sberbank पारिस्थितिकी तंत्र में प्रभावी एकीकरण की संभावनाओं के संबंध में, हम मौजूदा निष्पादन वातावरण के साथ काम का समर्थन करने की भी योजना बना रहे हैं। भविष्य में, समाधान को किसी भी संगठन के किसी भी परिदृश्य में "बॉक्स से बाहर" लचीले ढंग से एकीकृत किया जा सकता है।

जिन लोगों ने कभी PROM में Hadoop पर Python चलाने वाले समाधान का समर्थन करने का प्रयास किया है, वे जानते हैं कि प्रत्येक डेटानोड के लिए Python उपयोगकर्ता वातावरण तैयार करना और वितरित करना पर्याप्त नहीं है। मशीन लर्निंग के लिए पायथन मॉड्यूल का उपयोग करने वाली बड़ी संख्या में सी/सी++ लाइब्रेरी आपको चैन से नहीं बैठने देगी। हमें नई लाइब्रेरी या सर्वर जोड़ते समय पैकेजों को अपडेट करना याद रखना चाहिए, जबकि पहले से लागू मॉडल कोड के साथ बैकवर्ड संगतता बनाए रखना चाहिए।

ऐसा कैसे करें इसके लिए कई दृष्टिकोण हैं। उदाहरण के लिए, अक्सर उपयोग की जाने वाली कई लाइब्रेरी पहले से तैयार करें और उन्हें PROM में लागू करें। क्लौडेरा के Hadoop वितरण में, वे आमतौर पर उपयोग करते हैं पार्सल. साथ ही अब Hadoop में भी इसे चलाना संभव है डाक में काम करनेवाला मज़दूर-कंटेनर. कुछ साधारण मामलों में पैकेज के साथ कोड वितरित करना संभव है अजगर.अंडे.

बैंक तृतीय-पक्ष कोड चलाने की सुरक्षा को बहुत गंभीरता से लेता है, इसलिए हम लिनक्स कर्नेल की नई सुविधाओं का अधिकतम लाभ उठाते हैं, जहां एक प्रक्रिया एक अलग वातावरण में चलती है लिनक्स नेमस्पेसउदाहरण के लिए, आप नेटवर्क और स्थानीय डिस्क तक पहुंच को सीमित कर सकते हैं, जो दुर्भावनापूर्ण कोड की क्षमताओं को काफी कम कर देता है। प्रत्येक विभाग के डेटा क्षेत्र सुरक्षित हैं और केवल इस डेटा के मालिकों के लिए ही पहुंच योग्य हैं। प्लेटफ़ॉर्म यह सुनिश्चित करता है कि एक क्षेत्र से डेटा केवल डेटा प्रकाशन प्रक्रिया के माध्यम से दूसरे क्षेत्र तक पहुंच सकता है, जिसमें स्रोतों तक पहुंच से लेकर लक्ष्य स्टोरफ्रंट में डेटा के उतरने तक सभी चरणों पर नियंत्रण होता है।

इस वर्ष हम Hadoop पर Python/R/Java में लिखे गए मॉडल लॉन्च करने के MVP को पूरा करने की योजना बना रहे हैं। हमने Hadoop पर किसी भी कस्टम वातावरण को चलाने का तरीका सीखने का महत्वाकांक्षी कार्य निर्धारित किया है, ताकि हमारे प्लेटफ़ॉर्म के उपयोगकर्ताओं को किसी भी तरह से सीमित न किया जाए।

इसके अलावा, जैसा कि यह निकला, कई डीएस विशेषज्ञ गणित और सांख्यिकी में उत्कृष्ट हैं, अच्छे मॉडल बनाते हैं, लेकिन बड़े डेटा परिवर्तनों में बहुत अच्छी तरह से पारंगत नहीं हैं, और उन्हें प्रशिक्षण नमूने तैयार करने के लिए हमारे डेटा इंजीनियरों की मदद की आवश्यकता होती है। हमने अपने सहयोगियों की मदद करने और स्पार्क इंजन पर मॉडलों के लिए मानक परिवर्तन और सुविधाओं की तैयारी के लिए सुविधाजनक मॉड्यूल बनाने का निर्णय लिया। इससे आपको मॉडल विकसित करने में अधिक समय लगेगा और नया डेटासेट तैयार करने के लिए डेटा इंजीनियरों की प्रतीक्षा नहीं करनी पड़ेगी।

हम विभिन्न क्षेत्रों में ज्ञान रखने वाले लोगों को नियुक्त करते हैं: Linux और DevOps, Hadoop और Spark, Java और Spring, Scala और Akka, OpenShift और Kubernetes। अगली बार हम मॉडल लाइब्रेरी के बारे में बात करेंगे कि मॉडल कंपनी के भीतर जीवन चक्र से कैसे गुजरता है, सत्यापन और कार्यान्वयन कैसे होता है।

स्रोत: www.habr.com