Sber.DS एउटा प्लेटफर्म हो जसले तपाईंलाई कोड बिना नै मोडेलहरू सिर्जना गर्न र कार्यान्वयन गर्न अनुमति दिन्छ

अन्य प्रक्रियाहरू स्वचालित गर्न सकिन्छ भन्ने बारे विचार र बैठकहरू हरेक दिन विभिन्न आकारका व्यवसायहरूमा उत्पन्न हुन्छन्। तर एक मोडेल सिर्जना गर्न धेरै समय खर्च गर्न सकिन्छ भन्ने तथ्यको अतिरिक्त, तपाईंले यसलाई मूल्याङ्कन गर्न र प्राप्त परिणाम अनियमित छैन भनेर जाँच गर्न खर्च गर्न आवश्यक छ। कार्यान्वयन पछि, कुनै पनि मोडेल अनुगमन र आवधिक रूपमा जाँच गर्नुपर्छ।

र यी सबै चरणहरू हुन् जुन कुनै पनि कम्पनीमा पूरा गर्न आवश्यक छ, यसको आकारको पर्वाह नगरी। यदि हामी Sberbank को स्केल र विरासतको बारेमा कुरा गर्दैछौं भने, फाइन ट्युनिङको संख्या उल्लेखनीय रूपमा बढ्छ। 2019 को अन्त्य सम्म, Sber ले पहिले नै 2000 भन्दा बढी मोडेलहरू प्रयोग गरिसकेको छ। मोडल मात्र विकास गरेर मात्र पुग्दैन, औद्योगिक प्रणालीसँग एकीकृत गर्न, मोडल निर्माणका लागि डाटा मार्टको विकास गर्न र क्लस्टरमा यसको सञ्चालनको नियन्त्रण सुनिश्चित गर्न आवश्यक छ।

हाम्रो टोलीले Sber.DS प्लेटफर्मको विकास गर्दैछ। यसले तपाईंलाई मेसिन लर्निङ समस्याहरू समाधान गर्न अनुमति दिन्छ, परिकल्पनाहरू परीक्षण गर्ने प्रक्रियालाई गति दिन्छ, सिद्धान्तमा मोडेलहरू विकास र प्रमाणीकरण गर्ने प्रक्रियालाई सरल बनाउँछ, र PROM मा मोडेलको नतिजालाई पनि नियन्त्रण गर्दछ।

तपाईंको अपेक्षाहरूलाई धोका नदिनको लागि, म अग्रिम भन्न चाहन्छु कि यो पोष्ट एक परिचयात्मक हो, र कट अन्तर्गत, सुरुका लागि, हामी सैद्धान्तिक रूपमा, Sber.DS प्लेटफर्मको हुड अन्तर्गत के कुरा गर्छौं। हामी मोडेलको जीवन चक्रको सृष्टिदेखि कार्यान्वयनसम्मको कथा छुट्टै बताउनेछौं।

Sber.DS मा धेरै कम्पोनेन्टहरू हुन्छन्, जसमा पुस्तकालय, विकास प्रणाली र मोडेल कार्यान्वयन प्रणाली मुख्य हुन्।

पुस्तकालयले मोडेलको जीवन चक्रलाई यसलाई विकास गर्ने विचार देखा परेदेखि नै PROM, अनुगमन र डिकमिसनमा कार्यान्वयन नगरेसम्म नियन्त्रण गर्दछ। धेरै पुस्तकालय क्षमताहरू नियामक नियमहरूद्वारा निर्देशित हुन्छन्, उदाहरणका लागि, प्रशिक्षण र प्रमाणीकरण नमूनाहरूको रिपोर्टिङ र भण्डारण। वास्तवमा, यो हाम्रा सबै मोडेलहरूको दर्ता हो।

विकास प्रणाली मोडेल र प्रमाणीकरण प्रविधिहरूको दृश्य विकासको लागि डिजाइन गरिएको हो। विकसित मोडेलहरू प्रारम्भिक प्रमाणीकरणबाट गुज्रिन्छन् र तिनीहरूको व्यावसायिक कार्यहरू प्रदर्शन गर्न कार्यान्वयन प्रणालीमा आपूर्ति गरिन्छ। साथै, रनटाइम प्रणालीमा, मोडेललाई यसको सञ्चालन अनुगमन गर्न समय-समयमा प्रमाणीकरण प्रविधिहरू सुरू गर्ने उद्देश्यको लागि मोनिटरमा राख्न सकिन्छ।

प्रणालीमा धेरै प्रकारका नोडहरू छन्। केहि विभिन्न डेटा स्रोतहरूमा जडान गर्न डिजाइन गरिएको छ, अन्य स्रोत डेटा रूपान्तरण गर्न र यसलाई (मार्कअप) समृद्ध गर्न डिजाइन गरिएको छ। त्यहाँ विभिन्न मोडेलहरू र तिनीहरूलाई प्रमाणीकरण गर्न नोडहरू निर्माण गर्न धेरै नोडहरू छन्। विकासकर्ताले कुनै पनि स्रोतबाट डेटा लोड गर्न, रूपान्तरण गर्न, फिल्टर गर्न, मध्यवर्ती डेटाको कल्पना गर्न र यसलाई भागहरूमा विभाजन गर्न सक्छ।

प्लेटफर्ममा तयार-बनाइएका मोड्युलहरू पनि समावेश छन् जुन ड्र्याग गर्न सकिन्छ र डिजाइन क्षेत्रमा छोड्न सकिन्छ। सबै कार्यहरू एक दृश्य इन्टरफेस प्रयोग गरेर प्रदर्शन गरिन्छ। वास्तवमा, तपाइँ कोडको एक लाइन बिना समस्या समाधान गर्न सक्नुहुन्छ।

यदि निर्मित क्षमताहरू पर्याप्त छैनन् भने, प्रणालीले छिटो आफ्नो मोड्युलहरू सिर्जना गर्ने क्षमता प्रदान गर्दछ। हामीले एकीकृत विकास मोडमा आधारित बनायौं Jupyter कर्नेल गेटवे स्क्र्याचबाट नयाँ मोड्युलहरू सिर्जना गर्नेहरूका लागि।

Sber.DS को वास्तुकला माइक्रोसर्भिसेसहरूमा बनाइएको छ। माइक्रो सर्भिस भनेको के हो भन्ने बारेमा धेरै मतहरू छन्। केही मानिसहरू सोच्छन् कि यो मोनोलिथिक कोडलाई भागहरूमा विभाजन गर्न पर्याप्त छ, तर एकै समयमा तिनीहरू अझै पनि एउटै डेटाबेसमा जान्छन्। हाम्रो microservice ले REST API मार्फत मात्र अर्को microservice सँग संचार गर्नुपर्छ। सीधा डाटाबेस पहुँच गर्न कुनै समाधान छैन।

हामी सेवाहरू धेरै ठूला र अनाड़ी नहोस् भनेर सुनिश्चित गर्ने प्रयास गर्छौं: एउटा उदाहरणले 4-8 गीगाबाइट RAM भन्दा बढी खपत गर्नु हुँदैन र नयाँ उदाहरणहरू सुरू गरेर तेर्सो रूपमा अनुरोधहरू मापन गर्ने क्षमता प्रदान गर्नुपर्छ। प्रत्येक सेवाले अरूसँग मात्र REST API (API खोल्नुहोस्)। सेवाको लागि जिम्मेवार टोलीले API लाई प्रयोग गर्ने अन्तिम ग्राहक सम्म मिल्दोजुल्दो राख्न आवश्यक छ।

अनुप्रयोगको मूल वसन्त फ्रेमवर्क प्रयोग गरेर जाभामा लेखिएको छ। समाधान सुरुमा क्लाउड पूर्वाधारमा द्रुत तैनातीको लागि डिजाइन गरिएको थियो, त्यसैले अनुप्रयोग कन्टेनराइजेशन प्रणाली प्रयोग गरेर निर्माण गरिएको थियो। रेड ह्याट ओपनशिफ्ट (कुबर्नेट्स)। प्लेटफर्म निरन्तर विकसित हुँदै गइरहेको छ, दुबै व्यापारिक कार्यक्षमता (नयाँ कनेक्टरहरू, AutoML थपिँदै छन्) र प्राविधिक दक्षताको सन्दर्भमा।

हाम्रो प्लेटफर्मको एक विशेषता भनेको हामीले कुनै पनि Sberbank मोडेल कार्यान्वयन प्रणालीमा भिजुअल इन्टरफेसमा विकसित कोड चलाउन सक्छौं। अब तिनीहरू मध्ये दुई पहिले नै छन्: एक Hadoop मा, अर्को OpenShift (डकर) मा। हामी त्यहाँ रोक्दैनौं र अन-प्रिमाइस र क्लाउड सहित कुनै पनि पूर्वाधारमा कोड चलाउनको लागि एकीकरण मोड्युलहरू सिर्जना गर्छौं। Sberbank इकोसिस्टममा प्रभावकारी एकीकरणको सम्भावनाको सन्दर्भमा, हामी विद्यमान कार्यान्वयन वातावरणहरूसँग कामलाई समर्थन गर्ने योजना पनि गर्छौं। भविष्यमा, समाधान लचिलो रूपमा कुनै पनि संगठनको कुनै पनि परिदृश्यमा "बक्स बाहिर" एकीकृत गर्न सकिन्छ।

PROM मा Hadoop मा पाइथन चलाउने समाधानलाई समर्थन गर्ने प्रयास गर्नेहरूलाई थाहा छ कि प्रत्येक डाटानोडमा पाइथन प्रयोगकर्ता वातावरण तयार गर्न र डेलिभर गर्न पर्याप्त छैन। पाइथन मोड्युलहरू प्रयोग गर्ने मेसिन लर्निङका लागि ठूलो संख्यामा C/C++ पुस्तकालयहरूले तपाईंलाई आराम गर्न अनुमति दिँदैन। हामीले नयाँ पुस्तकालयहरू वा सर्भरहरू थप्दा, पहिले नै लागू गरिएको मोडेल कोडसँग पछाडि अनुकूलता कायम राख्दा प्याकेजहरू अद्यावधिक गर्न सम्झनुपर्छ।

यो कसरी गर्ने भनेर धेरै दृष्टिकोणहरू छन्। उदाहरणका लागि, धेरै पटक प्रयोग हुने पुस्तकालयहरू अग्रिम तयार गर्नुहोस् र तिनीहरूलाई PROM मा लागू गर्नुहोस्। Cloudera को Hadoop वितरण मा, तिनीहरू सामान्यतया प्रयोग गर्छन् पार्सल। अब Hadoop मा पनि यो चलाउन सम्भव छ डकर- कन्टेनरहरू। केहि साधारण अवस्थामा यो प्याकेज संग कोड डेलिभर गर्न सम्भव छ python.eggs.

बैंकले तेस्रो-पक्ष कोड चलाउने सुरक्षालाई धेरै गम्भीरताका साथ लिन्छ, त्यसैले हामी लिनक्स कर्नेलका नयाँ सुविधाहरूको अधिकतम फाइदा लिन्छौं, जहाँ प्रक्रिया पृथक वातावरणमा चल्छ। लिनक्स नेमस्पेस, तपाइँ सीमित गर्न सक्नुहुन्छ, उदाहरणका लागि, नेटवर्क र स्थानीय डिस्कमा पहुँच, जसले महत्त्वपूर्ण रूपमा दुर्भावनापूर्ण कोडको क्षमताहरू कम गर्दछ। प्रत्येक विभागका डाटा क्षेत्रहरू सुरक्षित छन् र यस डाटाका मालिकहरूलाई मात्र पहुँचयोग्य छन्। प्लेटफर्मले सुनिश्चित गर्दछ कि एक क्षेत्रबाट डाटा अर्को क्षेत्रमा पहुँच गर्न सक्ने डाटा प्रकाशन प्रक्रिया मार्फत मात्र स्रोतहरूमा पहुँचबाट लक्षित स्टोरफ्रन्टमा डाटाको अवतरणसम्म सबै चरणहरूमा नियन्त्रणको साथ।

यस वर्ष हामी हाडूपमा Python/R/Java मा लेखिएको मोडेलहरू लन्च गर्ने MVP पूरा गर्ने योजना बनाउँछौं। हामीले हाम्रो प्लेटफर्मका प्रयोगकर्ताहरूलाई कुनै पनि तरिकाले सीमित नगर्ने गरी Hadoop मा कुनै पनि अनुकूलन वातावरण कसरी चलाउने भनेर सिक्ने महत्वाकांक्षी कार्य सेट गरेका छौं।

थप रूपमा, यो बाहिर निस्कियो, धेरै DS विशेषज्ञहरू गणित र तथ्याङ्कमा उत्कृष्ट छन्, उत्कृष्ट मोडेलहरू बनाउँछन्, तर ठूलो डेटा रूपान्तरणमा धेरै राम्रोसँग जान्दैनन्, र उनीहरूलाई प्रशिक्षण नमूनाहरू तयार गर्न हाम्रा डेटा इन्जिनियरहरूको मद्दत चाहिन्छ। हामीले हाम्रा सहकर्मीहरूलाई मद्दत गर्ने र Spark इन्जिनमा मोडेलहरूको लागि मानक रूपान्तरण र सुविधाहरूको तयारीको लागि सुविधाजनक मोड्युलहरू सिर्जना गर्ने निर्णय गर्यौं। यसले तपाईंलाई मोडेलहरू विकास गर्न थप समय खर्च गर्न र नयाँ डेटासेट तयार गर्न डेटा इन्जिनियरहरूको प्रतीक्षा नगर्न अनुमति दिनेछ।

हामी विभिन्न क्षेत्रहरूमा ज्ञान भएका मानिसहरूलाई रोजगार दिन्छौं: Linux र DevOps, Hadoop र Spark, Java र Spring, Scala र Akka, OpenShift र Kubernetes। अर्को पटक हामी मोडेल लाइब्रेरीको बारेमा कुरा गर्नेछौं, कसरी मोडेल कम्पनी भित्र जीवन चक्रमा जान्छ, कसरी प्रमाणीकरण र कार्यान्वयन हुन्छ।

स्रोत: www.habr.com