Sber.DS हा एक प्लॅटफॉर्म आहे जो तुम्हाला कोड नसतानाही मॉडेल्स तयार आणि अंमलात आणण्याची परवानगी देतो

इतर कोणत्या प्रक्रिया स्वयंचलित केल्या जाऊ शकतात याबद्दलच्या कल्पना आणि बैठका दररोज विविध आकारांच्या व्यवसायांमध्ये उद्भवतात. परंतु मॉडेल तयार करण्यासाठी बराच वेळ खर्च केला जाऊ शकतो या व्यतिरिक्त, आपल्याला त्याचे मूल्यांकन करण्यात आणि परिणाम यादृच्छिक नाही हे तपासण्यासाठी खर्च करणे आवश्यक आहे. अंमलबजावणीनंतर, कोणत्याही मॉडेलचे परीक्षण केले पाहिजे आणि वेळोवेळी तपासले पाहिजे.

आणि हे सर्व टप्पे आहेत ज्यातून आपल्याला कोणत्याही कंपनीमध्ये जाणे आवश्यक आहे, त्याच्या आकाराची पर्वा न करता. जर आपण Sberbank च्या स्केल आणि वारसाबद्दल बोलत आहोत, तर फाइन-ट्यूनिंगची संख्या वेगाने वाढते. 2019 च्या अखेरीस, Sberbank ने आधीच 2000 पेक्षा जास्त मॉडेल्स वापरली आहेत. फक्त एखादे मॉडेल विकसित करणे पुरेसे नाही, औद्योगिक प्रणालींशी एकरूप होणे, मॉडेल तयार करण्यासाठी डेटा मार्ट विकसित करणे आणि क्लस्टरवर त्याच्या ऑपरेशनचे नियंत्रण सुनिश्चित करणे आवश्यक आहे.

आमची टीम Sber.DS प्लॅटफॉर्म विकसित करत आहे. हे तुम्हाला मशीन लर्निंग समस्या सोडवण्यास, गृहीतके तपासण्याच्या प्रक्रियेला गती देते, तत्त्वतः मॉडेल विकसित आणि प्रमाणित करण्याची प्रक्रिया सुलभ करते आणि PROM मधील मॉडेलचे परिणाम नियंत्रित करते.

तुमच्या अपेक्षांची फसवणूक होऊ नये म्हणून, मी आगाऊ सांगू इच्छितो की हे पोस्ट एक प्रास्ताविक आहे, आणि कट अंतर्गत, सुरुवातीला, Sber.DS प्लॅटफॉर्मच्या हूडखाली काय आहे याबद्दल सांगितले आहे. मॉडेलच्या निर्मितीपासून अंमलबजावणीपर्यंतच्या जीवनचक्राची कथा आम्ही स्वतंत्रपणे सांगू.

Sber.DS मध्ये अनेक घटक असतात, त्यातील प्रमुख घटक म्हणजे लायब्ररी, विकास प्रणाली आणि मॉडेल एक्झिक्युशन सिस्टीम.

लायब्ररी मॉडेलचे जीवन चक्र नियंत्रित करते ज्या क्षणापासून ते विकसित करण्याची कल्पना PROM मध्ये त्याची अंमलबजावणी, देखरेख आणि डिकमिशनिंगपर्यंत दिसते. लायब्ररीची अनेक वैशिष्ट्ये रेग्युलेटरच्या नियमांद्वारे निर्धारित केली जातात, उदाहरणार्थ, प्रशिक्षण आणि प्रमाणीकरण नमुन्यांचा अहवाल आणि संचयन. खरं तर, हे आमच्या सर्व मॉडेल्सचे एक रजिस्टर आहे.

विकास प्रणाली मॉडेल आणि प्रमाणीकरण पद्धतींच्या दृश्य विकासासाठी आहे. विकसित मॉडेल्सचे प्राथमिक प्रमाणीकरण केले जाते आणि त्यांची व्यावसायिक कार्ये पार पाडण्यासाठी अंमलबजावणी प्रणालीकडे दिली जाते. तसेच, एक्झिक्युशन सिस्टीममध्ये, त्याचे ऑपरेशन नियंत्रित करण्यासाठी वेळोवेळी प्रमाणीकरण पद्धती लॉन्च करण्यासाठी मॉडेल मॉनिटरवर ठेवले जाऊ शकते.

प्रणालीमध्ये अनेक प्रकारचे नोड्स आहेत. काही विविध डेटा स्त्रोतांशी कनेक्ट करण्यासाठी डिझाइन केलेले आहेत, इतर - स्त्रोत डेटाचे रूपांतर करण्यासाठी आणि ते समृद्ध करण्यासाठी (मार्कअप). त्यांच्या प्रमाणीकरणासाठी विविध मॉडेल्स आणि नोड्स तयार करण्यासाठी अनेक नोड्स आहेत. डेव्हलपर कोणत्याही स्त्रोतांकडून डेटा लोड करू शकतो, ट्रान्सफॉर्म करू शकतो, फिल्टर करू शकतो, इंटरमीडिएट डेटा व्हिज्युअलाइज करू शकतो, भागांमध्ये विभाजित करू शकतो.

प्लॅटफॉर्ममध्ये रेडीमेड मॉड्यूल्स देखील आहेत जे प्रोजेक्ट एरियावर ड्रॅग केले जाऊ शकतात. सर्व क्रिया व्हिज्युअलाइज्ड इंटरफेस वापरून केल्या जातात. खरं तर, तुम्ही कोडच्या एका ओळीशिवाय समस्या सोडवू शकता.

अंगभूत क्षमता पुरेशा नसल्यास, सिस्टम त्वरीत आपले स्वतःचे मॉड्यूल तयार करण्याची क्षमता प्रदान करते. यावर आधारित आम्ही एकात्मिक विकास मोड तयार केला आहे ज्युपिटर कर्नल गेटवे जे स्क्रॅचमधून नवीन मॉड्यूल तयार करतात त्यांच्यासाठी.

Sber.DS आर्किटेक्चर मायक्रो सर्व्हिसेसवर तयार केले आहे. मायक्रोसर्व्हिसेस म्हणजे काय याबद्दल अनेक मते आहेत. काही लोकांना वाटते की मोनोलिथिक कोडला भागांमध्ये विभाजित करणे पुरेसे आहे, परंतु तरीही ते त्याच डेटाबेसवर जातात. आमच्या मायक्रोसर्व्हिसने फक्त REST API द्वारे दुसर्‍या मायक्रोसर्व्हिसशी संवाद साधला पाहिजे. डेटाबेसमध्ये थेट प्रवेश करण्यासाठी कोणतेही उपाय नाहीत.

आम्ही सेवांना खूप मोठी आणि आळशी होण्यापासून रोखण्याचा प्रयत्न करतो: एका उदाहरणाने 4-8 गीगाबाइट्सपेक्षा जास्त RAM वापरता कामा नये आणि नवीन उदाहरणे लाँच करून क्षैतिजरित्या विनंत्या स्केल करण्यास सक्षम असावे. प्रत्येक सेवा इतरांशी फक्त REST API (ओपन एपीआय). सेवेसाठी जबाबदार असलेल्या टीमने API वापरणाऱ्या शेवटच्या क्लायंटपर्यंत सुसंगत ठेवणे आवश्यक आहे.

स्प्रिंग फ्रेमवर्क वापरून अनुप्रयोगाचा मुख्य भाग Java मध्ये लिहिला आहे. सोल्यूशन मूलतः क्लाउड इन्फ्रास्ट्रक्चरमध्ये जलद तैनातीसाठी डिझाइन केले गेले होते, म्हणून अनुप्रयोग कंटेनरायझेशन सिस्टम वापरून तयार केला गेला आहे रेड हॅट ओपनशिफ्ट (कुबेरनेट्स). प्लॅटफॉर्म सतत विकसित होत आहे, वाढत्या व्यवसाय कार्यक्षमतेच्या दृष्टीने (नवीन कनेक्टर, ऑटोएमएल जोडले गेले आहेत) आणि तांत्रिक कार्यक्षमतेच्या दृष्टीने.

आमच्या प्लॅटफॉर्मच्या "चिप" पैकी एक म्हणजे आम्ही कोणत्याही Sberbank मॉडेल एक्झिक्यूशन सिस्टमवर व्हिज्युअल इंटरफेसमध्ये विकसित केलेला कोड चालवू शकतो. आता त्यापैकी दोन आधीच आहेत: एक हडूपवर, दुसरा ओपनशिफ्ट (डॉकर) वर. आम्ही तिथे थांबत नाही आणि ऑन-प्रिमाइसेस आणि क्लाउडसह कोणत्याही पायाभूत सुविधांवर कोड चालविण्यासाठी एकत्रीकरण मॉड्यूल तयार करतो. Sberbank इकोसिस्टममध्ये प्रभावी एकात्मतेच्या शक्यतांच्या दृष्टीने, आम्ही विद्यमान रनटाइम वातावरणासह कार्यास समर्थन देण्याची देखील योजना करतो. भविष्यात, समाधान लवचिकपणे कोणत्याही संस्थेच्या कोणत्याही लँडस्केपमध्ये "बॉक्सच्या बाहेर" एकत्रित केले जाऊ शकते.

ज्यांनी कधीही PROM मध्ये Hadoop वर Python चालवणारा उपाय कायम ठेवण्याचा प्रयत्न केला आहे त्यांना माहित आहे की प्रत्येक डेटानोडसाठी सानुकूल पायथन वातावरण तयार करणे आणि वितरित करणे पुरेसे नाही. पायथन मॉड्यूल्स वापरणाऱ्या मशीन लर्निंगसाठी मोठ्या संख्येने C/C ++ लायब्ररी तुम्हाला शांत बसू देणार नाहीत. नवीन लायब्ररी किंवा सर्व्हर जोडताना, आधीच लागू केलेल्या मॉडेल कोडसह बॅकवर्ड सुसंगतता राखताना आम्ही पॅकेजेस अपडेट करण्यास विसरू नये.

हे कसे करायचे यासाठी अनेक पध्दती आहेत. उदाहरणार्थ, बर्‍याच वारंवार वापरल्या जाणार्‍या लायब्ररी आगाऊ तयार करा आणि PROM मध्ये त्यांची अंमलबजावणी करा. Cloudera चे Hadoop वितरण सहसा वापरते पार्सल. तसेच आता हडूपमध्येही धावण्याची संधी आहे डॉकर- कंटेनर. काही सोप्या प्रकरणांमध्ये पॅकेजसह कोड वितरीत करणे शक्य आहे python.eggs.

बँक तृतीय-पक्ष कोड चालवण्याच्या सुरक्षिततेला खूप गांभीर्याने घेते, म्हणून आम्ही लिनक्स कर्नलच्या नवीन वैशिष्ट्यांचा पुरेपूर फायदा घेतो, जिथे प्रक्रिया वेगळ्या वातावरणात चालते. लिनक्स नेमस्पेस, आपण प्रतिबंधित करू शकता, उदाहरणार्थ, नेटवर्क आणि स्थानिक डिस्कवर प्रवेश करणे, जे दुर्भावनायुक्त कोडची शक्यता मोठ्या प्रमाणात कमी करते. प्रत्येक विभागाचे डेटा क्षेत्र संरक्षित आहेत आणि केवळ त्या डेटाच्या मालकांसाठी उपलब्ध आहेत. प्लॅटफॉर्म हे सुनिश्चित करते की एका डोमेनमधील डेटा केवळ एका डेटा प्रकाशन प्रक्रियेद्वारे दुसर्‍या डोमेनमध्ये येऊ शकतो ज्यामध्ये स्त्रोतांमध्ये प्रवेश करण्यापासून ते लक्ष्य मार्टमध्ये डेटा उतरवण्यापर्यंतच्या सर्व टप्प्यांवर नियंत्रण असते.

या वर्षी आम्ही हडूप वर पायथन/आर/जावा मध्ये लिहिलेल्या रनिंग मॉडेल्सचे एमव्हीपी पूर्ण करण्याची योजना आखत आहोत. आमच्या प्लॅटफॉर्मच्या वापरकर्त्यांना कोणत्याही प्रकारे मर्यादित करू नये म्हणून आम्ही Hadoop वर कोणतेही वापरकर्ता वातावरण कसे चालवायचे हे शिकण्याचे महत्त्वाकांक्षी कार्य स्वतः सेट केले आहे.

याशिवाय, असे दिसून आले की, अनेक DS विशेषज्ञ गणित आणि सांख्यिकीमध्ये उत्कृष्ट आहेत, छान मॉडेल्स बनवतात, परंतु मोठ्या डेटा ट्रान्सफॉर्मेशनमध्ये ते फारसे पारंगत नाहीत आणि त्यांना प्रशिक्षण नमुने तयार करण्यासाठी आमच्या डेटा अभियंत्यांच्या मदतीची आवश्यकता आहे. आम्ही आमच्या सहकार्‍यांना मदत करण्याचे ठरवले आणि स्पार्क इंजिनवरील मॉडेल्ससाठी वैशिष्ट्यपूर्ण परिवर्तन आणि वैशिष्ट्ये तयार करण्यासाठी सोयीस्कर मॉड्यूल तयार केले. हे मॉडेल विकसित करण्यासाठी अधिक वेळ घालवण्यास आणि डेटा अभियंत्यांना नवीन डेटासेट तयार करण्यासाठी प्रतीक्षा न करण्याची अनुमती देईल.

आमच्याकडे वेगवेगळ्या क्षेत्रातील ज्ञान असलेले लोक आहेत: Linux आणि DevOps, Hadoop आणि Spark, Java आणि Spring, Scala आणि Akka, OpenShift आणि Kubernetes. पुढील वेळी आपण मॉडेलच्या लायब्ररीबद्दल बोलू, मॉडेल कंपनीच्या जीवन चक्रातून कसे जाते, प्रमाणीकरण आणि अंमलबजावणी कशी होते.

स्त्रोत: www.habr.com