न्यूरल नेटवर्क्सवर आधारित देखावा मूल्यांकनासाठी सेवा आर्किटेक्चरचे सामान्य विहंगावलोकन

नोंद

हाय

या लेखात मी न्यूरल नेटवर्क वापरून प्रोजेक्टसाठी मायक्रोसर्व्हिस आर्किटेक्चर तयार करण्याचा माझा अनुभव शेअर करेन.

चला आर्किटेक्चरच्या आवश्यकतांबद्दल बोलूया, विविध स्ट्रक्चरल आकृत्या पाहू, तयार केलेल्या आर्किटेक्चरच्या प्रत्येक घटकाचे विश्लेषण करू आणि सोल्यूशनच्या तांत्रिक मेट्रिक्सचे देखील मूल्यांकन करू.

वाचन आनंद घ्या!

समस्या आणि त्याचे निराकरण याबद्दल काही शब्द

फोटोवर आधारित दहा-पॉइंट स्केलवर एखाद्या व्यक्तीच्या आकर्षकतेचे मूल्यांकन करणे ही मुख्य कल्पना आहे.

या लेखात आम्ही वापरलेले न्यूरल नेटवर्क आणि डेटा तयार करण्याची प्रक्रिया आणि प्रशिक्षण या दोन्हीचे वर्णन करण्यापासून दूर जाऊ. तथापि, खालीलपैकी एका प्रकाशनात, आम्ही निश्चितपणे सखोल स्तरावर मूल्यांकन पाइपलाइनचे विश्लेषण करण्यासाठी परत येऊ.

आता आम्ही वरच्या स्तरावरील मूल्यमापन पाइपलाइनमधून जाऊ, आणि एकूण प्रकल्प आर्किटेक्चरच्या संदर्भात मायक्रो सर्व्हिसेसच्या परस्परसंवादावर लक्ष केंद्रित करू. 

आकर्षकता मूल्यांकन पाइपलाइनवर काम करताना, कार्य खालील घटकांमध्ये विघटित केले गेले:

1. फोटोंमधील चेहरे निवडत आहे
2. प्रत्येक व्यक्तीचे रेटिंग
3. परिणाम प्रस्तुत करा

प्रथम पूर्व-प्रशिक्षित सैन्याने निराकरण केले आहे MTCNN. दुसऱ्यासाठी, PyTorch वर एक convolutional neural नेटवर्क वापरून प्रशिक्षित केले गेले ResNet34 - शिल्लक "CPU वरील अनुमानाची गुणवत्ता / गती" पासून

मूल्यमापन पाइपलाइनचे कार्यात्मक आकृती

प्रकल्प आर्किटेक्चर आवश्यकतांचे विश्लेषण

जीवनचक्रात ML आर्किटेक्चर आणि मॉडेल डिप्लॉयमेंटच्या ऑटोमेशनवरील कामाचे प्रकल्प टप्पे बहुतेक वेळा सर्वात जास्त वेळ घेणारे आणि संसाधने घेणारे असतात.

एमएल प्रकल्पाचे जीवन चक्र

हा प्रकल्प अपवाद नाही - मूल्यांकन पाइपलाइन ऑनलाइन सेवेमध्ये गुंडाळण्याचा निर्णय घेण्यात आला, ज्यासाठी स्वतःला आर्किटेक्चरमध्ये विसर्जित करणे आवश्यक आहे. खालील मूलभूत आवश्यकता ओळखल्या गेल्या:

1. युनिफाइड लॉग स्टोरेज - सर्व सेवांनी एकाच ठिकाणी लॉग लिहावे, त्यांचे विश्लेषण करणे सोयीचे असावे
2. मूल्यांकन सेवेच्या क्षैतिज स्केलिंगची शक्यता - बहुधा अडथळा म्हणून
3. प्रत्येक प्रतिमेचे मूल्यमापन करण्यासाठी समान प्रमाणात प्रोसेसर संसाधने वाटप केली जावीत जेणेकरून अनुमान काढण्यासाठी वेळेच्या वितरणात आउटलायर्स टाळण्यासाठी
4. विशिष्ट सेवा आणि एकूणच स्टॅक या दोन्हींचा जलद (पुन्हा) उपयोजन
5. आवश्यक असल्यास, भिन्न सेवांमध्ये सामान्य वस्तू वापरण्याची क्षमता

आर्किटेक्चर

आवश्यकतांचे विश्लेषण केल्यानंतर, हे स्पष्ट झाले की मायक्रोसर्व्हिस आर्किटेक्चर जवळजवळ पूर्णपणे फिट आहे.

अनावश्यक डोकेदुखीपासून मुक्त होण्यासाठी, टेलिग्राम API ची फ्रंटएंड म्हणून निवड केली गेली.

प्रथम, तयार केलेल्या आर्किटेक्चरचे स्ट्रक्चरल आकृती पाहू, नंतर प्रत्येक घटकाच्या वर्णनाकडे जाऊ आणि यशस्वी प्रतिमा प्रक्रियेची प्रक्रिया देखील औपचारिक करू.

तयार आर्किटेक्चरचे स्ट्रक्चरल आकृती

आकृतीच्या प्रत्येक घटकाबद्दल अधिक तपशीलवार चर्चा करूया, त्यांना प्रतिमा मूल्यांकनाच्या प्रक्रियेत एकल जबाबदारी दर्शवितात.

मायक्रोसर्व्हिस “attrai-telegram-bot”

ही मायक्रोसर्व्हिस टेलीग्राम API सह सर्व परस्परसंवाद एन्कॅप्स्युलेट करते. 2 मुख्य परिस्थिती आहेत: सानुकूल प्रतिमेसह कार्य करणे आणि मूल्यांकन पाइपलाइनच्या परिणामासह कार्य करणे. सामान्य शब्दात दोन्ही परिस्थिती पाहू.

प्रतिमेसह सानुकूल संदेश प्राप्त करताना:

1. खालील तपासण्यांचा समावेश असलेले फिल्टरेशन केले जाते:
   • इष्टतम प्रतिमा आकाराची उपलब्धता
   • आधीच रांगेत असलेल्या वापरकर्त्यांच्या प्रतिमांची संख्या
2. प्रारंभिक फिल्टरिंग पास करताना, प्रतिमा डॉकर व्हॉल्यूममध्ये जतन केली जाते
3. "to_estimate" रांगेत एक कार्य तयार केले जाते, ज्यामध्ये इतर गोष्टींबरोबरच, आमच्या व्हॉल्यूममध्ये असलेल्या प्रतिमेचा मार्ग समाविष्ट असतो.
4. वरील चरण यशस्वीरित्या पूर्ण झाल्यास, वापरकर्त्यास अंदाजे प्रतिमा प्रक्रिया वेळेसह एक संदेश प्राप्त होईल, ज्याची गणना रांगेतील कार्यांच्या संख्येवर आधारित आहे. एखादी त्रुटी आढळल्यास, काय चूक झाली असेल याबद्दल माहितीसह संदेश पाठवून वापरकर्त्याला स्पष्टपणे सूचित केले जाईल.

तसेच, ही मायक्रोसर्व्हिस, सेलेरी वर्करप्रमाणे, “after_estimate” रांग ऐकते, जी मूल्यांकन पाइपलाइनमधून पार पडलेल्या कामांसाठी असते.

“after_estimate” कडून नवीन कार्य प्राप्त करताना:

1. जर प्रतिमेवर यशस्वीरित्या प्रक्रिया केली गेली, तर आम्ही परिणाम वापरकर्त्यास पाठवतो; नसल्यास, आम्ही त्रुटीबद्दल सूचित करतो.
2. मूल्यमापन पाइपलाइनचा परिणाम असलेली प्रतिमा काढून टाकत आहे

मूल्यांकन मायक्रोसर्व्हिस "एट्राय-एस्टिमेटर"

ही मायक्रोसर्व्हिस सेलेरी वर्कर आहे आणि प्रतिमा मूल्यमापन पाइपलाइनशी संबंधित सर्व गोष्टी अंतर्भूत करते. येथे फक्त एक कार्यरत अल्गोरिदम आहे - त्याचे विश्लेषण करूया.

“to_estimate” कडून नवीन कार्य प्राप्त करताना:

1. चला मूल्यमापन पाइपलाइनद्वारे प्रतिमा चालवू:
   1. मेमरीमध्ये प्रतिमा लोड करत आहे
   2. आम्ही प्रतिमा आवश्यक आकारात आणतो
   3. सर्व चेहरे शोधत आहे (MTCNN)
   4. आम्ही सर्व चेहऱ्यांचे मूल्यमापन करतो (आम्ही शेवटच्या टप्प्यात सापडलेले चेहरे एका बॅचमध्ये गुंडाळतो आणि ResNet34 चे अनुमान काढतो)
   5. अंतिम प्रतिमा प्रस्तुत करा
      1. चला बाउंडिंग बॉक्स काढू
      2. रेटिंग काढत आहे
2. सानुकूल (मूळ) प्रतिमा हटवित आहे
3. मूल्यमापन पाइपलाइनमधून आउटपुट जतन करणे
4. आम्ही टास्क “after_estimate” रांगेत ठेवतो, जे वर चर्चा केलेल्या “attrai-telegram-bot” मायक्रोसर्व्हिसद्वारे ऐकले जाते.

ग्रेलॉग (+ mongoDB + Elasticsearch)

ग्रेलॉग केंद्रीकृत लॉग व्यवस्थापनासाठी एक उपाय आहे. या प्रकल्पात, ते त्याच्या हेतूसाठी वापरले गेले.

निवड त्याच्यावर पडली, आणि नेहमीच्यावर नाही अल्क स्टॅक, पायथन सोबत काम करण्याच्या सोयीमुळे. ग्रेलॉगवर लॉग इन करण्यासाठी तुम्हाला फक्त पॅकेजमधून GELFTCPHandler जोडणे आवश्यक आहे राखाडी आमच्या पायथन मायक्रोसर्व्हिसच्या उर्वरित रूट लॉगर हँडलर्सना.

ज्याने पूर्वी फक्त ELK स्टॅकवर काम केले होते, ग्रेलॉगसोबत काम करताना मला एकंदरीत सकारात्मक अनुभव आला. ग्रेलॉग वेब इंटरफेसवरील किबाना वैशिष्ट्यांमधील श्रेष्ठता हीच निराशाजनक आहे.

ससा MQ

ससा MQ AMQP प्रोटोकॉलवर आधारित संदेश दलाल आहे.

या प्रकल्पात ते म्हणून वापरले गेले सर्वात स्थिर आणि वेळ-चाचणी सेलेरीसाठी ब्रोकर आणि टिकाऊ मोडमध्ये काम केले.

Redis

Redis एक NoSQL DBMS आहे जो की-व्हॅल्यू डेटा स्ट्रक्चर्ससह कार्य करतो

कधीकधी वेगवेगळ्या Python मायक्रोसर्व्हिसेसमध्ये विशिष्ट डेटा स्ट्रक्चर्स लागू करणाऱ्या सामान्य वस्तू वापरण्याची आवश्यकता असते.

उदाहरणार्थ, Redis “telegram_user_id => रांगेतील सक्रिय कार्यांची संख्या” या फॉर्मचा हॅशमॅप संग्रहित करते, जे तुम्हाला एका वापरकर्त्याकडून विनंत्यांची संख्या एका विशिष्ट मूल्यापर्यंत मर्यादित करू देते आणि त्याद्वारे, DoS हल्ल्यांना प्रतिबंधित करते.

यशस्वी इमेज प्रोसेसिंगची प्रक्रिया औपचारिक करूया

1. वापरकर्ता टेलीग्राम बॉटला एक प्रतिमा पाठवतो
2. "attrai-telegram-bot" ला टेलीग्राम API कडून संदेश प्राप्त होतो आणि त्याचे विश्लेषण केले जाते
3. प्रतिमेसह कार्य असिंक्रोनस रांगेत जोडले आहे “to_estimate”
4. वापरकर्त्याला नियोजित मूल्यांकन वेळेसह एक संदेश प्राप्त होतो
5. “attrai-estimator” “to_estimate” रांगेतून एखादे कार्य घेते, पाइपलाइनद्वारे अंदाज चालवते आणि “after_estimate” रांगेत कार्य तयार करते
6. "attrai-telegram-bot" "after_estimate" रांग ऐकून, वापरकर्त्याला निकाल पाठवते

DevOps

शेवटी, आर्किटेक्चरचे पुनरावलोकन केल्यानंतर, तुम्ही तितक्याच मनोरंजक भागाकडे जाऊ शकता - DevOps

डॉकर झुंड

 

डॉकर झुंड  — एक क्लस्टरिंग सिस्टम, ज्याची कार्यक्षमता डॉकर इंजिनमध्ये लागू केली जाते आणि बॉक्सच्या बाहेर उपलब्ध आहे.

"स्वार्म" वापरून, आमच्या क्लस्टरमधील सर्व नोड्स 2 प्रकारांमध्ये विभागले जाऊ शकतात - कार्यकर्ता आणि व्यवस्थापक. पहिल्या प्रकारच्या मशीनवर, कंटेनरचे गट (स्टॅक) तैनात केले जातात, दुसऱ्या प्रकारच्या मशीन्स स्केलिंग, संतुलन आणि इतर छान वैशिष्ट्ये. व्यवस्थापक देखील डीफॉल्टनुसार कामगार असतात.

एक नेता व्यवस्थापक आणि तीन कामगारांसह क्लस्टर

किमान संभाव्य क्लस्टर आकार 1 नोड आहे; एक मशीन एकाच वेळी लीडर मॅनेजर आणि एक कामगार म्हणून काम करेल. प्रकल्पाचा आकार आणि दोष सहिष्णुतेच्या किमान आवश्यकतांवर आधारित, हा दृष्टिकोन वापरण्याचा निर्णय घेण्यात आला.

पुढे पाहताना, मी असे म्हणेन की पहिल्या उत्पादन वितरणापासून, जे जूनच्या मध्यभागी होते, या क्लस्टर संस्थेशी संबंधित कोणत्याही समस्या नाहीत (परंतु याचा अर्थ असा नाही की अशी संस्था कोणत्याही प्रकारे कोणत्याही माध्यमात स्वीकार्य आहे. प्रकल्प, जे दोष सहिष्णुता आवश्यकतांच्या अधीन आहेत).

डॉकर स्टॅक

स्वॉर्म मोडमध्ये, तो स्टॅक (डॉकर सेवांचे संच) तैनात करण्यासाठी जबाबदार आहे डॉकर स्टॅक

हे डॉकर-कंपोज कॉन्फिगचे समर्थन करते, तुम्हाला अतिरिक्त उपयोजित पर्याय वापरण्याची परवानगी देते.  

उदाहरणार्थ, या पॅरामीटर्सचा वापर करून, प्रत्येक मूल्यमापन मायक्रोसर्व्हिस उदाहरणांसाठी संसाधने मर्यादित होती (आम्ही N उदाहरणांसाठी N कोर वाटप करतो, मायक्रोसर्व्हिसमध्येच आम्ही PyTorch द्वारे वापरलेल्या कोरची संख्या मर्यादित करतो)

attrai_estimator:
  image: 'erqups/attrai_estimator:1.2'
  deploy:
    replicas: 4
    resources:
      limits:
        cpus: '4'
    restart_policy:
      condition: on-failure
      …

हे लक्षात घेणे महत्त्वाचे आहे की रेडिस, रॅबिटएमक्यू आणि ग्रेलॉग या स्टेटफुल सेवा आहेत आणि त्यांना "एट्राई-एस्टिमेटर" इतके सहजतेने मोजले जाऊ शकत नाही.

प्रश्नाचे पूर्वचित्रण - कुबर्नेट्स का नाही?

असे दिसते की लहान आणि मध्यम आकाराच्या प्रकल्पांमध्ये कुबर्नेट्स वापरणे हे एक ओव्हरहेड आहे; सर्व आवश्यक कार्यक्षमता डॉकर स्वॉर्ममधून मिळवता येते, जे कंटेनर ऑर्केस्ट्रेटरसाठी वापरकर्ता अनुकूल आहे आणि प्रवेशासाठी कमी अडथळा देखील आहे.

पायाभूत सुविधा

हे सर्व VDS वर खालील वैशिष्ट्यांसह तैनात केले गेले होते:

• CPU: 4 core Intel® Xeon® Gold 5120 CPU @ 2.20GHz
• रॅम: 8 GB
• SSD: 160GB

स्थानिक लोड चाचणीनंतर, असे दिसते की वापरकर्त्यांच्या गंभीर ओघाने, हे मशीन पुरेसे असेल.

परंतु, तैनातीनंतर लगेच, मी CIS मधील सर्वात लोकप्रिय इमेजबोर्डपैकी एक (होय, तोच एक) लिंक पोस्ट केला, ज्यानंतर लोकांना स्वारस्य निर्माण झाले आणि काही तासांत सेवेने हजारो प्रतिमांवर यशस्वीरित्या प्रक्रिया केली. त्याच वेळी, पीक क्षणांमध्ये, सीपीयू आणि रॅम संसाधने अर्धे देखील वापरली गेली नाहीत.

आणखी काही ग्राफिक्स

दिवसावर अवलंबून, तैनात केल्यापासून अनन्य वापरकर्त्यांची संख्या आणि मूल्यांकन विनंत्या

मूल्यमापन पाइपलाइन अनुमान वेळ वितरण

निष्कर्ष

थोडक्यात, मी असे म्हणू शकतो की कंटेनरच्या आर्केस्ट्रेशनची वास्तुकला आणि दृष्टीकोन स्वतःला पूर्णपणे न्याय्य आहे - अगदी शिखराच्या क्षणी देखील प्रक्रियेच्या वेळेत कोणतेही थेंब किंवा सॅगिंग नव्हते. 

मला असे वाटते की लहान आणि मध्यम आकाराचे प्रकल्प जे त्यांच्या प्रक्रियेत CPU वर न्यूरल नेटवर्क्सचा वास्तविक-वेळ अनुमान वापरतात ते या लेखात वर्णन केलेल्या पद्धतींचा यशस्वीपणे अवलंब करू शकतात.

मी जोडेन की सुरुवातीला लेख मोठा होता, परंतु दीर्घ वाचन पोस्ट न करण्यासाठी, मी या लेखातील काही मुद्दे वगळण्याचे ठरवले - आम्ही भविष्यातील प्रकाशनांमध्ये त्यांच्याकडे परत येऊ.

तुम्ही टेलिग्रामवर बॉट पोक करू शकता - @AttraiBot, ते किमान 2020 च्या शरद ऋतूच्या शेवटपर्यंत कार्य करेल. मी तुम्हाला आठवण करून देतो की कोणताही वापरकर्ता डेटा संग्रहित केला जात नाही - मूळ प्रतिमा किंवा मूल्यमापन पाइपलाइनचे परिणाम - प्रक्रिया केल्यानंतर सर्व काही नष्ट केले जाते.

स्त्रोत: www.habr.com