तंत्रिका नेटवर्क पर आधारित उपस्थिति मूल्यांकन के लिए सेवा वास्तुकला का सामान्य अवलोकन

प्रवेश

हाय!

इस लेख में मैं तंत्रिका नेटवर्क का उपयोग करके एक परियोजना के लिए माइक्रोसर्विस आर्किटेक्चर बनाने का अपना अनुभव साझा करूंगा।

आइए वास्तुकला आवश्यकताओं के बारे में बात करें, विभिन्न संरचनात्मक आरेखों को देखें, तैयार वास्तुकला के प्रत्येक घटक का विश्लेषण करें, और समाधान के तकनीकी मैट्रिक्स का भी मूल्यांकन करें।

पढ़ने का आनंद लें!

समस्या और उसके समाधान के बारे में कुछ शब्द

मुख्य विचार एक तस्वीर के आधार पर दस-बिंदु पैमाने पर किसी व्यक्ति के आकर्षण का मूल्यांकन करना है।

इस लेख में हम उपयोग किए गए तंत्रिका नेटवर्क और डेटा तैयार करने और प्रशिक्षण की प्रक्रिया दोनों का वर्णन करने से आगे बढ़ेंगे। हालाँकि, निम्नलिखित प्रकाशनों में से एक में, हम निश्चित रूप से गहन स्तर पर मूल्यांकन पाइपलाइन का विश्लेषण करने के लिए लौटेंगे।

अब हम शीर्ष स्तर पर मूल्यांकन पाइपलाइन से गुजरेंगे, और समग्र परियोजना वास्तुकला के संदर्भ में माइक्रोसर्विसेज की बातचीत पर ध्यान केंद्रित करेंगे। 

आकर्षण मूल्यांकन पाइपलाइन पर काम करते समय, कार्य को निम्नलिखित घटकों में विघटित किया गया था:

1. फ़ोटो में चेहरों का चयन करना
2. प्रत्येक व्यक्ति की रेटिंग
3. परिणाम प्रस्तुत करें

पहले को पूर्व-प्रशिक्षित बलों द्वारा हल किया जाता है एमटीसीएनएन. दूसरे के लिए, एक दृढ़ तंत्रिका नेटवर्क को PyTorch का उपयोग करके प्रशिक्षित किया गया था रेसनेट34 - संतुलन से "सीपीयू पर अनुमान की गुणवत्ता/गति"

मूल्यांकन पाइपलाइन का कार्यात्मक आरेख

परियोजना वास्तुकला आवश्यकताओं का विश्लेषण

जीवन चक्र में ML मॉडल परिनियोजन की वास्तुकला और स्वचालन पर काम के परियोजना चरण अक्सर सबसे अधिक समय लेने वाले और संसाधन लेने वाले होते हैं।

एक एमएल परियोजना का जीवन चक्र

यह परियोजना कोई अपवाद नहीं है - मूल्यांकन पाइपलाइन को एक ऑनलाइन सेवा में लपेटने का निर्णय लिया गया था, जिसके लिए खुद को वास्तुकला में डुबो देना आवश्यक था। निम्नलिखित बुनियादी आवश्यकताओं की पहचान की गई:

1. एकीकृत लॉग भंडारण - सभी सेवाओं को एक ही स्थान पर लॉग लिखना चाहिए, उनका विश्लेषण करना सुविधाजनक होना चाहिए
2. मूल्यांकन सेवा की क्षैतिज स्केलिंग की संभावना - सबसे संभावित बाधा के रूप में
3. अनुमान के लिए समय के वितरण में आउटलेर्स से बचने के लिए प्रत्येक छवि का मूल्यांकन करने के लिए प्रोसेसर संसाधनों की समान मात्रा आवंटित की जानी चाहिए
4. विशिष्ट सेवाओं और समग्र रूप से स्टैक दोनों की तेज़ (पुनः) तैनाती
5. यदि आवश्यक हो तो विभिन्न सेवाओं में सामान्य वस्तुओं का उपयोग करने की क्षमता

आर्किटेक्चर

आवश्यकताओं का विश्लेषण करने के बाद, यह स्पष्ट हो गया कि माइक्रोसर्विस आर्किटेक्चर लगभग पूरी तरह से फिट बैठता है।

अनावश्यक सिरदर्द से छुटकारा पाने के लिए, टेलीग्राम एपीआई को फ्रंटएंड के रूप में चुना गया था।

सबसे पहले, आइए तैयार वास्तुकला के संरचनात्मक आरेख को देखें, फिर प्रत्येक घटक के विवरण पर आगे बढ़ें, और सफल छवि प्रसंस्करण की प्रक्रिया को भी औपचारिक रूप दें।

तैयार वास्तुकला का संरचनात्मक आरेख

आइए आरेख के प्रत्येक घटक के बारे में अधिक विस्तार से बात करें, छवि मूल्यांकन की प्रक्रिया में उन्हें एकल जिम्मेदारी दर्शाते हुए।

माइक्रोसर्विस "एट्रे-टेलीग्राम-बॉट"

यह माइक्रोसर्विस टेलीग्राम एपीआई के साथ सभी इंटरैक्शन को समाहित करता है। 2 मुख्य परिदृश्य हैं: एक कस्टम छवि के साथ काम करना और एक मूल्यांकन पाइपलाइन के परिणाम के साथ काम करना। आइए दोनों परिदृश्यों को सामान्य रूप से देखें।

किसी छवि के साथ कस्टम संदेश प्राप्त करते समय:

1. निस्पंदन निम्नलिखित जाँचों से मिलकर किया जाता है:
   • इष्टतम छवि आकार की उपलब्धता
   • कतार में पहले से मौजूद उपयोगकर्ता छवियों की संख्या
2. प्रारंभिक फ़िल्टरिंग पास करते समय, छवि डॉकर वॉल्यूम में सहेजी जाती है
3. एक कार्य "to_estimate" कतार में उत्पन्न होता है, जिसमें अन्य बातों के अलावा, हमारे वॉल्यूम में स्थित छवि का पथ शामिल होता है
4. यदि उपरोक्त चरण सफलतापूर्वक पूरे हो जाते हैं, तो उपयोगकर्ता को अनुमानित छवि प्रसंस्करण समय के साथ एक संदेश प्राप्त होगा, जिसकी गणना कतार में कार्यों की संख्या के आधार पर की जाती है। यदि कोई त्रुटि होती है, तो उपयोगकर्ता को एक संदेश भेजकर स्पष्ट रूप से सूचित किया जाएगा कि क्या गलत हो सकता है।

इसके अलावा, यह माइक्रोसर्विस, एक अजवाइन कार्यकर्ता की तरह, "आफ्टर_एस्टिमेट" कतार को सुनता है, जो मूल्यांकन पाइपलाइन से गुजरने वाले कार्यों के लिए है।

"after_estimate" से नया कार्य प्राप्त करते समय:

1. यदि छवि सफलतापूर्वक संसाधित हो जाती है, तो हम उपयोगकर्ता को परिणाम भेजते हैं; यदि नहीं, तो हम एक त्रुटि के बारे में सूचित करते हैं।
2. उस छवि को हटाना जो मूल्यांकन पाइपलाइन का परिणाम है

मूल्यांकन माइक्रोसर्विस "एट्राई-आकलनकर्ता"

यह माइक्रोसर्विस एक सेलेरी वर्कर है और छवि मूल्यांकन पाइपलाइन से संबंधित हर चीज को समाहित करता है। यहां केवल एक ही कार्यशील एल्गोरिदम है - आइए इसका विश्लेषण करें।

"to_estimate" से कोई नया कार्य प्राप्त करते समय:

1. आइए छवि को मूल्यांकन पाइपलाइन के माध्यम से चलाएं:
   1. छवि को मेमोरी में लोड किया जा रहा है
   2. हम छवि को आवश्यक आकार में लाते हैं
   3. सभी चेहरे ढूँढना (MTCNN)
   4. हम सभी चेहरों का मूल्यांकन करते हैं (हम अंतिम चरण में पाए गए चेहरों को एक बैच में लपेटते हैं और ResNet34 का अनुमान लगाते हैं)
   5. अंतिम छवि प्रस्तुत करें
      1. आइए बाउंडिंग बॉक्स बनाएं
      2. रेटिंग निकालना
2. एक कस्टम (मूल) छवि हटाना
3. मूल्यांकन पाइपलाइन से आउटपुट सहेजा जा रहा है
4. हमने कार्य को "after_estimate" कतार में रखा है, जिसे ऊपर चर्चा की गई "attrai-telegram-bot" माइक्रोसर्विस द्वारा सुना जाता है।

ग्रेलॉग (+ mongoDB + Elasticsearch)

धूसर केंद्रीकृत लॉग प्रबंधन के लिए एक समाधान है। इस परियोजना में, इसका उपयोग अपने इच्छित उद्देश्य के लिए किया गया था।

चुनाव उस पर पड़ा, सामान्य पर नहीं ELK स्टैक, पायथन से इसके साथ काम करने की सुविधा के कारण। ग्रेलॉग में लॉग इन करने के लिए आपको बस पैकेज से GELFTCPHandler जोड़ना है धूसर हमारे पायथन माइक्रोसर्विस के बाकी रूट लॉगर हैंडलर के लिए।

एक ऐसे व्यक्ति के रूप में जिसने पहले केवल ईएलके स्टैक के साथ काम किया था, ग्रेलॉग के साथ काम करने के दौरान मुझे समग्र रूप से सकारात्मक अनुभव हुआ। एकमात्र चीज जो निराशाजनक है वह ग्रेलॉग वेब इंटरफ़ेस पर किबाना सुविधाओं की श्रेष्ठता है।

RabbitMQ

RabbitMQ AMQP प्रोटोकॉल पर आधारित एक संदेश ब्रोकर है।

इस प्रोजेक्ट में इसका उपयोग इस प्रकार किया गया सबसे स्थिर और समय-परीक्षणित अजवाइन के लिए दलाल और टिकाऊ मोड में काम किया।

Redis

Redis एक NoSQL DBMS है जो कुंजी-मूल्य डेटा संरचनाओं के साथ काम करता है

कभी-कभी सामान्य वस्तुओं का उपयोग करने की आवश्यकता होती है जो विभिन्न पायथन माइक्रोसर्विसेज में कुछ डेटा संरचनाओं को लागू करते हैं।

उदाहरण के लिए, रेडिस "telegram_user_id => कतार में सक्रिय कार्यों की संख्या" फॉर्म का एक हैशमैप संग्रहीत करता है, जो आपको एक उपयोगकर्ता से अनुरोधों की संख्या को एक निश्चित मूल्य तक सीमित करने की अनुमति देता है और इस प्रकार, DoS हमलों को रोकता है।

आइए सफल छवि प्रसंस्करण की प्रक्रिया को औपचारिक बनाएं

1. उपयोगकर्ता टेलीग्राम बॉट को एक छवि भेजता है
2. "एट्राई-टेलीग्राम-बॉट" टेलीग्राम एपीआई से एक संदेश प्राप्त करता है और उसे पार्स करता है
3. छवि के साथ कार्य को अतुल्यकालिक कतार "to_estimate" में जोड़ा गया है
4. उपयोगकर्ता को नियोजित मूल्यांकन समय के साथ एक संदेश प्राप्त होता है
5. "attrai-estimate" "to_estimate" कतार से एक कार्य लेता है, पाइपलाइन के माध्यम से अनुमान चलाता है और कार्य को "after_estimate" कतार में उत्पन्न करता है
6. "attrai-telegram-bot" "after_estimate" कतार को सुनता है, उपयोगकर्ता को परिणाम भेजता है

DevOps

अंत में, आर्किटेक्चर की समीक्षा करने के बाद, आप समान रूप से दिलचस्प भाग - DevOps पर आगे बढ़ सकते हैं

डोकर झुंड

 

डोकर झुंड  - एक क्लस्टरिंग सिस्टम, जिसकी कार्यक्षमता डॉकर इंजन के अंदर कार्यान्वित की जाती है और बॉक्स के बाहर उपलब्ध होती है।

"झुंड" का उपयोग करके, हमारे क्लस्टर के सभी नोड्स को 2 प्रकारों में विभाजित किया जा सकता है - कार्यकर्ता और प्रबंधक। पहले प्रकार की मशीनों पर, कंटेनरों के समूह (स्टैक) तैनात किए जाते हैं, दूसरे प्रकार की मशीनें स्केलिंग, संतुलन और के लिए जिम्मेदार होती हैं अन्य बेहतरीन सुविधाएँ. प्रबंधक भी डिफ़ॉल्ट रूप से श्रमिक होते हैं।

एक लीडर मैनेजर और तीन कर्मचारियों वाला क्लस्टर

न्यूनतम संभावित क्लस्टर आकार 1 नोड है; एक मशीन एक साथ लीडर मैनेजर और कार्यकर्ता के रूप में कार्य करेगी। परियोजना के आकार और दोष सहनशीलता के लिए न्यूनतम आवश्यकताओं के आधार पर, इस दृष्टिकोण का उपयोग करने का निर्णय लिया गया।

आगे देखते हुए, मैं कहूंगा कि पहली उत्पादन डिलीवरी के बाद से, जो जून के मध्य में थी, इस क्लस्टर संगठन से जुड़ी कोई समस्या नहीं हुई है (लेकिन इसका मतलब यह नहीं है कि ऐसा संगठन किसी भी तरह से किसी भी मध्यम-बड़े में स्वीकार्य है) परियोजनाएं, जो दोष सहनशीलता आवश्यकताओं के अधीन हैं)।

डॉकर स्टैक

झुंड मोड में, वह स्टैक (डॉकर सेवाओं के सेट) को तैनात करने के लिए जिम्मेदार है डोकर स्टैक

यह डॉकर-कंपोज़ कॉन्फ़िगरेशन का समर्थन करता है, जिससे आप अतिरिक्त रूप से परिनियोजन विकल्पों का उपयोग कर सकते हैं।  

उदाहरण के लिए, इन मापदंडों का उपयोग करते हुए, प्रत्येक मूल्यांकन माइक्रोसर्विस इंस्टेंस के लिए संसाधन सीमित थे (हम एन इंस्टेंस के लिए एन कोर आवंटित करते हैं, माइक्रोसर्विस में ही हम PyTorch द्वारा उपयोग किए जाने वाले कोर की संख्या को एक तक सीमित करते हैं)

attrai_estimator:
  image: 'erqups/attrai_estimator:1.2'
  deploy:
    replicas: 4
    resources:
      limits:
        cpus: '4'
    restart_policy:
      condition: on-failure
      …

यह ध्यान रखना महत्वपूर्ण है कि रेडिस, रैबिटएमक्यू और ग्रेलॉग स्टेटफुल सेवाएं हैं और इन्हें "अट्रे-एस्टीमेटर" जितनी आसानी से स्केल नहीं किया जा सकता है।

प्रश्न का पूर्वाभास - कुबेरनेट्स क्यों नहीं?

ऐसा लगता है कि छोटे और मध्यम आकार की परियोजनाओं में कुबेरनेट्स का उपयोग करना एक ओवरहेड है; सभी आवश्यक कार्यक्षमता डॉकर झुंड से प्राप्त की जा सकती है, जो एक कंटेनर ऑर्केस्ट्रेटर के लिए काफी उपयोगकर्ता-अनुकूल है और इसमें प्रवेश के लिए कम बाधा भी है।

इंफ्रास्ट्रक्चर

यह सब निम्नलिखित विशेषताओं के साथ वीडीएस पर तैनात किया गया था:

• सीपीयू: 4 कोर Intel® Xeon® गोल्ड 5120 CPU @ 2.20GHz
• राम: 8 जीबी
• एसएसडी: 160 जीबी

स्थानीय लोड परीक्षण के बाद, ऐसा लगा कि उपयोगकर्ताओं की भारी आमद के साथ, यह मशीन पर्याप्त होगी।

लेकिन, तैनाती के तुरंत बाद, मैंने सीआईएस में सबसे लोकप्रिय इमेजबोर्ड में से एक का लिंक पोस्ट किया (हाँ, वही), जिसके बाद लोगों की दिलचस्पी बढ़ी और कुछ ही घंटों में सेवा ने सफलतापूर्वक हजारों छवियों को संसाधित किया। वहीं, चरम क्षणों में सीपीयू और रैम संसाधनों का आधा भी उपयोग नहीं किया गया।

कुछ और ग्राफ़िक्स

दिन के आधार पर, तैनाती के बाद से अद्वितीय उपयोगकर्ताओं और मूल्यांकन अनुरोधों की संख्या

मूल्यांकन पाइपलाइन अनुमान समय वितरण

निष्कर्ष

संक्षेप में, मैं कह सकता हूं कि कंटेनरों के ऑर्केस्ट्रेशन के लिए वास्तुकला और दृष्टिकोण ने खुद को पूरी तरह से उचित ठहराया - यहां तक ​​कि चरम क्षणों में भी प्रसंस्करण समय में कोई गिरावट या शिथिलता नहीं थी। 

मुझे लगता है कि छोटी और मध्यम आकार की परियोजनाएं जो अपनी प्रक्रिया में सीपीयू पर तंत्रिका नेटवर्क के वास्तविक समय के अनुमान का उपयोग करती हैं, इस आलेख में वर्णित प्रथाओं को सफलतापूर्वक अपना सकती हैं।

मैं यह जोड़ना चाहूंगा कि शुरू में लेख लंबा था, लेकिन लंबे समय तक पोस्ट न करने के लिए, मैंने इस लेख में कुछ बिंदुओं को छोड़ने का फैसला किया - हम भविष्य के प्रकाशनों में उन पर वापस लौटेंगे।

आप टेलीग्राम पर बॉट को पोक कर सकते हैं - @AttraiBot, यह कम से कम शरद ऋतु 2020 के अंत तक काम करेगा। मैं आपको याद दिला दूं कि कोई भी उपयोगकर्ता डेटा संग्रहीत नहीं किया जाता है - न तो मूल छवियां, न ही मूल्यांकन पाइपलाइन के परिणाम - प्रसंस्करण के बाद सब कुछ नष्ट कर दिया जाता है।

स्रोत: www.habr.com