নিউরাল নেটওয়ার্কের উপর ভিত্তি করে চেহারা মূল্যায়নের জন্য পরিষেবা আর্কিটেকচারের সাধারণ ওভারভিউ

প্রবেশ

গ্রিটিংস!

এই নিবন্ধে আমি নিউরাল নেটওয়ার্ক ব্যবহার করে একটি প্রকল্পের জন্য একটি মাইক্রোসার্ভিস আর্কিটেকচার তৈরির আমার অভিজ্ঞতা শেয়ার করব।

আসুন আর্কিটেকচারের প্রয়োজনীয়তা সম্পর্কে কথা বলি, বিভিন্ন স্ট্রাকচারাল ডায়াগ্রাম দেখুন, সমাপ্ত আর্কিটেকচারের প্রতিটি উপাদান বিশ্লেষণ করুন এবং সমাধানের প্রযুক্তিগত মেট্রিক্সের মূল্যায়ন করুন।

পড়ার উপভোগ করুন!

সমস্যা এবং তার সমাধান সম্পর্কে কয়েকটি শব্দ

মূল ধারণাটি হল একটি ছবির উপর ভিত্তি করে দশ-পয়েন্ট স্কেলে একজন ব্যক্তির আকর্ষণীয়তা মূল্যায়ন করা।

এই নিবন্ধে আমরা ব্যবহৃত নিউরাল নেটওয়ার্ক এবং ডেটা প্রস্তুতি ও প্রশিক্ষণের প্রক্রিয়া উভয়ের বর্ণনা থেকে দূরে সরে যাব। যাইহোক, নিম্নলিখিত প্রকাশনাগুলির মধ্যে একটিতে, আমরা অবশ্যই একটি গভীর স্তরে মূল্যায়ন পাইপলাইন বিশ্লেষণে ফিরে আসব।

এখন আমরা শীর্ষ স্তরে মূল্যায়ন পাইপলাইনের মধ্য দিয়ে যাব, এবং সামগ্রিক প্রকল্প স্থাপত্যের প্রেক্ষাপটে মাইক্রোসার্ভিসেসের মিথস্ক্রিয়াতে ফোকাস করব। 

আকর্ষণীয়তা মূল্যায়ন পাইপলাইনে কাজ করার সময়, কাজটি নিম্নলিখিত উপাদানগুলিতে বিভক্ত হয়েছিল:

1. ফটোতে মুখ নির্বাচন করা হচ্ছে
2. প্রতিটি ব্যক্তির রেটিং
3. ফলাফল রেন্ডার করুন

প্রথমটি প্রাক-প্রশিক্ষিত বাহিনীর দ্বারা সমাধান করা হয় এমটিসিএনএন. দ্বিতীয় জন্য, একটি কনভোল্যুশনাল নিউরাল নেটওয়ার্ক ব্যবহার করে PyTorch-এ প্রশিক্ষণ দেওয়া হয়েছিল ResNet34 - ভারসাম্য থেকে "CPU-তে অনুমানের গুণমান / গতি"

মূল্যায়ন পাইপলাইনের কার্যকরী চিত্র

প্রকল্প স্থাপত্য প্রয়োজনীয়তা বিশ্লেষণ

জীবনচক্রে ML মডেল স্থাপনের আর্কিটেকচার এবং অটোমেশনের কাজের প্রকল্পের ধাপগুলি প্রায়শই সবচেয়ে সময়সাপেক্ষ এবং সম্পদ গ্রহণকারী।

একটি ML প্রকল্পের জীবনচক্র

এই প্রকল্পটিও ব্যতিক্রম নয় - একটি অনলাইন পরিষেবাতে মূল্যায়ন পাইপলাইন মোড়ানোর সিদ্ধান্ত নেওয়া হয়েছিল, যার জন্য আর্কিটেকচারে নিজেদের নিমজ্জিত করতে হবে। নিম্নলিখিত মৌলিক প্রয়োজনীয়তা চিহ্নিত করা হয়েছে:

1. ইউনিফাইড লগ স্টোরেজ - সমস্ত পরিষেবার লগগুলি এক জায়গায় লিখতে হবে, সেগুলি বিশ্লেষণ করতে সুবিধাজনক হওয়া উচিত
2. মূল্যায়ন পরিষেবার অনুভূমিক স্কেলিংয়ের সম্ভাবনা - সবচেয়ে সম্ভাব্য বাধা হিসাবে
3. অনুমানের জন্য সময় বণ্টনে বহিরাগত এড়াতে প্রতিটি চিত্রের মূল্যায়নের জন্য একই পরিমাণ প্রসেসর সংস্থান বরাদ্দ করা উচিত
4. নির্দিষ্ট পরিষেবা এবং সামগ্রিকভাবে স্ট্যাক উভয়েরই দ্রুত (পুনরায়) স্থাপনা
5. ক্ষমতা, প্রয়োজন হলে, বিভিন্ন পরিষেবাতে সাধারণ বস্তু ব্যবহার করার

স্থাপত্য

প্রয়োজনীয়তা বিশ্লেষণ করার পরে, এটি স্পষ্ট হয়ে ওঠে যে মাইক্রোসার্ভিস আর্কিটেকচার প্রায় পুরোপুরি ফিট করে।

অপ্রয়োজনীয় মাথাব্যথা থেকে মুক্তি পাওয়ার জন্য, টেলিগ্রাম API ফ্রন্টএন্ড হিসাবে বেছে নেওয়া হয়েছিল।

প্রথমে, সমাপ্ত স্থাপত্যের কাঠামোগত চিত্রটি দেখা যাক, তারপর প্রতিটি উপাদানের বিবরণে এগিয়ে যাই, এবং সফল চিত্র প্রক্রিয়াকরণের প্রক্রিয়াটিকেও আনুষ্ঠানিক করে দেই।

সমাপ্ত স্থাপত্যের স্ট্রাকচারাল ডায়াগ্রাম

আসুন চিত্রের প্রতিটি উপাদান সম্পর্কে আরও বিস্তারিতভাবে কথা বলি, চিত্র মূল্যায়নের প্রক্রিয়ায় তাদের একক দায়িত্ব নির্দেশ করে।

মাইক্রোসার্ভিস "অ্যাট্রাই-টেলিগ্রাম-বট"

এই মাইক্রোসার্ভিস টেলিগ্রাম API এর সাথে সমস্ত মিথস্ক্রিয়াকে এনক্যাপসুলেট করে। 2টি প্রধান পরিস্থিতি রয়েছে: একটি কাস্টম চিত্রের সাথে কাজ করা এবং একটি মূল্যায়ন পাইপলাইনের ফলাফল নিয়ে কাজ করা। আসুন সাধারণ পরিভাষায় উভয় পরিস্থিতিতেই তাকাই।

একটি চিত্র সহ একটি কাস্টম বার্তা গ্রহণ করার সময়:

1. পরিস্রাবণ সঞ্চালিত হয়, নিম্নলিখিত চেক সমন্বিত:
   • সর্বোত্তম ছবির আকারের উপলব্ধতা
   • ইতিমধ্যেই সারিতে থাকা ব্যবহারকারীর ছবির সংখ্যা
2. প্রাথমিক ফিল্টারিং পাস করার সময়, ছবিটি ডকার ভলিউমে সংরক্ষিত হয়
3. একটি টাস্ক "to_estimate" সারিতে উত্পাদিত হয়, যার মধ্যে রয়েছে, অন্যান্য জিনিসগুলির মধ্যে, আমাদের ভলিউমে অবস্থিত চিত্রটির পথ
4. উপরের পদক্ষেপগুলি সফলভাবে সম্পন্ন হলে, ব্যবহারকারী আনুমানিক চিত্র প্রক্রিয়াকরণের সময় সহ একটি বার্তা পাবেন, যা সারিতে থাকা কাজের সংখ্যার উপর ভিত্তি করে গণনা করা হয়। যদি একটি ত্রুটি ঘটে, তাহলে ব্যবহারকারীকে কী ভুল হতে পারে সে সম্পর্কে তথ্য সহ একটি বার্তা পাঠিয়ে স্পষ্টভাবে অবহিত করা হবে৷

এছাড়াও, এই মাইক্রোসার্ভিস, সেলারি ওয়ার্কারের মতো, "আফটার_এস্টিমেট" সারির কথা শোনে, যা মূল্যায়ন পাইপলাইনের মধ্য দিয়ে যাওয়া কাজগুলির জন্য উদ্দিষ্ট।

"আফটার_এস্টিমেট" থেকে একটি নতুন টাস্ক পাওয়ার সময়:

1. যদি ছবিটি সফলভাবে প্রক্রিয়া করা হয়, আমরা ফলাফলটি ব্যবহারকারীকে পাঠাই; যদি না হয়, আমরা একটি ত্রুটি সম্পর্কে অবহিত করি।
2. মূল্যায়ন পাইপলাইনের ফলাফল যা ইমেজ অপসারণ

মূল্যায়ন মাইক্রোসার্ভিস "অ্যাট্রাই-এস্টিমেটর"

এই মাইক্রোসার্ভিসটি সেলারি কর্মী এবং ইমেজ মূল্যায়ন পাইপলাইনের সাথে সম্পর্কিত সমস্ত কিছু এনক্যাপসুলেট করে। এখানে শুধুমাত্র একটি কাজ করার অ্যালগরিদম আছে - আসুন এটি বিশ্লেষণ করি।

"to_estimate" থেকে একটি নতুন টাস্ক পাওয়ার সময়:

1. আসুন মূল্যায়ন পাইপলাইনের মাধ্যমে চিত্রটি চালাই:
   1. মেমরিতে ইমেজ লোড করা হচ্ছে
   2. আমরা ইমেজটি প্রয়োজনীয় আকারে নিয়ে আসি
   3. সব মুখ খোঁজা হচ্ছে (MTCNN)
   4. আমরা সমস্ত মুখের মূল্যায়ন করি (আমরা শেষ ধাপে পাওয়া মুখগুলিকে একটি ব্যাচে মোড়ানো এবং ResNet34 অনুমান করি)
   5. চূড়ান্ত চিত্র রেন্ডার করুন
      1. এর বাউন্ডিং বাক্স আঁকুন
      2. রেটিং অঙ্কন
2. একটি কাস্টম (মূল) ছবি মুছে ফেলা হচ্ছে
3. মূল্যায়ন পাইপলাইন থেকে আউটপুট সংরক্ষণ
4. আমরা টাস্কটিকে "আফটার_এস্টিমেট" সারিতে রাখি, যা উপরে আলোচিত "অ্যাট্রাই-টেলিগ্রাম-বট" মাইক্রোসার্ভিস দ্বারা শোনা হয়।

Graylog (+ mongoDB + ইলাস্টিকসার্চ)

গ্রেলগ কেন্দ্রীভূত লগ পরিচালনার জন্য একটি সমাধান। এই প্রকল্পে, এটি তার উদ্দেশ্যমূলক উদ্দেশ্যে ব্যবহার করা হয়েছিল।

পছন্দটি তার উপর পড়েছিল, স্বাভাবিকের উপর নয় ELK স্ট্যাক, পাইথন থেকে এটির সাথে কাজ করার সুবিধার কারণে। গ্রেলগে লগ করার জন্য আপনাকে যা করতে হবে তা হল প্যাকেজ থেকে GELFTCPHandler যোগ করা ধূসর আমাদের পাইথন মাইক্রোসার্ভিসের বাকি রুট লগার হ্যান্ডলারদের কাছে।

এমন কেউ যিনি আগে শুধুমাত্র ELK স্ট্যাকের সাথে কাজ করেছিলেন, গ্রেলগের সাথে কাজ করার সময় আমার সামগ্রিক ইতিবাচক অভিজ্ঞতা ছিল। গ্রেলগ ওয়েব ইন্টারফেসের উপর কিবানা বৈশিষ্ট্যের শ্রেষ্ঠত্ব হতাশাজনক একমাত্র জিনিস।

RabbitMQ

RabbitMQ AMQP প্রোটোকলের উপর ভিত্তি করে একটি বার্তা ব্রোকার।

এই প্রকল্পে এটি হিসাবে ব্যবহৃত হয় সবচেয়ে স্থিতিশীল এবং সময়-পরীক্ষিত সেলারি জন্য ব্রোকার এবং টেকসই মোডে কাজ.

Redis

Redis একটি NoSQL DBMS যা কী-মানের ডেটা স্ট্রাকচারের সাথে কাজ করে

কখনও কখনও সাধারণ অবজেক্ট ব্যবহার করার প্রয়োজন হয় যা বিভিন্ন পাইথন মাইক্রোসার্ভিসে নির্দিষ্ট ডেটা স্ট্রাকচার বাস্তবায়ন করে।

উদাহরণস্বরূপ, রেডিস ফর্মের একটি হ্যাশম্যাপ সংরক্ষণ করে “telegram_user_id => সারিতে সক্রিয় কাজের সংখ্যা,” যা আপনাকে একটি ব্যবহারকারীর কাছ থেকে একটি নির্দিষ্ট মান পর্যন্ত অনুরোধের সংখ্যা সীমাবদ্ধ করতে দেয় এবং এর ফলে, DoS আক্রমণ প্রতিরোধ করে।

আসুন সফল ইমেজ প্রসেসিং এর প্রক্রিয়াটিকে আনুষ্ঠানিক করা যাক

1. ব্যবহারকারী টেলিগ্রাম বটে একটি ছবি পাঠায়
2. "attrai-telegram-bot" টেলিগ্রাম API থেকে একটি বার্তা পায় এবং এটি পার্স করে
3. ইমেজ সহ টাস্কটি অ্যাসিঙ্ক্রোনাস সারিতে যোগ করা হয়েছে “to_estimate”
4. ব্যবহারকারী পরিকল্পিত মূল্যায়ন সময় সহ একটি বার্তা পায়
5. "attrai-estimator" "to_estimate" সারির থেকে একটি টাস্ক নেয়, পাইপলাইনের মাধ্যমে অনুমান চালায় এবং কাজটিকে "after_estimate" সারিতে তৈরি করে
6. "attrai-telegram-bot" "after_estimate" সারিতে শোনা, ফলাফল ব্যবহারকারীকে পাঠায়

DevOps

অবশেষে, আর্কিটেকচার পর্যালোচনা করার পরে, আপনি সমান আকর্ষণীয় অংশে যেতে পারেন - DevOps

ডকার সোর্ম

ডকার সোর্ম  — একটি ক্লাস্টারিং সিস্টেম, যার কার্যকারিতা ডকার ইঞ্জিনের ভিতরে প্রয়োগ করা হয় এবং বাক্সের বাইরে উপলব্ধ।

একটি "ঝাঁক" ব্যবহার করে, আমাদের ক্লাস্টারের সমস্ত নোডকে 2 প্রকারে ভাগ করা যেতে পারে - কর্মী এবং ব্যবস্থাপক। প্রথম ধরনের মেশিনে, পাত্রের গ্রুপ (স্ট্যাক) স্থাপন করা হয়, দ্বিতীয় ধরণের মেশিনগুলি স্কেলিং, ভারসাম্য এবং অন্যান্য শীতল বৈশিষ্ট্য. পরিচালকরাও ডিফল্টরূপে কর্মী।

একজন লিডার ম্যানেজার এবং তিনজন কর্মী নিয়ে ক্লাস্টার

সর্বনিম্ন সম্ভাব্য ক্লাস্টার আকার হল 1 নোড; একটি একক মেশিন একই সাথে একজন নেতা ব্যবস্থাপক এবং একজন কর্মী হিসাবে কাজ করবে। প্রকল্পের আকার এবং ত্রুটি সহনশীলতার ন্যূনতম প্রয়োজনীয়তার উপর ভিত্তি করে, এই পদ্ধতিটি ব্যবহার করার সিদ্ধান্ত নেওয়া হয়েছিল।

সামনের দিকে তাকিয়ে, আমি বলব যে প্রথম উৎপাদন ডেলিভারি, যা জুনের মাঝামাঝি ছিল, এই ক্লাস্টার সংস্থার সাথে সম্পর্কিত কোনও সমস্যা ছিল না (তবে এর অর্থ এই নয় যে এই জাতীয় সংস্থা কোনও ভাবেই কোনও মাধ্যম-বড় ক্ষেত্রে গ্রহণযোগ্য। প্রকল্প, যা ত্রুটি সহনশীলতা প্রয়োজনীয়তা সাপেক্ষে)।

ডকার স্ট্যাক

ঝাঁক মোডে, তিনি স্ট্যাক স্থাপনের জন্য দায়ী (ডকার পরিষেবাগুলির সেট) ডকার স্ট্যাক

এটি ডকার-কম্পোজ কনফিগগুলিকে সমর্থন করে, আপনাকে অতিরিক্তভাবে স্থাপনের বিকল্পগুলি ব্যবহার করার অনুমতি দেয়।  

উদাহরণস্বরূপ, এই পরামিতিগুলি ব্যবহার করে, প্রতিটি মূল্যায়ন মাইক্রোসার্ভিস দৃষ্টান্তের জন্য সংস্থানগুলি সীমিত ছিল (আমরা N দৃষ্টান্তগুলির জন্য এন কোর বরাদ্দ করি, মাইক্রোসার্ভিসেই আমরা পাইটর্চ দ্বারা ব্যবহৃত কোরের সংখ্যা একটিতে সীমাবদ্ধ করি)

attrai_estimator:
  image: 'erqups/attrai_estimator:1.2'
  deploy:
    replicas: 4
    resources:
      limits:
        cpus: '4'
    restart_policy:
      condition: on-failure
      …

এটি লক্ষ্য করা গুরুত্বপূর্ণ যে রেডিস, র‌্যাবিটএমকিউ এবং গ্রেলগ হল রাষ্ট্রীয় পরিষেবা এবং সেগুলিকে "অ্যাট্রাই-এস্টিমেটর" হিসাবে সহজে মাপানো যায় না

প্রশ্নের পূর্বাভাস - কেন কুবারনেটস নয়?

মনে হচ্ছে ছোট এবং মাঝারি আকারের প্রকল্পগুলিতে কুবারনেটস ব্যবহার করা একটি ওভারহেড; সমস্ত প্রয়োজনীয় কার্যকারিতা ডকার সোয়ার্ম থেকে প্রাপ্ত করা যেতে পারে, যা একটি কন্টেইনার অর্কেস্ট্রেটরের জন্য বেশ ব্যবহারকারী-বান্ধব এবং প্রবেশে কম বাধা রয়েছে।

পরিকাঠামো

এই সমস্ত নিম্নলিখিত বৈশিষ্ট্যগুলির সাথে ভিডিএস-এ স্থাপন করা হয়েছিল:

• CPU: 4 core Intel® Xeon® Gold 5120 CPU @ 2.20GHz
• RAM: 8 GB
• এসএসডি: 160 জিবি

স্থানীয় লোড পরীক্ষার পরে, মনে হয়েছিল যে ব্যবহারকারীদের একটি গুরুতর প্রবাহের সাথে, এই মেশিনটি যথেষ্ট হবে।

কিন্তু, স্থাপনের পরপরই, আমি সিআইএস-এর সবচেয়ে জনপ্রিয় ইমেজবোর্ডগুলির একটিতে একটি লিঙ্ক পোস্ট করেছি (হ্যাঁ, সেই একই), যার পরে লোকেরা আগ্রহী হয়ে ওঠে এবং কয়েক ঘন্টার মধ্যে পরিষেবাটি কয়েক হাজার ছবি সফলভাবে প্রক্রিয়া করে। একই সময়ে, শীর্ষ মুহুর্তে, CPU এবং RAM সংস্থানগুলি অর্ধেকও ব্যবহার করা হয়নি।

আরো কিছু গ্রাফিক্স

দিনের উপর নির্ভর করে, স্থাপনের পর থেকে অনন্য ব্যবহারকারীর সংখ্যা এবং মূল্যায়নের অনুরোধ

মূল্যায়ন পাইপলাইন অনুমান সময় বন্টন

তথ্যও

সংক্ষেপে, আমি বলতে পারি যে কনটেইনারগুলির অর্কেস্ট্রেশনের স্থাপত্য এবং দৃষ্টিভঙ্গি সম্পূর্ণরূপে নিজেদেরকে ন্যায়সঙ্গত করেছে - এমনকি শীর্ষ মুহুর্তেও প্রক্রিয়াকরণের সময় কোনও ড্রপ বা ঝিমিয়ে পড়েনি। 

আমি মনে করি যে ছোট এবং মাঝারি আকারের প্রকল্পগুলি যেগুলি তাদের প্রক্রিয়াতে CPU-তে নিউরাল নেটওয়ার্কগুলির রিয়েল-টাইম ইনফারেন্স ব্যবহার করে তারা এই নিবন্ধে বর্ণিত অনুশীলনগুলি সফলভাবে গ্রহণ করতে পারে।

আমি যোগ করব যে প্রাথমিকভাবে নিবন্ধটি দীর্ঘ ছিল, কিন্তু দীর্ঘ পাঠ্য পোস্ট না করার জন্য, আমি এই নিবন্ধে কিছু পয়েন্ট বাদ দেওয়ার সিদ্ধান্ত নিয়েছি - আমরা ভবিষ্যতের প্রকাশনায় সেগুলিতে ফিরে আসব।

আপনি টেলিগ্রামে বটটি খোঁচা দিতে পারেন - @AtraiBot, এটি কমপক্ষে 2020 সালের শরতের শেষ পর্যন্ত কাজ করবে। আমি আপনাকে মনে করিয়ে দিই যে কোনও ব্যবহারকারীর ডেটা সংরক্ষণ করা হয় না - না আসল ছবি, না মূল্যায়ন পাইপলাইনের ফলাফল - প্রক্রিয়াকরণের পরে সবকিছু ভেঙে ফেলা হয়।

উত্স: www.habr.com