ન્યુરલ નેટવર્ક પર આધારિત દેખાવ આકારણી માટે સેવા આર્કિટેક્ચરની સામાન્ય ઝાંખી

પરિચય

હેલો!

આ લેખમાં હું ન્યુરલ નેટવર્કનો ઉપયોગ કરીને પ્રોજેક્ટ માટે માઇક્રોસર્વિસ આર્કિટેક્ચર બનાવવાનો મારો અનુભવ શેર કરીશ.

ચાલો આર્કિટેક્ચરની આવશ્યકતાઓ વિશે વાત કરીએ, વિવિધ માળખાકીય આકૃતિઓ જોઈએ, ફિનિશ્ડ આર્કિટેક્ચરના દરેક ઘટકોનું વિશ્લેષણ કરીએ અને ઉકેલની તકનીકી મેટ્રિક્સનું મૂલ્યાંકન પણ કરીએ.

વાંચન આનંદ!

સમસ્યા અને તેના ઉકેલ વિશે થોડાક શબ્દો

મુખ્ય વિચાર એ છે કે ફોટાના આધારે દસ-પોઇન્ટ સ્કેલ પર વ્યક્તિના આકર્ષણનું મૂલ્યાંકન કરવું.

આ લેખમાં આપણે ઉપયોગમાં લેવાતા ન્યુરલ નેટવર્ક અને ડેટાની તૈયારી અને તાલીમની પ્રક્રિયા બંનેનું વર્ણન કરવાથી દૂર જઈશું. જો કે, નીચેના પ્રકાશનોમાંથી એકમાં, અમે ચોક્કસપણે મૂલ્યાંકન પાઈપલાઈનનું ઊંડાણપૂર્વકના સ્તરે વિશ્લેષણ કરવા પર પાછા આવીશું.

હવે અમે ટોચના સ્તરે મૂલ્યાંકન પાઈપલાઈનમાંથી પસાર થઈશું, અને સમગ્ર પ્રોજેક્ટ આર્કિટેક્ચરના સંદર્ભમાં માઇક્રોસર્વિસિસની ક્રિયાપ્રતિક્રિયા પર ધ્યાન કેન્દ્રિત કરીશું. 

આકર્ષકતા આકારણી પાઇપલાઇન પર કામ કરતી વખતે, કાર્ય નીચેના ઘટકોમાં વિઘટિત થયું હતું:

1. ફોટામાં ચહેરા પસંદ કરી રહ્યા છીએ
2. દરેક વ્યક્તિનું રેટિંગ
3. પરિણામ રેન્ડર

પ્રથમ પૂર્વ પ્રશિક્ષિત દળો દ્વારા ઉકેલવામાં આવે છે MTCNN. બીજા માટે, એક કન્વોલ્યુશનલ ન્યુરલ નેટવર્કને PyTorch પર તાલીમ આપવામાં આવી હતી, તેનો ઉપયોગ કરીને ResNet34 - "CPU પર અનુમાનની ગુણવત્તા / ઝડપ" સંતુલનમાંથી

મૂલ્યાંકન પાઇપલાઇનનું કાર્યાત્મક રેખાકૃતિ

પ્રોજેક્ટ આર્કિટેક્ચર આવશ્યકતાઓનું વિશ્લેષણ

જીવનચક્રમાં ML મોડેલ ડિપ્લોયમેન્ટના આર્કિટેક્ચર અને ઓટોમેશન પર કામના પ્રોજેક્ટ તબક્કાઓ ઘણીવાર સૌથી વધુ સમય માંગી લેનારા અને સંસાધનોનો ઉપયોગ કરતા હોય છે.

ML પ્રોજેક્ટનું જીવન ચક્ર

આ પ્રોજેક્ટ કોઈ અપવાદ નથી - મૂલ્યાંકન પાઇપલાઇનને ઓનલાઈન સેવામાં લપેટવાનું નક્કી કરવામાં આવ્યું હતું, જેના માટે આર્કિટેક્ચરમાં પોતાને ડૂબી જવાની જરૂર હતી. નીચેની મૂળભૂત આવશ્યકતાઓને ઓળખવામાં આવી હતી:

1. યુનિફાઈડ લોગ સ્ટોરેજ - બધી સેવાઓએ એક જ જગ્યાએ લોગ લખવા જોઈએ, તેનું વિશ્લેષણ કરવામાં અનુકૂળ હોવું જોઈએ
2. મૂલ્યાંકન સેવાની આડી સ્કેલિંગની શક્યતા - સંભવિત અવરોધ તરીકે
3. દરેક ઇમેજનું મૂલ્યાંકન કરવા માટે સમાન પ્રમાણમાં પ્રોસેસર સંસાધનો ફાળવવા જોઈએ જેથી અનુમાન માટે સમયની વહેંચણીમાં આઉટલીયર ટાળી શકાય.
4. ચોક્કસ સેવાઓ અને એકંદરે સ્ટેક બંનેની ઝડપી (ફરી) જમાવટ
5. જો જરૂરી હોય તો, વિવિધ સેવાઓમાં સામાન્ય વસ્તુઓનો ઉપયોગ કરવાની ક્ષમતા

સ્થાપત્ય

આવશ્યકતાઓનું વિશ્લેષણ કર્યા પછી, તે સ્પષ્ટ થઈ ગયું કે માઇક્રોસર્વિસ આર્કિટેક્ચર લગભગ સંપૂર્ણ રીતે બંધબેસે છે.

બિનજરૂરી માથાના દુખાવાથી છુટકારો મેળવવા માટે, ટેલિગ્રામ API ને ફ્રન્ટએન્ડ તરીકે પસંદ કરવામાં આવ્યું હતું.

પ્રથમ, ચાલો ફિનિશ્ડ આર્કિટેક્ચરના માળખાકીય રેખાકૃતિને જોઈએ, પછી દરેક ઘટકોના વર્ણન પર આગળ વધીએ અને સફળ ઇમેજ પ્રોસેસિંગની પ્રક્રિયાને પણ ઔપચારિક બનાવીએ.

ફિનિશ્ડ આર્કિટેક્ચરનું સ્ટ્રક્ચરલ ડાયાગ્રામ

ચાલો ચિત્રના દરેક ઘટકો વિશે વધુ વિગતવાર વાત કરીએ, તેમને છબી મૂલ્યાંકનની પ્રક્રિયામાં સિંગલ રિસ્પોન્સિબિલિટી સૂચવે છે.

માઇક્રોસર્વિસ "એટ્રાઇ-ટેલિગ્રામ-બોટ"

આ માઇક્રોસર્વિસ ટેલિગ્રામ API સાથેની તમામ ક્રિયાપ્રતિક્રિયાઓને સમાવે છે. ત્યાં 2 મુખ્ય દૃશ્યો છે: કસ્ટમ ઇમેજ સાથે કામ કરવું અને આકારણી પાઇપલાઇનના પરિણામ સાથે કામ કરવું. ચાલો સામાન્ય રીતે બંને દૃશ્યો જોઈએ.

છબી સાથે કસ્ટમ સંદેશ પ્રાપ્ત કરતી વખતે:

1. ફિલ્ટરેશન કરવામાં આવે છે, જેમાં નીચેના ચેકનો સમાવેશ થાય છે:
   • શ્રેષ્ઠ છબી કદની ઉપલબ્ધતા
   • કતારમાં પહેલેથી જ વપરાશકર્તાની છબીઓની સંખ્યા
2. પ્રારંભિક ફિલ્ટરિંગ પસાર કરતી વખતે, છબી ડોકર વોલ્યુમમાં સાચવવામાં આવે છે
3. એક કાર્ય "to_estimate" કતારમાં ઉત્પન્ન થાય છે, જેમાં અન્ય વસ્તુઓની સાથે, અમારા વોલ્યુમમાં સ્થિત ઇમેજનો પાથનો સમાવેશ થાય છે.
4. જો ઉપરોક્ત પગલાં સફળતાપૂર્વક પૂર્ણ થઈ જાય, તો વપરાશકર્તાને અંદાજિત ઇમેજ પ્રોસેસિંગ સમય સાથેનો સંદેશ પ્રાપ્ત થશે, જેની ગણતરી કતારમાંના કાર્યોની સંખ્યાના આધારે કરવામાં આવે છે. જો કોઈ ભૂલ થાય છે, તો શું ખોટું થયું હશે તેની માહિતી સાથેનો સંદેશ મોકલીને વપરાશકર્તાને સ્પષ્ટપણે સૂચિત કરવામાં આવશે.

ઉપરાંત, આ માઇક્રોસર્વિસ, સેલરી વર્કરની જેમ, "આફ્ટર_એસ્ટીમેટ" કતારને સાંભળે છે, જે મૂલ્યાંકન પાઇપલાઇનમાંથી પસાર થયેલા કાર્યો માટે બનાવાયેલ છે.

જ્યારે "આફ્ટર_એસ્ટીમેટ" માંથી નવું કાર્ય પ્રાપ્ત કરો:

1. જો ઇમેજ પર સફળતાપૂર્વક પ્રક્રિયા કરવામાં આવી હોય, તો અમે વપરાશકર્તાને પરિણામ મોકલીએ છીએ; જો નહીં, તો અમે ભૂલ વિશે સૂચિત કરીએ છીએ.
2. મૂલ્યાંકન પાઇપલાઇનનું પરિણામ છે તે છબીને દૂર કરવી

મૂલ્યાંકન માઇક્રોસર્વિસ "એટ્રાઇ-એસ્ટીમેટર"

આ માઇક્રોસર્વિસ સેલરી વર્કર છે અને ઇમેજ મૂલ્યાંકન પાઇપલાઇનથી સંબંધિત દરેક વસ્તુને સમાવે છે. અહીં માત્ર એક કાર્યકારી અલ્ગોરિધમ છે - ચાલો તેનું વિશ્લેષણ કરીએ.

“to_estimate” થી નવું કાર્ય પ્રાપ્ત કરતી વખતે:

1. ચાલો મૂલ્યાંકન પાઇપલાઇન દ્વારા છબીને ચલાવીએ:
   1. મેમરીમાં છબી લોડ કરી રહ્યું છે
   2. અમે છબીને જરૂરી કદમાં લાવીએ છીએ
   3. બધા ચહેરા શોધવું (MTCNN)
   4. અમે બધા ચહેરાઓનું મૂલ્યાંકન કરીએ છીએ (અમે છેલ્લા પગલામાં મળેલા ચહેરાઓને બેચમાં લપેટીએ છીએ અને ResNet34 અનુમાન કરીએ છીએ)
   5. અંતિમ છબી રેન્ડર કરો
      1. ચાલો બાઉન્ડિંગ બોક્સ દોરીએ
      2. રેટિંગ્સ દોરે છે
2. કસ્ટમ (મૂળ) ઇમેજ કાઢી નાખી રહ્યાં છીએ
3. મૂલ્યાંકન પાઇપલાઇનમાંથી આઉટપુટ સાચવી રહ્યું છે
4. અમે કાર્યને “after_esttimate” કતારમાં મૂકીએ છીએ, જે ઉપર ચર્ચા કરેલ “attrai-telegram-bot” માઇક્રોસર્વિસ દ્વારા સાંભળવામાં આવે છે.

ગ્રેલોગ (+ મોંગોડીબી + ઇલાસ્ટિકસર્ચ)

ગ્રેલોગ કેન્દ્રીયકૃત લોગ મેનેજમેન્ટ માટેનો ઉકેલ છે. આ પ્રોજેક્ટમાં, તેનો હેતુ હેતુ માટે ઉપયોગ કરવામાં આવ્યો હતો.

પસંદગી તેના પર પડી, સામાન્ય પર નહીં ઇએલકે સ્ટેક, પાયથોનથી તેની સાથે કામ કરવાની સુવિધાને કારણે. ગ્રેલોગ પર લૉગ ઇન કરવા માટે તમારે ફક્ત પેકેજમાંથી GELFTCPHhandler ઉમેરવાની જરૂર છે ગ્રેપી અમારા પાયથોન માઇક્રોસર્વિસના બાકીના રૂટ લોગર હેન્ડલર્સને.

જેમણે અગાઉ ફક્ત ELK સ્ટેક સાથે જ કામ કર્યું હતું, ગ્રેલોગ સાથે કામ કરતી વખતે મને એકંદરે સકારાત્મક અનુભવ હતો. ગ્રેલોગ વેબ ઈન્ટરફેસ પર કિબાના લક્ષણોમાં શ્રેષ્ઠતા એ જ નિરાશાજનક છે.

રેબિટમ્યુક્યુ

રેબિટમ્યુક્યુ AMQP પ્રોટોકોલ પર આધારિત સંદેશ બ્રોકર છે.

આ પ્રોજેક્ટમાં તેનો ઉપયોગ કરવામાં આવ્યો હતો સૌથી સ્થિર અને સમય-ચકાસાયેલ સેલરી માટે બ્રોકર અને ટકાઉ મોડમાં કામ કર્યું.

Redis

Redis એક NoSQL DBMS છે જે કી-વેલ્યુ ડેટા સ્ટ્રક્ચર્સ સાથે કામ કરે છે

કેટલીકવાર સામાન્ય ઑબ્જેક્ટ્સનો ઉપયોગ કરવાની જરૂર હોય છે જે વિવિધ પાયથોન માઇક્રોસર્વિસિસમાં ચોક્કસ ડેટા સ્ટ્રક્ચર્સનો અમલ કરે છે.

ઉદાહરણ તરીકે, Redis “telegram_user_id => કતારમાં સક્રિય કાર્યોની સંખ્યા” ફોર્મનો હેશમેપ સંગ્રહિત કરે છે, જે તમને એક વપરાશકર્તાની વિનંતીઓની સંખ્યાને ચોક્કસ મૂલ્ય સુધી મર્યાદિત કરવાની મંજૂરી આપે છે અને તેથી, DoS હુમલાઓને અટકાવે છે.

ચાલો સફળ ઇમેજ પ્રોસેસિંગની પ્રક્રિયાને ઔપચારિક કરીએ

1. વપરાશકર્તા ટેલિગ્રામ બોટ પર એક છબી મોકલે છે
2. "attrai-telegram-bot" ટેલિગ્રામ API તરફથી એક સંદેશ મેળવે છે અને તેનું વિશ્લેષણ કરે છે
3. ઇમેજ સાથેનું કાર્ય અસુમેળ કતારમાં ઉમેરવામાં આવ્યું છે “to_estimate”
4. વપરાશકર્તાને આયોજિત આકારણી સમય સાથેનો સંદેશ પ્રાપ્ત થાય છે
5. "attrai-અંદાજકાર" "to_estimate" કતારમાંથી એક કાર્ય લે છે, પાઇપલાઇન દ્વારા અંદાજો ચલાવે છે અને કાર્યને "after_estimate" કતારમાં બનાવે છે
6. "attrai-telegram-bot" "after_estimate" કતાર સાંભળીને, વપરાશકર્તાને પરિણામ મોકલે છે

DevOps

છેલ્લે, આર્કિટેક્ચરની સમીક્ષા કર્યા પછી, તમે સમાન રસપ્રદ ભાગ પર આગળ વધી શકો છો - DevOps

ડોકર સ્વોર્મ

 

ડોકર સ્વોર્મ  — ક્લસ્ટરિંગ સિસ્ટમ, જેની કાર્યક્ષમતા ડોકર એન્જિનની અંદર લાગુ કરવામાં આવે છે અને બોક્સની બહાર ઉપલબ્ધ છે.

"સ્વોર્મ" નો ઉપયોગ કરીને, અમારા ક્લસ્ટરમાંના તમામ ગાંઠોને 2 પ્રકારોમાં વિભાજિત કરી શકાય છે - કાર્યકર અને મેનેજર. પ્રથમ પ્રકારનાં મશીનો પર, કન્ટેનરના જૂથો (સ્ટેક્સ) તૈનાત કરવામાં આવે છે, બીજા પ્રકારનાં મશીનો સ્કેલિંગ, સંતુલન અને અન્ય ઠંડી સુવિધાઓ. મેનેજરો પણ મૂળભૂત રીતે કામદારો છે.

એક લીડર મેનેજર અને ત્રણ કામદારો સાથે ક્લસ્ટર

ન્યૂનતમ સંભવિત ક્લસ્ટરનું કદ 1 નોડ છે; એક મશીન એક સાથે લીડર મેનેજર અને કાર્યકર તરીકે કાર્ય કરશે. પ્રોજેક્ટના કદ અને દોષ સહિષ્ણુતા માટેની ન્યૂનતમ આવશ્યકતાઓને આધારે, આ અભિગમનો ઉપયોગ કરવાનું નક્કી કરવામાં આવ્યું હતું.

આગળ જોતાં, હું કહીશ કે પ્રથમ ઉત્પાદન વિતરણ, જે જૂનના મધ્યમાં હતું, ત્યારથી, આ ક્લસ્ટર સંગઠન સાથે સંકળાયેલી કોઈ સમસ્યા નથી (પરંતુ તેનો અર્થ એ નથી કે આવી સંસ્થા કોઈપણ રીતે કોઈપણ માધ્યમ-મોટામાં સ્વીકાર્ય છે. પ્રોજેક્ટ, જે દોષ સહિષ્ણુતા જરૂરિયાતોને આધીન છે).

ડોકર સ્ટેક

સ્વોર્મ મોડમાં, તે સ્ટેક્સ (ડોકર સેવાઓના સેટ) જમાવવા માટે જવાબદાર છે. ડોકર સ્ટેક

તે ડોકર-કંપોઝ રૂપરેખાઓને સપોર્ટ કરે છે, જે તમને વધારાના ડિપ્લોય પરિમાણોનો ઉપયોગ કરવાની મંજૂરી આપે છે.  

ઉદાહરણ તરીકે, આ પરિમાણોનો ઉપયોગ કરીને, દરેક મૂલ્યાંકન માઇક્રોસર્વિસ ઉદાહરણો માટેના સંસાધનો મર્યાદિત હતા (અમે N દાખલાઓ માટે N કોરો ફાળવીએ છીએ, માઇક્રોસર્વિસમાં જ અમે PyTorch દ્વારા ઉપયોગમાં લેવાતા કોરોની સંખ્યાને એક સુધી મર્યાદિત કરીએ છીએ)

attrai_estimator:
  image: 'erqups/attrai_estimator:1.2'
  deploy:
    replicas: 4
    resources:
      limits:
        cpus: '4'
    restart_policy:
      condition: on-failure
      …

એ નોંધવું અગત્યનું છે કે Redis, RabbitMQ અને Graylog એ સ્ટેટફુલ સેવાઓ છે અને તેમને "એટ્રાઈ-એસ્ટીમેટર" જેટલી સરળતાથી માપી શકાતી નથી.

પ્રશ્નની પૂર્વદર્શન - શા માટે કુબરનેટ્સ નથી?

એવું લાગે છે કે નાના અને મધ્યમ કદના પ્રોજેક્ટ્સમાં કુબરનેટ્સનો ઉપયોગ કરવો એ એક ઓવરહેડ છે; તમામ જરૂરી કાર્યક્ષમતા ડોકર સ્વોર્મમાંથી મેળવી શકાય છે, જે કન્ટેનર ઓર્કેસ્ટ્રેટર માટે તદ્દન વપરાશકર્તા-મૈત્રીપૂર્ણ છે અને પ્રવેશ માટે ઓછો અવરોધ પણ ધરાવે છે.

ઈન્ફ્રાસ્ટ્રક્ચર

આ બધું VDS પર નીચેની લાક્ષણિકતાઓ સાથે જમાવવામાં આવ્યું હતું:

• CPU: 4 કોર Intel® Xeon® Gold 5120 CPU @ 2.20GHz
• રેમ: 8 GB
• SSD: 160GB

સ્થાનિક લોડ પરીક્ષણ પછી, એવું લાગતું હતું કે વપરાશકર્તાઓના ગંભીર પ્રવાહ સાથે, આ મશીન પૂરતું હશે.

પરંતુ, જમાવટ પછી તરત જ, મેં CIS માં સૌથી વધુ લોકપ્રિય ઇમેજબોર્ડ્સમાંની એકની લિંક પોસ્ટ કરી (હા, તે જ એક), જેના પછી લોકોને રસ પડ્યો અને થોડા કલાકોમાં સેવાએ સફળતાપૂર્વક હજારો છબીઓ પર પ્રક્રિયા કરી. તે જ સમયે, ટોચની ક્ષણો પર, CPU અને RAM સંસાધનો અડધા પણ ઉપયોગમાં લેવાતા ન હતા.

કેટલાક વધુ ગ્રાફિક્સ

દિવસના આધારે, જમાવટ પછી અનન્ય વપરાશકર્તાઓ અને મૂલ્યાંકન વિનંતીઓની સંખ્યા

મૂલ્યાંકન પાઇપલાઇન અનુમાન સમય વિતરણ

તારણો

સારાંશ માટે, હું કહી શકું છું કે કન્ટેનરના ઓર્કેસ્ટ્રેશન માટેનું આર્કિટેક્ચર અને અભિગમ પોતાને સંપૂર્ણપણે ન્યાયી ઠેરવે છે - ટોચની ક્ષણો પર પણ પ્રક્રિયાના સમયમાં કોઈ ટીપાં કે ઝૂલતા ન હતા. 

મને લાગે છે કે નાના અને મધ્યમ કદના પ્રોજેક્ટ્સ કે જે તેમની પ્રક્રિયામાં CPU પર ન્યુરલ નેટવર્ક્સના વાસ્તવિક-સમયના અનુમાનનો ઉપયોગ કરે છે તેઓ આ લેખમાં વર્ણવેલ પ્રથાઓને સફળતાપૂર્વક અપનાવી શકે છે.

હું ઉમેરીશ કે શરૂઆતમાં લેખ લાંબો હતો, પરંતુ લાંબા સમય સુધી વાંચવા માટે પોસ્ટ ન કરવા માટે, મેં આ લેખમાંના કેટલાક મુદ્દાઓને છોડી દેવાનું નક્કી કર્યું - અમે ભવિષ્યના પ્રકાશનોમાં તેમના પર પાછા આવીશું.

તમે ટેલિગ્રામ પર બોટને પોક કરી શકો છો - @AttaraiBot, તે ઓછામાં ઓછું 2020 ના પાનખરના અંત સુધી કામ કરશે. ચાલો હું તમને યાદ અપાવી દઉં કે કોઈ વપરાશકર્તા ડેટા સંગ્રહિત નથી - ન તો મૂળ છબીઓ, ન મૂલ્યાંકન પાઇપલાઇનના પરિણામો - પ્રક્રિયા કર્યા પછી બધું તોડી પાડવામાં આવે છે.

સોર્સ: www.habr.com