ന്യൂറൽ നെറ്റ്‌വർക്കുകളെ അടിസ്ഥാനമാക്കി രൂപഭാവം വിലയിരുത്തുന്നതിനുള്ള സേവന ആർക്കിടെക്ചറിന്റെ പൊതുവായ അവലോകനം

എൻട്രി

ഹലോ!

ന്യൂറൽ നെറ്റ്‌വർക്കുകൾ ഉപയോഗിച്ച് ഒരു പ്രോജക്റ്റിനായി ഒരു മൈക്രോ സർവീസ് ആർക്കിടെക്ചർ നിർമ്മിക്കുന്നതിനുള്ള എന്റെ അനുഭവം ഈ ലേഖനത്തിൽ ഞാൻ പങ്കിടും.

ആർക്കിടെക്ചർ ആവശ്യകതകളെക്കുറിച്ച് നമുക്ക് സംസാരിക്കാം, വിവിധ ഘടനാപരമായ ഡയഗ്രമുകൾ നോക്കാം, പൂർത്തിയായ വാസ്തുവിദ്യയുടെ ഓരോ ഘടകങ്ങളും വിശകലനം ചെയ്യുക, കൂടാതെ പരിഹാരത്തിന്റെ സാങ്കേതിക അളവുകൾ വിലയിരുത്തുക.

സന്തോഷകരമായ വായന!

പ്രശ്നത്തെക്കുറിച്ചും അതിന്റെ പരിഹാരത്തെക്കുറിച്ചും കുറച്ച് വാക്കുകൾ

ഒരു ഫോട്ടോയെ അടിസ്ഥാനമാക്കി പത്ത് പോയിന്റ് സ്കെയിലിൽ ഒരു വ്യക്തിയുടെ ആകർഷണീയത വിലയിരുത്തുക എന്നതാണ് പ്രധാന ആശയം.

ഈ ലേഖനത്തിൽ, ഉപയോഗിച്ച ന്യൂറൽ നെറ്റ്‌വർക്കുകളും ഡാറ്റ തയ്യാറാക്കലിന്റെയും പരിശീലനത്തിന്റെയും പ്രക്രിയയും വിവരിക്കുന്നതിൽ നിന്ന് ഞങ്ങൾ മാറും. എന്നിരുന്നാലും, ഇനിപ്പറയുന്ന പ്രസിദ്ധീകരണങ്ങളിലൊന്നിൽ, മൂല്യനിർണ്ണയ പൈപ്പ്ലൈൻ ആഴത്തിലുള്ള തലത്തിൽ വിശകലനം ചെയ്യുന്നതിലേക്ക് ഞങ്ങൾ തീർച്ചയായും മടങ്ങും.

ഇപ്പോൾ ഞങ്ങൾ ഉയർന്ന തലത്തിലുള്ള മൂല്യനിർണ്ണയ പൈപ്പ്ലൈനിലൂടെ പോകും, ​​മൊത്തത്തിലുള്ള പ്രോജക്റ്റ് ആർക്കിടെക്ചറിന്റെ പശ്ചാത്തലത്തിൽ മൈക്രോസർവീസുകളുടെ ഇടപെടലിൽ ശ്രദ്ധ കേന്ദ്രീകരിക്കും. 

ആകർഷണീയത വിലയിരുത്തുന്നതിനുള്ള പൈപ്പ്ലൈനിൽ പ്രവർത്തിക്കുമ്പോൾ, ചുമതല ഇനിപ്പറയുന്ന ഘടകങ്ങളായി വിഘടിപ്പിച്ചു:

1. ഫോട്ടോകളിൽ മുഖങ്ങൾ തിരഞ്ഞെടുക്കുന്നു
2. ഓരോ വ്യക്തിയുടെയും റേറ്റിംഗ്
3. ഫലം റെൻഡർ ചെയ്യുക

ആദ്യത്തേത് മുൻകൂട്ടി പരിശീലിപ്പിച്ചവരുടെ ശക്തികളാൽ പരിഹരിക്കപ്പെടുന്നു എം.ടി.സി.എൻ.എൻ. രണ്ടാമത്തേതിന്, ഒരു കൺവല്യൂഷണൽ ന്യൂറൽ നെറ്റ്‌വർക്ക് പൈടോർച്ചിൽ പരിശീലിപ്പിച്ചു ResNet34 - ബാലൻസ് "സിപിയുവിൽ അനുമാനത്തിന്റെ ഗുണനിലവാരം / വേഗത"

മൂല്യനിർണ്ണയ പൈപ്പ്ലൈനിന്റെ പ്രവർത്തനപരമായ ഡയഗ്രം

പ്രോജക്റ്റ് ആർക്കിടെക്ചർ ആവശ്യകതകളുടെ വിശകലനം

ജീവിത ചക്രത്തിൽ ML മോഡൽ വിന്യാസത്തിന്റെ ആർക്കിടെക്ചറിലും ഓട്ടോമേഷനിലുമുള്ള ജോലിയുടെ പ്രോജക്റ്റ് ഘട്ടങ്ങൾ പലപ്പോഴും ഏറ്റവും കൂടുതൽ സമയം ചെലവഴിക്കുന്നതും വിഭവം ചെലവഴിക്കുന്നതും ആണ്.

ഒരു ML പ്രോജക്റ്റിന്റെ ജീവിത ചക്രം

ഈ പ്രോജക്റ്റ് ഒരു അപവാദമല്ല - മൂല്യനിർണ്ണയ പൈപ്പ്ലൈൻ ഒരു ഓൺലൈൻ സേവനത്തിലേക്ക് പൊതിയാൻ തീരുമാനിച്ചു, അതിന് വാസ്തുവിദ്യയിൽ മുഴുകേണ്ടതുണ്ട്. ഇനിപ്പറയുന്ന അടിസ്ഥാന ആവശ്യകതകൾ തിരിച്ചറിഞ്ഞു:

1. ഏകീകൃത ലോഗ് സംഭരണം - എല്ലാ സേവനങ്ങളും ഒരിടത്ത് ലോഗുകൾ എഴുതണം, അവ വിശകലനം ചെയ്യാൻ സൗകര്യപ്രദമായിരിക്കണം
2. മൂല്യനിർണ്ണയ സേവനത്തിന്റെ തിരശ്ചീന സ്കെയിലിംഗിന്റെ സാധ്യത - ഏറ്റവും സാധ്യതയുള്ള തടസ്സമായി
3. അനുമാനത്തിനുള്ള സമയ വിതരണത്തിൽ ഔട്ട്‌ലറുകൾ ഒഴിവാക്കുന്നതിന് ഓരോ ചിത്രവും വിലയിരുത്തുന്നതിന് ഒരേ അളവിലുള്ള പ്രോസസ്സർ ഉറവിടങ്ങൾ അനുവദിക്കണം.
4. നിർദ്ദിഷ്ട സേവനങ്ങളുടെയും സ്റ്റാക്കിന്റെയും മൊത്തത്തിലുള്ള വേഗത്തിലുള്ള (വീണ്ടും) വിന്യാസം
5. ആവശ്യമെങ്കിൽ, വ്യത്യസ്ത സേവനങ്ങളിൽ പൊതുവായ വസ്തുക്കൾ ഉപയോഗിക്കാനുള്ള കഴിവ്

വാസ്തുവിദ്യ

ആവശ്യകതകൾ വിശകലനം ചെയ്ത ശേഷം, മൈക്രോസർവീസ് ആർക്കിടെക്ചർ ഏതാണ്ട് തികച്ചും യോജിക്കുന്നുവെന്ന് വ്യക്തമായി.

അനാവശ്യ തലവേദനകളിൽ നിന്ന് രക്ഷപ്പെടാൻ, ടെലിഗ്രാം എപിഐയെ മുൻനിരയായി തിരഞ്ഞെടുത്തു.

ആദ്യം, പൂർത്തിയായ വാസ്തുവിദ്യയുടെ ഘടനാപരമായ ഡയഗ്രം നോക്കാം, തുടർന്ന് ഓരോ ഘടകങ്ങളുടെയും വിവരണത്തിലേക്ക് പോകുക, കൂടാതെ വിജയകരമായ ഇമേജ് പ്രോസസ്സിംഗ് പ്രക്രിയയും ഔപചാരികമാക്കുക.

പൂർത്തിയായ വാസ്തുവിദ്യയുടെ ഘടനാപരമായ ഡയഗ്രം

ഇമേജ് മൂല്യനിർണ്ണയ പ്രക്രിയയിലെ ഏക ഉത്തരവാദിത്തത്തെ സൂചിപ്പിക്കുന്നു, ഡയഗ്രാമിലെ ഓരോ ഘടകങ്ങളെക്കുറിച്ചും കൂടുതൽ വിശദമായി സംസാരിക്കാം.

മൈക്രോ സർവീസ് "അട്രൈ-ടെലിഗ്രാം-ബോട്ട്"

ഈ മൈക്രോസർവീസ് ടെലിഗ്രാം API-യുമായുള്ള എല്ലാ ഇടപെടലുകളും ഉൾക്കൊള്ളുന്നു. 2 പ്രധാന സാഹചര്യങ്ങളുണ്ട്: ഒരു ഇഷ്‌ടാനുസൃത ഇമേജിനൊപ്പം പ്രവർത്തിക്കുകയും ഒരു വിലയിരുത്തൽ പൈപ്പ്ലൈനിന്റെ ഫലമായി പ്രവർത്തിക്കുകയും ചെയ്യുക. രണ്ട് സാഹചര്യങ്ങളും പൊതുവായി നോക്കാം.

ഒരു ചിത്രത്തോടുകൂടിയ ഒരു ഇഷ്‌ടാനുസൃത സന്ദേശം ലഭിക്കുമ്പോൾ:

1. ഇനിപ്പറയുന്ന പരിശോധനകൾ അടങ്ങുന്ന ഫിൽട്ടറേഷൻ നടത്തുന്നു:
   • ഒപ്റ്റിമൽ ഇമേജ് വലുപ്പത്തിന്റെ ലഭ്യത
   • ഇതിനകം ക്യൂവിലുള്ള ഉപയോക്തൃ ചിത്രങ്ങളുടെ എണ്ണം
2. പ്രാരംഭ ഫിൽട്ടറിംഗ് കടന്നുപോകുമ്പോൾ, ചിത്രം ഡോക്കർ വോള്യത്തിൽ സംരക്ഷിക്കപ്പെടും
3. "to_estimate" ക്യൂവിൽ ഒരു ടാസ്‌ക് നിർമ്മിക്കുന്നു, അതിൽ മറ്റ് കാര്യങ്ങളിൽ, ഞങ്ങളുടെ വോളിയത്തിൽ സ്ഥിതിചെയ്യുന്ന ചിത്രത്തിലേക്കുള്ള പാത ഉൾപ്പെടുന്നു
4. മേൽപ്പറഞ്ഞ ഘട്ടങ്ങൾ വിജയകരമായി പൂർത്തിയാക്കിയാൽ, ക്യൂവിലെ ടാസ്‌ക്കുകളുടെ എണ്ണത്തെ അടിസ്ഥാനമാക്കി കണക്കാക്കുന്ന ഏകദേശ ഇമേജ് പ്രോസസ്സിംഗ് സമയമുള്ള ഒരു സന്ദേശം ഉപയോക്താവിന് ലഭിക്കും. ഒരു പിശക് സംഭവിക്കുകയാണെങ്കിൽ, എന്താണ് തെറ്റ് സംഭവിച്ചതെന്നതിനെക്കുറിച്ചുള്ള വിവരങ്ങൾ അടങ്ങിയ ഒരു സന്ദേശം അയച്ചുകൊണ്ട് ഉപയോക്താവിനെ വ്യക്തമായി അറിയിക്കും.

കൂടാതെ, ഈ മൈക്രോസർവീസ്, ഒരു സെലറി തൊഴിലാളിയെപ്പോലെ, "ആഫ്റ്റർ_എസ്റ്റിമേറ്റ്" ക്യൂ ശ്രവിക്കുന്നു, ഇത് മൂല്യനിർണ്ണയ പൈപ്പ്ലൈനിലൂടെ കടന്നുപോയ ജോലികൾക്കായി ഉദ്ദേശിച്ചുള്ളതാണ്.

"after_estimate" എന്നതിൽ നിന്ന് ഒരു പുതിയ ടാസ്ക്ക് ലഭിക്കുമ്പോൾ:

1. ചിത്രം വിജയകരമായി പ്രോസസ്സ് ചെയ്താൽ, ഞങ്ങൾ ഫലം ഉപയോക്താവിന് അയയ്ക്കുന്നു; ഇല്ലെങ്കിൽ, ഒരു പിശകിനെക്കുറിച്ച് ഞങ്ങൾ അറിയിക്കും.
2. മൂല്യനിർണ്ണയ പൈപ്പ്ലൈനിന്റെ ഫലമായ ചിത്രം നീക്കംചെയ്യുന്നു

മൂല്യനിർണ്ണയം മൈക്രോ സർവീസ് "അട്രൈ-എസ്റ്റിമേറ്റർ"

ഈ മൈക്രോസർവീസ് ഒരു സെലറി വർക്കറാണ് കൂടാതെ ഇമേജ് മൂല്യനിർണ്ണയ പൈപ്പ്ലൈനുമായി ബന്ധപ്പെട്ട എല്ലാ കാര്യങ്ങളും ഉൾക്കൊള്ളുന്നു. ഇവിടെ ഒരു പ്രവർത്തന അൽഗോരിതം മാത്രമേയുള്ളൂ - നമുക്ക് അത് വിശകലനം ചെയ്യാം.

"to_estimate" എന്നതിൽ നിന്ന് ഒരു പുതിയ ടാസ്ക് ലഭിക്കുമ്പോൾ:

1. മൂല്യനിർണ്ണയ പൈപ്പ്ലൈനിലൂടെ ചിത്രം പ്രവർത്തിപ്പിക്കാം:
   1. മെമ്മറിയിലേക്ക് ചിത്രം ലോഡ് ചെയ്യുന്നു
   2. ആവശ്യമായ വലുപ്പത്തിലേക്ക് ഞങ്ങൾ ചിത്രം കൊണ്ടുവരുന്നു
   3. എല്ലാ മുഖങ്ങളും കണ്ടെത്തുന്നു (MTCNN)
   4. ഞങ്ങൾ എല്ലാ മുഖങ്ങളും വിലയിരുത്തുന്നു (അവസാന ഘട്ടത്തിൽ കണ്ടെത്തിയ മുഖങ്ങൾ ഞങ്ങൾ ഒരു ബാച്ചിലേക്ക് പൊതിഞ്ഞ് ResNet34 അനുമാനിക്കുന്നു)
   5. അന്തിമ ചിത്രം റെൻഡർ ചെയ്യുക
      1. നമുക്ക് ബൗണ്ടിംഗ് ബോക്സുകൾ വരയ്ക്കാം
      2. റേറ്റിംഗുകൾ വരയ്ക്കുന്നു
2. ഒരു ഇഷ്‌ടാനുസൃത (യഥാർത്ഥ) ചിത്രം ഇല്ലാതാക്കുന്നു
3. മൂല്യനിർണ്ണയ പൈപ്പ്ലൈനിൽ നിന്ന് ഔട്ട്പുട്ട് സംരക്ഷിക്കുന്നു
4. മുകളിൽ ചർച്ച ചെയ്ത "attrai-telegram-bot" മൈക്രോസർവീസ് ശ്രദ്ധിക്കുന്ന "after_estimate" ക്യൂവിൽ ഞങ്ങൾ ടാസ്‌ക് ഇട്ടു.

ഗ്രേലോഗ് (+ മോംഗോഡിബി + ഇലാസ്റ്റിക് സെർച്ച്)

ഗ്രേലോഗ് കേന്ദ്രീകൃത ലോഗ് മാനേജ്മെന്റിനുള്ള ഒരു പരിഹാരമാണ്. ഈ പ്രോജക്റ്റിൽ, അത് ഉദ്ദേശിച്ച ആവശ്യത്തിനായി ഉപയോഗിച്ചു.

തിരഞ്ഞെടുപ്പ് അവന്റെ മേൽ പതിച്ചു, സാധാരണക്കാരനല്ല ELK സ്റ്റാക്ക്, പൈത്തണിൽ നിന്ന് പ്രവർത്തിക്കാനുള്ള സൗകര്യം കാരണം. GELFTCPHandler പാക്കേജിൽ നിന്ന് ഗ്രേലോഗിലേക്ക് ലോഗിൻ ചെയ്യാൻ നിങ്ങൾ ചെയ്യേണ്ടത് ഇത്രമാത്രം നരച്ച ഞങ്ങളുടെ പൈത്തൺ മൈക്രോസർവീസിന്റെ ബാക്കിയുള്ള റൂട്ട് ലോഗർ ഹാൻഡ്‌ലറുകൾക്ക്.

മുമ്പ് ELK സ്റ്റാക്കിൽ മാത്രം പ്രവർത്തിച്ചിരുന്ന ഒരാളെന്ന നിലയിൽ, ഗ്രേലോഗിൽ ജോലി ചെയ്യുമ്പോൾ മൊത്തത്തിൽ ഒരു നല്ല അനുഭവം എനിക്കുണ്ടായി. ഗ്രേലോഗ് വെബ് ഇന്റർഫേസിനേക്കാൾ കിബാന ഫീച്ചറുകളിലെ മികവ് മാത്രമാണ് നിരാശാജനകമായ കാര്യം.

RabbitMQ

RabbitMQ AMQP പ്രോട്ടോക്കോൾ അടിസ്ഥാനമാക്കിയുള്ള ഒരു സന്ദേശ ബ്രോക്കറാണ്.

ഈ പ്രോജക്റ്റിൽ ഇത് ഉപയോഗിച്ചു ഏറ്റവും സ്ഥിരതയുള്ളതും സമയം പരിശോധിച്ചതും സെലറിയുടെ ബ്രോക്കർ, ഡ്യൂറബിൾ മോഡിൽ പ്രവർത്തിച്ചു.

രെദിസ്

രെദിസ് കീ മൂല്യമുള്ള ഡാറ്റാ ഘടനകളിൽ പ്രവർത്തിക്കുന്ന ഒരു NoSQL DBMS ആണ്

ചിലപ്പോൾ വ്യത്യസ്ത പൈത്തൺ മൈക്രോസർവീസുകളിൽ ചില ഡാറ്റാ ഘടനകൾ നടപ്പിലാക്കുന്ന പൊതുവായ ഒബ്‌ജക്‌റ്റുകൾ ഉപയോഗിക്കേണ്ടതുണ്ട്.

ഉദാഹരണത്തിന്, "telegram_user_id => ക്യൂവിലുള്ള സജീവമായ ജോലികളുടെ എണ്ണം" എന്ന ഫോമിന്റെ ഒരു ഹാഷ്മാപ്പ് Redis സംഭരിക്കുന്നു, ഇത് ഒരു ഉപയോക്താവിൽ നിന്നുള്ള അഭ്യർത്ഥനകളുടെ എണ്ണം ഒരു നിശ്ചിത മൂല്യത്തിലേക്ക് പരിമിതപ്പെടുത്താനും അതുവഴി DoS ആക്രമണങ്ങൾ തടയാനും നിങ്ങളെ അനുവദിക്കുന്നു.

വിജയകരമായ ഇമേജ് പ്രോസസ്സിംഗ് പ്രക്രിയയെ നമുക്ക് ഔപചാരികമാക്കാം

1. ഉപയോക്താവ് ടെലിഗ്രാം ബോട്ടിലേക്ക് ഒരു ചിത്രം അയയ്ക്കുന്നു
2. "attrai-telegram-bot" ടെലിഗ്രാം API-യിൽ നിന്ന് ഒരു സന്ദേശം സ്വീകരിക്കുകയും അത് പാഴ്‌സ് ചെയ്യുകയും ചെയ്യുന്നു
3. ചിത്രത്തോടൊപ്പമുള്ള ടാസ്‌ക്ക് "to_estimate" എന്ന അസിൻക്രണസ് ക്യൂവിൽ ചേർത്തു
4. ആസൂത്രിത മൂല്യനിർണ്ണയ സമയത്തോടുകൂടിയ ഒരു സന്ദേശം ഉപയോക്താവിന് ലഭിക്കുന്നു
5. “attrai-estimator” “to_estimate” ക്യൂവിൽ നിന്ന് ഒരു ടാസ്‌ക് എടുക്കുന്നു, പൈപ്പ്‌ലൈനിലൂടെ എസ്റ്റിമേറ്റുകൾ പ്രവർത്തിപ്പിച്ച് ടാസ്‌ക്ക് “after_estimate” ക്യൂവിൽ നിർമ്മിക്കുന്നു
6. "attrai-telegram-bot" "after_estimate" ക്യൂ ശ്രവിക്കുന്നു, ഫലം ഉപയോക്താവിന് അയയ്ക്കുന്നു

DevOps

അവസാനമായി, ആർക്കിടെക്ചർ അവലോകനം ചെയ്ത ശേഷം, നിങ്ങൾക്ക് സമാനമായ രസകരമായ ഭാഗത്തേക്ക് പോകാം - DevOps

ഡോക്കർ കൂട്ടം

 

ഡോക്കർ കൂട്ടം  - ഒരു ക്ലസ്റ്ററിംഗ് സിസ്റ്റം, ഇതിന്റെ പ്രവർത്തനം ഡോക്കർ എഞ്ചിനിനുള്ളിൽ നടപ്പിലാക്കുകയും ബോക്സിന് പുറത്ത് ലഭ്യമാകുകയും ചെയ്യുന്നു.

ഒരു "സ്വാം" ഉപയോഗിച്ച്, ഞങ്ങളുടെ ക്ലസ്റ്ററിലെ എല്ലാ നോഡുകളും 2 തരങ്ങളായി തിരിക്കാം - തൊഴിലാളിയും മാനേജർ. ആദ്യ തരത്തിലുള്ള മെഷീനുകളിൽ, കണ്ടെയ്നറുകളുടെ ഗ്രൂപ്പുകൾ (സ്റ്റാക്കുകൾ) വിന്യസിച്ചിരിക്കുന്നു, രണ്ടാമത്തെ തരത്തിലുള്ള മെഷീനുകൾ സ്കെയിലിംഗ്, ബാലൻസിങ് എന്നിവയ്ക്ക് ഉത്തരവാദികളാണ്. മറ്റ് രസകരമായ സവിശേഷതകൾ. മാനേജർമാരും സ്ഥിരസ്ഥിതിയായി തൊഴിലാളികളാണ്.

ഒരു ലീഡർ മാനേജരും മൂന്ന് തൊഴിലാളികളുമുള്ള ക്ലസ്റ്റർ

സാധ്യമായ ഏറ്റവും കുറഞ്ഞ ക്ലസ്റ്റർ വലുപ്പം 1 നോഡാണ്; ഒരൊറ്റ മെഷീൻ ഒരേസമയം ലീഡർ മാനേജരായും തൊഴിലാളിയായും പ്രവർത്തിക്കും. പ്രോജക്റ്റിന്റെ വലുപ്പവും തെറ്റ് സഹിഷ്ണുതയ്ക്കുള്ള ഏറ്റവും കുറഞ്ഞ ആവശ്യകതകളും അടിസ്ഥാനമാക്കി, ഈ സമീപനം ഉപയോഗിക്കാൻ തീരുമാനിച്ചു.

മുന്നോട്ട് നോക്കുമ്പോൾ, ജൂൺ മധ്യത്തിൽ നടന്ന ആദ്യത്തെ പ്രൊഡക്ഷൻ ഡെലിവറി മുതൽ, ഈ ക്ലസ്റ്റർ ഓർഗനൈസേഷനുമായി ബന്ധപ്പെട്ട് പ്രശ്‌നങ്ങളൊന്നും ഉണ്ടായിട്ടില്ലെന്ന് ഞാൻ പറയും (എന്നാൽ അത്തരം ഒരു ഓർഗനൈസേഷൻ ഏത് തരത്തിലും സ്വീകാര്യമാണെന്ന് ഇതിനർത്ഥമില്ല. പ്രോജക്റ്റുകൾ, തെറ്റ് സഹിഷ്ണുത ആവശ്യകതകൾക്ക് വിധേയമാണ്).

ഡോക്കർ സ്റ്റാക്ക്

കൂട്ടം മോഡിൽ, സ്റ്റാക്കുകൾ (ഡോക്കർ സേവനങ്ങളുടെ സെറ്റുകൾ) വിന്യസിക്കുന്നതിനുള്ള ഉത്തരവാദിത്തം അവനാണ്. ഡോക്കർ സ്റ്റാക്ക്

ഇത് ഡോക്കർ-കമ്പോസ് കോൺഫിഗറുകളെ പിന്തുണയ്ക്കുന്നു, വിന്യസിക്കുന്നതിനുള്ള ഓപ്ഷനുകൾ അധികമായി ഉപയോഗിക്കാൻ നിങ്ങളെ അനുവദിക്കുന്നു.  

ഉദാഹരണത്തിന്, ഈ പാരാമീറ്ററുകൾ ഉപയോഗിച്ച്, ഓരോ മൂല്യനിർണ്ണയ മൈക്രോസർവീസ് സംഭവങ്ങളുടെയും ഉറവിടങ്ങൾ പരിമിതമാണ് (N ഇൻസ്‌റ്റൻസുകൾക്കായി ഞങ്ങൾ N കോറുകൾ അനുവദിക്കും, മൈക്രോസർവീസിൽ തന്നെ PyTorch ഉപയോഗിക്കുന്ന കോറുകളുടെ എണ്ണം ഞങ്ങൾ ഒന്നായി പരിമിതപ്പെടുത്തുന്നു)

attrai_estimator:
  image: 'erqups/attrai_estimator:1.2'
  deploy:
    replicas: 4
    resources:
      limits:
        cpus: '4'
    restart_policy:
      condition: on-failure
      …

റെഡിസ്, റാബിറ്റ്എംക്യു, ഗ്രേലോഗ് എന്നിവ സ്റ്റേറ്റ്ഫുൾ സേവനങ്ങളാണെന്നതും അവയെ "അട്രൈ-എസ്റ്റിമേറ്റർ" പോലെ എളുപ്പത്തിൽ സ്കെയിൽ ചെയ്യാൻ കഴിയില്ലെന്നതും ശ്രദ്ധിക്കേണ്ടതാണ്.

ചോദ്യം മുൻനിഴലാക്കുന്നു - എന്തുകൊണ്ട് കുബർനെറ്റസ് അല്ല?

ചെറുതും ഇടത്തരവുമായ പ്രോജക്‌ടുകളിൽ Kubernetes ഉപയോഗിക്കുന്നത് ഒരു ഓവർഹെഡാണെന്ന് തോന്നുന്നു; ആവശ്യമായ എല്ലാ പ്രവർത്തനങ്ങളും ഡോക്കർ സ്വാമിൽ നിന്ന് ലഭിക്കും, ഇത് ഒരു കണ്ടെയ്‌നർ ഓർക്കസ്‌ട്രേറ്ററിന് തികച്ചും ഉപയോക്തൃ-സൗഹൃദവും പ്രവേശനത്തിന് കുറഞ്ഞ തടസ്സവുമുള്ളതാണ്.

ഇൻഫ്രാസ്ട്രക്ചർ

ഇനിപ്പറയുന്ന സ്വഭാവസവിശേഷതകളോടെ ഇതെല്ലാം വിഡിഎസിൽ വിന്യസിച്ചു:

• CPU: 4 കോർ Intel® Xeon® Gold 5120 CPU @ 2.20GHz
• റാം: XXX GB
• എസ്എസ്ഡി: 160 ജിബി

ലോക്കൽ ലോഡ് ടെസ്റ്റിംഗിന് ശേഷം, ഉപയോക്താക്കളുടെ ഗുരുതരമായ ഒഴുക്കിനൊപ്പം, ഈ മെഷീൻ മതിയാകും എന്ന് തോന്നി.

പക്ഷേ, വിന്യാസത്തിന് തൊട്ടുപിന്നാലെ, CIS-ലെ ഏറ്റവും ജനപ്രിയമായ ഇമേജ്ബോർഡുകളിലൊന്നിലേക്ക് ഞാൻ ഒരു ലിങ്ക് പോസ്റ്റുചെയ്തു (അതെ, അത് തന്നെ), അതിനുശേഷം ആളുകൾ താൽപ്പര്യം പ്രകടിപ്പിക്കുകയും ഏതാനും മണിക്കൂറുകൾക്കുള്ളിൽ സേവനം പതിനായിരക്കണക്കിന് ചിത്രങ്ങൾ വിജയകരമായി പ്രോസസ്സ് ചെയ്യുകയും ചെയ്തു. അതേസമയം, പീക്ക് നിമിഷങ്ങളിൽ, സിപിയു, റാം വിഭവങ്ങൾ പകുതി പോലും ഉപയോഗിച്ചിരുന്നില്ല.

കുറച്ചു കൂടി ഗ്രാഫിക്സ്

അദ്വിതീയ ഉപയോക്താക്കളുടെ എണ്ണം, വിന്യാസം മുതൽ മൂല്യനിർണ്ണയ അഭ്യർത്ഥനകൾ, ദിവസം അനുസരിച്ച്

മൂല്യനിർണ്ണയ പൈപ്പ്ലൈൻ അനുമാന സമയ വിതരണം

കണ്ടെത്തലുകൾ

ചുരുക്കത്തിൽ, വാസ്തുവിദ്യയും കണ്ടെയ്‌നറുകളുടെ ഓർക്കസ്ട്രേഷനോടുള്ള സമീപനവും പൂർണ്ണമായും ന്യായീകരിക്കപ്പെടുന്നുവെന്ന് എനിക്ക് പറയാൻ കഴിയും - പീക്ക് നിമിഷങ്ങളിൽ പോലും പ്രോസസ്സിംഗ് സമയത്ത് തുള്ളികളോ തളർച്ചയോ ഉണ്ടായില്ല. 

സിപിയുവിലെ ന്യൂറൽ നെറ്റ്‌വർക്കുകളുടെ തത്സമയ അനുമാനം ഉപയോഗിക്കുന്ന ചെറുതും ഇടത്തരവുമായ പ്രോജക്റ്റുകൾക്ക് ഈ ലേഖനത്തിൽ വിവരിച്ചിരിക്കുന്ന രീതികൾ വിജയകരമായി സ്വീകരിക്കാൻ കഴിയുമെന്ന് ഞാൻ കരുതുന്നു.

തുടക്കത്തിൽ ലേഖനം ദൈർഘ്യമേറിയതാണെന്ന് ഞാൻ കൂട്ടിച്ചേർക്കും, പക്ഷേ ദീർഘനേരം വായിക്കാതിരിക്കാൻ, ഈ ലേഖനത്തിലെ ചില പോയിന്റുകൾ ഒഴിവാക്കാൻ ഞാൻ തീരുമാനിച്ചു - ഭാവി പ്രസിദ്ധീകരണങ്ങളിൽ ഞങ്ങൾ അവയിലേക്ക് മടങ്ങും.

നിങ്ങൾക്ക് ടെലിഗ്രാമിൽ ബോട്ട് കുത്താനാകും - @AttraiBot, ഇത് 2020 ശരത്കാലത്തിന്റെ അവസാനം വരെ പ്രവർത്തിക്കും. ഉപയോക്തൃ ഡാറ്റയൊന്നും സംഭരിച്ചിട്ടില്ലെന്ന് ഞാൻ നിങ്ങളെ ഓർമ്മിപ്പിക്കട്ടെ - ഒറിജിനൽ ഇമേജുകളോ മൂല്യനിർണ്ണയ പൈപ്പ്ലൈനിന്റെ ഫലങ്ങളോ അല്ല - പ്രോസസ്സ് ചെയ്തതിന് ശേഷം എല്ലാം പൊളിച്ചു.

അവലംബം: www.habr.com