കൺവല്യൂഷണൽ നെറ്റ്‌വർക്കുകൾ കുറയ്ക്കുന്നതിനുള്ള ജെഡി ടെക്നിക് - അരിവാൾ

നിങ്ങളുടെ മുമ്പിൽ വീണ്ടും വസ്തുക്കളെ കണ്ടെത്താനുള്ള ചുമതലയാണ്. സ്വീകാര്യമായ കൃത്യതയോടെയുള്ള പ്രവർത്തന വേഗതയാണ് മുൻഗണന. നിങ്ങൾ YOLOv3 ആർക്കിടെക്ചർ എടുത്ത് അതിനെ കൂടുതൽ പരിശീലിപ്പിക്കുക. കൃത്യത(mAp75) 0.95-ൽ കൂടുതലാണ്. എന്നാൽ റൺ റേറ്റ് ഇപ്പോഴും കുറവാണ്. വിഡ്ഢിത്തം.

ഇന്ന് നമ്മൾ ക്വാണ്ടൈസേഷൻ മറികടക്കും. കട്ടിനടിയിൽ ഞങ്ങൾ നോക്കും മോഡൽ പ്രൂണിംഗ് — കൃത്യത നഷ്ടപ്പെടാതെ അനുമാനം വേഗത്തിലാക്കാൻ നെറ്റ്‌വർക്കിന്റെ അനാവശ്യ ഭാഗങ്ങൾ ട്രിം ചെയ്യുന്നു. എവിടെ, എത്ര, എങ്ങനെ മുറിക്കണമെന്ന് വ്യക്തമാണ്. ഇത് എങ്ങനെ സ്വമേധയാ ചെയ്യാമെന്നും നിങ്ങൾക്ക് ഇത് എവിടെ ഓട്ടോമേറ്റ് ചെയ്യാമെന്നും നമുക്ക് നോക്കാം. അവസാനം കെരാസിൽ ഒരു ശേഖരം ഉണ്ട്.

ആമുഖം

എന്റെ മുമ്പത്തെ ജോലിസ്ഥലമായ പെർമിലെ മാക്രോസ്കോപ്പിൽ, ഞാൻ ഒരു ശീലം നേടി - അൽഗോരിതങ്ങളുടെ നിർവ്വഹണ സമയം എപ്പോഴും നിരീക്ഷിക്കാൻ. പര്യാപ്തത ഫിൽട്ടറിലൂടെ എല്ലായ്പ്പോഴും നെറ്റ്‌വർക്ക് റൺടൈം പരിശോധിക്കുക. സാധാരണയായി ഉൽപ്പാദനത്തിൽ അത്യാധുനികമായ ഈ ഫിൽട്ടർ കടന്നുപോകുന്നില്ല, ഇത് എന്നെ പ്രൂണിങ്ങിലേക്ക് നയിച്ചു.

പ്രൂണിംഗ് എന്നത് ചർച്ച ചെയ്യപ്പെട്ട ഒരു പഴയ വിഷയമാണ് സ്റ്റാൻഫോർഡ് പ്രഭാഷണങ്ങൾ 2017-ൽ. വിവിധ നോഡുകൾ നീക്കം ചെയ്തുകൊണ്ട് കൃത്യത നഷ്ടപ്പെടാതെ പരിശീലനം ലഭിച്ച നെറ്റ്‌വർക്കിന്റെ വലുപ്പം കുറയ്ക്കുക എന്നതാണ് പ്രധാന ആശയം. ഇത് രസകരമായി തോന്നുന്നു, പക്ഷേ അതിന്റെ ഉപയോഗത്തെക്കുറിച്ച് ഞാൻ വളരെ അപൂർവമായി മാത്രമേ കേൾക്കൂ. ഒരുപക്ഷേ, വേണ്ടത്ര നടപ്പാക്കലുകളില്ല, റഷ്യൻ ഭാഷയിലുള്ള ലേഖനങ്ങളൊന്നുമില്ല, അല്ലെങ്കിൽ എല്ലാവരും അത് അരിവാൾകൊണ്ടാണെന്ന് കരുതി നിശബ്ദത പാലിക്കുന്നു.
എന്നാൽ നമുക്ക് അത് വേർപെടുത്താം

ജീവശാസ്ത്രത്തിലേക്കുള്ള ഒരു നേർക്കാഴ്ച

ഡീപ് ലേണിംഗ് ജീവശാസ്ത്രത്തിൽ നിന്ന് വരുന്ന ആശയങ്ങളിലേക്ക് നോക്കുമ്പോൾ ഞാൻ അത് ഇഷ്ടപ്പെടുന്നു. പരിണാമം പോലെ അവയും വിശ്വസിക്കാൻ കഴിയും (ReLU വളരെ സാമ്യമുള്ളതാണെന്ന് നിങ്ങൾക്കറിയാമോ തലച്ചോറിലെ ന്യൂറോൺ സജീവമാക്കൽ പ്രവർത്തനം?)

മാതൃകാ പ്രൂണിംഗ് പ്രക്രിയയും ജീവശാസ്ത്രത്തോട് അടുത്താണ്. ഇവിടെ നെറ്റ്‌വർക്കിന്റെ പ്രതികരണം തലച്ചോറിന്റെ പ്ലാസ്റ്റിറ്റിയുമായി താരതമ്യപ്പെടുത്താവുന്നതാണ്. രസകരമായ രണ്ട് ഉദാഹരണങ്ങൾ പുസ്തകത്തിലുണ്ട്. നോർമൻ ഡോയിഡ്ജ്:

1. ഒരു പകുതി മാത്രമായി ജനിച്ച ഒരു സ്ത്രീയുടെ തലച്ചോറ് നഷ്ടപ്പെട്ട പകുതിയുടെ പ്രവർത്തനങ്ങൾ നിർവഹിക്കാൻ സ്വയം പുനർനിർമ്മിച്ചു.
2. കാഴ്ചയ്ക്ക് കാരണമായ തലച്ചോറിന്റെ ഭാഗം ആ വ്യക്തി വെടിവച്ചു. കാലക്രമേണ, തലച്ചോറിന്റെ മറ്റ് ഭാഗങ്ങൾ ഈ പ്രവർത്തനങ്ങൾ ഏറ്റെടുത്തു. (ഞങ്ങൾ ആവർത്തിക്കാൻ ശ്രമിക്കുന്നില്ല)

അതുപോലെ, നിങ്ങളുടെ മോഡലിൽ നിന്ന് ദുർബലമായ ചില വളവുകൾ നിങ്ങൾക്ക് വെട്ടിമാറ്റാം. അവസാന ആശ്രയമെന്ന നിലയിൽ, ബാക്കിയുള്ള ബണ്ടിലുകൾ മുറിച്ചവ മാറ്റിസ്ഥാപിക്കാൻ സഹായിക്കും.

നിങ്ങൾക്ക് ട്രാൻസ്ഫർ ലേണിംഗ് ഇഷ്ടമാണോ അതോ ആദ്യം മുതൽ പഠിക്കുകയാണോ?

ഓപ്ഷൻ നമ്പർ ഒന്ന്. നിങ്ങൾ Yolov3-ൽ ട്രാൻസ്ഫർ ലേണിംഗ് ഉപയോഗിക്കുന്നു. റെറ്റിന, മാസ്ക്-ആർസിഎൻഎൻ അല്ലെങ്കിൽ യു-നെറ്റ്. എന്നാൽ മിക്കപ്പോഴും COCO-യിലേതുപോലെ 80 ഒബ്‌ജക്റ്റ് ക്ലാസുകൾ തിരിച്ചറിയേണ്ടതില്ല. എന്റെ പരിശീലനത്തിൽ, എല്ലാം 1-2 ഗ്രേഡുകളിലേക്ക് പരിമിതപ്പെടുത്തിയിരിക്കുന്നു. 80 ക്ലാസുകൾക്കുള്ള വാസ്തുവിദ്യ ഇവിടെ അനാവശ്യമാണെന്ന് ഒരാൾ അനുമാനിക്കാം. വാസ്തുവിദ്യയെ ചെറുതാക്കേണ്ടതുണ്ടെന്ന് ഇത് സൂചിപ്പിക്കുന്നു. മാത്രമല്ല, നിലവിലുള്ള പ്രീ-ട്രെയിൻഡ് ഭാരം നഷ്ടപ്പെടാതെ ഇത് ചെയ്യാൻ ഞാൻ ആഗ്രഹിക്കുന്നു.

ഓപ്ഷൻ നമ്പർ രണ്ട്. ഒരുപക്ഷേ നിങ്ങൾക്ക് ധാരാളം ഡാറ്റയും കമ്പ്യൂട്ടിംഗ് ഉറവിടങ്ങളും ഉണ്ടായിരിക്കാം, അല്ലെങ്കിൽ ഒരു സൂപ്പർ ഇഷ്‌ടാനുസൃത ആർക്കിടെക്ചർ ആവശ്യമായി വന്നേക്കാം. സാരമില്ല. എന്നാൽ നിങ്ങൾ ആദ്യം മുതൽ നെറ്റ്‌വർക്ക് പഠിക്കുകയാണ്. സാധാരണ നടപടിക്രമം ഡാറ്റ ഘടന നോക്കുക, ശക്തിയിൽ അമിതമായ ഒരു ആർക്കിടെക്ചർ തിരഞ്ഞെടുക്കുക, വീണ്ടും പരിശീലനത്തിൽ നിന്ന് ഡ്രോപ്പ്ഔട്ടുകൾ തള്ളുക. ഞാൻ 0.6 കൊഴിഞ്ഞുപോക്ക് കണ്ടു, കാൾ.

രണ്ട് സാഹചര്യങ്ങളിലും, നെറ്റ്വർക്ക് കുറയ്ക്കാൻ കഴിയും. പ്രേരണ നൽകി. ഇപ്പോൾ നമുക്ക് പരിച്ഛേദന അരിവാൾ എന്താണെന്ന് കണ്ടെത്താം

പൊതു അൽഗോരിതം

കെട്ടുകൾ നീക്കം ചെയ്യാമെന്ന് ഞങ്ങൾ തീരുമാനിച്ചു. ഇത് വളരെ ലളിതമായി തോന്നുന്നു:

ഏതെങ്കിലും കൺവ്യൂഷൻ നീക്കം ചെയ്യുന്നത് നെറ്റ്‌വർക്കിന് സമ്മർദ്ദമാണ്, ഇത് സാധാരണയായി പിശക് വർദ്ധിക്കുന്നതിലേക്ക് നയിക്കുന്നു. ഒരു വശത്ത്, പിശകിന്റെ ഈ വർദ്ധനവ് ഞങ്ങൾ എത്രത്തോളം ശരിയായി കോൺവല്യൂഷനുകൾ നീക്കംചെയ്യുന്നു എന്നതിന്റെ സൂചകമാണ് (ഉദാഹരണത്തിന്, ഒരു വലിയ വർദ്ധനവ് ഞങ്ങൾ എന്തെങ്കിലും തെറ്റ് ചെയ്യുന്നതായി സൂചിപ്പിക്കുന്നു). എന്നാൽ ഒരു ചെറിയ വർദ്ധനവ് തികച്ചും സ്വീകാര്യമാണ്, ഒരു ചെറിയ LR ഉപയോഗിച്ച് തുടർന്നുള്ള ലൈറ്റ് അധിക പരിശീലനത്തിലൂടെ ഇത് പലപ്പോഴും ഒഴിവാക്കപ്പെടുന്നു. ഒരു അധിക പരിശീലന ഘട്ടം ചേർക്കുക:

ഞങ്ങളുടെ ലേണിംഗ്<->പ്രൂണിംഗ് ലൂപ്പ് എപ്പോൾ നിർത്തണമെന്ന് ഇപ്പോൾ നമുക്ക് കണ്ടെത്തേണ്ടതുണ്ട്. നെറ്റ്‌വർക്ക് ഒരു നിശ്ചിത വലുപ്പത്തിലേക്കും വേഗതയിലേക്കും കുറയ്ക്കേണ്ടിവരുമ്പോൾ ഇവിടെ വിദേശ ഓപ്ഷനുകൾ ഉണ്ടാകാം (ഉദാഹരണത്തിന്, മൊബൈൽ ഉപകരണങ്ങൾക്ക്). എന്നിരുന്നാലും, പിശക് സ്വീകാര്യമായതിലും കൂടുതലാകുന്നതുവരെ സൈക്കിൾ തുടരുക എന്നതാണ് ഏറ്റവും സാധാരണമായ ഓപ്ഷൻ. ഒരു വ്യവസ്ഥ ചേർക്കുക:

അതിനാൽ, അൽഗോരിതം വ്യക്തമാകും. ഇല്ലാതാക്കിയ കൺവല്യൂഷനുകൾ എങ്ങനെ നിർണ്ണയിക്കാമെന്ന് മനസിലാക്കാൻ ഇത് ശേഷിക്കുന്നു.

ഇല്ലാതാക്കിയ ബണ്ടിലുകൾക്കായി തിരയുക

നമുക്ക് ചില കൺവെൻഷനുകൾ നീക്കം ചെയ്യേണ്ടതുണ്ട്. മുന്നോട്ട് കുതിച്ച് ആരെയും "വെടിവെയ്ക്കുക" എന്നത് ഒരു മോശം ആശയമാണ്, അത് പ്രവർത്തിക്കുമെങ്കിലും. എന്നാൽ നിങ്ങൾക്ക് ഒരു തലയുള്ളതിനാൽ, നിങ്ങൾക്ക് ചിന്തിക്കാനും നീക്കം ചെയ്യുന്നതിനായി "ദുർബലമായ" വളവുകൾ തിരഞ്ഞെടുക്കാൻ ശ്രമിക്കാനും കഴിയും. നിരവധി ഓപ്ഷനുകൾ ഉണ്ട്:

1. ഏറ്റവും ചെറിയ L1-അളവ് അല്ലെങ്കിൽ കുറഞ്ഞ_മാഗ്നിറ്റ്യൂഡ്_പ്രൂണിംഗ്. ചെറിയ ഭാരങ്ങളുള്ള വളച്ചൊടിക്കലുകൾ അന്തിമ തീരുമാനത്തിന് വലിയ സംഭാവന നൽകുന്നില്ല എന്ന ആശയം
2. ശരാശരിയും സ്റ്റാൻഡേർഡ് ഡീവിയേഷനും കണക്കിലെടുത്ത് ഏറ്റവും ചെറിയ L1-അളവ്. വിതരണത്തിന്റെ സ്വഭാവത്തെക്കുറിച്ചുള്ള ഒരു വിലയിരുത്തൽ ഞങ്ങൾ സപ്ലിമെന്റ് ചെയ്യുന്നു.
3. കൺവല്യൂഷനുകൾ മറയ്ക്കുകയും അന്തിമ കൃത്യതയെ സ്വാധീനിക്കുന്നവ ഒഴിവാക്കുകയും ചെയ്യുന്നു. അപ്രധാനമായ വളച്ചൊടിക്കലുകളുടെ കൂടുതൽ കൃത്യമായ നിർണ്ണയം, എന്നാൽ വളരെ സമയം-ദഹിപ്പിക്കുന്നതും വിഭവം-ദഹിപ്പിക്കുന്നതുമാണ്.
4. മറ്റുള്ളവ

ഓരോ ഓപ്ഷനും ജീവിക്കാനുള്ള അവകാശവും അതിന്റേതായ നടപ്പിലാക്കൽ സവിശേഷതകളും ഉണ്ട്. ഏറ്റവും ചെറിയ L1-അളവ് ഉള്ള ഓപ്ഷൻ ഞങ്ങൾ ഇവിടെ പരിഗണിക്കുന്നു

YOLOv3-നുള്ള മാനുവൽ പ്രോസസ്സ്

യഥാർത്ഥ വാസ്തുവിദ്യയിൽ അവശേഷിക്കുന്ന ബ്ലോക്കുകൾ അടങ്ങിയിരിക്കുന്നു. ആഴത്തിലുള്ള നെറ്റ്‌വർക്കുകൾക്ക് അവ എത്ര തണുത്തതാണെങ്കിലും, അവ നമ്മെ ഒരു പരിധിവരെ തടസ്സപ്പെടുത്തും. ഈ ലെയറുകളിലെ വ്യത്യസ്ത സൂചികകളുമായുള്ള അനുരഞ്ജനങ്ങൾ നിങ്ങൾക്ക് ഇല്ലാതാക്കാൻ കഴിയില്ല എന്നതാണ് ബുദ്ധിമുട്ട്:

അതിനാൽ, നമുക്ക് അനുരഞ്ജനങ്ങൾ സ്വതന്ത്രമായി ഇല്ലാതാക്കാൻ കഴിയുന്ന ലെയറുകൾ തിരഞ്ഞെടുക്കാം:

ഇനി നമുക്ക് ഒരു വർക്ക് സൈക്കിൾ നിർമ്മിക്കാം:

1. ആക്ടിവേഷനുകൾ അപ്‌ലോഡ് ചെയ്യുന്നു
2. എത്രമാത്രം മുറിക്കണമെന്ന് കണ്ടെത്തുന്നു
3. അത് മുറിക്കുക
4. LR=10e-1 ഉപയോഗിച്ച് 4 യുഗങ്ങൾ പഠിക്കുന്നു
5. ടെസ്റ്റിംഗ്

ഒരു നിശ്ചിത ഘട്ടത്തിൽ നമുക്ക് എത്ര ഭാഗം നീക്കം ചെയ്യാം എന്ന് കണക്കാക്കാൻ കൺവ്യൂഷനുകൾ അൺലോഡ് ചെയ്യുന്നത് ഉപയോഗപ്രദമാണ്. അൺലോഡിംഗ് ഉദാഹരണങ്ങൾ:

മിക്കവാറും എല്ലായിടത്തും 5% കൺവല്യൂഷനുകൾ വളരെ താഴ്ന്ന L1-മാനദണ്ഡം ഉള്ളതായി ഞങ്ങൾ കാണുന്നു, നമുക്ക് അവ നീക്കം ചെയ്യാൻ കഴിയും. ഓരോ ഘട്ടത്തിലും, ഈ അൺലോഡിംഗ് ആവർത്തിച്ച്, ഏതൊക്കെ പാളികൾ, എത്രയെണ്ണം മുറിക്കാമെന്ന് ഒരു വിലയിരുത്തൽ നടത്തി.

മുഴുവൻ പ്രക്രിയയും 4 ഘട്ടങ്ങളിലായാണ് പൂർത്തിയാക്കിയത് (RTX 2060 Super-ന് ഇവിടെയും എല്ലായിടത്തും നമ്പറുകൾ):

ഘട്ടം	mAp75	പാരാമീറ്ററുകളുടെ എണ്ണം, ദശലക്ഷം	നെറ്റ്‌വർക്ക് വലുപ്പം, mb	പ്രാരംഭത്തിൽ നിന്ന്, %	റൺ സമയം, ms	പരിച്ഛേദന അവസ്ഥ
0	0.9656	60	241	100	180	-
1	0.9622	55	218	91	175	മൊത്തം 5%
2	0.9625	50	197	83	168	മൊത്തം 5%
3	0.9633	39	155	64	155	15-ൽ അധികം വളവുകളുള്ള ലെയറുകൾക്ക് 400%
4	0.9555	31	124	51	146	10-ൽ അധികം വളവുകളുള്ള ലെയറുകൾക്ക് 100%

സ്റ്റെപ്പ് 2-ലേക്ക് ഒരു പോസിറ്റീവ് ഇഫക്റ്റ് ചേർത്തു - ബാച്ച് സൈസ് 4 മെമ്മറിയിലേക്ക് യോജിക്കുന്നു, ഇത് അധിക പരിശീലന പ്രക്രിയയെ വളരെയധികം ത്വരിതപ്പെടുത്തി.
നാലാം ഘട്ടത്തിൽ, കാരണം പ്രക്രിയ നിർത്തി ദീർഘകാല അധിക പരിശീലനം പോലും mAp4 പഴയ മൂല്യങ്ങളിലേക്ക് ഉയർത്തിയില്ല.
തൽഫലമായി, അനുമാനം വേഗത്തിലാക്കാൻ ഞങ്ങൾക്ക് കഴിഞ്ഞു 15%, വലിപ്പം കുറയ്ക്കുക 35% കൃത്യമായി നഷ്ടപ്പെടുകയുമില്ല.

ലളിതമായ ആർക്കിടെക്ചറുകൾക്കുള്ള ഓട്ടോമേഷൻ

ലളിതമായ നെറ്റ്‌വർക്ക് ആർക്കിടെക്ചറുകൾക്ക് (സോപാധിക ആഡ്, കോൺകാറ്റർനേറ്റ്, റെസിഡ്യൂവൽ ബ്ലോക്കുകൾ ഇല്ലാതെ), എല്ലാ കൺവ്യൂഷണൽ ലെയറുകളും പ്രോസസ്സ് ചെയ്യുന്നതിൽ ശ്രദ്ധ കേന്ദ്രീകരിക്കാനും കൺവ്യൂഷനുകൾ മുറിക്കുന്ന പ്രക്രിയ ഓട്ടോമേറ്റ് ചെയ്യാനും തികച്ചും സാദ്ധ്യമാണ്.

ഞാൻ ഈ ഓപ്ഷൻ നടപ്പിലാക്കി ഇവിടെ.
ഇത് ലളിതമാണ്: നിങ്ങൾക്ക് ഒരു ലോസ് ഫംഗ്ഷൻ, ഒപ്റ്റിമൈസർ, ബാച്ച് ജനറേറ്ററുകൾ എന്നിവ മാത്രമേ ആവശ്യമുള്ളൂ:

import pruning
from keras.optimizers import Adam
from keras.utils import Sequence

train_batch_generator = BatchGenerator...
score_batch_generator = BatchGenerator...

opt = Adam(lr=1e-4)
pruner = pruning.Pruner("config.json", "categorical_crossentropy", opt)

pruner.prune(train_batch, valid_batch)

ആവശ്യമെങ്കിൽ, നിങ്ങൾക്ക് കോൺഫിഗറേഷൻ പാരാമീറ്ററുകൾ മാറ്റാം:

{
    "input_model_path": "model.h5",
    "output_model_path": "model_pruned.h5",
    "finetuning_epochs": 10, # the number of epochs for train between pruning steps
    "stop_loss": 0.1, # loss for stopping process
    "pruning_percent_step": 0.05, # part of convs for delete on every pruning step
    "pruning_standart_deviation_part": 0.2 # shift for limit pruning part
}

കൂടാതെ, സ്റ്റാൻഡേർഡ് ഡീവിയേഷൻ അടിസ്ഥാനമാക്കിയുള്ള ഒരു പരിമിതി നടപ്പിലാക്കുന്നു. ഇതിനകം തന്നെ "ആവശ്യമായ" എൽ 1 അളവുകളുള്ള കൺവല്യൂഷനുകൾ ഒഴികെ നീക്കം ചെയ്ത ഭാഗം പരിമിതപ്പെടുത്തുക എന്നതാണ് ലക്ഷ്യം:

അതിനാൽ, വലത്തേതിന് സമാനമായ വിതരണങ്ങളിൽ നിന്ന് ദുർബലമായ കോൺവല്യൂഷനുകൾ മാത്രം നീക്കംചെയ്യാനും ഇടത്തേതിന് സമാനമായ വിതരണങ്ങളിൽ നിന്ന് നീക്കംചെയ്യലിനെ ബാധിക്കാതിരിക്കാനും ഞങ്ങൾ നിങ്ങളെ അനുവദിക്കുന്നു:

വിതരണം സാധാരണ നിലയിലാകുമ്പോൾ, pruning_standart_deviation_part കോഫിഫിഷ്യന്റ് ഇതിൽ നിന്ന് തിരഞ്ഞെടുക്കാം:

2 സിഗ്മയുടെ അനുമാനം ഞാൻ ശുപാർശ ചെയ്യുന്നു. അല്ലെങ്കിൽ <1.0 എന്ന മൂല്യം ഉപേക്ഷിച്ച് നിങ്ങൾക്ക് ഈ സവിശേഷത അവഗണിക്കാം.

ഔട്ട്‌പുട്ട് എന്നത് നെറ്റ്‌വർക്ക് വലുപ്പം, നഷ്ടം, നെറ്റ്‌വർക്ക് റൺടൈം എന്നിവയുടെ ഗ്രാഫ് ആണ്, ഇത് 1.0 ആയി നോർമലൈസ് ചെയ്തു. ഉദാഹരണത്തിന്, ഇവിടെ നെറ്റ്‌വർക്ക് വലുപ്പം ഗുണനിലവാരം നഷ്ടപ്പെടാതെ ഏകദേശം 2 മടങ്ങ് കുറഞ്ഞു (100k ഭാരമുള്ള ചെറിയ കൺവല്യൂഷണൽ നെറ്റ്‌വർക്ക്):

ഓട്ടം വേഗത സാധാരണ ഏറ്റക്കുറച്ചിലുകൾക്ക് വിധേയമാണ്, ഫലത്തിൽ മാറ്റമില്ലാതെ തുടരുന്നു. ഇതിന് ഒരു വിശദീകരണമുണ്ട്:

1. കൺവല്യൂഷനുകളുടെ എണ്ണം സൗകര്യപ്രദമായ (32, 64, 128) വീഡിയോ കാർഡുകൾക്ക് ഏറ്റവും സൗകര്യപ്രദമല്ലാത്തതായി മാറുന്നു - 27, 51, മുതലായവ. എനിക്ക് ഇവിടെ തെറ്റ് സംഭവിക്കാം, പക്ഷേ മിക്കവാറും അത് ഒരു ഫലമുണ്ടാക്കും.
2. വാസ്തുവിദ്യ വിശാലമല്ല, സ്ഥിരതയുള്ളതാണ്. വീതി കുറയ്ക്കുന്നതിലൂടെ, ഞങ്ങൾ ആഴത്തെ ബാധിക്കില്ല. അങ്ങനെ, ഞങ്ങൾ ലോഡ് കുറയ്ക്കുന്നു, പക്ഷേ വേഗത മാറ്റരുത്.

അതിനാൽ, ഓട്ടത്തിനിടയിൽ CUDA ലോഡിൽ 20-30% കുറച്ചെങ്കിലും പ്രവർത്തനസമയത്ത് കുറവുണ്ടായില്ല.

ഫലങ്ങൾ

നമുക്ക് പ്രതിഫലിപ്പിക്കാം. ഞങ്ങൾ 2 ഓപ്‌ഷനുകൾ പരിഗണിച്ചു - YOLOv3 (നിങ്ങൾ കൈകൊണ്ട് പ്രവർത്തിക്കേണ്ടിവരുമ്പോൾ) കൂടാതെ ലളിതമായ ആർക്കിടെക്ചറുകളുള്ള നെറ്റ്‌വർക്കുകൾക്കായി. രണ്ട് സാഹചര്യങ്ങളിലും കൃത്യത നഷ്‌ടപ്പെടാതെ നെറ്റ്‌വർക്ക് വലുപ്പം കുറയ്ക്കാനും വേഗത്തിലാക്കാനും കഴിയുമെന്ന് കാണാൻ കഴിയും. ഫലം:

• വലിപ്പം കുറയ്ക്കുന്നു
• ത്വരിതപ്പെടുത്തൽ ഓട്ടം
• CUDA ലോഡ് കുറയ്ക്കുന്നു
• തൽഫലമായി, പരിസ്ഥിതി സൗഹൃദം (കമ്പ്യൂട്ടിംഗ് വിഭവങ്ങളുടെ ഭാവി ഉപയോഗം ഞങ്ങൾ ഒപ്റ്റിമൈസ് ചെയ്യുന്നു. എവിടെയോ ഒരാൾ സന്തോഷവാനാണ് ഗ്രെറ്റ തുൻബെർഗ്)

അനുബന്ധം

• പ്രൂണിംഗ് ഘട്ടത്തിന് ശേഷം, നിങ്ങൾക്ക് ക്വാണ്ടൈസേഷൻ ചേർക്കാം (ഉദാഹരണത്തിന്, TensorRT ഉപയോഗിച്ച്)
• ടെൻസർഫ്ലോ ഇതിനുള്ള കഴിവുകൾ നൽകുന്നു കുറഞ്ഞ_മാഗ്നിറ്റ്യൂഡ്_പ്രൂണിംഗ്. പ്രവർത്തിക്കുന്നു.
• സംഭരണിയാണ് ഞാൻ വികസിപ്പിക്കാൻ ആഗ്രഹിക്കുന്നു, സഹായിക്കാൻ സന്തോഷമുണ്ട്

അവലംബം: www.habr.com