कन्भोलुसनल नेटवर्कहरू कम गर्न जेडी प्रविधि - छाँट्ने

तपाई अघि फेरि वस्तुहरू पत्ता लगाउने कार्य हो। प्राथमिकता स्वीकार्य सटीकता संग सञ्चालन को गति हो। तपाईंले YOLOv3 वास्तुकला लिनुहोस् र यसलाई थप तालिम दिनुहोस्। शुद्धता (mAp75) 0.95 भन्दा ठूलो छ। तर रन रेट अझै कम छ। बकवास।

आज हामी परिमाणीकरण बाइपास गर्नेछौं। र कट अन्तर्गत हामी हेर्नेछौं मोडेल प्रुनिङ - सटीकताको हानि बिना इन्फरेन्सको गति बढाउन नेटवर्कको अनावश्यक भागहरू काट्दै। कहाँ, कति र कसरी काट्ने भन्ने स्पष्ट छ। यसलाई म्यानुअल रूपमा कसरी गर्ने र तपाइँ यसलाई कहाँ स्वचालित गर्न सक्नुहुन्छ भनेर पत्ता लगाउनुहोस्। अन्तमा केराहरूमा भण्डार छ।

परिचय

मेरो अघिल्लो कामको ठाउँमा, पर्ममा म्याक्रोस्कोप, मैले एउटा बानी हासिल गरें - एल्गोरिदमको कार्यान्वयन समय सधैं निगरानी गर्न। र सधैं पर्याप्तता फिल्टर मार्फत नेटवर्क रनटाइम जाँच गर्नुहोस्। सामान्यतया उत्पादनमा अत्याधुनिकले यो फिल्टर पास गर्दैन, जसले मलाई छाँट्नेतर्फ डोर्याउँछ।

छाँट्ने एउटा पुरानो विषय हो जसमा छलफल भएको थियो स्ट्यानफोर्ड लेक्चरहरू 2017 मा। मुख्य विचार भनेको विभिन्न नोडहरू हटाएर सटीकता नगुमाई प्रशिक्षित नेटवर्कको आकार घटाउनु हो। यो राम्रो सुनिन्छ, तर म यसको प्रयोगको बारेमा विरलै सुन्छु। सम्भवतः, त्यहाँ पर्याप्त कार्यान्वयनहरू छैनन्, त्यहाँ कुनै रूसी-भाषा लेखहरू छैनन्, वा सबैले यसलाई छाँट्ने ज्ञान कसरी मान्छन् र चुपचाप बस्छन्।
तर यसलाई अलग गरौं

जीवविज्ञान मा एक झलक

मलाई यो मनपर्छ जब डीप लर्निङले जीवविज्ञानबाट आएका विचारहरूलाई हेर्छ। तिनीहरू, विकास जस्तै, भरोसा गर्न सकिन्छ (के तपाईंलाई थाहा छ कि ReLU धेरै मिल्दोजुल्दो छ मस्तिष्कमा न्यूरोन सक्रियता को कार्य?)

मोडेल प्रुनिङ प्रक्रिया पनि जीवविज्ञानको नजिक छ। यहाँ नेटवर्कको प्रतिक्रिया मस्तिष्कको प्लास्टिसिटीसँग तुलना गर्न सकिन्छ। पुस्तकमा केही रोचक उदाहरणहरू छन्। नर्मन डोज:

1. आधा मात्रै जन्मिएकी महिलाको मस्तिष्कले हराएको आधाको कार्यहरू गर्न आफैलाई पुन: प्रोग्राम गरेको छ।
2. केटाले दृष्टिको लागि जिम्मेवार आफ्नो मस्तिष्कको भागलाई गोली हान्यो। समय बित्दै जाँदा, मस्तिष्कका अन्य भागहरूले यी कार्यहरू लिए। (हामी दोहोर्याउने प्रयास गर्दैनौं)

त्यस्तै गरी, तपाइँ तपाइँको मोडेलबाट केहि कमजोर कन्वोल्युसनहरू काट्न सक्नुहुन्छ। अन्तिम उपायको रूपमा, बाँकी बन्डलहरूले काटिएकाहरूलाई बदल्न मद्दत गर्नेछ।

के तपाइँ ट्रान्सफर लर्निङ मन पराउनुहुन्छ वा तपाइँ स्क्र्याचबाट सिक्दै हुनुहुन्छ?

विकल्प नम्बर एक। तपाईंले Yolov3 मा ट्रान्सफर लर्निङ प्रयोग गर्नुहुन्छ। रेटिना, मास्क-आरसीएनएन वा यू-नेट। तर धेरै जसो हामीले COCO मा जस्तै 80 वस्तु वर्गहरू पहिचान गर्न आवश्यक छैन। मेरो अभ्यासमा, सबै कुरा ग्रेड १-२ मा सीमित छ। कसैले मान्न सक्छ कि 1 कक्षाको लागि वास्तुकला यहाँ अनावश्यक छ। यसले वास्तुकलालाई सानो बनाउनु पर्ने सुझाव दिन्छ। यसबाहेक, म अवस्थित पूर्व-प्रशिक्षित वजनहरू नगुमाईकन यो गर्न चाहन्छु।

विकल्प नम्बर दुई। हुनसक्छ तपाईंसँग धेरै डाटा र कम्प्युटिङ स्रोतहरू छन्, वा केवल एक सुपर-कस्टम वास्तुकला चाहिन्छ। केही फरक पर्दैन। तर तपाईले स्क्र्याचबाट नेटवर्क सिक्दै हुनुहुन्छ। सामान्य प्रक्रिया भनेको डेटा संरचना हेर्ने, शक्तिमा अत्यधिक भएको वास्तुकला चयन गर्ने, र पुन: तालिमबाट छोड्नेहरूलाई धकेल्नु हो। मैले 0.6 ड्रपआउट देखे, कार्ल।

दुवै अवस्थामा, नेटवर्क कम गर्न सकिन्छ। उत्प्रेरित। अब खतना छाँट्ने प्रकार के हो भनेर पत्ता लगाउनुहोस्

सामान्य एल्गोरिथ्म

हामीले बन्डलहरू हटाउने निर्णय गर्यौं। यो एकदम सरल देखिन्छ:

कुनै पनि कन्भोलुसन हटाउने नेटवर्कको लागि तनावपूर्ण हुन्छ, जसले सामान्यतया त्रुटिमा केही वृद्धि निम्त्याउँछ। एकातिर, त्रुटिमा भएको यो बृद्धिले हामीले कन्भोलुसनहरू कसरी सही रूपमा हटाउँछौं भन्ने सूचक हो (उदाहरणका लागि, ठूलो वृद्धिले हामीले केही गलत गर्दैछौं भनेर संकेत गर्छ)। तर एक सानो वृद्धि एकदम स्वीकार्य छ र प्राय: सानो LR को साथ पछिल्ला हल्का अतिरिक्त प्रशिक्षण द्वारा हटाइन्छ। थप प्रशिक्षण चरण थप्नुहोस्:

अब हामीले हाम्रो सिकाइ<->छाँट्ने लूपलाई कहिले रोक्न चाहन्छौं भनेर पत्ता लगाउन आवश्यक छ। त्यहाँ विदेशी विकल्पहरू हुन सक्छ जब हामीले नेटवर्कलाई निश्चित आकार र गतिमा घटाउन आवश्यक छ (उदाहरणका लागि, मोबाइल उपकरणहरूको लागि)। यद्यपि, त्रुटि स्वीकार्य भन्दा माथि नभएसम्म चक्र जारी राख्नु सबैभन्दा सामान्य विकल्प हो। शर्त थप्नुहोस्:

त्यसैले, एल्गोरिथ्म स्पष्ट हुन्छ। यो मेटाइएको convolutions निर्धारण गर्न कसरी पत्ता लगाउन बाँकी छ।

मेटाइएको बन्डलहरू खोज्नुहोस्

हामीले केही कन्भोलुसनहरू हटाउन आवश्यक छ। अगाडि बढ्नु र कसैलाई "शूटिङ" गर्नु नराम्रो विचार हो, यद्यपि यसले काम गर्नेछ। तर तपाईसँग टाउको भएकोले, तपाईले सोच्न सक्नुहुन्छ र हटाउनको लागि "कमजोर" कन्वोल्युसनहरू चयन गर्ने प्रयास गर्न सक्नुहुन्छ। त्यहाँ धेरै विकल्पहरू छन्:

1. सबैभन्दा सानो L1-मापन वा low_magnitude_pruning। सानो तौलको साथ कनभोलुसनले अन्तिम निर्णयमा थोरै योगदान दिन्छ भन्ने विचार
2. सबैभन्दा सानो L1-मापन औसत र मानक विचलनलाई ध्यानमा राख्दै। हामी वितरण को प्रकृति को एक मूल्याङ्कन संग पूरक।
3. मास्किङ कन्भोलुसनहरू र कम से कम अन्तिम शुद्धतालाई प्रभाव पार्नेहरूलाई बाहेक। नगण्य कन्वोल्युसनहरूको अधिक सटीक निर्धारण, तर धेरै समय-उपभोग र स्रोत-उपभोग।
4. अन्य

प्रत्येक विकल्पमा जीवनको अधिकार र यसको आफ्नै कार्यान्वयन सुविधाहरू छन्। यहाँ हामी सबैभन्दा सानो L1-मापको साथ विकल्पलाई विचार गर्छौं

YOLOv3 को लागि म्यानुअल प्रक्रिया

मूल वास्तुकलाले अवशिष्ट ब्लकहरू समावेश गर्दछ। तर तिनीहरू गहिरो नेटवर्कहरूको लागि जतिसुकै चिसो भए तापनि, तिनीहरूले हामीलाई केही हदसम्म बाधा पुर्‍याउनेछन्। कठिनाई यो हो कि तपाइँ यी तहहरूमा विभिन्न अनुक्रमणिकाहरूसँग मेलमिलापहरू मेटाउन सक्नुहुन्न:

त्यसकारण, तहहरू चयन गरौं जसबाट हामी स्वतन्त्र रूपमा मेलमिलापहरू मेटाउन सक्छौं:

अब एक कार्य चक्र निर्माण गरौं:

1. सक्रियताहरू अपलोड गर्दै
2. कति काट्ने भनेर पत्ता लगाउँदै
3. यसलाई काट्नुहोस्
4. LR=10e-1 सँग 4 युगहरू सिक्दै
5. परीक्षण

हामीले निश्चित चरणमा कति भाग हटाउन सक्छौं भनेर अनुमान गर्न अनलोडिङ कन्भोलुसन उपयोगी हुन्छ। अनलोड गर्ने उदाहरणहरू:

हामी देख्छौं कि लगभग सबै ठाउँमा 5% कन्भोलुसनमा धेरै कम L1-मानद छ र हामी तिनीहरूलाई हटाउन सक्छौं। प्रत्येक चरणमा, यो अनलोडिङ दोहोर्याइएको थियो र कुन तहहरू र कतिलाई काट्न सकिन्छ भनेर मूल्याङ्कन गरिएको थियो।

सम्पूर्ण प्रक्रिया 4 चरणहरूमा पूरा भएको थियो (RTX 2060 Super को लागि यहाँ र सबै ठाउँमा नम्बरहरू):

चरण	mAp75	प्यारामिटरहरूको संख्या, मिलियन	नेटवर्क आकार, mb	प्रारम्भिक देखि, %	रन टाइम, मिस	खतना अवस्था
0	0.9656	60	241	100	180	-
1	0.9622	55	218	91	175	सबै को 5%
2	0.9625	50	197	83	168	सबै को 5%
3	0.9633	39	155	64	155	15% 400+ कन्वोल्युसनहरू भएका तहहरूका लागि
4	0.9555	31	124	51	146	10% 100+ कन्वोल्युसनहरू भएका तहहरूका लागि

एउटा सकारात्मक प्रभाव चरण 2 मा थपियो - ब्याच साइज 4 मेमोरीमा फिट भयो, जसले अतिरिक्त प्रशिक्षणको प्रक्रियालाई धेरै गति दियो।
चरण 4 मा, प्रक्रिया रोकियो किनभने लामो समयको अतिरिक्त प्रशिक्षणले पनि mAp75 लाई पुरानो मानहरूमा बढाएन।
नतिजाको रूपमा, हामीले अनुमानलाई गति दिन व्यवस्थित गर्यौं 15%, आकार घटाउनुहोस् 35% र ठ्याक्कै हराउनु हुँदैन।

सरल वास्तुकलाको लागि स्वचालन

सरल नेटवर्क आर्किटेक्चरहरूका लागि (सशर्त थप, कन्कटेर्नेट र अवशिष्ट ब्लकहरू बिना), सबै कन्भोलुसनल तहहरू प्रशोधन गर्न र कन्भोलुसनहरू काट्ने प्रक्रियालाई स्वचालित गर्नमा ध्यान केन्द्रित गर्न सम्भव छ।

मैले यो विकल्प लागू गरें यहाँ.
यो सरल छ: तपाईलाई केवल एक हानि प्रकार्य, एक अनुकूलक र ब्याच जेनेरेटरहरू चाहिन्छ:

import pruning
from keras.optimizers import Adam
from keras.utils import Sequence

train_batch_generator = BatchGenerator...
score_batch_generator = BatchGenerator...

opt = Adam(lr=1e-4)
pruner = pruning.Pruner("config.json", "categorical_crossentropy", opt)

pruner.prune(train_batch, valid_batch)

आवश्यक भएमा, तपाइँ कन्फिगरेसन प्यारामिटरहरू परिवर्तन गर्न सक्नुहुन्छ:

{
    "input_model_path": "model.h5",
    "output_model_path": "model_pruned.h5",
    "finetuning_epochs": 10, # the number of epochs for train between pruning steps
    "stop_loss": 0.1, # loss for stopping process
    "pruning_percent_step": 0.05, # part of convs for delete on every pruning step
    "pruning_standart_deviation_part": 0.2 # shift for limit pruning part
}

थप रूपमा, मानक विचलनमा आधारित सीमा लागू गरिएको छ। लक्ष्य भनेको पहिले नै "पर्याप्त" L1 उपायहरूको साथ कन्भोलुसनहरू बाहेक हटाइएका भागलाई सीमित गर्नु हो:

तसर्थ, हामी तपाईंलाई दायाँ जस्तै वितरणबाट कमजोर कन्भोलुसनहरू मात्र हटाउन अनुमति दिन्छौं र बाँया जस्तै वितरणहरूबाट हटाउनेलाई असर गर्दैन:

जब वितरण सामान्यमा पुग्छ, pruning_standart_deviation_part गुणांक निम्नबाट चयन गर्न सकिन्छ:

म 2 सिग्मा को एक धारणा सिफारिस गर्दछु। वा तपाईले यो सुविधालाई बेवास्ता गर्न सक्नुहुन्छ, मान <1.0 छोडेर।

आउटपुट सम्पूर्ण परीक्षणको लागि नेटवर्क साइज, हानि, र नेटवर्क रनटाइमको ग्राफ हो, 1.0 मा सामान्यीकृत। उदाहरणका लागि, यहाँ सञ्जालको साइज गुणस्तरको हानि बिना लगभग २ गुणाले घटाइएको थियो (१००k तौल भएको सानो कन्भोलुसनल नेटवर्क):

दौडने गति सामान्य उतार चढावको अधीनमा छ र लगभग अपरिवर्तित रहन्छ। यसको लागि एक व्याख्या छ:

1. कन्भोलुसनहरूको संख्या सुविधाजनक (32, 64, 128) बाट भिडियो कार्डहरूको लागि सबैभन्दा सुविधाजनकमा परिवर्तन हुन्छ - 27, 51, आदि। म यहाँ गलत हुन सक्छ, तर सम्भवतः यसको प्रभाव छ।
2. वास्तुकला फराकिलो छैन, तर एकरूप छ। चौडाइ घटाएर, हामी गहिराईलाई असर गर्दैनौं। यसरी, हामी लोड घटाउँछौं, तर गति परिवर्तन गर्दैनौं।

यसैले, सुधार 20-30% द्वारा दौड को समयमा CUDA लोड मा कमी मा व्यक्त गरिएको थियो, तर रन टाइम मा कमी मा होइन।

परिणामहरू

चिन्तन गरौं। हामीले छाँटका लागि 2 विकल्पहरू विचार गर्यौं - YOLOv3 को लागि (जब तपाईंले आफ्नो हातले काम गर्नु पर्छ) र सरल आर्किटेक्चर भएका नेटवर्कहरूको लागि। यो देख्न सकिन्छ कि दुबै अवस्थामा नेटवर्क आकार घटाउन र सटीकताको हानि बिना गति प्राप्त गर्न सम्भव छ। परिणामहरू:

• आकार घटाउने
• एक्सेलेरेशन रन
• CUDA लोड कम गर्दै
• नतिजाको रूपमा, पर्यावरण मित्रता (हामी कम्प्युटिङ स्रोतहरूको भविष्यको प्रयोगलाई अनुकूलन गर्छौं। कतै कोही खुशी छ। ग्रेटा थनबर्ग)

परिशिष्ट

• छाँट्ने चरण पछि, तपाइँ परिमाणीकरण थप्न सक्नुहुन्छ (उदाहरणका लागि, TensorRT सँग)
• Tensorflow को लागि क्षमताहरू प्रदान गर्दछ low_magnitude_pruning। काम गर्दछ।
• भण्डार म विकास गर्न चाहन्छु र मद्दत गर्न खुसी हुनेछु

स्रोत: www.habr.com