কনভোলিউশনাল নেটওয়ার্ক কমানোর জন্য জেডি কৌশল - ছাঁটাই

আপনার আগে আবার বস্তু সনাক্ত করার কাজ. অগ্রাধিকার হল গ্রহণযোগ্য নির্ভুলতার সাথে অপারেশনের গতি। আপনি YOLOv3 আর্কিটেকচার নিন এবং এটিকে আরও প্রশিক্ষণ দিন। নির্ভুলতা(mAp75) 0.95 এর চেয়ে বেশি। কিন্তু রান রেট এখনও কম। বাজে কথা।

আজ আমরা কোয়ান্টাইজেশন বাইপাস করব। এবং কাটা অধীনে আমরা তাকান হবে মডেল ছাঁটাই — নির্ভুলতা হারানো ছাড়াই অনুমানকে গতি বাড়ানোর জন্য নেটওয়ার্কের অপ্রয়োজনীয় অংশগুলিকে ছাঁটাই করা। কোথায়, কতটা এবং কিভাবে কাটতে হবে তা পরিষ্কার। আসুন জেনে নেই কীভাবে এটি ম্যানুয়ালি করা যায় এবং কোথায় আপনি এটি স্বয়ংক্রিয়ভাবে করতে পারেন। শেষে কেরাসের উপর একটি ভান্ডার রয়েছে।

ভূমিকা

আমার আগের কাজের জায়গায়, পার্মে ম্যাক্রোস্কোপ, আমি একটি অভ্যাস অর্জন করেছি - সর্বদা অ্যালগরিদমের কার্যকর করার সময় পর্যবেক্ষণ করা। এবং সর্বদা একটি পর্যাপ্ততা ফিল্টারের মাধ্যমে নেটওয়ার্ক রানটাইম পরীক্ষা করুন। সাধারণত উৎপাদনে অত্যাধুনিক এই ফিল্টারটি পাস করে না, যা আমাকে ছাঁটাইয়ের দিকে নিয়ে যায়।

ছাঁটাই একটি পুরানো বিষয় যা আলোচনা করা হয়েছিল স্ট্যানফোর্ড বক্তৃতা 2017 সালে। মূল ধারণাটি বিভিন্ন নোডগুলি সরিয়ে নির্ভুলতা না হারিয়ে প্রশিক্ষিত নেটওয়ার্কের আকার হ্রাস করা। এটি দুর্দান্ত শোনাচ্ছে, তবে আমি এটির ব্যবহার সম্পর্কে খুব কমই শুনি। সম্ভবত, সেখানে পর্যাপ্ত বাস্তবায়ন নেই, কোনও রাশিয়ান-ভাষা নিবন্ধ নেই, বা সহজভাবে সবাই এটিকে ছাঁটাই জ্ঞান-কিভাবে বিবেচনা করে এবং নীরব থাকে।
কিন্তু এর এটা আলাদা করা যাক

জীববিজ্ঞানের এক ঝলক

আমি এটা পছন্দ করি যখন ডিপ লার্নিং বায়োলজি থেকে আসা ধারণাগুলো দেখে। তারা, বিবর্তনের মতো, বিশ্বাস করা যেতে পারে (আপনি কি জানেন যে ReLU এর সাথে খুব মিল মস্তিষ্কে নিউরন সক্রিয়করণের কাজ?)

মডেল ছাঁটাই প্রক্রিয়াও জীববিজ্ঞানের কাছাকাছি। নেটওয়ার্কের প্রতিক্রিয়া এখানে মস্তিষ্কের প্লাস্টিসিটির সাথে তুলনা করা যেতে পারে। বইটিতে কয়েকটি আকর্ষণীয় উদাহরণ রয়েছে। নরম্যান ডয়েজ:

1. একজন মহিলার মস্তিষ্ক যে শুধুমাত্র একটি অর্ধেক নিয়ে জন্মগ্রহণ করেছিল তার মস্তিষ্ক অনুপস্থিত অর্ধেকটির কাজ সম্পাদন করার জন্য নিজেকে পুনরায় প্রোগ্রাম করেছে।
2. লোকটি দৃষ্টিশক্তির জন্য দায়ী তার মস্তিষ্কের অংশটি গুলি করে ফেলেছে। সময়ের সাথে সাথে, মস্তিষ্কের অন্যান্য অংশগুলি এই ফাংশনগুলি গ্রহণ করে। (আমরা পুনরাবৃত্তি করার চেষ্টা করছি না)

একইভাবে, আপনি আপনার মডেল থেকে কিছু দুর্বল কনভোলিউশন কেটে ফেলতে পারেন। শেষ অবলম্বন হিসাবে, অবশিষ্ট বান্ডিলগুলি কাটাগুলি প্রতিস্থাপন করতে সহায়তা করবে।

আপনি কি ট্রান্সফার লার্নিং পছন্দ করেন নাকি স্ক্র্যাচ থেকে শিখছেন?

বিকল্প নম্বর এক। আপনি Yolov3 এ ট্রান্সফার লার্নিং ব্যবহার করেন। রেটিনা, মাস্ক-আরসিএনএন বা ইউ-নেট। কিন্তু বেশিরভাগ সময় আমাদের COCO-র মতো 80টি অবজেক্ট ক্লাস চিনতে হবে না। আমার অনুশীলনে, সবকিছু 1-2 গ্রেডের মধ্যে সীমাবদ্ধ। কেউ অনুমান করতে পারে যে 80 টি ক্লাসের জন্য আর্কিটেকচার এখানে অপ্রয়োজনীয়। এটি পরামর্শ দেয় যে স্থাপত্যটিকে আরও ছোট করা দরকার। তদুপরি, আমি বিদ্যমান প্রাক-প্রশিক্ষিত ওজন না হারিয়ে এটি করতে চাই।

বিকল্প নম্বর দুই। হতে পারে আপনার কাছে প্রচুর ডেটা এবং কম্পিউটিং সংস্থান রয়েছে, বা শুধুমাত্র একটি সুপার-কাস্টম আর্কিটেকচার প্রয়োজন৷ কোন ব্যাপার না. কিন্তু আপনি স্ক্র্যাচ থেকে নেটওয়ার্ক শিখছেন. স্বাভাবিক পদ্ধতি হল ডেটা স্ট্রাকচারের দিকে নজর দেওয়া, ক্ষমতার অত্যধিক একটি আর্কিটেকচার নির্বাচন করা এবং ড্রপআউটদের পুনরায় প্রশিক্ষণ থেকে ঠেলে দেওয়া। আমি 0.6 ড্রপআউট দেখেছি, কার্ল।

উভয় ক্ষেত্রে, নেটওয়ার্ক হ্রাস করা যেতে পারে। অনুপ্রাণিত. এখন সুন্নত ছাঁটাই কি ধরনের চিন্তা করা যাক

সাধারণ অ্যালগরিদম

আমরা সিদ্ধান্ত নিয়েছি যে আমরা বান্ডিলগুলি সরাতে পারি। এটা বেশ সহজ দেখায়:

যেকোন কনভল্যুশন অপসারণ করা নেটওয়ার্কের জন্য চাপযুক্ত, যা সাধারণত ত্রুটির কিছু বৃদ্ধির দিকে নিয়ে যায়। একদিকে, ত্রুটির এই বৃদ্ধির একটি সূচক যে আমরা কতটা সঠিকভাবে কনভল্যুশনগুলি সরিয়ে ফেলি (উদাহরণস্বরূপ, একটি বড় বৃদ্ধি নির্দেশ করে যে আমরা কিছু ভুল করছি)। কিন্তু একটি ছোট বৃদ্ধি বেশ গ্রহণযোগ্য এবং প্রায়ই একটি ছোট LR সঙ্গে পরবর্তী হালকা অতিরিক্ত প্রশিক্ষণ দ্বারা নির্মূল করা হয়। একটি অতিরিক্ত প্রশিক্ষণ পদক্ষেপ যোগ করুন:

এখন আমাদের বুঝতে হবে কখন আমরা আমাদের লার্নিং<->প্রুনিং লুপ বন্ধ করতে চাই। যখন আমাদের নেটওয়ার্ককে একটি নির্দিষ্ট আকার এবং গতিতে কমাতে হবে (উদাহরণস্বরূপ, মোবাইল ডিভাইসের জন্য) তখন এখানে বহিরাগত বিকল্প থাকতে পারে। যাইহোক, ত্রুটিটি গ্রহণযোগ্য হওয়ার চেয়ে বেশি না হওয়া পর্যন্ত চক্রটি চালিয়ে যাওয়া সবচেয়ে সাধারণ বিকল্প। একটি শর্ত যোগ করুন:

সুতরাং, অ্যালগরিদম পরিষ্কার হয়ে যায়। মুছে ফেলা কনভল্যুশনগুলি কীভাবে নির্ধারণ করা যায় তা নির্ধারণ করা বাকি রয়েছে।

মুছে ফেলা বান্ডিল জন্য অনুসন্ধান

আমরা কিছু convolutions অপসারণ করতে হবে. এগিয়ে যাওয়া এবং কাউকে "শুটিং" করা একটি খারাপ ধারণা, যদিও এটি কাজ করবে। কিন্তু যেহেতু আপনার মাথা আছে, আপনি চিন্তা করতে পারেন এবং অপসারণের জন্য "দুর্বল" কনভল্যুশন নির্বাচন করার চেষ্টা করতে পারেন। বেশ কয়েকটি বিকল্প আছে:

1. ক্ষুদ্রতম L1-পরিমাপ বা কম_ম্যাগনিটিউড_প্রুনিং. ধারণা যে ছোট ওজন সঙ্গে convolutions চূড়ান্ত সিদ্ধান্ত সামান্য অবদান
2. ক্ষুদ্রতম L1-পরিমাপ গড় এবং মানক বিচ্যুতি বিবেচনা করে। আমরা বিতরণের প্রকৃতির একটি মূল্যায়নের সাথে পরিপূরক করি।
3. মাস্কিং কনভল্যুশন এবং বাদ দেওয়া যেগুলি চূড়ান্ত নির্ভুলতাকে অন্তত প্রভাবিত করে. তুচ্ছ কনভল্যুশনের আরও সঠিক সংকল্প, কিন্তু খুব সময়সাপেক্ষ এবং সম্পদ-সাপেক্ষ।
4. অন্যান্য

প্রতিটি বিকল্পের জীবনের অধিকার এবং এর নিজস্ব বাস্তবায়ন বৈশিষ্ট্য রয়েছে। এখানে আমরা ক্ষুদ্রতম L1-পরিমাপের বিকল্পটি বিবেচনা করি

YOLOv3 এর জন্য ম্যানুয়াল প্রক্রিয়া

মূল আর্কিটেকচারে অবশিষ্ট ব্লক রয়েছে। তবে গভীর নেটওয়ার্কের জন্য তারা যতই শান্ত হোক না কেন, তারা আমাদের কিছুটা বাধা দেবে। অসুবিধা হল যে আপনি এই স্তরগুলিতে বিভিন্ন সূচকের সাথে পুনর্মিলনগুলি মুছতে পারবেন না:

অতএব, আসুন এমন স্তরগুলি নির্বাচন করি যেগুলি থেকে আমরা অবাধে পুনর্মিলনগুলি মুছে ফেলতে পারি:

এখন একটি কাজের চক্র তৈরি করা যাক:

1. সক্রিয়করণ আপলোড করা হচ্ছে
2. কতটা কাটতে হবে তা বের করা
3. কাটা
4. LR=10e-1 সহ 4টি যুগ শেখা
5. পরীক্ষামূলক

একটি নির্দিষ্ট ধাপে আমরা কতটা অংশ অপসারণ করতে পারি তা অনুমান করতে কনভল্যুশন আনলোড করা কার্যকর। আনলোড উদাহরণ:

আমরা দেখতে পাই যে প্রায় সব জায়গায় 5% কনভোলিউশনের একটি খুব কম L1-নর্ম আছে এবং আমরা সেগুলিকে অপসারণ করতে পারি। প্রতিটি ধাপে, এই আনলোডিং পুনরাবৃত্তি করা হয়েছিল এবং কোন স্তরগুলি এবং কতগুলি কাটা যাবে তার একটি মূল্যায়ন করা হয়েছিল।

পুরো প্রক্রিয়াটি 4টি ধাপে সম্পন্ন হয়েছে (আরটিএক্স 2060 সুপারের জন্য এখানে এবং সর্বত্র সংখ্যা):

ধাপ	mAp75	পরামিতি সংখ্যা, মিলিয়ন	নেটওয়ার্কের আকার, এমবি	প্রারম্ভিক থেকে, %	রান টাইম, এমএস	সুন্নত শর্ত
0	0.9656	60	241	100	180	-
1	0.9622	55	218	91	175	সকলের ৫%
2	0.9625	50	197	83	168	সকলের ৫%
3	0.9633	39	155	64	155	15+ কনভলিউশন সহ স্তরগুলির জন্য 400%
4	0.9555	31	124	51	146	10+ কনভলিউশন সহ স্তরগুলির জন্য 100%

দ্বিতীয় ধাপে একটি ইতিবাচক প্রভাব যুক্ত করা হয়েছে - ব্যাচের আকার 2 মেমরিতে ফিট করা হয়েছে, যা অতিরিক্ত প্রশিক্ষণের প্রক্রিয়াটিকে ব্যাপকভাবে ত্বরান্বিত করেছে।
ধাপ 4 এ, প্রক্রিয়াটি বন্ধ করা হয়েছিল কারণ এমনকি দীর্ঘমেয়াদী অতিরিক্ত প্রশিক্ষণও mAp75কে পুরানো মূল্যে উন্নীত করেনি।
ফলস্বরূপ, আমরা এর দ্বারা অনুমানটি দ্রুত করতে পেরেছি 15%, দ্বারা আকার কমাতে 35% এবং ঠিক হারান না।

সহজ আর্কিটেকচারের জন্য অটোমেশন

সহজ নেটওয়ার্ক আর্কিটেকচারের জন্য (শর্তসাপেক্ষ যোগ, সমন্বিত এবং অবশিষ্ট ব্লক ছাড়া), সমস্ত কনভোল্যুশনাল লেয়ার প্রসেসিং এর উপর ফোকাস করা এবং কনভোলিউশন কাটার প্রক্রিয়া স্বয়ংক্রিয়ভাবে করা সম্ভব।

আমি এই বিকল্পটি বাস্তবায়ন করেছি এখানে.
এটি সহজ: আপনার শুধুমাত্র একটি ক্ষতি ফাংশন, একটি অপ্টিমাইজার এবং ব্যাচ জেনারেটর প্রয়োজন:

import pruning
from keras.optimizers import Adam
from keras.utils import Sequence

train_batch_generator = BatchGenerator...
score_batch_generator = BatchGenerator...

opt = Adam(lr=1e-4)
pruner = pruning.Pruner("config.json", "categorical_crossentropy", opt)

pruner.prune(train_batch, valid_batch)

প্রয়োজন হলে, আপনি কনফিগার পরামিতি পরিবর্তন করতে পারেন:

{
    "input_model_path": "model.h5",
    "output_model_path": "model_pruned.h5",
    "finetuning_epochs": 10, # the number of epochs for train between pruning steps
    "stop_loss": 0.1, # loss for stopping process
    "pruning_percent_step": 0.05, # part of convs for delete on every pruning step
    "pruning_standart_deviation_part": 0.2 # shift for limit pruning part
}

উপরন্তু, আদর্শ বিচ্যুতির উপর ভিত্তি করে একটি সীমাবদ্ধতা প্রয়োগ করা হয়। লক্ষ্য হল ইতিমধ্যেই "পর্যাপ্ত" L1 পরিমাপ সহ সংকোচনগুলি বাদ দিয়ে সরানো অংশটিকে সীমিত করা:

এইভাবে, আমরা আপনাকে ডানদিকের অনুরূপ বিতরণ থেকে শুধুমাত্র দুর্বল সংকোচনগুলি অপসারণ করার অনুমতি দিই এবং বামটির অনুরূপ বিতরণগুলি থেকে অপসারণকে প্রভাবিত করে না:

যখন বন্টন স্বাভাবিকের কাছাকাছি আসে, তখন ছাঁটাই_স্ট্যান্ডার্ট_বিচ্যুতি_অংশ সহগ থেকে নির্বাচন করা যেতে পারে:

আমি 2 সিগমা একটি অনুমান সুপারিশ. অথবা আপনি < 1.0 মান রেখে এই বৈশিষ্ট্যটিকে উপেক্ষা করতে পারেন।

আউটপুট হল পুরো পরীক্ষার জন্য নেটওয়ার্কের আকার, ক্ষতি এবং নেটওয়ার্ক রানটাইমের একটি গ্রাফ, যা 1.0 এ স্বাভাবিক করা হয়েছে। উদাহরণস্বরূপ, এখানে নেটওয়ার্কের আকার প্রায় 2 গুণ কমানো হয়েছে গুণগত মানের ক্ষতি ছাড়াই (100k ওজন সহ ছোট কনভোল্যুশনাল নেটওয়ার্ক):

চলমান গতি স্বাভাবিক ওঠানামা সাপেক্ষে এবং কার্যত অপরিবর্তিত থাকে। এর জন্য একটি ব্যাখ্যা আছে:

1. কনভোলিউশনের সংখ্যা সুবিধাজনক (32, 64, 128) থেকে ভিডিও কার্ডের জন্য সবচেয়ে সুবিধাজনক নয় - 27, 51, ইত্যাদিতে পরিবর্তিত হয়। আমি এখানে ভুল হতে পারে, কিন্তু সম্ভবত এটি একটি প্রভাব আছে.
2. স্থাপত্যটি বিস্তৃত নয়, তবে সামঞ্জস্যপূর্ণ। প্রস্থ হ্রাস করে, আমরা গভীরতাকে প্রভাবিত করি না। এইভাবে, আমরা লোড হ্রাস করি, কিন্তু গতি পরিবর্তন করি না।

অতএব, 20-30% চালানোর সময় CUDA লোড হ্রাসে উন্নতি প্রকাশ করা হয়েছিল, কিন্তু রান টাইম হ্রাসে নয়

ফলাফল

এর প্রতিফলন করা যাক. আমরা ছাঁটাইয়ের জন্য 2টি বিকল্প বিবেচনা করেছি - YOLOv3 (যখন আপনাকে আপনার হাত দিয়ে কাজ করতে হবে) এবং সহজ আর্কিটেকচার সহ নেটওয়ার্কগুলির জন্য। এটি দেখা যায় যে উভয় ক্ষেত্রেই সঠিকতা হারানো ছাড়াই নেটওয়ার্কের আকার হ্রাস এবং গতি অর্জন করা সম্ভব। ফলাফল:

• আকার কমানো
• ত্বরণ রান
• CUDA লোড কমানো
• ফলস্বরূপ, পরিবেশগত বন্ধুত্ব (আমরা কম্পিউটিং সংস্থানগুলির ভবিষ্যত ব্যবহারকে অপ্টিমাইজ করি। কোথাও কেউ খুশি গ্রেটা থানবার্গ)

উপাঙ্গ

• ছাঁটাই ধাপের পরে, আপনি পরিমাপ যোগ করতে পারেন (উদাহরণস্বরূপ, TensorRT দিয়ে)
• Tensorflow এর জন্য ক্ষমতা প্রদান করে low_magnitude_priuning. কাজ করে।
• ভান্ডার আমি বিকাশ করতে চাই এবং সাহায্য করতে পেরে খুশি হব

উত্স: www.habr.com