নিউরাল নেটওয়ার্কের সাথে কাজ করা: ডিবাগিংয়ের জন্য চেকলিস্ট

মেশিন লার্নিং সফটওয়্যার পণ্যের কোড প্রায়ই জটিল এবং বেশ বিভ্রান্তিকর। এটিতে বাগগুলি সনাক্ত করা এবং নির্মূল করা একটি সংস্থান-নিবিড় কাজ। এমনকি সবচেয়ে সহজ ফিডফরোয়ার্ড নিউরাল নেটওয়ার্ক নেটওয়ার্ক আর্কিটেকচার, ওজনের প্রাথমিককরণ এবং নেটওয়ার্ক অপ্টিমাইজেশানের জন্য একটি গুরুতর পদ্ধতির প্রয়োজন। একটি ছোট ভুল অপ্রীতিকর সমস্যা হতে পারে।

এই নিবন্ধটি আপনার নিউরাল নেটওয়ার্ক ডিবাগ করার জন্য একটি অ্যালগরিদম সম্পর্কে।

Skillbox সুপারিশ করে: ব্যবহারিক কোর্স স্ক্র্যাচ থেকে পাইথন বিকাশকারী.

আমরা মনে করিয়ে দিচ্ছি: "Habr"-এর সকল পাঠকদের জন্য - "Habr" প্রচারমূলক কোড ব্যবহার করে যেকোনো Skillbox কোর্সে নথিভুক্ত করার সময় 10 রুবেল ছাড়।

অ্যালগরিদম পাঁচটি ধাপ নিয়ে গঠিত:

• সহজ শুরু;
• ক্ষতির নিশ্চিতকরণ;
• মধ্যবর্তী ফলাফল এবং সংযোগ পরীক্ষা করা;
• প্যারামিটার ডায়াগনস্টিকস;
• কাজের নিয়ন্ত্রণ।

যদি কিছু আপনার কাছে বাকিগুলির চেয়ে বেশি আকর্ষণীয় মনে হয়, আপনি অবিলম্বে এই বিভাগগুলিতে যেতে পারেন।

সহজ শুরু

একটি জটিল স্থাপত্য, নিয়মিতকরণ, এবং একটি শেখার হার নির্ধারণকারী সহ একটি নিউরাল নেটওয়ার্ক নিয়মিত নেটওয়ার্কের চেয়ে ডিবাগ করা আরও কঠিন। আমরা এখানে একটু কৌশলী হচ্ছি, যেহেতু পয়েন্টটি নিজেই পরোক্ষভাবে ডিবাগিংয়ের সাথে সম্পর্কিত, তবে এটি এখনও একটি গুরুত্বপূর্ণ সুপারিশ।

একটি সহজ সূচনা হল একটি সরলীকৃত মডেল তৈরি করা এবং এটিকে এক সেট (বিন্দু) ডেটাতে প্রশিক্ষণ দেওয়া।

প্রথমে আমরা একটি সরলীকৃত মডেল তৈরি করি

দ্রুত শুরু করার জন্য, আমরা একটি একক লুকানো স্তর সহ একটি ছোট নেটওয়ার্ক তৈরি করি এবং সবকিছু সঠিকভাবে কাজ করে কিনা তা পরীক্ষা করি৷ তারপরে আমরা ধীরে ধীরে মডেলটিকে জটিল করে তুলি, এর গঠনের প্রতিটি নতুন দিক (অতিরিক্ত স্তর, পরামিতি, ইত্যাদি) পরীক্ষা করে এবং এগিয়ে যাই।

আমরা ডেটার একক সেট (পয়েন্ট) উপর মডেলকে প্রশিক্ষণ দিই

আপনার প্রকল্পের জন্য একটি দ্রুত বিবেক পরীক্ষা হিসাবে, সিস্টেমটি সঠিকভাবে কাজ করছে কিনা তা নিশ্চিত করতে আপনি এক বা দুটি প্রশিক্ষণ ডেটা পয়েন্ট ব্যবহার করতে পারেন। নিউরাল নেটওয়ার্ককে অবশ্যই প্রশিক্ষণ এবং পরীক্ষায় 100% নির্ভুলতা দেখাতে হবে। যদি এটি না হয়, তাহলে হয় মডেলটি খুব ছোট বা আপনার ইতিমধ্যে একটি বাগ রয়েছে৷

সবকিছু ঠিকঠাক থাকলেও, এগিয়ে যাওয়ার আগে এক বা একাধিক যুগের জন্য মডেলটি প্রস্তুত করুন।

ক্ষতির মূল্যায়ন

ক্ষতি অনুমান হল মডেলের কর্মক্ষমতা পরিমার্জিত করার প্রধান উপায়। আপনাকে নিশ্চিত করতে হবে যে ক্ষতিটি সমস্যার জন্য উপযুক্ত এবং ক্ষতির ফাংশনগুলি সঠিক স্কেলে রেট করা হয়েছে। আপনি যদি একাধিক ক্ষতির ধরন ব্যবহার করেন তবে নিশ্চিত করুন যে সেগুলি একই ক্রম এবং সঠিকভাবে স্কেল করা হয়েছে।

প্রাথমিক ক্ষতির প্রতি মনোযোগী হওয়া গুরুত্বপূর্ণ। মডেলটি এলোমেলো অনুমান দিয়ে শুরু হলে প্রকৃত ফলাফল প্রত্যাশিত ফলাফলের কতটা কাছাকাছি তা পরীক্ষা করুন। ভিতরে আন্দ্রে কার্পাথির কাজ নিম্নলিখিত পরামর্শ দেয়:: “আপনি যখন অল্প সংখ্যক পরামিতি দিয়ে শুরু করবেন তখন আপনি আশানুরূপ ফলাফল পেয়েছেন তা নিশ্চিত করুন। অবিলম্বে ডেটা ক্ষতি পরীক্ষা করা ভাল (নিয়মিতকরণের ডিগ্রি শূন্যে সেট করে)। উদাহরণস্বরূপ, সফটম্যাক্স ক্লাসিফায়ার সহ CIFAR-10-এর জন্য, আমরা প্রাথমিক ক্ষতি 2.302 হবে বলে আশা করি কারণ প্রতিটি শ্রেণীর জন্য প্রত্যাশিত ডিফিউজ সম্ভাবনা 0,1 (যেহেতু 10টি ক্লাস আছে) এবং Softmax ক্ষতি হল সঠিক শ্রেণীর নেতিবাচক লগ সম্ভাবনা। হিসাবে − ln (0.1) = 2.302।"

বাইনারি উদাহরণের জন্য, প্রতিটি ক্লাসের জন্য একটি অনুরূপ গণনা করা হয়। এখানে, উদাহরণস্বরূপ, ডেটা: 20% 0 এবং 80% 1। প্রত্যাশিত প্রাথমিক ক্ষতি হবে –0,2ln (0,5) –0,8ln (0,5) = 0,693147 পর্যন্ত। ফলাফল 1-এর বেশি হলে, এটি নির্দেশ করতে পারে যে নিউরাল নেটওয়ার্কের ওজন সঠিকভাবে ভারসাম্যপূর্ণ নয় বা ডেটা স্বাভাবিক করা হয়নি।

মধ্যবর্তী ফলাফল এবং সংযোগ পরীক্ষা করা হচ্ছে

একটি নিউরাল নেটওয়ার্ক ডিবাগ করার জন্য, নেটওয়ার্কের মধ্যে প্রক্রিয়াগুলির গতিশীলতা এবং পৃথক মধ্যবর্তী স্তরগুলির ভূমিকা বোঝা প্রয়োজন কারণ তারা সংযুক্ত থাকে। এখানে আপনি সম্মুখীন হতে পারেন সাধারণ ত্রুটি:

• গ্রেডল আপডেটের জন্য ভুল এক্সপ্রেশন;
• ওজন আপডেট প্রয়োগ করা হয় না;
• বিস্ফোরণ গ্রেডিয়েন্ট

গ্রেডিয়েন্টের মান শূন্য হলে, এর মানে হল অপ্টিমাইজারে শেখার হার খুব ধীর, অথবা আপনি গ্রেডিয়েন্ট আপডেট করার জন্য একটি ভুল অভিব্যক্তির সম্মুখীন হচ্ছেন।

এছাড়াও, প্রতিটি স্তরের অ্যাক্টিভেশন ফাংশন, ওজন এবং আপডেটের মান নিরীক্ষণ করা প্রয়োজন। উদাহরণস্বরূপ, প্যারামিটার আপডেটের মাত্রা (ওজন এবং পক্ষপাত) 1-e3 হতে হবে.

"Dying ReLU" বা নামক একটি ঘটনা আছে "বিলুপ্ত গ্রেডিয়েন্ট সমস্যা", যখন ReLU নিউরন তার ওজনের জন্য একটি বড় নেতিবাচক পক্ষপাত মান শেখার পরে শূন্য আউটপুট করবে। এই নিউরনগুলি ডেটার কোনও বিন্দুতে আর কখনও গুলি করা হয় না।

আপনি একটি সংখ্যাগত পদ্ধতি ব্যবহার করে গ্রেডিয়েন্ট আনুমানিক করে এই ত্রুটিগুলি সনাক্ত করতে গ্রেডিয়েন্ট চেকিং ব্যবহার করতে পারেন। যদি এটি গণনা করা গ্রেডিয়েন্টের কাছাকাছি হয়, তাহলে ব্যাকপ্রোপগেশন সঠিকভাবে প্রয়োগ করা হয়েছিল। একটি গ্রেডিয়েন্ট চেক তৈরি করতে, CS231 থেকে এই দুর্দান্ত সংস্থানগুলি দেখুন এখানে и এখানেএবং সঙ্গে পাঠ এই বিষয়ে অ্যান্ড্রু এনগা.

ফাইজান শেখ একটি নিউরাল নেটওয়ার্ক ভিজ্যুয়ালাইজ করার জন্য তিনটি প্রধান পদ্ধতি নির্দেশ করে:

• প্রিলিমিনারি হল সহজ পদ্ধতি যা আমাদের প্রশিক্ষিত মডেলের সাধারণ কাঠামো দেখায়। এর মধ্যে নিউরাল নেটওয়ার্কের পৃথক স্তরগুলির আকার বা ফিল্টারগুলির আউটপুট এবং প্রতিটি স্তরের মধ্যে পরামিতি অন্তর্ভুক্ত রয়েছে।
• সক্রিয়করণ ভিত্তিক। তাদের মধ্যে, আমরা পৃথক নিউরন বা নিউরনের গোষ্ঠীগুলির সক্রিয়করণগুলি তাদের কার্যাবলী বোঝার জন্য ব্যাখ্যা করি।
• গ্রেডিয়েন্টের উপর ভিত্তি করে। এই পদ্ধতিগুলি মডেল প্রশিক্ষণের অগ্রগতি এবং পিছনের পাস থেকে গঠিত গ্রেডিয়েন্টগুলিকে ম্যানিপুলেট করার প্রবণতা রয়েছে (স্যালেন্সি ম্যাপ এবং ক্লাস অ্যাক্টিভেশন ম্যাপ সহ)।

পৃথক স্তরগুলির সক্রিয়করণ এবং সংযোগগুলিকে কল্পনা করার জন্য বেশ কয়েকটি দরকারী সরঞ্জাম রয়েছে, যেমন কনএক্স и টেনসরবোর্ড.

প্যারামিটার ডায়াগনস্টিকস

নিউরাল নেটওয়ার্কগুলির অনেকগুলি পরামিতি রয়েছে যা একে অপরের সাথে যোগাযোগ করে, যা অপ্টিমাইজেশানকে জটিল করে। প্রকৃতপক্ষে, এই বিভাগটি বিশেষজ্ঞদের সক্রিয় গবেষণার বিষয়, তাই নীচের পরামর্শগুলিকে শুধুমাত্র পরামর্শ হিসাবে বিবেচনা করা উচিত, যেখান থেকে তৈরি করা উচিত।

প্যাকেজ ফাইলের আকার (ব্যাচের আকার) - যদি আপনি সঠিক ত্রুটি গ্রেডিয়েন্ট অনুমান পেতে ব্যাচের আকার যথেষ্ট বড় হতে চান তবে আপনার নেটওয়ার্ককে নিয়মিত করার জন্য স্টোকাস্টিক গ্রেডিয়েন্ট ডিসেন্ট (SGD) এর জন্য যথেষ্ট ছোট। ছোট ব্যাচের আকারগুলি প্রশিক্ষণ প্রক্রিয়ার সময় গোলমালের কারণে এবং পরবর্তীতে অপ্টিমাইজেশান অসুবিধার কারণে দ্রুত একত্রিত হতে পারে। এটি আরও বিশদে বর্ণনা করা হয়েছে এখানে.

শেখার হার - খুব কম হলে ধীরগতির কনভার্জেন্স বা স্থানীয় মিনিমায় আটকে যাওয়ার ঝুঁকি বাড়ে। একই সময়ে, উচ্চ শিক্ষার হার অপ্টিমাইজেশান ডাইভারজেন্সের কারণ হবে কারণ আপনি ক্ষতি ফাংশনের গভীর কিন্তু সংকীর্ণ অংশের মধ্য দিয়ে ঝাঁপিয়ে পড়ার ঝুঁকি নিয়ে থাকেন। নিউরাল নেটওয়ার্ক প্রশিক্ষণের সময় এটি কমাতে গতি নির্ধারণ ব্যবহার করার চেষ্টা করুন। CS231n এর সাথে আপ টু ডেট এই সমস্যার জন্য নিবেদিত একটি বড় বিভাগ আছে.

গ্রেডিয়েন্ট ক্লিপিং  — সর্বোচ্চ মান বা প্রান্তিক আদর্শে ব্যাকপ্রোপাগেশনের সময় প্যারামিটার গ্রেডিয়েন্ট ছাঁটাই করা। পয়েন্ট তিনে আপনি যে কোনো বিস্ফোরণ গ্রেডিয়েন্টের সমস্যা সমাধানের জন্য দরকারী।

ব্যাচ স্বাভাবিককরণ - প্রতিটি স্তরের ইনপুট ডেটা স্বাভাবিক করতে ব্যবহৃত হয়, যা অভ্যন্তরীণ কোভারিয়েট শিফটের সমস্যা সমাধান করে। আপনি যদি একসাথে ড্রপআউট এবং ব্যাচ নরমা ব্যবহার করেন, এই নিবন্ধটি দেখুন.

স্টোকাস্টিক গ্রেডিয়েন্ট ডিসেন্ট (SGD) — SGD এর বিভিন্ন প্রকার রয়েছে যা গতিবেগ, অভিযোজিত শেখার হার এবং নেস্টেরভ পদ্ধতি ব্যবহার করে। যাইহোক, শেখার দক্ষতা এবং সাধারণীকরণ (বিস্তারিত এখানে).

নিয়মিতকরণ - একটি সাধারণীকরণযোগ্য মডেল তৈরির জন্য অত্যন্ত গুরুত্বপূর্ণ, কারণ এটি মডেল জটিলতা বা চরম পরামিতি মানগুলির জন্য একটি শাস্তি যোগ করে। এটি উল্লেখযোগ্যভাবে পক্ষপাত না বাড়িয়ে মডেলের বৈচিত্র্য কমানোর একটি উপায়। আরও বিস্তারিত তথ্য - এখানে.

সবকিছু নিজেই মূল্যায়ন করতে, আপনাকে নিয়মিতকরণ অক্ষম করতে হবে এবং ডেটা হারানোর গ্রেডিয়েন্ট নিজেই পরীক্ষা করতে হবে।

ড্রপ আউট যানজট রোধ করতে আপনার নেটওয়ার্ককে স্ট্রিমলাইন করার আরেকটি পদ্ধতি। প্রশিক্ষণের সময়, ড্রপআউট শুধুমাত্র একটি নির্দিষ্ট সম্ভাব্যতা p (হাইপারপ্যারামিটার) সহ নিউরনের কার্যকলাপ বজায় রেখে বা বিপরীত ক্ষেত্রে এটিকে শূন্যে সেট করে বাহিত হয়। ফলস্বরূপ, নেটওয়ার্ককে অবশ্যই প্রতিটি প্রশিক্ষণ ব্যাচের জন্য পরামিতিগুলির একটি আলাদা উপসেট ব্যবহার করতে হবে, যা প্রভাবশালী হয়ে উঠা নির্দিষ্ট পরামিতিগুলির পরিবর্তনগুলিকে হ্রাস করে।

গুরুত্বপূর্ণ: আপনি যদি ড্রপআউট এবং ব্যাচ স্বাভাবিকীকরণ উভয়ই ব্যবহার করেন, তাহলে এই ক্রিয়াকলাপের ক্রম সম্পর্কে সতর্ক থাকুন বা এমনকি তাদের একসাথে ব্যবহার করুন। এই সব এখনও সক্রিয়ভাবে আলোচনা করা হচ্ছে এবং পরিপূরক. এখানে এই বিষয়ে দুটি গুরুত্বপূর্ণ আলোচনা রয়েছে স্ট্যাকওভারফ্লোতে и আর্কসিভ.

কাজের নিয়ন্ত্রণ

এটি কর্মপ্রবাহ এবং পরীক্ষা-নিরীক্ষার নথিভুক্ত করার বিষয়ে। আপনি যদি কিছু নথিভুক্ত না করেন, আপনি ভুলে যেতে পারেন, উদাহরণস্বরূপ, কোন শিক্ষার হার বা শ্রেণি ওজন ব্যবহার করা হয়। নিয়ন্ত্রণ করার জন্য ধন্যবাদ, আপনি সহজেই পূর্ববর্তী পরীক্ষাগুলি দেখতে এবং পুনরুত্পাদন করতে পারেন। এটি আপনাকে ডুপ্লিকেট পরীক্ষার সংখ্যা কমাতে দেয়।

যাইহোক, প্রচুর পরিমাণে কাজের ক্ষেত্রে ম্যানুয়াল ডকুমেন্টেশন একটি কঠিন কাজ হয়ে উঠতে পারে। এখানেই Comet.ml-এর মতো টুলগুলি আপনাকে স্বয়ংক্রিয়ভাবে ডেটাসেট, কোড পরিবর্তন, পরীক্ষামূলক ইতিহাস, এবং আপনার মডেলের মূল তথ্য (হাইপারপ্যারামিটার, মডেল পারফরম্যান্স মেট্রিক্স এবং পরিবেশগত তথ্য) সহ প্রোডাকশন মডেলগুলি লগ করতে সাহায্য করতে আসে৷

একটি নিউরাল নেটওয়ার্ক ছোট পরিবর্তনের জন্য খুব সংবেদনশীল হতে পারে এবং এটি মডেলের কর্মক্ষমতা হ্রাসের দিকে পরিচালিত করবে। আপনার কাজের ট্র্যাকিং এবং ডকুমেন্টিং হল প্রথম পদক্ষেপ যা আপনি আপনার পরিবেশ এবং মডেলিংকে মানসম্মত করার জন্য নিতে পারেন।

আমি আশা করি এই পোস্টটি আপনার নিউরাল নেটওয়ার্ক ডিবাগ করা শুরু করার জন্য একটি সূচনা বিন্দু হতে পারে।

Skillbox সুপারিশ করে:

• দুই বছরের ব্যবহারিক কোর্স "আমি একজন প্রো ওয়েব ডেভেলপার".
• অনলাইন কোর্স "0 থেকে C# বিকাশকারী".
• ব্যবহারিক বছরের কোর্স "0 থেকে PRO পর্যন্ত পিএইচপি বিকাশকারী".

উত্স: www.habr.com