🥇 নিউরাল নেটওয়ার্ক। কোথায় যাচ্ছে সব

নিবন্ধটি দুটি অংশ নিয়ে গঠিত:

আমার জন্য সম্পদের সবচেয়ে বোধগম্য লিঙ্ক সহ ইমেজ এবং ইমেজ সেগমেন্টেশনে অবজেক্ট সনাক্তকরণের জন্য কিছু নেটওয়ার্ক আর্কিটেকচারের একটি সংক্ষিপ্ত বিবরণ। আমি ভিডিও ব্যাখ্যা চয়ন করার চেষ্টা করেছি এবং পছন্দ করে রাশিয়ান ভাষায়।
দ্বিতীয় অংশটি নিউরাল নেটওয়ার্ক আর্কিটেকচারের বিকাশের দিক বোঝার চেষ্টা। এবং তাদের উপর ভিত্তি করে প্রযুক্তি।

চিত্র 1 – নিউরাল নেটওয়ার্ক আর্কিটেকচার বোঝা সহজ নয়

এটি একটি অ্যান্ড্রয়েড ফোনে বস্তুর শ্রেণীবিভাগ এবং সনাক্তকরণের জন্য দুটি ডেমো অ্যাপ্লিকেশন তৈরি করে শুরু হয়েছিল:

ব্যাক-এন্ড ডেমো, যখন সার্ভারে ডেটা প্রক্রিয়া করা হয় এবং ফোনে প্রেরণ করা হয়। তিন ধরনের ভালুকের চিত্র শ্রেণীবিভাগ: বাদামী, কালো এবং টেডি।
ফ্রন্ট-এন্ড ডেমোযখন ডেটা ফোনেই প্রসেস করা হয়। বস্তুর সনাক্তকরণ (অবজেক্ট ডিটেকশন) তিন ধরনের: হ্যাজেলনাট, ডুমুর এবং খেজুর।

ইমেজ শ্রেণীবিভাগের কাজের মধ্যে পার্থক্য আছে, একটি ছবিতে বস্তু সনাক্তকরণ এবং ইমেজ বিভাজন. অতএব, কোন নিউরাল নেটওয়ার্ক আর্কিটেকচারগুলি চিত্রগুলিতে বস্তুগুলি সনাক্ত করে এবং কোনটি সেগমেন্ট করতে পারে তা খুঁজে বের করার প্রয়োজন ছিল। আমি আমার জন্য সম্পদের সবচেয়ে বোধগম্য লিঙ্ক সহ আর্কিটেকচারের নিম্নলিখিত উদাহরণগুলি খুঁজে পেয়েছি:

আর-সিএনএন-এর উপর ভিত্তি করে একটি সিরিজ আর্কিটেকচার (Rসঙ্গে অঞ্চল Cঅনভোলিউশন Neural Networks বৈশিষ্ট্য: R-CNN, দ্রুত R-CNN, দ্রুত আর-সিএনএন, মাস্ক আর-সিএনএন. একটি ছবিতে একটি বস্তু সনাক্ত করতে, আঞ্চলিক প্রস্তাব নেটওয়ার্ক (RPN) পদ্ধতি ব্যবহার করে বাউন্ডিং বাক্সগুলি বরাদ্দ করা হয়। প্রাথমিকভাবে, আরপিএন-এর পরিবর্তে ধীরগতির নির্বাচনী অনুসন্ধান পদ্ধতি ব্যবহার করা হয়েছিল। তারপর নির্বাচিত সীমিত অঞ্চলগুলিকে শ্রেণিবিন্যাসের জন্য একটি প্রচলিত নিউরাল নেটওয়ার্কের ইনপুট দেওয়া হয়। R-CNN আর্কিটেকচারে সীমিত অঞ্চলে স্পষ্টভাবে "ফর" লুপ রয়েছে, অ্যালেক্সনেট অভ্যন্তরীণ নেটওয়ার্কের মাধ্যমে মোট 2000 রান। সুস্পষ্ট "এর জন্য" লুপগুলি ইমেজ প্রক্রিয়াকরণের গতি কমিয়ে দেয়। আর্কিটেকচারের প্রতিটি নতুন সংস্করণের সাথে অভ্যন্তরীণ নিউরাল নেটওয়ার্কের মাধ্যমে চলমান সুস্পষ্ট লুপের সংখ্যা হ্রাস পায় এবং গতি বাড়ানোর জন্য এবং মাস্ক R-CNN-এ অবজেক্ট সেগমেন্টেশনের সাথে বস্তু সনাক্তকরণের কাজটি প্রতিস্থাপন করতে আরও কয়েক ডজন পরিবর্তন করা হয়।
Yolo (You Only Lওক্ Once) হল প্রথম নিউরাল নেটওয়ার্ক যা মোবাইল ডিভাইসে রিয়েল টাইমে অবজেক্টকে স্বীকৃতি দেয়। স্বতন্ত্র বৈশিষ্ট্য: এক দৌড়ে বস্তুর পার্থক্য করা (শুধু একবার দেখুন)। অর্থাৎ, YOLO আর্কিটেকচারে কোনও সুস্পষ্ট "এর জন্য" লুপ নেই, যার কারণে নেটওয়ার্ক দ্রুত কাজ করে। উদাহরণ স্বরূপ, এই সাদৃশ্য: NumPy-এ, ম্যাট্রিক্সের সাথে অপারেশন করার সময়, কোন সুস্পষ্ট "এর জন্য" লুপও নেই, যা NumPy-এ সি প্রোগ্রামিং ভাষার মাধ্যমে আর্কিটেকচারের নিম্ন স্তরে প্রয়োগ করা হয়৷ YOLO পূর্বনির্ধারিত উইন্ডোগুলির একটি গ্রিড ব্যবহার করে৷ একই বস্তুকে একাধিকবার সংজ্ঞায়িত করা থেকে বিরত রাখতে, উইন্ডো ওভারল্যাপ সহগ (IoU) ব্যবহার করা হয়। Iছেদ oস্প্রিং Union)। এই স্থাপত্যটি বিস্তৃত পরিসরে কাজ করে এবং এর উচ্চতা রয়েছে দৃঢ়তা: একজন মডেলকে ফটোগ্রাফে প্রশিক্ষণ দেওয়া যেতে পারে কিন্তু তারপরও হাতে আঁকা ছবিগুলিতে ভালো পারফর্ম করতে পারে।
এসএসডি (Sআগুন Sগরম মাল্টিবক্স Detector) – YOLO আর্কিটেকচারের সবচেয়ে সফল "হ্যাকস" ব্যবহার করা হয় (উদাহরণস্বরূপ, অ-সর্বোচ্চ দমন) এবং নিউরাল নেটওয়ার্ক দ্রুত এবং আরও সঠিকভাবে কাজ করার জন্য নতুন যুক্ত করা হয়। স্বতন্ত্র বৈশিষ্ট্য: ইমেজ পিরামিডে উইন্ডোজের একটি প্রদত্ত গ্রিড (ডিফল্ট বক্স) ব্যবহার করে এক দৌড়ে বস্তুকে আলাদা করা। ইমেজ পিরামিড ক্রমাগত কনভোলিউশন এবং পুলিং অপারেশনের মাধ্যমে কনভোলিউশন টেনসরে এনকোড করা হয় (সর্বোচ্চ-পুলিং অপারেশনের সাথে, স্থানিক মাত্রা হ্রাস পায়)। এইভাবে, বড় এবং ছোট উভয় বস্তুই এক নেটওয়ার্ক রানে নির্ধারিত হয়।
মোবাইলএসএসডি (মোবাইলNetV2+ এসএসডি) দুটি নিউরাল নেটওয়ার্ক আর্কিটেকচারের সংমিশ্রণ। প্রথম নেটওয়ার্ক MobileNetV2 দ্রুত কাজ করে এবং স্বীকৃতির নির্ভুলতা বাড়ায়। VGG-2 এর পরিবর্তে MobileNetV16 ব্যবহার করা হয়, যা মূলত ব্যবহার করা হয়েছিল মূল নিবন্ধ. দ্বিতীয় SSD নেটওয়ার্ক ইমেজে বস্তুর অবস্থান নির্ধারণ করে।
স্কুইজনেট - একটি খুব ছোট কিন্তু সঠিক নিউরাল নেটওয়ার্ক। নিজেই, এটি বস্তু সনাক্তকরণের সমস্যার সমাধান করে না। যাইহোক, এটি বিভিন্ন স্থাপত্যের সংমিশ্রণে ব্যবহার করা যেতে পারে। এবং মোবাইল ডিভাইসে ব্যবহৃত হয়। স্বতন্ত্র বৈশিষ্ট্য হল যে ডেটা প্রথমে চারটি 1×1 কনভোলিউশনাল ফিল্টারে সংকুচিত হয় এবং তারপর চারটি 1×1 এবং চারটি 3×3 কনভোলিউশনাল ফিল্টারে প্রসারিত হয়। ডেটা কম্প্রেশন-সম্প্রসারণের এমন একটি পুনরাবৃত্তিকে "ফায়ার মডিউল" বলা হয়।
ডিপল্যাব (ডিপ কনভোলিউশনাল নেটগুলির সাথে শব্দার্থিক চিত্র বিভাজন) - চিত্রে বস্তুর বিভাজন। স্থাপত্যের একটি স্বতন্ত্র বৈশিষ্ট্য হল প্রসারিত কনভোলিউশন, যা স্থানিক রেজোলিউশন সংরক্ষণ করে। এটি একটি গ্রাফিকাল সম্ভাব্য মডেল (শর্তাধীন এলোমেলো ক্ষেত্র) ব্যবহার করে ফলাফলের একটি পোস্ট-প্রসেসিং পর্যায় দ্বারা অনুসরণ করা হয়, যা আপনাকে বিভাজনে ছোট গোলমাল অপসারণ করতে এবং সেগমেন্টেড চিত্রের গুণমান উন্নত করতে দেয়। "গ্রাফিকাল প্রোব্যাবিলিস্টিক মডেল" এর ভয়ঙ্কর নামের পিছনে একটি প্রচলিত গাউসিয়ান ফিল্টার লুকিয়ে আছে, যা আনুমানিক পাঁচ পয়েন্ট।
ডিভাইসটি বের করার চেষ্টা করা হয়েছে রিফাইনডেট (একক শট পরিশোধন করাবস্তুর জন্য নিউরাল নেটওয়ার্ক Detection), কিন্তু আমি অনেক কিছু বুঝতে পারিনি।
আমি "মনোযোগ" প্রযুক্তি কীভাবে কাজ করে তাও দেখেছি: ভিডিও1, ভিডিও2, ভিডিও3. "মনোযোগ" আর্কিটেকচারের একটি স্বতন্ত্র বৈশিষ্ট্য হ'ল চিত্রে বর্ধিত মনোযোগের অঞ্চলগুলির স্বয়ংক্রিয় নির্বাচন (RoI, Rসৈন্যদল of Interest) অ্যাটেনশন ইউনিট নামে একটি নিউরাল নেটওয়ার্ক ব্যবহার করে। বর্ধিত মনোযোগের অঞ্চলগুলি বাউন্ডিং বাক্সগুলির অনুরূপ, কিন্তু তাদের বিপরীতে, সেগুলি চিত্রে স্থির নয় এবং অস্পষ্ট সীমানা থাকতে পারে৷ তারপরে, বর্ধিত মনোযোগের অঞ্চলগুলি থেকে, লক্ষণগুলি (বৈশিষ্ট্যগুলি) বিচ্ছিন্ন করা হয়, যা আর্কিটেকচার সহ পুনরাবৃত্ত নিউরাল নেটওয়ার্কগুলিতে "খাওয়ানো" হয়। LSDM, GRU বা ভ্যানিলা RNN. পুনরাবৃত্ত নিউরাল নেটওয়ার্কগুলি একটি ক্রমানুসারে বৈশিষ্ট্যগুলির সম্পর্ক বিশ্লেষণ করতে সক্ষম। পুনরাবৃত্ত নিউরাল নেটওয়ার্কগুলি প্রাথমিকভাবে অন্যান্য ভাষায় পাঠ্য অনুবাদ করতে এবং এখন অনুবাদের জন্য ব্যবহৃত হয়েছিল টেক্সট ইমেজ и টেক্সট টু ইমেজ.

আমরা এই স্থাপত্য অন্বেষণ হিসাবে বুঝলাম আমি কিছুই বুঝতে পারছি না. এবং এটি এমন নয় যে আমার নিউরাল নেটওয়ার্কে মনোযোগ দেওয়ার পদ্ধতিতে সমস্যা রয়েছে। এই সমস্ত আর্কিটেকচারের সৃষ্টি একধরনের বিশাল হ্যাকাথনের মতো, যেখানে লেখকরা হ্যাকিংয়ে প্রতিযোগিতা করে। হ্যাক একটি কঠিন সফটওয়্যার সমস্যার দ্রুত সমাধান। অর্থাৎ, এই সমস্ত স্থাপত্যের মধ্যে কোন দৃশ্যমান এবং বোধগম্য যৌক্তিক সংযোগ নেই। যা তাদের একত্রিত করে তা হল সবচেয়ে সফল হ্যাকগুলির একটি সেট যা তারা একে অপরের কাছ থেকে ধার করে, এছাড়াও সবার জন্য একটি সাধারণ ক্লোজড-লুপ কনভোলিউশন অপারেশন (ত্রুটি ব্যাকপ্রোপগেশন, ব্যাকপ্রোপগেশন)। না সিস্টেম চিন্তা! কী পরিবর্তন করতে হবে এবং বিদ্যমান অর্জনগুলিকে কীভাবে অপ্টিমাইজ করতে হবে তা স্পষ্ট নয়।

হ্যাকগুলির মধ্যে যৌক্তিক সংযোগের অভাবের ফলে, সেগুলি মনে রাখা এবং অনুশীলনে প্রয়োগ করা অত্যন্ত কঠিন। এটি খণ্ডিত জ্ঞান। সর্বোপরি, কয়েকটি আকর্ষণীয় এবং অপ্রত্যাশিত মুহূর্ত মনে রাখা হয়, তবে যা বোঝা যায় এবং বোধগম্য নয় তার বেশিরভাগই কয়েক দিনের মধ্যে স্মৃতি থেকে অদৃশ্য হয়ে যায়। এক সপ্তাহের মধ্যে অন্তত আর্কিটেকচারের নাম মনে রাখলে ভালো হবে। কিন্তু বেশ কয়েক ঘন্টা এমনকি কাজের সময়ও কেটে গেছে আর্টিকেল পড়তে এবং রিভিউ ভিডিও দেখে!

চিত্র ২ - নিউরাল নেটওয়ার্কের চিড়িয়াখানা

বৈজ্ঞানিক নিবন্ধগুলির বেশিরভাগ লেখক, আমার ব্যক্তিগত মতামত, এই খণ্ডিত জ্ঞানটি পাঠক দ্বারা বুঝতে না পারে তা নিশ্চিত করার জন্য যথাসাধ্য চেষ্টা করেন। কিন্তু দশ লাইনের বাক্যাংশে অংশগ্রহণমূলক বাক্যাংশগুলি যেগুলি "পাতলা বাতাসের বাইরে" নেওয়া হয় এমন সূত্র সহ একটি পৃথক নিবন্ধের জন্য একটি বিষয় (সমস্যা প্রকাশ কর কিংবা ধ্বংস কর).

এই কারণে, নিউরাল নেটওয়ার্ক ব্যবহার করে তথ্য পদ্ধতিগত করার প্রয়োজন রয়েছে এবং এইভাবে, বোঝার এবং মুখস্থ করার মান বৃদ্ধি করা উচিত। অতএব, কৃত্রিম নিউরাল নেটওয়ার্কগুলির পৃথক প্রযুক্তি এবং আর্কিটেকচার বিশ্লেষণের প্রধান বিষয় ছিল নিম্নলিখিত কাজ: সব কোথায় যাচ্ছে খুঁজে বের করুন, এবং আলাদাভাবে কোনো নির্দিষ্ট নিউরাল নেটওয়ার্কের ডিভাইস নয়।

এই সব কোথায় যাচ্ছে? প্রধান ফলাফল:

গত দুই বছরে মেশিন লার্নিং স্টার্টআপের সংখ্যা তীব্রভাবে পড়ে. সম্ভাব্য কারণ: "নিউরাল নেটওয়ার্ক আর নতুন কিছু নয়।"
যে কেউ একটি সাধারণ সমস্যা সমাধানের জন্য একটি কার্যকরী নিউরাল নেটওয়ার্ক তৈরি করতে পারে। এটি করার জন্য, "মডেল চিড়িয়াখানা" থেকে একটি রেডিমেড মডেল নিন এবং নিউরাল নেটওয়ার্কের শেষ স্তরটি প্রশিক্ষণ দিন (প্রশিক্ষণ স্থানান্তর) থেকে রেডিমেড ডেটার উপর গুগল ডেটাসেট অনুসন্ধান বা থেকে 25 হাজার কাগল ডেটাসেট বিনামূল্যে মেঘ জুপিটার নোটবুক.
নিউরাল নেটওয়ার্কের বড় নির্মাতারা তৈরি করতে শুরু করে "মডেল চিড়িয়াখানা" (মডেল চিড়িয়াখানা)। এগুলি ব্যবহার করে আপনি দ্রুত একটি বাণিজ্যিক অ্যাপ্লিকেশন তৈরি করতে পারেন: টিএফ হাব টেনসরফ্লো এর জন্য, এমএমডিটেকশন PyTorch এর জন্য, ডিটেকট্রন Caffe2 এর জন্য, চেইনার-মডেলজু চেনার জন্য এবং другие.
নিউরাল নেটওয়ার্ক কাজ করছে প্রকৃত সময় (রিয়েল-টাইম) মোবাইল ডিভাইসে। প্রতি সেকেন্ডে 10 থেকে 50 ফ্রেম।
ফোনে (TF Lite), ব্রাউজারে (TF.js) এবং এর মধ্যে নিউরাল নেটওয়ার্কের ব্যবহার গৃহস্থালী জিনিস (আইওটি, Iইন্টারনেট of Tহিংস)। বিশেষ করে এমন ফোনে যা ইতিমধ্যেই হার্ডওয়্যার স্তরে নিউরাল নেটওয়ার্ক সমর্থন করে (নিউরাল এক্সিলারেটর)।
“প্রতিটি ডিভাইস, পোশাকের আইটেম এবং সম্ভবত খাবারও থাকবে IP-v6 ঠিকানা এবং একে অপরের সাথে যোগাযোগ করুন" - সেবাস্তিয়ান থ্রুন.
মেশিন লার্নিং এর উপর প্রকাশনার সংখ্যা বাড়তে শুরু করেছে মুরের আইন অতিক্রম (প্রতি দুই বছরে দ্বিগুণ) 2015 থেকে। স্পষ্টতই, নিবন্ধগুলি বিশ্লেষণ করার জন্য আমাদের নিউরাল নেটওয়ার্কের প্রয়োজন।
নিম্নলিখিত প্রযুক্তি জনপ্রিয়তা অর্জন করছে:
- পাইটর্চ - জনপ্রিয়তা দ্রুত বাড়ছে এবং টেনসরফ্লোকে ছাড়িয়ে যাচ্ছে বলে মনে হচ্ছে।
- হাইপারপ্যারামিটারের স্বয়ংক্রিয় নির্বাচন অটোমেল - জনপ্রিয়তা মসৃণভাবে বাড়ছে।
- যথার্থতা ধীরে ধীরে হ্রাস এবং গণনার গতি বৃদ্ধি: ঝাপসা যুক্তিবিজ্ঞান, অ্যালগরিদম boosting, অযৌক্তিক (আনুমানিক) গণনা, পরিমাপকরণ (যখন নিউরাল নেটওয়ার্কের ওজনগুলিকে পূর্ণসংখ্যায় রূপান্তরিত করা হয় এবং কোয়ান্টাইজ করা হয়), নিউরাল এক্সিলারেটর।
- অনুবাদ টেক্সট ইমেজ и টেক্সট টু ইমেজ.
- সৃষ্টি ভিডিও থেকে XNUMXD অবজেক্ট, এখন রিয়েল টাইমে।
- ডিএল সম্পর্কে মূল বিষয় হল প্রচুর ডেটা রয়েছে, তবে এটি সংগ্রহ এবং লেবেল করা সহজ নয়। অতএব, মার্কআপ অটোমেশন বিকাশ করছে (স্বয়ংক্রিয় টীকা) নিউরাল নেটওয়ার্ক ব্যবহার করে নিউরাল নেটওয়ার্কের জন্য।
নিউরাল নেটওয়ার্কের সাথে, কম্পিউটার সায়েন্স হঠাৎ হয়ে গেল পরীক্ষামূলক বিজ্ঞান এবং উঠল প্রজননযোগ্যতা সংকট.
আইটি অর্থ এবং নিউরাল নেটওয়ার্কের জনপ্রিয়তা একই সাথে আবির্ভূত হয় যখন কম্পিউটিং একটি বাজার মূল্য হয়ে ওঠে। অর্থনীতি স্বর্ণ ও মুদ্রা অর্থনীতি থেকে পরিবর্তিত হচ্ছে স্বর্ণ-মুদ্রা-কম্পিউটিং. আমার নিবন্ধ দেখুন ইকোনোফিজিক্স এবং আইটি টাকা চেহারা জন্য কারণ.

ধীরে ধীরে একটি নতুন দেখা যায় এমএল/ডিএল প্রোগ্রামিং পদ্ধতি (মেশিন লার্নিং এবং ডিপ লার্নিং), যা প্রশিক্ষিত নিউরাল নেটওয়ার্ক মডেলগুলির একটি সেট হিসাবে প্রোগ্রামটিকে উপস্থাপন করার উপর ভিত্তি করে।

চিত্র 3 - একটি নতুন প্রোগ্রামিং পদ্ধতি হিসাবে ML/DL

যাইহোক, এটি কখনও দেখা যায়নি "নিউরাল নেটওয়ার্ক তত্ত্ব", যার মধ্যে আপনি পদ্ধতিগতভাবে চিন্তা করতে এবং কাজ করতে পারেন। যাকে এখন "তত্ত্ব" বলা হয় তা আসলে পরীক্ষামূলক, হিউরিস্টিক অ্যালগরিদম।

আমার এবং অন্যান্য সম্পদের লিঙ্ক:

ডেটা সায়েন্স নিউজলেটার। প্রধানত ইমেজ প্রসেসিং। যে কেউ এটি পেতে চায় একটি ই-মেইল পাঠাতে হবে (foobar167gmailcom)। উপাদান জমে আমি নিবন্ধ এবং ভিডিও লিঙ্ক পাঠাই.
সাধারণ তথ্য কোর্স এবং নিবন্ধের তালিকাযা আমি পাস করেছি এবং যা আমি পাস করতে চাই।
নতুনদের জন্য কোর্স এবং ভিডিও, যেখানে আপনার নিউরাল নেটওয়ার্ক অধ্যয়ন শুরু করা উচিত। প্লাস ব্রোশিওর "মেশিন লার্নিং এবং কৃত্রিম নিউরাল নেটওয়ার্কের ভূমিকা".
দরকারী টুল, যেখানে প্রত্যেকে নিজের জন্য আকর্ষণীয় কিছু খুঁজে পাবে।
আমরা তাদের অত্যন্ত দরকারী খুঁজে পেয়েছি. বৈজ্ঞানিক নিবন্ধ বিশ্লেষণের জন্য ভিডিও চ্যানেল ডেটা সায়েন্স দ্বারা। খুঁজুন, তাদের সাবস্ক্রাইব করুন এবং আপনার সহকর্মীদের এবং আমাকেও লিঙ্কগুলি প্রেরণ করুন। উদাহরণ:
- দুটি মিনিট পেপার
- হেনরি এআই ল্যাবস
- ইয়ানিক কিলচার
- কোডএম্পোরিয়াম
- ব্লগ চেংওয়েই ঝাং ওরফে Tony607 ধাপে ধাপে নির্দেশাবলী এবং ওপেন সোর্স সহ।

আপনার মনোযোগের জন্য আপনাকে ধন্যবাদ!

উত্স: www.habr.com

নিউরাল নেটওয়ার্ক. এই সব কোথায় যাচ্ছে?

একটি মন্তব্য জুড়ুন উত্তর বাতিল