হাতে লেখা অঙ্কনের শ্রেণীবিভাগ। ইয়ানডেক্সে রিপোর্ট করুন

কয়েক মাস আগে, গুগল থেকে আমাদের সহকর্মীরা ব্যয় করা Kaggle-এ চাঞ্চল্যকর প্রাপ্ত চিত্রগুলির জন্য একটি শ্রেণীবিভাগ তৈরি করার প্রতিযোগিতা খেলা "দ্রুত আঁক!" দলটি, যার মধ্যে ইয়ানডেক্স বিকাশকারী রোমান ভ্লাসভ ছিল, প্রতিযোগিতায় চতুর্থ স্থান অধিকার করেছিল। জানুয়ারির মেশিন লার্নিং প্রশিক্ষণে, রোমান তার দলের ধারনা, শ্রেণীবিভাগের চূড়ান্ত বাস্তবায়ন, এবং তার প্রতিপক্ষের আকর্ষণীয় অনুশীলনগুলি শেয়ার করেছেন।

- হাই সব! আমার নাম রোমা ভ্লাসভ, আজ আমি আপনাকে কুইক, ড্র সম্পর্কে বলব! ডুডল স্বীকৃতি চ্যালেঞ্জ।



আমাদের দলে পাঁচজন ছিল। আমি একত্রিত হওয়ার সময়সীমার ঠিক আগে যোগদান করেছি। আমরা দুর্ভাগ্য ছিলাম, আমরা একটু ঝাঁকুনি দিয়েছিলাম, কিন্তু আমরা অর্থের অবস্থান থেকে নড়ে গিয়েছিলাম, এবং তারা সোনার অবস্থান থেকে নড়ে গিয়েছিল। এবং আমরা একটি সম্মানজনক চতুর্থ স্থান নিয়েছি।

(প্রতিযোগিতার সময়, দলগুলি একটি রেটিংয়ে নিজেদের পর্যবেক্ষণ করেছিল, যা প্রস্তাবিত ডেটা সেটের একটি অংশে দেখানো ফলাফলের উপর ভিত্তি করে গঠিত হয়েছিল। চূড়ান্ত রেটিং, ঘুরে, ডেটাসেটের অন্য অংশে গঠিত হয়েছিল। এটি করা হয় যে প্রতিযোগিতায় অংশগ্রহণকারীরা তাদের অ্যালগরিদমগুলিকে নির্দিষ্ট ডেটার সাথে সামঞ্জস্য করে না৷ অতএব, ফাইনালে, রেটিংগুলির মধ্যে স্যুইচ করার সময়, অবস্থানগুলি কিছুটা নড়ে যায় (ইংরেজি থেকে ঝাঁকুনি - মিশ্রিত করার জন্য): অন্যান্য ডেটাতে, ফলাফল হতে পারে ভিন্ন হতে হবে। রোমান এর দল প্রথম তিনে ছিল। এই ক্ষেত্রে, শীর্ষ তিনটি হল অর্থ, আর্থিক রেটিং জোন, যেহেতু শুধুমাত্র প্রথম তিনটি স্থানকে নগদ পুরস্কার দেওয়া হয়েছিল। ঝাঁকুনি দেওয়ার পরে, দলটি ইতিমধ্যেই ছিল চতুর্থ স্থান। একইভাবে, অন্য দল জয় হারিয়ে সোনার অবস্থান। - এড।)

প্রতিযোগিতাটিও উল্লেখযোগ্য ছিল যে এভজেনি বাবাখনিন একজন গ্র্যান্ডমাস্টার পেয়েছিলেন, ইভান সোসিন একজন মাস্টার পেয়েছিলেন, রোমান সলোভিয়েভ একজন গ্র্যান্ডমাস্টার থেকেছিলেন, অ্যালেক্স পারিনভ একজন মাস্টার পেয়েছিলেন, আমি একজন বিশেষজ্ঞ হয়েছিলাম এবং এখন আমি ইতিমধ্যে একজন মাস্টার হয়েছি।

এই দ্রুত, আঁকা কি? এটি গুগলের একটি পরিষেবা। গুগলের লক্ষ্য ছিল এআইকে জনপ্রিয় করা এবং এই পরিষেবাটির মাধ্যমে নিউরাল নেটওয়ার্কগুলি কীভাবে কাজ করে তা দেখাতে চেয়েছিল। আপনি সেখানে যান, আসুন আঁকিতে ক্লিক করুন, এবং একটি নতুন পৃষ্ঠা পপ আপ হবে যেখানে আপনাকে বলা হয়েছে: একটি জিগজ্যাগ আঁকুন, এটি করার জন্য আপনার কাছে 20 সেকেন্ড আছে। আপনি 20 সেকেন্ডের মধ্যে একটি জিগজ্যাগ আঁকার চেষ্টা করছেন, যেমন এখানে, উদাহরণস্বরূপ। আপনি সফল হলে, নেটওয়ার্ক বলে যে এটি একটি জিগজ্যাগ এবং আপনি এগিয়ে যান। এমন ছবি আছে মাত্র ছয়টি।

যদি Google-এর নেটওয়ার্ক আপনি যা আঁকেন তা চিনতে ব্যর্থ হয়, তাহলে টাস্কে একটি ক্রস স্থাপন করা হয়েছিল। একটি অঙ্কন নেটওয়ার্ক দ্বারা স্বীকৃত হোক বা না হোক ভবিষ্যতে এর অর্থ কী তা পরে আমি আপনাকে বলব।

এই পরিষেবাটি মোটামুটি বিপুল সংখ্যক ব্যবহারকারী সংগ্রহ করেছিল এবং ব্যবহারকারীরা যে সমস্ত ছবি আঁকেন সেগুলি লগ করা হয়েছিল৷

আমরা প্রায় 50 মিলিয়ন ছবি সংগ্রহ করতে পেরেছি। এটি থেকে, আমাদের প্রতিযোগিতার জন্য ট্রেন এবং পরীক্ষার তারিখ গঠিত হয়েছিল। যাইহোক, পরীক্ষায় ডেটার পরিমাণ এবং ক্লাসের সংখ্যা একটি কারণে গাঢ়ভাবে হাইলাইট করা হয়। আমি তাদের সম্পর্কে একটু পরে বলব।

তথ্য বিন্যাস নিম্নরূপ ছিল. এগুলি কেবল আরজিবি চিত্র নয়, মোটামুটিভাবে বলতে গেলে, ব্যবহারকারীর সমস্ত কিছুর একটি লগ। শব্দ হল আমাদের লক্ষ্য, দেশ কোড হল যেখান থেকে ডুডলের লেখক, টাইমস্ট্যাম্প হল সময়৷ স্বীকৃত লেবেলটি দেখায় যে নেটওয়ার্কটি Google থেকে ছবিটিকে স্বীকৃতি দিয়েছে কিনা। এবং অঙ্কন নিজেই একটি ক্রম, একটি বক্ররেখার একটি অনুমান যা ব্যবহারকারী পয়েন্ট সহ আঁকেন। এবং সময়. এই সময় থেকেই ছবি আঁকার শুরু।

ডেটা দুটি ফর্ম্যাটে উপস্থাপন করা হয়েছিল। এটি প্রথম বিন্যাস, এবং দ্বিতীয়টি সরলীকৃত। তারা সেখান থেকে সময় কেটেছে এবং পয়েন্টের একটি ছোট সেটের সাথে এই পয়েন্টের সেটটিকে আনুমানিক করেছে। এ জন্য তারা ব্যবহার করেছে ডগলাস-পেকার অ্যালগরিদম. আপনার কাছে বিন্দুগুলির একটি বড় সেট রয়েছে যা কেবল একটি সরল রেখাকে আনুমানিক করে, কিন্তু প্রকৃতপক্ষে আপনি মাত্র দুটি বিন্দু দিয়ে এই রেখাটিকে আনুমানিক করতে পারেন। এটি অ্যালগরিদমের ধারণা।

তথ্য নিম্নরূপ বিতরণ করা হয়েছে. সবকিছু অভিন্ন, কিন্তু কিছু বহিরাগত আছে. যখন আমরা সমস্যাটি সমাধান করেছি, আমরা এটির দিকে তাকাইনি। মূল বিষয় হল এমন কোনও ক্লাস ছিল না যা সত্যিই খুব কম ছিল, আমাদের ওজনযুক্ত নমুনা এবং ডেটা ওভারস্যাম্পলিং করতে হবে না।

ছবিগুলো কেমন লাগলো? এটি "বিমান" শ্রেণী এবং এটি থেকে স্বীকৃত এবং অচেনা লেবেল সহ উদাহরণ। তাদের অনুপাত ছিল 1 থেকে 9 এর কাছাকাছি। আপনি দেখতে পাচ্ছেন, ডেটা বেশ গোলমাল। আমি অনুমান করব এটি একটি বিমান। আপনি স্বীকৃত না তাকান, অধিকাংশ ক্ষেত্রে এটা শুধু গোলমাল. কেউ এমনকি "বিমান" লেখার চেষ্টা করেছে, কিন্তু স্পষ্টতই ফরাসি ভাষায়।

বেশিরভাগ অংশগ্রহণকারীরা সহজভাবে গ্রিড নিয়েছিল, আরজিবি ছবি হিসাবে লাইনের এই ক্রম থেকে ডেটা আঁকে এবং সেগুলিকে নেটওয়ার্কে ফেলে দেয়। আমি প্রায় একইভাবে আঁকলাম: আমি রঙের একটি প্যালেট নিয়েছি, একটি রঙ দিয়ে প্রথম লাইনটি আঁকলাম, যা এই প্যালেটের শুরুতে ছিল, অন্যটির সাথে শেষ লাইনটি, যা প্যালেটের শেষে ছিল এবং তাদের মধ্যে আমি এই প্যালেট ব্যবহার করে সর্বত্র ইন্টারপোলেট করেছি। যাইহোক, আপনি যদি প্রথম স্লাইডে আঁকার চেয়ে এটি একটি ভাল ফলাফল দেয় - শুধু কালো।

অন্যান্য দলের সদস্যরা, যেমন ইভান সোসিন, আঁকার জন্য কিছুটা ভিন্ন পদ্ধতির চেষ্টা করেছিলেন। একটি চ্যানেলের মাধ্যমে তিনি কেবল একটি ধূসর ছবি আঁকেন, অন্য চ্যানেলে তিনি শুরু থেকে শেষ পর্যন্ত 32 থেকে 255 পর্যন্ত গ্রেডিয়েন্ট সহ প্রতিটি স্ট্রোক আঁকেন এবং তৃতীয় চ্যানেলের মাধ্যমে তিনি 32 থেকে 255 পর্যন্ত সমস্ত স্ট্রোকের উপর একটি গ্রেডিয়েন্ট আঁকেন।

আরেকটি মজার বিষয় হল অ্যালেক্স প্যারিনভ কান্ট্রিকোড ব্যবহার করে নেটওয়ার্কে তথ্য আপলোড করেছেন।

প্রতিযোগিতায় ব্যবহৃত মেট্রিক হল গড় নির্ভুলতা। প্রতিযোগিতার জন্য এই মেট্রিকের সারাংশ কী? আপনি তিনটি ভবিষ্যদ্বাণী দিতে পারেন, এবং যদি এই তিনটির মধ্যে কোনো সঠিক ভবিষ্যদ্বাণী না থাকে, তাহলে আপনি 0 পাবেন। যদি একটি সঠিক থাকে, তাহলে তার ক্রম বিবেচনায় নেওয়া হয়। এবং লক্ষ্য ফলাফল 1 হিসাবে গণনা করা হবে আপনার পূর্বাভাসের ক্রম দ্বারা ভাগ। উদাহরণস্বরূপ, আপনি তিনটি ভবিষ্যদ্বাণী করেছেন, এবং সঠিকটি প্রথমটি, তারপর আপনি 1 কে 1 দ্বারা ভাগ করুন এবং 1 পাবেন। যদি ভবিষ্যদ্বাণীটি সঠিক হয় এবং এর ক্রম 2 হয়, তাহলে 1 কে 2 দ্বারা ভাগ করুন, আপনি 0,5 পাবেন। ভাল, ইত্যাদি

ডাটা প্রিপ্রসেসিং এর সাথে - কিভাবে ছবি আঁকব ইত্যাদি - আমরা একটু সিদ্ধান্ত নিয়েছি। আমরা কি স্থাপত্য ব্যবহার করেছি? আমরা মোটা আর্কিটেকচার যেমন PNASNet, SENet এবং SE-Res-NeXt এর মতো ইতিমধ্যেই ক্লাসিক আর্কিটেকচার ব্যবহার করার চেষ্টা করেছি, তারা ক্রমবর্ধমান নতুন প্রতিযোগিতায় প্রবেশ করছে। এছাড়াও ResNet এবং DenseNet ছিল।

আমরা কিভাবে এই শেখান? আমাদের নেওয়া সমস্ত মডেল ইমেজনেটে ​​প্রাক-প্রশিক্ষিত ছিল। যদিও প্রচুর ডেটা আছে, 50 মিলিয়ন ইমেজ, কিন্তু তারপরও, আপনি যদি ইমেজনেটে ​​প্রাক-প্রশিক্ষিত একটি নেটওয়ার্ক গ্রহণ করেন, তবে আপনি যদি এটিকে স্ক্র্যাচ থেকে প্রশিক্ষিত করেন তার চেয়ে এটি আরও ভাল ফলাফল দেখায়।

আমরা কি শিক্ষার কৌশল ব্যবহার করেছি? এটি কোসিং অ্যানিলিং উইথ ওয়ার্ম রিস্টার্টস, যা আমি একটু পরে বলব। এটি এমন একটি কৌশল যা আমি আমার সাম্প্রতিক সমস্ত প্রতিযোগিতায় ব্যবহার করি এবং তাদের সাথে এটি একটি ভাল সর্বনিম্ন অর্জনের জন্য গ্রিডগুলিকে বেশ ভালভাবে প্রশিক্ষণ দেয়।

পরবর্তী মালভূমিতে শেখার হার হ্রাস করুন। আপনি নেটওয়ার্কের প্রশিক্ষণ শুরু করেন, একটি নির্দিষ্ট শেখার হার সেট করেন, এটি শেখানো চালিয়ে যান এবং আপনার ক্ষতি ধীরে ধীরে একটি নির্দিষ্ট মূল্যে রূপান্তরিত হয়। আপনি এটি পরীক্ষা করুন, উদাহরণস্বরূপ, দশটি যুগের জন্য ক্ষতি মোটেও পরিবর্তিত হয়নি। আপনি আপনার শেখার হার কিছুটা কমিয়ে দিন এবং শেখা চালিয়ে যান। এটি আবার একটু কমে যায়, কিছু ন্যূনতম একত্রিত হয়, এবং আপনি আবার শেখার হার কমিয়ে দেন, এবং এভাবেই, যতক্ষণ না আপনার নেটওয়ার্ক অবশেষে একত্রিত হয়।

পরবর্তী একটি আকর্ষণীয় কৌশল: শেখার হার ক্ষয় করবেন না, ব্যাচের আকার বাড়ান। একই নামের একটি নিবন্ধ আছে. আপনি যখন একটি নেটওয়ার্ককে প্রশিক্ষণ দেন, তখন আপনাকে শেখার হার কমাতে হবে না, আপনি কেবল ব্যাচের আকার বাড়াতে পারেন।

এই কৌশলটি, উপায় দ্বারা, অ্যালেক্স প্যারিনভ ব্যবহার করেছিলেন। তিনি 408 এর সমান একটি ব্যাচ দিয়ে শুরু করেছিলেন, এবং যখন তার নেটওয়ার্ক কিছু মালভূমিতে পৌঁছেছিল, তখন তিনি কেবল ব্যাচের আকার দ্বিগুণ করেছিলেন, ইত্যাদি।

প্রকৃতপক্ষে, আমি মনে করি না যে তার ব্যাচের আকার কী মূল্যে পৌঁছেছে, তবে মজার বিষয় হল কাগলের দলগুলি একই কৌশল ব্যবহার করেছিল, তাদের ব্যাচের আকার ছিল প্রায় 10000৷ যাইহোক, গভীর শিক্ষার জন্য আধুনিক কাঠামো, যেমন PyTorch, উদাহরণস্বরূপ, আপনাকে এটি খুব সহজেই করতে দেয়। আপনি আপনার ব্যাচ তৈরি করুন এবং নেটওয়ার্কে এটি জমা দিন যেভাবে এটি রয়েছে, সম্পূর্ণরূপে নয়, তবে এটিকে খণ্ডে ভাগ করুন যাতে এটি আপনার ভিডিও কার্ডে ফিট হয়, গ্রেডিয়েন্টগুলি গণনা করুন এবং আপনি পুরো ব্যাচের গ্রেডিয়েন্ট গণনা করার পরে, আপডেট করুন ওজন

যাইহোক, বড় ব্যাচের আকারগুলি এখনও এই প্রতিযোগিতায় অন্তর্ভুক্ত ছিল, কারণ ডেটা বেশ গোলমাল ছিল, এবং একটি বড় ব্যাচের আকার আপনাকে গ্রেডিয়েন্টের আরও সঠিকভাবে আনুমানিক সাহায্য করেছিল৷

ছদ্ম-লেবেলিংও ব্যবহৃত হয়েছিল, বেশিরভাগ রোমান সলোভিয়েভ ব্যবহার করেছিলেন। তিনি ব্যাচে পরীক্ষা থেকে প্রায় অর্ধেক ডেটা নমুনা করেছেন এবং এই ধরনের ব্যাচে গ্রিডকে প্রশিক্ষণ দিয়েছেন।

ছবির আকার গুরুত্বপূর্ণ, কিন্তু সত্য যে আপনার অনেক ডেটা আছে, আপনাকে দীর্ঘ সময়ের জন্য প্রশিক্ষণ দিতে হবে এবং যদি আপনার ছবির আকারটি বেশ বড় হয়, তাহলে আপনি খুব দীর্ঘ সময়ের জন্য প্রশিক্ষণ দেবেন। কিন্তু এটি আপনার চূড়ান্ত ক্লাসিফায়ারের গুণমানে খুব বেশি যোগ করেনি, তাই এটি কিছু ধরণের ট্রেড-অফ ব্যবহার করে মূল্যবান ছিল। এবং আমরা শুধুমাত্র ছবিগুলি চেষ্টা করেছি যেগুলি আকারে খুব বড় ছিল না।

কিভাবে এটা সব শেখা ছিল? প্রথমত, ছোট আকারের ছবি তোলা হয়েছিল, তাদের উপর বেশ কয়েকটি যুগ চালানো হয়েছিল, এতে বেশ অনেক সময় লেগেছিল। তারপরে বড় আকারের ছবি দেওয়া হয়েছিল, নেটওয়ার্ককে প্রশিক্ষিত করা হয়েছিল, তারপরে আরও বেশি, এমনকি আরও বেশি, যাতে এটি স্ক্র্যাচ থেকে প্রশিক্ষণ না দেয় এবং অনেক সময় নষ্ট না হয়।

অপ্টিমাইজার সম্পর্কে আমরা এসজিডি এবং অ্যাডাম ব্যবহার করেছি। এইভাবে একটি একক মডেল পাওয়া সম্ভব ছিল, যা পাবলিক লিডারবোর্ডে 0,941-0,946 এর গতি দিয়েছে, যা বেশ ভাল।

আপনি যদি কোনোভাবে মডেলগুলিকে একত্রিত করেন, আপনি 0,951 এর কাছাকাছি কোথাও পাবেন। আপনি যদি আরও একটি কৌশল ব্যবহার করেন, আপনি পাবলিক বোর্ডে 0,954 এর চূড়ান্ত স্কোর পাবেন, যেমনটি আমরা পেয়েছি। কিন্তু পরে যে আরো. পরবর্তী আমি আপনাকে বলব কিভাবে আমরা মডেলগুলি একত্রিত করেছি এবং কীভাবে আমরা এই ধরনের চূড়ান্ত গতি অর্জন করতে পেরেছি।

পরবর্তীতে আমি উষ্ণ রিস্টার্টের সাথে কোসিং অ্যানিলিং বা ওয়ার্ম রিস্টার্টের সাথে স্টোকাস্টিক গ্রেডিয়েন্ট ডিসেন্ট সম্পর্কে কথা বলতে চাই। মোটামুটিভাবে বলতে গেলে, নীতিগতভাবে, আপনি যে কোনও অপ্টিমাইজার ব্যবহার করতে পারেন, তবে মূল বিষয় হল: আপনি যদি কেবল একটি নেটওয়ার্ককে প্রশিক্ষণ দেন এবং ধীরে ধীরে এটি কিছুটা ন্যূনতম রূপান্তরিত হয়, তবে সবকিছু ঠিক আছে, আপনি একটি নেটওয়ার্ক পাবেন, এটি নির্দিষ্ট ভুল করে, কিন্তু আপনি একটু ভিন্নভাবে প্রশিক্ষণ দিতে পারেন। আপনি কিছু প্রাথমিক শিক্ষার হার সেট করবেন এবং এই সূত্র অনুযায়ী ধীরে ধীরে কমিয়ে আনবেন। আপনি এটি কমিয়ে দিন, আপনার নেটওয়ার্ক কিছুটা ন্যূনতম হয়ে আসে, তারপর আপনি ওজন সংরক্ষণ করেন, এবং আবার প্রশিক্ষণের শুরুতে শেখার হার সেট করেন, যার ফলে এই ন্যূনতম থেকে কোথাও উপরে যায় এবং আবার আপনার শেখার হার কমিয়ে দেয়।

এইভাবে, আপনি একসাথে বেশ কয়েকটি সর্বনিম্ন পরিদর্শন করতে পারেন, যেখানে আপনার ক্ষতি হবে, প্লাস বা বিয়োগ, একই। কিন্তু সত্য যে এই ওজন সহ নেটওয়ার্কগুলি আপনার তারিখে বিভিন্ন ত্রুটি দেবে। তাদের গড় করে, আপনি এক ধরণের আনুমানিকতা পাবেন এবং আপনার গতি বেশি হবে।

আমরা কীভাবে আমাদের মডেলগুলি একত্রিত করেছি সে সম্পর্কে। প্রেজেন্টেশনের শুরুতেই বলেছিলাম পরীক্ষায় ডাটার পরিমাণ এবং ক্লাসের সংখ্যার দিকে মনোযোগ দিতে। আপনি যদি পরীক্ষার সেটে লক্ষ্য সংখ্যার সাথে 1 যোগ করেন এবং ক্লাসের সংখ্যা দিয়ে ভাগ করেন তবে আপনি 330 নম্বর পাবেন এবং এটি ফোরামে লেখা ছিল - যে পরীক্ষার ক্লাসগুলি ভারসাম্যপূর্ণ। এই ব্যবহার করা যেতে পারে.

এর উপর ভিত্তি করে, রোমান সলোভিয়েভ একটি মেট্রিক নিয়ে এসেছিলেন, আমরা এটিকে প্রক্সি স্কোর বলেছি, যা লিডারবোর্ডের সাথে বেশ ভাল সম্পর্কযুক্ত। বিন্দু হল: আপনি একটি ভবিষ্যদ্বাণী করেন, আপনার ভবিষ্যদ্বাণীকারীদের মধ্যে শীর্ষ 1 নিন এবং প্রতিটি শ্রেণীর জন্য বস্তুর সংখ্যা গণনা করুন। এর পরে, প্রতিটি মান থেকে 330 বিয়োগ করুন এবং ফলাফলের পরম মানগুলি যোগ করুন।

নিম্নলিখিত মান প্রাপ্ত করা হয়েছে. এটি আমাদের একটি প্রোবিং লিডারবোর্ড তৈরি করতে নয়, স্থানীয়ভাবে যাচাই করতে এবং আমাদের ensembles এর জন্য সহগ নির্বাচন করতে সাহায্য করেছে।

একটি ensemble সঙ্গে আপনি যেমন একটি গতি পেতে পারে. আমি আর কি করতে পারি? ধরুন আপনি তথ্য ব্যবহার করেছেন যে আপনার পরীক্ষার ক্লাসগুলি ভারসাম্যপূর্ণ।

ভারসাম্য ছিল ভিন্ন। তাদের একজনের উদাহরণ - যারা প্রথম স্থান অধিকার করেছে তাদের থেকে ভারসাম্য বজায় রাখা।

আমরা কি করেছিলাম? আমাদের ভারসাম্য বেশ সহজ ছিল, এটি ইভজেনি বাবাখনিন দ্বারা প্রস্তাবিত হয়েছিল। আমরা প্রথমে আমাদের ভবিষ্যদ্বাণীগুলি সেরা 1 এবং তাদের থেকে নির্বাচিত প্রার্থীদের দ্বারা বাছাই করেছি - যাতে ক্লাসের সংখ্যা 330 টির বেশি না হয়৷ কিন্তু কিছু ক্লাসের জন্য আপনি 330 টিরও কম ভবিষ্যদ্বাণী দিয়ে শেষ করেন৷ ঠিক আছে, আসুন শীর্ষ 2 এবং শীর্ষ 3 দ্বারাও বাছাই করি , এবং আমরা প্রার্থী নির্বাচন করব।

কীভাবে আমাদের ভারসাম্য প্রথম স্থানের ভারসাম্য থেকে আলাদা ছিল? তারা একটি পুনরাবৃত্তিমূলক পদ্ধতি ব্যবহার করেছিল, সবচেয়ে জনপ্রিয় শ্রেণী গ্রহণ করেছিল এবং সেই শ্রেণীর জন্য সম্ভাব্যতাগুলিকে কিছু ছোট সংখ্যা দ্বারা হ্রাস করেছিল যতক্ষণ না সেই শ্রেণীটি আর জনপ্রিয় ছিল না। আমরা পরবর্তী সবচেয়ে জনপ্রিয় ক্লাস নিলাম। তাই সব শ্রেণীর সংখ্যা সমান না হওয়া পর্যন্ত তারা সেগুলো কমিয়ে আনতে থাকে।

প্রত্যেকে ট্রেন নেটওয়ার্কের জন্য প্লাস বা মাইনাস ওয়ান পদ্ধতি ব্যবহার করেছে, কিন্তু সবাই ব্যালেন্সিং ব্যবহার করেনি। ভারসাম্য ব্যবহার করে, আপনি সোনায় যেতে পারেন, এবং যদি আপনি ভাগ্যবান হন তবে অর্থে।

কিভাবে একটি তারিখ preprocess? প্রত্যেকেই একইভাবে তারিখ, প্লাস বা বিয়োগ প্রিপ্রসেস করেছে - হস্তশিল্পের বৈশিষ্ট্যগুলি তৈরি করা, বিভিন্ন স্ট্রোক রঙের সাথে সময় এনকোড করার চেষ্টা করা ইত্যাদি। 8 তম স্থান অধিকারকারী আলেক্সি নজড্রিন-প্লটনিটস্কি এই বিষয়ে কথা বলেছেন।

তিনি এটি ভিন্নভাবে করেছেন। তিনি বলেছিলেন যে আপনার এই সমস্ত হস্তশিল্পের বৈশিষ্ট্যগুলি কাজ করে না, আপনাকে এটি করার দরকার নেই, আপনার নেটওয়ার্কের নিজেরাই এই সমস্ত শিখতে হবে। এবং পরিবর্তে, তিনি শিখন মডিউল নিয়ে এসেছেন যা আপনার ডেটা প্রিপ্রসেস করে। তিনি প্রি-প্রসেসিং ছাড়াই মূল ডেটা ছুঁড়ে দিয়েছিলেন - পয়েন্ট স্থানাঙ্ক এবং সময়।

তারপর তিনি স্থানাঙ্কের উপর ভিত্তি করে পার্থক্যটি নিয়েছিলেন এবং সময়ের উপর ভিত্তি করে এটি সমস্ত গড় করেছিলেন। এবং তিনি একটি বরং দীর্ঘ ম্যাট্রিক্স নিয়ে এসেছিলেন। তিনি 1xn আকারের একটি ম্যাট্রিক্স পাওয়ার জন্য এটিতে 64D কনভলিউশনটি বেশ কয়েকবার প্রয়োগ করেছিলেন, যেখানে n হল বিন্দুর মোট সংখ্যা এবং 64 তৈরি করা হয় ফলে ম্যাট্রিক্সকে যেকোনো কনভোল্যুশনাল নেটওয়ার্কের স্তরে খাওয়ানোর জন্য, যা চ্যানেলের সংখ্যা গ্রহণ করে। - 64. তিনি একটি 64xn ম্যাট্রিক্স পেয়েছেন, তারপর এটি থেকে কিছু আকারের একটি টেনসর তৈরি করা প্রয়োজন যাতে চ্যানেলের সংখ্যা 64 এর সমান হয়। তিনি একটি তৈরি করতে 0 থেকে 32 পর্যন্ত পরিসরের সমস্ত পয়েন্ট X, Y স্বাভাবিক করেন। 32x32 আকারের টেনসর। আমি জানি না কেন তিনি 32x32 চেয়েছিলেন, এটি ঠিক সেভাবেই ঘটেছে। এবং এই স্থানাঙ্কে তিনি 64xn আকারের এই ম্যাট্রিক্সের একটি খণ্ড স্থাপন করেছিলেন। সুতরাং এটি একটি 32x32x64 টেনসরের সাথে শেষ হয়েছে যা আপনি আপনার কনভোলিউশনাল নিউরাল নেটওয়ার্কে আরও রাখতে পারেন। এটাই বলতে চেয়েছিলাম।

উত্স: www.habr.com