Habré-এ মেশিন লার্নিং প্রতিযোগিতার থিম অব্যাহত রেখে, আমরা পাঠকদের আরও দুটি প্ল্যাটফর্মের সাথে পরিচয় করিয়ে দিতে চাই। তারা অবশ্যই কাগলের মতো বিশাল নয়, তবে তারা অবশ্যই মনোযোগের যোগ্য।

ব্যক্তিগতভাবে, আমি বিভিন্ন কারণে কাগল খুব বেশি পছন্দ করি না:

• প্রথমত, সেখানে প্রতিযোগিতা প্রায়শই কয়েক মাস ধরে চলে এবং সক্রিয় অংশগ্রহণের জন্য অনেক প্রচেষ্টার প্রয়োজন হয়;
• দ্বিতীয়ত, পাবলিক কার্নেল (সর্বজনীন সমাধান)। কাগল অনুগামীরা তিব্বতি সন্ন্যাসীদের শান্তভাবে তাদের সাথে আচরণ করার পরামর্শ দেয়, কিন্তু বাস্তবে এটি খুবই লজ্জার বিষয় যখন আপনি এক বা দুই মাস ধরে কাজ করছেন এমন কিছু হঠাৎ করে সবার জন্য রূপার থালায় রাখা হয়ে যায়।

সৌভাগ্যবশত, মেশিন লার্নিং প্রতিযোগিতা অন্যান্য প্ল্যাটফর্মে অনুষ্ঠিত হয় এবং এই প্রতিযোগিতার কয়েকটি নিয়ে আলোচনা করা হবে।

আইডিএও	SNA হ্যাকাথন 2019
অফিসিয়াল ভাষা: ইংরেজি, আয়োজক: Yandex, Sberbank, HSE	সরকারী রাশিয়ান ভাষা, আয়োজক: Mail.ru গ্রুপ
অনলাইন রাউন্ড: জানুয়ারী 15 - ফেব্রুয়ারী 11, 2019; অন-সাইট ফাইনাল: এপ্রিল 4-6, 2019	অনলাইন - 7 ফেব্রুয়ারি থেকে 15 মার্চ পর্যন্ত; অফলাইন - 30 মার্চ থেকে 1 এপ্রিল পর্যন্ত।
লার্জ হ্যাড্রন কোলাইডারে একটি কণা সম্পর্কে নির্দিষ্ট ডেটা ব্যবহার করে (ট্র্যাজেক্টরি, ভরবেগ এবং অন্যান্য জটিল শারীরিক পরামিতি), এটি একটি মিউন কিনা তা নির্ধারণ করুন এই বিবৃতি থেকে, 2 টি কাজ চিহ্নিত করা হয়েছিল: - একটিতে আপনাকে কেবল আপনার ভবিষ্যদ্বাণী পাঠাতে হয়েছিল, - এবং অন্যটিতে - ভবিষ্যদ্বাণীর জন্য সম্পূর্ণ কোড এবং মডেল এবং কার্যকর করা চলমান সময় এবং মেমরি ব্যবহারের উপর মোটামুটি কঠোর বিধিনিষেধের বিষয় ছিল	SNA হ্যাকাথন প্রতিযোগিতার জন্য, ফেব্রুয়ারী-মার্চ 2018 এর জন্য ব্যবহারকারীর নিউজ ফিডে উন্মুক্ত গোষ্ঠী থেকে সামগ্রী প্রদর্শনের লগ সংগ্রহ করা হয়েছিল। পরীক্ষার সেটে মার্চের শেষ দেড় সপ্তাহ রয়েছে। লগের প্রতিটি এন্ট্রিতে কী দেখানো হয়েছে এবং কাকে দেখানো হয়েছে, সেইসাথে ব্যবহারকারী কীভাবে এই বিষয়বস্তুতে প্রতিক্রিয়া জানিয়েছে সে সম্পর্কে তথ্য রয়েছে: এটিকে রেট দেওয়া, মন্তব্য করা, উপেক্ষা করা বা ফিড থেকে লুকিয়ে রাখা। এসএনএ হ্যাকাথনের কাজগুলির সারমর্ম হল সোশ্যাল নেটওয়ার্ক ওডনোক্লাসনিকির প্রতিটি ব্যবহারকারীকে তার ফিড র‌্যাঙ্ক করা, যতটা সম্ভব সেই পোস্টগুলিকে উচ্চতর করা যা একটি "শ্রেণী" পাবে। অনলাইন পর্যায়ে, কাজটি 3 ভাগে বিভক্ত ছিল: 1. বিভিন্ন সহযোগী বৈশিষ্ট্য অনুযায়ী পোস্ট র‌্যাঙ্ক করুন 2. তাদের ধারণ করা ছবির উপর ভিত্তি করে পোস্ট র‌্যাঙ্ক করুন 3. তারা ধারণ করা টেক্সট অনুযায়ী র্যাঙ্ক পোস্ট
জটিল কাস্টম মেট্রিক, ROC-AUC এর মতো কিছু	ব্যবহারকারী দ্বারা গড় ROC-AUC
প্রথম পর্যায়ের জন্য পুরষ্কার - এন স্থানগুলির জন্য টি-শার্ট, দ্বিতীয় পর্যায়ে উত্তরণ, যেখানে প্রতিযোগিতা চলাকালীন আবাসন এবং খাবার প্রদান করা হয়েছিল দ্বিতীয় পর্ব-??? (কিছু নির্দিষ্ট কারণে, আমি পুরস্কার বিতরণী অনুষ্ঠানে উপস্থিত ছিলাম না এবং শেষ পর্যন্ত পুরস্কার কী ছিল তা খুঁজে বের করতে পারিনি)। তারা বিজয়ী দলের সকল সদস্যকে ল্যাপটপ দেওয়ার প্রতিশ্রুতি দেয়	প্রথম পর্যায়ে পুরষ্কার - 100 জন সেরা অংশগ্রহণকারীদের জন্য টি-শার্ট, দ্বিতীয় পর্যায়ে উত্তরণ, যেখানে মস্কো ভ্রমণ, প্রতিযোগিতা চলাকালীন আবাসন এবং খাবার প্রদান করা হয়েছিল। এছাড়াও, প্রথম পর্যায়ের শেষের দিকে, ধাপ 3-এ 1টি কাজের মধ্যে সেরাদের জন্য পুরস্কার ঘোষণা করা হয়েছিল: প্রত্যেকেই একটি RTX 2080 TI ভিডিও কার্ড জিতেছে! দ্বিতীয় পর্যায়টি একটি টিম স্টেজ ছিল, দলগুলি 2 থেকে 5 জন নিয়ে গঠিত, পুরস্কার: 1ম স্থান - 300 রুবেল 2ম স্থান - 200 রুবেল 3ম স্থান - 100 রুবেল জুরি পুরস্কার - 100 রুবেল
অফিসিয়াল টেলিগ্রাম গ্রুপ, ~190 অংশগ্রহণকারী, ইংরেজিতে যোগাযোগ, প্রশ্নের উত্তরের জন্য কয়েক দিন অপেক্ষা করতে হয়েছিল	টেলিগ্রামে অফিসিয়াল গ্রুপ, ~1500 অংশগ্রহণকারী, অংশগ্রহণকারীদের এবং সংগঠকদের মধ্যে কাজগুলির সক্রিয় আলোচনা
আয়োজকরা দুটি মৌলিক সমাধান প্রদান করেছে, সহজ এবং উন্নত। সাধারণের জন্য 16 গিগাবাইটের কম র‍্যাম প্রয়োজন, এবং উন্নত মেমরি 16-এ মাপসই করা হয়নি। একই সময়ে, একটু সামনের দিকে তাকিয়ে, অংশগ্রহণকারীরা উন্নত সমাধানকে উল্লেখযোগ্যভাবে ছাড়িয়ে যেতে সক্ষম হয়নি। এই সমাধানগুলি চালু করতে কোন অসুবিধা ছিল না। এটি লক্ষ করা উচিত যে উন্নত উদাহরণে একটি ইঙ্গিত সহ একটি মন্তব্য ছিল যেখানে সমাধানটি উন্নত করা শুরু করতে হবে।	প্রতিটি কাজের জন্য প্রাথমিক প্রাথমিক সমাধান প্রদান করা হয়েছিল, যা অংশগ্রহণকারীরা সহজেই অতিক্রম করেছিল। প্রতিযোগিতার প্রথম দিনগুলিতে, অংশগ্রহণকারীরা বেশ কিছু সমস্যার সম্মুখীন হয়েছিল: প্রথমত, ডেটাগুলি Apache Parquet ফর্ম্যাটে দেওয়া হয়েছিল, এবং Python এবং Parquet প্যাকেজের সমস্ত সমন্বয় ত্রুটি ছাড়াই কাজ করেনি৷ দ্বিতীয় অসুবিধাটি ছিল মেল ক্লাউড থেকে ছবি ডাউনলোড করা; এই মুহুর্তে একবারে প্রচুর পরিমাণে ডেটা ডাউনলোড করার কোনও সহজ উপায় নেই। ফলস্বরূপ, এই সমস্যাগুলি কয়েক দিনের জন্য অংশগ্রহণকারীদের বিলম্বিত করে।

আইডিএও। প্রথম পর্যায়ে

কাজটি ছিল মিউন/নন-মিউন কণাকে তাদের বৈশিষ্ট্য অনুসারে শ্রেণিবদ্ধ করা। এই কাজের মূল বৈশিষ্ট্যটি ছিল প্রশিক্ষণের ডেটাতে একটি ওজন কলামের উপস্থিতি, যা আয়োজকরা নিজেরাই এই লাইনের উত্তরে আত্মবিশ্বাস হিসাবে ব্যাখ্যা করেছিলেন। সমস্যাটি ছিল যে বেশ কয়েকটি সারিতে নেতিবাচক ওজন রয়েছে।

ইঙ্গিত সহ লাইনটি সম্পর্কে কয়েক মিনিট চিন্তা করার পরে (ইঙ্গিতটি কেবল ওজন কলামের এই বৈশিষ্ট্যটির দিকে দৃষ্টি আকর্ষণ করেছিল) এবং এই গ্রাফটি তৈরি করার পরে, আমরা 3টি বিকল্প পরীক্ষা করার সিদ্ধান্ত নিয়েছি:

1) ঋণাত্মক ওজন (এবং তদনুসারে ওজন) সহ লাইনের লক্ষ্য উল্টে দিন
2) ওজনগুলিকে সর্বনিম্ন মানতে স্থানান্তর করুন যাতে তারা 0 থেকে শুরু হয়
3) স্ট্রিং ওজন ব্যবহার করবেন না

তৃতীয় বিকল্পটি সবচেয়ে খারাপ বলে প্রমাণিত হয়েছিল, কিন্তু প্রথম দুটি ফলাফলকে উন্নত করেছে, সেরাটি ছিল বিকল্প নং 1, যা অবিলম্বে আমাদের প্রথম টাস্কে বর্তমান দ্বিতীয় স্থানে এবং দ্বিতীয়টিতে প্রথম নিয়ে এসেছে।

আমাদের পরবর্তী পদক্ষেপ ছিল অনুপস্থিত মানগুলির জন্য ডেটা পর্যালোচনা করা। আয়োজকরা আমাদের ইতিমধ্যেই কম্বড ডেটা দিয়েছেন, যেখানে বেশ কয়েকটি অনুপস্থিত মান ছিল এবং সেগুলি -9999 দ্বারা প্রতিস্থাপিত হয়েছিল।

আমরা MatchedHit_{X,Y,Z}[N] এবং MatchedHit_D{X,Y,Z}[N] কলামে অনুপস্থিত মান খুঁজে পেয়েছি, এবং শুধুমাত্র যখন N=2 বা 3। আমরা বুঝতে পারি, কিছু কণা তা পায়নি সমস্ত 4 ডিটেক্টর পাস, এবং হয় 3য় বা 4 র্থ প্লেটে থামানো. ডেটাতে Lextra_{X,Y}[N] কলামগুলিও রয়েছে, যা স্পষ্টতই MatchedHit_{X,Y,Z}[N] এর মতো একই জিনিসকে বর্ণনা করে, কিন্তু কিছু ধরণের এক্সট্রাপোলেশন ব্যবহার করে৷ এই নগণ্য অনুমানগুলি পরামর্শ দিয়েছে যে Lextra_{X,Y}[N]কে MatchedHit_{X,Y,Z}[N]-এ অনুপস্থিত মানগুলির জন্য প্রতিস্থাপিত করা যেতে পারে (শুধুমাত্র X এবং Y স্থানাঙ্কের জন্য)। MatchedHit_Z[N] মধ্যম দিয়ে ভালভাবে পূর্ণ ছিল। এই ম্যানিপুলেশনগুলি আমাদের উভয় কাজের মধ্যে 1 ম মধ্যবর্তী স্থানে পৌঁছানোর অনুমতি দেয়।

প্রথম পর্যায়ে জয়ের জন্য তারা কিছুই দেয়নি তা বিবেচনা করে, আমরা সেখানে থামতে পারতাম, কিন্তু আমরা চালিয়ে গেলাম, কিছু সুন্দর ছবি আঁকলাম এবং নতুন বৈশিষ্ট্য নিয়ে এসেছি।

উদাহরণস্বরূপ, আমরা দেখতে পেয়েছি যে যদি আমরা চারটি ডিটেক্টর প্লেটের প্রতিটির সাথে একটি কণার ছেদ বিন্দুগুলিকে প্লট করি তবে আমরা দেখতে পাব যে প্রতিটি প্লেটের বিন্দুগুলি 5টি আয়তক্ষেত্রে 4 থেকে 5 এর অনুপাতের সাথে গোষ্ঠীভুক্ত এবং কেন্দ্রে অবস্থিত বিন্দু (0,0), এবং প্রথম আয়তক্ষেত্রে কোন বিন্দু নেই।

প্লেট নম্বর / আয়তক্ষেত্রের মাত্রা	1	2	3	4	5
প্লেট 1	500 × 625	1000 × 1250	2000 × 2500	4000 × 5000	8000 × 10000
প্লেট 2	520 × 650	1040 × 1300	2080 × 2600	4160 × 5200	8320 × 10400
প্লেট 3	560 × 700	1120 × 1400	2240 × 2800	4480 × 5600	8960 × 11200
প্লেট 4	600 × 750	1200 × 1500	2400 × 3000	4800 × 6000	9600 × 12000

এই মাত্রাগুলি নির্ধারণ করার পরে, আমরা প্রতিটি কণার জন্য 4টি নতুন শ্রেণীগত বৈশিষ্ট্য যুক্ত করেছি - আয়তক্ষেত্রের সংখ্যা যেখানে এটি প্রতিটি প্লেটকে ছেদ করে।

আমরা আরও লক্ষ্য করেছি যে কণাগুলি কেন্দ্র থেকে চারপাশে ছড়িয়ে ছিটিয়ে রয়েছে এবং এই বিক্ষিপ্ততার "গুণমান" মূল্যায়ন করার জন্য ধারণাটি উদ্ভূত হয়েছিল। আদর্শভাবে, টেক-অফ পয়েন্টের উপর নির্ভর করে কিছু ধরণের "আদর্শ" প্যারাবোলা নিয়ে আসা এবং এটি থেকে বিচ্যুতি অনুমান করা সম্ভব হবে, কিন্তু আমরা নিজেদেরকে "আদর্শ" সরলরেখায় সীমাবদ্ধ রেখেছি। প্রবেশের প্রতিটি বিন্দুর জন্য এই ধরনের আদর্শ সরল রেখা তৈরি করার পরে, আমরা এই সরলরেখা থেকে প্রতিটি কণার গতিপথের মানক বিচ্যুতি গণনা করতে সক্ষম হয়েছি। যেহেতু লক্ষ্য = 1 এর গড় বিচ্যুতি ছিল 152, এবং লক্ষ্য = 0 এর জন্য এটি ছিল 390, আমরা অস্থায়ীভাবে এই বৈশিষ্ট্যটিকে ভাল হিসাবে মূল্যায়ন করেছি। এবং প্রকৃতপক্ষে, এই বৈশিষ্ট্যটি অবিলম্বে এটিকে সবচেয়ে দরকারীগুলির শীর্ষে পরিণত করেছে।

আমরা আনন্দিত হয়েছিলাম এবং অতিরিক্ত 4টি বৈশিষ্ট্য হিসাবে আদর্শ সরলরেখা থেকে প্রতিটি কণার জন্য সমস্ত 4টি ছেদ বিন্দুর বিচ্যুতি যোগ করেছি (এবং তারাও ভাল কাজ করেছে)।

আয়োজকদের দ্বারা আমাদের দেওয়া প্রতিযোগিতার বিষয়ে বৈজ্ঞানিক নিবন্ধগুলির লিঙ্কগুলি এই ধারণাটিকে উত্সাহিত করেছে যে আমরা এই সমস্যাটি সমাধান করতে প্রথম থেকে অনেক দূরে এবং সম্ভবত, কিছু বিশেষ সফ্টওয়্যার রয়েছে। গিথুবে একটি সংগ্রহস্থল আবিষ্কার করার পরে যেখানে IsMuonSimple, IsMuon, IsMuonLoose পদ্ধতিগুলি প্রয়োগ করা হয়েছিল, আমরা সেগুলিকে ছোটখাটো পরিবর্তনের সাথে আমাদের সাইটে স্থানান্তরিত করেছি। পদ্ধতিগুলি নিজেই খুব সহজ ছিল: উদাহরণস্বরূপ, যদি শক্তি একটি নির্দিষ্ট থ্রেশহোল্ডের চেয়ে কম হয়, তবে এটি একটি মিউন নয়, অন্যথায় এটি একটি মিউন। গ্রেডিয়েন্ট বুস্টিং ব্যবহার করার ক্ষেত্রে এই ধরনের সাধারণ বৈশিষ্ট্যগুলি স্পষ্টতই বৃদ্ধি দিতে পারে না, তাই আমরা থ্রেশহোল্ডে আরেকটি উল্লেখযোগ্য "দূরত্ব" যোগ করেছি। এই বৈশিষ্ট্যগুলিও কিছুটা উন্নত করা হয়েছে। সম্ভবত, বিদ্যমান পদ্ধতিগুলিকে আরও পুঙ্খানুপুঙ্খভাবে বিশ্লেষণ করে, শক্তিশালী পদ্ধতিগুলি খুঁজে পাওয়া এবং সেগুলিকে লক্ষণগুলিতে যুক্ত করা সম্ভব হয়েছিল।

প্রতিযোগিতার শেষে, আমরা দ্বিতীয় সমস্যার জন্য "দ্রুত" সমাধানটি সামান্য টুইক করেছি; শেষ পর্যন্ত, এটি নিম্নলিখিত পয়েন্টগুলিতে বেসলাইন থেকে পৃথক হয়েছে:

1. নেতিবাচক ওজন সহ সারিতে লক্ষ্যটি উল্টানো হয়েছিল
2. MatchedHit_{X,Y,Z}[N]-এ অনুপস্থিত মান পূরণ করা হয়েছে
3. গভীরতা 7 এ হ্রাস করা হয়েছে
4. শেখার হার কমিয়ে 0.1 করা হয়েছে (0.19 ছিল)

ফলস্বরূপ, আমরা আরও বৈশিষ্ট্য চেষ্টা করেছি (খুব সফলভাবে নয়), নির্বাচিত প্যারামিটার এবং প্রশিক্ষিত ক্যাটবুস্ট, লাইটজিবিএম এবং এক্সজিবুস্ট, ভবিষ্যদ্বাণীগুলির বিভিন্ন মিশ্রণের চেষ্টা করেছি এবং প্রাইভেটটি খোলার আগে আমরা আত্মবিশ্বাসের সাথে দ্বিতীয় টাস্কে জিতেছি এবং প্রথমটিতে আমরা ছিলাম নেতাদের

প্রাইভেট খোলার পর আমরা 10ম টাস্কের জন্য 1 তম স্থানে এবং দ্বিতীয়টির জন্য 3য় স্থানে ছিলাম। সমস্ত নেতারা মিশে গেলেন, এবং লিববোর্ডের চেয়ে ব্যক্তিগতভাবে গতি বেশি ছিল। দেখে মনে হচ্ছে ডেটা খারাপভাবে স্তরিত ছিল (বা উদাহরণস্বরূপ ব্যক্তিগতটিতে নেতিবাচক ওজন সহ কোনও সারি ছিল না) এবং এটি কিছুটা হতাশাজনক ছিল।

SNA হ্যাকাথন 2019 - পাঠ্য। প্রথম পর্যায়ে

কাজটি ছিল ওডনোক্লাসনিকি সোশ্যাল নেটওয়ার্কে ব্যবহারকারীর পোস্টগুলি তাদের মধ্যে থাকা পাঠ্যের উপর ভিত্তি করে র্যাঙ্ক করা; পাঠ্য ছাড়াও, পোস্টের আরও কয়েকটি বৈশিষ্ট্য ছিল (ভাষা, মালিক, তৈরির তারিখ এবং সময়, তারিখ এবং দেখার সময় )

পাঠ্যের সাথে কাজ করার জন্য শাস্ত্রীয় পদ্ধতির হিসাবে, আমি দুটি বিকল্প হাইলাইট করব:

1. প্রতিটি শব্দকে একটি এন-ডাইমেনশনাল ভেক্টর স্পেসে ম্যাপ করা যাতে অনুরূপ শব্দের একই ভেক্টর থাকে (আরও পড়ুন আমাদের নিবন্ধ), তারপর হয় পাঠ্যের জন্য গড় শব্দ খুঁজে বের করুন বা শব্দের আপেক্ষিক অবস্থান বিবেচনা করে এমন পদ্ধতি ব্যবহার করুন (CNN, LSTM/GRU)।
2. মডেলগুলি ব্যবহার করা যা অবিলম্বে সম্পূর্ণ বাক্যগুলির সাথে কাজ করতে পারে। উদাহরণস্বরূপ, বার্ট। তাত্ত্বিকভাবে, এই পদ্ধতিটি আরও ভাল কাজ করা উচিত।

যেহেতু এটি আমার প্রথম পাঠ্যের অভিজ্ঞতা ছিল, কাউকে শেখানো ভুল হবে, তাই আমি নিজেই শিখব। প্রতিযোগিতার শুরুতে আমি নিজেকে এই টিপসগুলি দেব:

1. কিছু শেখাতে দৌড়ানোর আগে ডাটা দেখে নিন! পাঠ্য ছাড়াও, ডেটাতে বেশ কয়েকটি কলাম ছিল এবং সেগুলি থেকে আমার চেয়ে অনেক বেশি চেপে নেওয়া সম্ভব ছিল। সবচেয়ে সহজ জিনিসটি হল কিছু কলামের জন্য লক্ষ্য এনকোডিং করা।
2. সব তথ্য থেকে শিখবেন না! প্রচুর ডেটা ছিল (প্রায় 17 মিলিয়ন সারি) এবং অনুমানগুলি পরীক্ষা করার জন্য সেগুলিকে ব্যবহার করা একেবারেই প্রয়োজনীয় ছিল না। প্রশিক্ষণ এবং প্রিপ্রসেসিং বেশ ধীর ছিল, এবং আমার কাছে স্পষ্টতই আরও আকর্ষণীয় অনুমান পরীক্ষা করার সময় থাকত।
3. <বিতর্কিত পরামর্শ> হত্যাকারী মডেল খুঁজতে হবে না। আমি এলমো এবং বার্টকে খুঁজে বের করতে দীর্ঘ সময় ব্যয় করেছি, এই আশায় যে তারা অবিলম্বে আমাকে একটি উচ্চ স্থানে নিয়ে যাবে, এবং ফলস্বরূপ আমি রাশিয়ান ভাষার জন্য ফাস্টটেক্সট প্রাক-প্রশিক্ষিত এম্বেডিং ব্যবহার করেছি। আমি এলমোর সাথে আরও ভাল গতি অর্জন করতে পারিনি এবং বার্টের সাথে এটি বের করার জন্য আমার কাছে এখনও সময় ছিল না।
4. <বিতর্কিত পরামর্শ> একটি হত্যাকারী বৈশিষ্ট্য সন্ধান করার প্রয়োজন নেই। তথ্য-উপাত্তের দিকে তাকিয়ে লক্ষ্য করলাম, প্রায় ৯০ শতাংশ লেখায় আসলে লেখা থাকে না! কিন্তু কিছু সম্পদের লিঙ্ক ছিল, এবং আমি একটি সাধারণ পার্সার লিখেছিলাম যা সাইটটি খুলেছিল এবং শিরোনাম এবং বিবরণটি বের করেছিল। এটি একটি ভাল ধারণা বলে মনে হয়েছিল, কিন্তু তারপর আমি দূরে চলে গিয়েছিলাম এবং সমস্ত পাঠ্যের সমস্ত লিঙ্ক পার্স করার সিদ্ধান্ত নিয়েছিলাম এবং আবার অনেক সময় হারিয়েছিলাম। এই সব চূড়ান্ত ফলাফলে একটি উল্লেখযোগ্য উন্নতি প্রদান করেনি (যদিও আমি উদাহরন হিসাবে, কান্ড খুঁজে বের করেছি)।
5. ক্লাসিক বৈশিষ্ট্য কাজ করে। আমরা গুগল করি, উদাহরণস্বরূপ, “টেক্সট ফিচার ক্যাগল”, সবকিছু পড়ি এবং যোগ করি। TF-IDF পরিসংখ্যানগত বৈশিষ্ট্য যেমন পাঠ্যের দৈর্ঘ্য, শব্দ এবং বিরাম চিহ্নের পরিমাণের মতো উন্নতি করেছে।
6. যদি ডেটটাইম কলাম থাকে তবে সেগুলিকে বেশ কয়েকটি পৃথক বৈশিষ্ট্যে (ঘন্টা, সপ্তাহের দিন, ইত্যাদি) পার্স করা মূল্যবান। কোন বৈশিষ্ট্যগুলি হাইলাইট করা উচিত তা গ্রাফ/কিছু মেট্রিক্স ব্যবহার করে বিশ্লেষণ করা উচিত। এখানে, একটি বাতিক, আমি সঠিকভাবে সবকিছু করেছি এবং প্রয়োজনীয় বৈশিষ্ট্যগুলি হাইলাইট করেছি, তবে একটি সাধারণ বিশ্লেষণ আঘাত করবে না (উদাহরণস্বরূপ, আমরা ফাইনালে করেছি)।

প্রতিযোগিতার ফলস্বরূপ, আমি একটি কেরাস মডেলকে ওয়ার্ড কনভল্যুশন সহ এবং আরেকটি LSTM এবং GRU-এর উপর ভিত্তি করে প্রশিক্ষণ দিয়েছি। তারা উভয়ই রাশিয়ান ভাষার জন্য প্রাক-প্রশিক্ষিত ফাস্টটেক্সট এম্বেডিং ব্যবহার করেছিল (আমি আরও অনেকগুলি এম্বেডিংয়ের চেষ্টা করেছি, তবে এগুলিই সবচেয়ে ভাল কাজ করেছিল)। ভবিষ্যদ্বাণী গড় করার পরে, আমি 7 জন অংশগ্রহণকারীর মধ্যে চূড়ান্ত 76 তম স্থান নিয়েছি।

প্রথম পর্যায়ের পর এটি প্রকাশিত হয় নিকোলাই আনোখিনের নিবন্ধ, যিনি দ্বিতীয় স্থান অধিকার করেছিলেন (তিনি প্রতিযোগিতার বাইরে অংশগ্রহণ করেছিলেন), এবং তার সমাধান কিছু পর্যায়ে পুনরাবৃত্ত খনি, কিন্তু তিনি প্রশ্ন-কী-মান মনোযোগের প্রক্রিয়ার কারণে আরও এগিয়ে যান।

দ্বিতীয় পর্যায়ে ঠিক আছে এবং IDAO

প্রতিযোগিতার দ্বিতীয় পর্যায় প্রায় ধারাবাহিকভাবে অনুষ্ঠিত হয়েছিল, তাই আমি তাদের একসাথে দেখার সিদ্ধান্ত নিয়েছি।

প্রথমে, আমি এবং সদ্য অর্জিত দলটি Mail.ru কোম্পানির চিত্তাকর্ষক অফিসে শেষ হয়েছিলাম, যেখানে আমাদের কাজটি ছিল প্রথম পর্যায় থেকে তিনটি ট্র্যাকের মডেল - পাঠ্য, ছবি এবং সহযোগিতা। এর জন্য 2 দিনের একটু বেশি সময় বরাদ্দ করা হয়েছিল, যা খুব সামান্যই পরিণত হয়েছিল। প্রকৃতপক্ষে, একীভূতকরণ থেকে কোনো লাভ না পেয়ে আমরা শুধুমাত্র প্রথম পর্যায় থেকে আমাদের ফলাফলের পুনরাবৃত্তি করতে সক্ষম হয়েছি। শেষ পর্যন্ত, আমরা 5 তম স্থান নিয়েছি, কিন্তু আমরা পাঠ্য মডেলটি ব্যবহার করতে পারিনি। অন্যান্য অংশগ্রহণকারীদের সমাধানগুলি দেখার পরে, মনে হচ্ছে পাঠ্যগুলিকে ক্লাস্টার করার চেষ্টা করা এবং সেগুলিকে কোল্যাব মডেলে যুক্ত করা মূল্যবান ছিল৷ এই পর্যায়ের একটি পার্শ্বপ্রতিক্রিয়া ছিল নতুন ইম্প্রেশন, ঠাণ্ডা অংশগ্রহণকারী এবং সংগঠকদের সাথে দেখা করা এবং যোগাযোগ করা, সেইসাথে ঘুমের তীব্র অভাব, যা IDAO-এর চূড়ান্ত পর্যায়ের ফলাফলকে প্রভাবিত করতে পারে।

IDAO 2019 চূড়ান্ত পর্যায়ে কাজটি ছিল বিমানবন্দরে ইয়ানডেক্স ট্যাক্সি ড্রাইভারদের জন্য একটি অর্ডারের জন্য অপেক্ষার সময়ের পূর্বাভাস দেওয়া। পর্যায় 2, 3টি কাজ = 3টি বিমানবন্দর চিহ্নিত করা হয়েছে। প্রতিটি বিমানবন্দরের জন্য, ছয় মাসের জন্য ট্যাক্সি অর্ডারের সংখ্যার মিনিটে মিনিটে ডেটা দেওয়া হয়। এবং পরীক্ষার ডেটা হিসাবে, গত 2 সপ্তাহের অর্ডারগুলির পরের মাস এবং মিনিট-মিনিট ডেটা দেওয়া হয়েছিল। খুব কম সময় ছিল (1,5 দিন), কাজটি বেশ নির্দিষ্ট ছিল, দল থেকে শুধুমাত্র একজন ব্যক্তি প্রতিযোগিতায় এসেছিলেন - এবং ফলস্বরূপ, এটি শেষের দিকে একটি দুঃখজনক জায়গা ছিল। আকর্ষণীয় ধারণাগুলির মধ্যে বাহ্যিক ডেটা ব্যবহার করার প্রচেষ্টা অন্তর্ভুক্ত রয়েছে: আবহাওয়া, ট্র্যাফিক জ্যাম এবং ইয়ানডেক্স ট্যাক্সি অর্ডার পরিসংখ্যান। যদিও আয়োজকরা এই বিমানবন্দরগুলি কী তা বলেননি, তবে অনেক অংশগ্রহণকারীরা ধরে নিয়েছিলেন যে তারা শেরেমেতিয়েভো, ডোমোদেডোভো এবং ভনুকোভো। যদিও প্রতিযোগিতার পরে এই ধারণাটি খণ্ডন করা হয়েছিল, বৈশিষ্ট্যগুলি, উদাহরণস্বরূপ, মস্কোর আবহাওয়ার ডেটা যাচাইকরণ এবং লিডারবোর্ড উভয় ক্ষেত্রেই ফলাফলকে উন্নত করেছে।

উপসংহার

1. এমএল প্রতিযোগিতা শান্ত এবং আকর্ষণীয়! এখানে আপনি ডেটা বিশ্লেষণে এবং ধূর্ত মডেল এবং কৌশলগুলিতে দক্ষতার ব্যবহার পাবেন এবং সাধারণ জ্ঞানকে স্বাগত জানাই।
2. এমএল ইতিমধ্যে জ্ঞানের একটি বিশাল সংস্থা যা দ্রুতগতিতে বৃদ্ধি পাচ্ছে বলে মনে হচ্ছে। আমি নিজেকে বিভিন্ন এলাকার (সংকেত, ছবি, টেবিল, পাঠ্য) সাথে পরিচিত হওয়ার লক্ষ্য নির্ধারণ করেছি এবং ইতিমধ্যেই বুঝতে পেরেছি যে কতটা অধ্যয়ন করতে হবে। উদাহরণস্বরূপ, এই প্রতিযোগিতার পরে আমি অধ্যয়ন করার সিদ্ধান্ত নিয়েছি: ক্লাস্টারিং অ্যালগরিদম, গ্রেডিয়েন্ট বুস্টিং লাইব্রেরিগুলির সাথে কাজ করার জন্য উন্নত কৌশলগুলি (বিশেষত, GPU তে CatBoost এর সাথে কাজ করা), ক্যাপসুল নেটওয়ার্ক, ক্যোয়ারী-কী-মান মনোযোগের প্রক্রিয়া।
3. একা কাগল করে নয়! আরও অনেক প্রতিযোগিতা রয়েছে যেখানে অন্তত একটি টি-শার্ট পাওয়া সহজ এবং অন্যান্য পুরস্কারের জন্য আরও বেশি সুযোগ রয়েছে।
4. যোগাযোগ! মেশিন লার্নিং এবং ডেটা বিশ্লেষণের ক্ষেত্রে ইতিমধ্যেই একটি বৃহৎ সম্প্রদায় রয়েছে, টেলিগ্রাম, স্ল্যাক এবং Mail.ru, ইয়ানডেক্স এবং অন্যান্য সংস্থার গুরুতর ব্যক্তিরা থিম্যাটিক গ্রুপ রয়েছে এবং প্রশ্নের উত্তর দেয় এবং নতুনদের এবং যারা এই ক্ষেত্রে তাদের পথ চালিয়ে যাচ্ছে তাদের সাহায্য করে। জ্ঞানের.
5. আমি যারা পূর্ববর্তী পয়েন্ট দ্বারা অনুপ্রাণিত ছিল পরিদর্শন করার পরামর্শ ডেটাফেস্ট — মস্কোতে একটি প্রধান বিনামূল্যে সম্মেলন, যা 10-11 মে অনুষ্ঠিত হবে।

উত্স: www.habr.com