ফেব্রুয়ারী-মার্চ 2019 এ, সামাজিক নেটওয়ার্ক ফিড র্যাঙ্ক করার জন্য একটি প্রতিযোগিতা অনুষ্ঠিত হয়েছিল SNA হ্যাকাথন 2019, যাতে আমাদের দল প্রথম স্থান অধিকার করে। নিবন্ধে আমি প্রতিযোগিতার সংগঠন, আমরা যে পদ্ধতিগুলি চেষ্টা করেছি এবং বড় ডেটাতে প্রশিক্ষণের জন্য ক্যাটবুস্ট সেটিংস সম্পর্কে কথা বলব।

এসএনএ হ্যাকাথন

এই নামে তৃতীয়বারের মতো হ্যাকাথন অনুষ্ঠিত হলো। এটি সামাজিক নেটওয়ার্ক ok.ru দ্বারা সংগঠিত হয়, যথাক্রমে, টাস্ক এবং ডেটা সরাসরি এই সামাজিক নেটওয়ার্কের সাথে সম্পর্কিত।
এই ক্ষেত্রে SNA (সামাজিক নেটওয়ার্ক বিশ্লেষণ) একটি সামাজিক গ্রাফের বিশ্লেষণ হিসাবে নয়, বরং একটি সামাজিক নেটওয়ার্কের বিশ্লেষণ হিসাবে আরও সঠিকভাবে বোঝা যায়।

• 2014 সালে, কাজটি ছিল একটি পোস্টের লাইকের সংখ্যা ভবিষ্যদ্বাণী করা।
• 2016 সালে - ভিভিজেড টাস্ক (সম্ভবত আপনি পরিচিত), সামাজিক গ্রাফের বিশ্লেষণের কাছাকাছি।
• 2019 সালে, ব্যবহারকারীর পোস্টটি পছন্দ করার সম্ভাবনার উপর ভিত্তি করে ব্যবহারকারীর ফিডের র‌্যাঙ্কিং।

আমি 2014 সম্পর্কে বলতে পারব না, তবে 2016 এবং 2019 সালে, ডেটা বিশ্লেষণ ক্ষমতার পাশাপাশি, বড় ডেটা নিয়ে কাজ করার দক্ষতাও প্রয়োজন ছিল। আমি মনে করি এটি মেশিন লার্নিং এবং বড় ডেটা প্রসেসিং সমস্যার সমন্বয় ছিল যা আমাকে এই প্রতিযোগিতায় আকৃষ্ট করেছিল এবং এই ক্ষেত্রগুলিতে আমার অভিজ্ঞতা আমাকে জিততে সাহায্য করেছিল।

mlbootcamp

2019 সালে, প্ল্যাটফর্মে প্রতিযোগিতার আয়োজন করা হয়েছিল https://mlbootcamp.ru.

প্রতিযোগিতাটি 7 ফেব্রুয়ারি অনলাইনে শুরু হয়েছিল এবং এতে 3টি কাজ ছিল। যে কেউ সাইটে নিবন্ধন করতে পারে, ডাউনলোড করতে পারে বেসলাইন এবং কয়েক ঘন্টার জন্য আপনার গাড়ী লোড. 15 মার্চ অনলাইন মঞ্চের শেষে, প্রতিটি শো জাম্পিং ইভেন্টের শীর্ষ 15 জনকে অফলাইন মঞ্চের জন্য Mail.ru অফিসে আমন্ত্রণ জানানো হয়েছিল, যা 30 মার্চ থেকে 1 এপ্রিল পর্যন্ত হয়েছিল।

কাজের

উৎস তথ্য ব্যবহারকারী আইডি (userId) এবং পোস্ট আইডি (objectId) প্রদান করে। যদি ব্যবহারকারীকে একটি পোস্ট দেখানো হয়, তাহলে ডেটাতে userId, objectId, এই পোস্টে ব্যবহারকারীর প্রতিক্রিয়া (প্রতিক্রিয়া) এবং বিভিন্ন বৈশিষ্ট্যের একটি সেট বা ছবি ও পাঠ্যের লিঙ্ক রয়েছে।

ব্যবহারকারীর প্রমানপত্র	অবজেক্ট আইডি	মালিক আইডি	প্রতিক্রিয়া	চিত্র
3555	22	5677	[পছন্দ করেছেন, ক্লিক করেছেন]	[হ্যাশ1]
12842	55	32144	[অপছন্দ]	[হ্যাশ২, হ্যাশ৩]
13145	35	5677	[ক্লিক করা, শেয়ার করা]	[হ্যাশ2]

পরীক্ষার ডেটা সেটে একটি অনুরূপ কাঠামো রয়েছে, কিন্তু প্রতিক্রিয়া ক্ষেত্রটি অনুপস্থিত। কাজটি হল প্রতিক্রিয়া ক্ষেত্রে 'পছন্দ' প্রতিক্রিয়া উপস্থিতির পূর্বাভাস দেওয়া।
জমা ফাইলের নিম্নলিখিত কাঠামো রয়েছে:

ব্যবহারকারীর প্রমানপত্র	সাজানো তালিকা[অবজেক্টআইডি]
123	78,13,54,22
128	35,61,55
131	35,68,129,11

মেট্রিক হল ব্যবহারকারীদের জন্য গড় ROC AUC।

ডেটার আরও বিশদ বিবরণ পাওয়া যাবে কাউন্সিল ওয়েবসাইট. আপনি পরীক্ষা এবং ছবি সহ সেখানে ডেটা ডাউনলোড করতে পারেন।

অনলাইন মঞ্চ

অনলাইন পর্যায়ে, কাজটি 3 ভাগে বিভক্ত ছিল

• সহযোগিতামূলক ব্যবস্থা - ছবি এবং পাঠ্য ছাড়া সমস্ত বৈশিষ্ট্য অন্তর্ভুক্ত করে;
• ভাবমূর্তি — শুধুমাত্র ছবি সম্পর্কে তথ্য অন্তর্ভুক্ত;
• গ্রন্থে — শুধুমাত্র টেক্সট সম্পর্কে তথ্য অন্তর্ভুক্ত.

অফলাইন মঞ্চ

অফলাইন পর্যায়ে, ডেটাতে সমস্ত বৈশিষ্ট্য অন্তর্ভুক্ত ছিল, যখন পাঠ্য এবং চিত্রগুলি বিচ্ছিন্ন ছিল। ডেটাসেটে 1,5 গুণ বেশি সারি ছিল, যার মধ্যে ইতিমধ্যে অনেকগুলি ছিল৷

সমস্যা সমাধান

যেহেতু আমি কর্মক্ষেত্রে সিভি করি, তাই আমি "ইমেজ" টাস্ক দিয়ে এই প্রতিযোগিতায় আমার যাত্রা শুরু করেছি। যে ডেটা সরবরাহ করা হয়েছিল তা ছিল userId, objectId, মালিক আইডি (যে গোষ্ঠীতে পোস্টটি প্রকাশিত হয়েছিল), পোস্ট তৈরি এবং প্রদর্শনের জন্য টাইমস্ট্যাম্প এবং অবশ্যই, এই পোস্টের চিত্র।
টাইমস্ট্যাম্পের উপর ভিত্তি করে বেশ কয়েকটি বৈশিষ্ট্য তৈরি করার পরে, পরবর্তী ধারণাটি ছিল ইমেজনেটে ​​প্রাক-প্রশিক্ষিত নিউরনের শেষ স্তরটি নেওয়া এবং এই এম্বেডিংগুলিকে বুস্টিংয়ে প্রেরণ করা।

ফলাফল চিত্তাকর্ষক ছিল না. ইমেজনেট নিউরন থেকে এমবেডিং অপ্রাসঙ্গিক, আমি ভেবেছিলাম, আমার নিজের অটোএনকোডার তৈরি করতে হবে।

এটি অনেক সময় নিয়েছে এবং ফলাফলের উন্নতি হয়নি।

বৈশিষ্ট্য প্রজন্ম

চিত্রগুলির সাথে কাজ করতে অনেক সময় লাগে, তাই আমি কিছু সহজ করার সিদ্ধান্ত নিয়েছি।
আপনি অবিলম্বে দেখতে পাচ্ছেন, ডেটাসেটে বেশ কয়েকটি স্বতন্ত্র বৈশিষ্ট্য রয়েছে এবং খুব বেশি বিরক্ত না করার জন্য, আমি কেবল ক্যাটবুস্ট নিয়েছি। সমাধানটি দুর্দান্ত ছিল, কোনও সেটিংস ছাড়াই আমি অবিলম্বে লিডারবোর্ডের প্রথম লাইনে পৌঁছেছি।

এখানে প্রচুর ডেটা রয়েছে এবং এটি কাঠের বিন্যাসে রাখা হয়েছে, তাই দুবার চিন্তা না করে, আমি স্কালা নিয়েছি এবং স্পার্কের মধ্যে সবকিছু লিখতে শুরু করেছি।

সবচেয়ে সহজ বৈশিষ্ট্য যা ইমেজ এম্বেডিংয়ের চেয়ে বেশি বৃদ্ধি দিয়েছে:

• কতবার অবজেক্টআইডি, ইউজারআইডি এবং মালিক আইডি ডেটাতে উপস্থিত হয়েছে (জনপ্রিয়তার সাথে সম্পর্কযুক্ত হওয়া উচিত);
• ইউজারআইডি মালিক আইডি থেকে কতগুলি পোস্ট দেখেছে (গ্রুপে ব্যবহারকারীর আগ্রহের সাথে সম্পর্কযুক্ত হওয়া উচিত);
• মালিক আইডি থেকে কতগুলো ইউনিক ইউজার আইডি পোস্ট দেখেছে (গ্রুপের দর্শকদের আকার প্রতিফলিত করে)।

টাইমস্ট্যাম্প থেকে দিনের সময় পাওয়া সম্ভব ছিল যেখানে ব্যবহারকারী ফিড দেখেছেন (সকাল/বিকাল/সন্ধ্যা/রাত)। এই বিভাগগুলি একত্রিত করে, আপনি বৈশিষ্ট্যগুলি তৈরি করা চালিয়ে যেতে পারেন:

• ইউজারআইডি সন্ধ্যায় কতবার লগ ইন করেছে;
• কোন সময়ে এই পোস্টটি প্রায়শই দেখানো হয় (objectId) ইত্যাদি।

এই সব ধীরে ধীরে মেট্রিক্স উন্নত. কিন্তু প্রশিক্ষণ ডেটাসেটের আকার প্রায় 20M রেকর্ড, তাই বৈশিষ্ট্যগুলি যোগ করার ফলে প্রশিক্ষণের গতি কমে যায়।

আমি ডেটা ব্যবহার করার জন্য আমার পদ্ধতির পুনর্বিবেচনা করেছি। যদিও ডেটা সময়-নির্ভরশীল, আমি "ভবিষ্যতে" কোনো সুস্পষ্ট তথ্য ফাঁস দেখতে পাইনি, তবুও, ঠিক ক্ষেত্রে, আমি এটিকে এভাবে ভেঙেছি:

আমাদের দেওয়া প্রশিক্ষণ সেটটি (ফেব্রুয়ারি এবং মার্চের 2 সপ্তাহ) 2 ভাগে বিভক্ত ছিল।
মডেলটিকে গত এন দিন থেকে ডেটার উপর প্রশিক্ষণ দেওয়া হয়েছিল। উপরে বর্ণিত সমষ্টিগুলি পরীক্ষা সহ সমস্ত ডেটার উপর নির্মিত হয়েছিল। একই সময়ে, ডেটা উপস্থিত হয়েছে যার উপর লক্ষ্য ভেরিয়েবলের বিভিন্ন এনকোডিং তৈরি করা সম্ভব। সবচেয়ে সহজ পন্থা হল কোড পুনঃব্যবহার করা যা ইতিমধ্যেই নতুন বৈশিষ্ট্য তৈরি করছে এবং কেবলমাত্র এটিকে এমন ডেটা ফিড করা যার উপর এটি প্রশিক্ষিত হবে না এবং লক্ষ্য = 1।

সুতরাং, আমরা অনুরূপ বৈশিষ্ট্য পেয়েছি:

• ইউজারআইডি গ্রুপ মালিক আইডিতে কতবার একটি পোস্ট দেখেছে;
• ইউজারআইডি গ্রুপ মালিক আইডিতে কতবার পোস্টটি পছন্দ করেছে;
• মালিক আইডি থেকে ব্যবহারকারী আইডি পছন্দ করেছে এমন পোস্টের শতাংশ।

অর্থাৎ দেখা গেল মানে টার্গেট এনকোডিং শ্রেণীবদ্ধ বৈশিষ্ট্যের বিভিন্ন সমন্বয়ের জন্য ডেটাসেটের অংশে। নীতিগতভাবে, ক্যাটবুস্ট টার্গেট এনকোডিংও তৈরি করে এবং এই দৃষ্টিকোণ থেকে কোনও সুবিধা নেই, তবে, উদাহরণস্বরূপ, এই গ্রুপে পোস্টগুলি পছন্দ করেছেন এমন অনন্য ব্যবহারকারীর সংখ্যা গণনা করা সম্ভব হয়েছে। একই সময়ে, মূল লক্ষ্যটি অর্জন করা হয়েছিল - আমার ডেটাসেট বেশ কয়েকবার হ্রাস করা হয়েছিল এবং বৈশিষ্ট্যগুলি তৈরি করা চালিয়ে যাওয়া সম্ভব হয়েছিল।

যদিও catboost শুধুমাত্র পছন্দের প্রতিক্রিয়ার উপর ভিত্তি করে এনকোডিং তৈরি করতে পারে, প্রতিক্রিয়ার অন্যান্য প্রতিক্রিয়া রয়েছে: পুনঃভাগ করা, অপছন্দ করা, অপছন্দ করা, ক্লিক করা, উপেক্ষা করা, এনকোডিং যার জন্য ম্যানুয়ালি করা যেতে পারে। আমি সমস্ত ধরণের সমষ্টির পুনঃগণনা করেছি এবং কম গুরুত্ব সহ বৈশিষ্ট্যগুলিকে সরিয়ে দিয়েছি যাতে ডেটাসেটটি স্ফীত না হয়৷

ততক্ষণে আমি ব্যাপক ব্যবধানে প্রথম স্থানে ছিলাম। শুধুমাত্র বিভ্রান্তিকর ছিল যে ইমেজ এম্বেডিং প্রায় কোন বৃদ্ধি দেখায়. ক্যাটবুস্টে সবকিছু দিতেই আইডিয়াটা এসেছিল। আমরা Kmeans চিত্রগুলিকে ক্লাস্টার করি এবং একটি নতুন শ্রেণীবদ্ধ বৈশিষ্ট্য imageCat পাই৷

KMeans থেকে প্রাপ্ত ক্লাস্টারগুলির ম্যানুয়াল ফিল্টারিং এবং মার্জ করার পরে এখানে কিছু ক্লাস রয়েছে।

imageCat এর উপর ভিত্তি করে আমরা তৈরি করি:

• নতুন শ্রেণীগত বৈশিষ্ট্য:
  • ব্যবহারকারী আইডি দ্বারা কোন চিত্রক্যাটটি প্রায়শই দেখা হয়েছিল;
  • কোন imageCat প্রায়শই মালিক আইডি দেখায়;
  • ব্যবহারকারী আইডি দ্বারা কোন চিত্রক্যাটটি প্রায়শই পছন্দ হয়েছিল;
• বিভিন্ন কাউন্টার:
  • ইউজারআইডিতে কতগুলো ইউনিক ইমেজ ক্যাট দেখেছে;
  • উপরে বর্ণিত হিসাবে প্রায় 15 অনুরূপ বৈশিষ্ট্য এবং লক্ষ্য এনকোডিং।

গ্রন্থে

চিত্র প্রতিযোগিতার ফলাফল আমার জন্য উপযুক্ত এবং আমি পাঠ্যগুলিতে আমার হাত চেষ্টা করার সিদ্ধান্ত নিয়েছি। আমি এর আগে টেক্সট নিয়ে খুব বেশি কাজ করিনি এবং বোকামি করে, আমি টিএফ-আইডিএফ এবং এসভিডিতে দিনটিকে মেরে ফেলেছি। তারপর আমি doc2vec এর সাথে বেসলাইন দেখেছি, যা আমার যা প্রয়োজন ঠিক তাই করে। doc2vec প্যারামিটারগুলি সামান্য সামঞ্জস্য করার পরে, আমি পাঠ্য এম্বেডিং পেয়েছি।

এবং তারপরে আমি কেবল চিত্রগুলির জন্য কোডটি পুনরায় ব্যবহার করেছি, যেখানে আমি চিত্র এম্বেডিংগুলিকে পাঠ্য এম্বেডিংয়ের সাথে প্রতিস্থাপন করেছি। ফলে পাঠ্য প্রতিযোগিতায় আমি ২য় স্থান অধিকার করি।

সহযোগিতামূলক ব্যবস্থা

একটা প্রতিযোগিতা বাকি ছিল যেটা আমি এখনও লাঠি দিয়ে "পুক" করিনি, এবং লিডারবোর্ডে AUC দ্বারা বিচার করলে, এই বিশেষ প্রতিযোগিতার ফলাফল অফলাইন পর্যায়ে সবচেয়ে বেশি প্রভাব ফেলবে।
আমি সোর্স ডেটাতে থাকা সমস্ত বৈশিষ্ট্য নিয়েছি, স্বতন্ত্র বৈশিষ্ট্যগুলিকে বেছে নিয়েছি এবং চিত্রগুলির উপর ভিত্তি করে বৈশিষ্ট্যগুলি ব্যতীত চিত্রগুলির মতো একই সমষ্টি গণনা করেছি৷ এটিকে কেবল ক্যাটবুস্টে রাখাই আমাকে ২য় স্থানে নিয়ে গেছে।

ক্যাটবুস্ট অপ্টিমাইজেশানের প্রথম ধাপ

একটি প্রথম এবং দুটি দ্বিতীয় স্থান আমাকে সন্তুষ্ট করেছিল, কিন্তু একটি বোঝা ছিল যে আমি বিশেষ কিছু করিনি, যার অর্থ আমি অবস্থান হারানোর আশা করতে পারি।

প্রতিযোগিতার কাজটি হ'ল ব্যবহারকারীর মধ্যে পোস্টগুলিকে র‌্যাঙ্ক করা, এবং এই সমস্ত সময় আমি শ্রেণিবিন্যাসের সমস্যাটি সমাধান করছিলাম, অর্থাৎ ভুল মেট্রিকটি অপ্টিমাইজ করা।

আমি একটি সহজ উদাহরণ দেব:

ব্যবহারকারীর প্রমানপত্র	অবজেক্ট আইডি	ভবিষ্যদ্বাণী	কঠিন সত্য
1	10	0.9	1
1	11	0.8	1
1	12	0.7	1
1	13	0.6	1
1	14	0.5	0
2	15	0.4	0
2	16	0.3	1

এর একটি ছোট পুনর্বিন্যাস করা যাক

ব্যবহারকারীর প্রমানপত্র	অবজেক্ট আইডি	ভবিষ্যদ্বাণী	কঠিন সত্য
1	10	0.9	1
1	11	0.8	1
1	12	0.7	1
1	13	0.6	0
2	16	0.5	1
2	15	0.4	0
1	14	0.3	1

আমরা নিম্নলিখিত ফলাফল পেতে:

মডেল	AUC	ব্যবহারকারী1 AUC	ব্যবহারকারী2 AUC	মানে AUC
অপশন 1	0,8	1,0	0,0	0,5
অপশন 2	0,7	0,75	1,0	0,875

আপনি দেখতে পাচ্ছেন, সামগ্রিক AUC মেট্রিক উন্নত করার অর্থ একজন ব্যবহারকারীর মধ্যে গড় AUC মেট্রিক উন্নত করা নয়।

ক্যাটবুস্ট র‌্যাঙ্কিং মেট্রিক্স অপ্টিমাইজ করতে জানে বক্স থেকে. আমি র্যাঙ্কিং মেট্রিক্স সম্পর্কে পড়েছি, সাফল্যের গল্প catboost ব্যবহার করার সময় এবং রাতারাতি প্রশিক্ষণের জন্য YetiRankPairwise সেট করুন। ফলাফল চিত্তাকর্ষক ছিল না. সিদ্ধান্ত নিয়ে যে আমি প্রশিক্ষণপ্রাপ্ত ছিলাম, আমি ত্রুটি ফাংশনটি QueryRMSE-তে পরিবর্তন করেছি, যা ক্যাটবুস্ট ডকুমেন্টেশন দ্বারা বিচার করে, দ্রুত একত্রিত হয়। শেষ পর্যন্ত, আমি শ্রেণীবিভাগের জন্য প্রশিক্ষণের মতো একই ফলাফল পেয়েছি, তবে এই দুটি মডেলের সংমিশ্রণগুলি একটি ভাল বৃদ্ধি দিয়েছে, যা আমাকে তিনটি প্রতিযোগিতায় প্রথম স্থানে নিয়ে এসেছে।

"সহযোগী সিস্টেম" প্রতিযোগিতার অনলাইন মঞ্চের সমাপ্তির 5 মিনিট আগে, সের্গেই শালনভ আমাকে দ্বিতীয় স্থানে নিয়ে গেছেন। আমরা একসাথে আরও পথ হাঁটলাম।

অফলাইন পর্যায়ের জন্য প্রস্তুতি নিচ্ছি

আমরা একটি RTX 2080 TI ভিডিও কার্ডের মাধ্যমে অনলাইন পর্যায়ে বিজয়ের নিশ্চয়তা পেয়েছি, তবে 300 রুবেলের মূল পুরস্কার এবং সম্ভবত, এমনকি চূড়ান্ত প্রথম স্থানটি আমাদের এই 000 সপ্তাহের জন্য কাজ করতে বাধ্য করেছে।

দেখা গেল, সের্গেই ক্যাটবুস্টও ব্যবহার করেছেন। আমরা ধারণা এবং বৈশিষ্ট্য বিনিময়, এবং আমি সম্পর্কে শিখেছি আনা ভেরোনিকা ডরোগুশের প্রতিবেদন যেটিতে আমার অনেক প্রশ্নের উত্তর রয়েছে, এমনকি সেগুলিও যা আমার কাছে তখনও ছিল না।

প্রতিবেদনটি দেখে আমাকে এই ধারণার দিকে নিয়ে যায় যে আমাদের সমস্ত প্যারামিটারগুলিকে ডিফল্ট মানতে ফেরত দিতে হবে এবং সেটিংসগুলি খুব সাবধানে এবং শুধুমাত্র বৈশিষ্ট্যগুলির একটি সেট ঠিক করার পরেই করতে হবে৷ এখন একটি প্রশিক্ষণে প্রায় 15 ঘন্টা সময় লেগেছিল, তবে একটি মডেল র‌্যাঙ্কিংয়ের সাথে প্রাপ্তির চেয়ে ভাল গতি অর্জন করতে সক্ষম হয়েছিল।

বৈশিষ্ট্য প্রজন্ম

কোলাবোরেটিভ সিস্টেম প্রতিযোগিতায়, মডেলের জন্য গুরুত্বপূর্ণ সংখ্যক বৈশিষ্ট্যকে মূল্যায়ন করা হয়। উদাহরণ স্বরূপ, auditweights_spark_svd - সবচেয়ে গুরুত্বপূর্ণ চিহ্ন, তবে এর অর্থ কী সে সম্পর্কে কোনও তথ্য নেই। আমি ভেবেছিলাম গুরুত্বপূর্ণ বৈশিষ্ট্যের উপর ভিত্তি করে বিভিন্ন সমষ্টি গণনা করা সার্থক হবে। উদাহরণস্বরূপ, ব্যবহারকারীর দ্বারা, গোষ্ঠী অনুসারে, বস্তু দ্বারা গড় অডিটওয়েট_স্পার্ক_এসভিডি। একই ডেটা ব্যবহার করে গণনা করা যেতে পারে যার উপর কোন প্রশিক্ষণ নেই এবং লক্ষ্য = 1, অর্থাৎ গড় auditweights_spark_svd তার পছন্দের বস্তু দ্বারা ব্যবহারকারী দ্বারা। এছাড়া গুরুত্বপূর্ণ লক্ষণ auditweights_spark_svd, বেশ কিছু ছিল. এখানে তাদের কিছু:

• অডিটওয়েটসিটিআরজেন্ডার
• অডিটওয়েটসিটিআরউচ্চ
• userOwnerCounterCreateLikes

উদাহরণস্বরূপ, গড় অডিটওয়েটসিটিআরজেন্ডার ইউজারআইডি অনুসারে এটি একটি গুরুত্বপূর্ণ বৈশিষ্ট্য হিসাবে পরিণত হয়েছে, ঠিক গড় মানের মতো userOwnerCounterCreateLikes userId+ownerId দ্বারা। এটি আপনাকে ইতিমধ্যে মনে করা উচিত যে আপনাকে ক্ষেত্রগুলির অর্থ বুঝতে হবে।

এছাড়াও গুরুত্বপূর্ণ বৈশিষ্ট্য ছিল অডিট ওয়েটলাইকসকাউন্ট и অডিট ওয়েটস কাউন্ট. একে অপরকে ভাগ করে, একটি আরও গুরুত্বপূর্ণ বৈশিষ্ট্য প্রাপ্ত হয়েছিল।

তথ্য ফাঁস

প্রতিযোগিতা এবং উত্পাদন মডেলিং খুব ভিন্ন কাজ। ডেটা প্রস্তুত করার সময়, সমস্ত বিবরণ বিবেচনায় নেওয়া এবং পরীক্ষায় লক্ষ্য পরিবর্তনশীল সম্পর্কে কিছু অ-তুচ্ছ তথ্য প্রকাশ না করা খুব কঠিন। যদি আমরা একটি উত্পাদন সমাধান তৈরি করি, আমরা মডেল প্রশিক্ষণের সময় ডেটা ফাঁস ব্যবহার এড়াতে চেষ্টা করব। কিন্তু আমরা যদি প্রতিযোগিতায় জিততে চাই, তাহলে ডেটা ফাঁস হল সেরা বৈশিষ্ট্য।

ডেটা অধ্যয়ন করার পরে, আপনি অবজেক্টআইডি মান অনুসারে দেখতে পারেন অডিট ওয়েটলাইকসকাউন্ট и অডিট ওয়েটস কাউন্ট পরিবর্তন, যার অর্থ এই বৈশিষ্ট্যগুলির সর্বাধিক মানগুলির অনুপাত প্রদর্শনের সময় অনুপাতের তুলনায় পোস্টের রূপান্তরকে অনেক ভাল প্রতিফলিত করবে।

আমরা পাওয়া প্রথম ফাঁস হয় অডিটওয়েটলাইককাউন্টম্যাক্স/অডিটওয়েটশোকাউন্টম্যাক্স.
কিন্তু যদি আমরা আরো ঘনিষ্ঠভাবে তথ্য তাকান? আসুন শো তারিখ অনুসারে বাছাই করি এবং পান:

অবজেক্ট আইডি	ব্যবহারকারীর প্রমানপত্র	অডিট ওয়েটস কাউন্ট	অডিট ওয়েটলাইকসকাউন্ট	লক্ষ্য (পছন্দ করা হয়)
1	1	12	3	সম্ভবত না
1	2	15	3	হয়তো হ্যাঁ
1	3	16	4

এটা আশ্চর্যজনক ছিল যখন আমি এই ধরনের প্রথম উদাহরণ খুঁজে পেয়েছি এবং এটি প্রমাণিত হয়েছিল যে আমার ভবিষ্যদ্বাণীটি সত্য হয়নি। তবে, বস্তুর মধ্যে এই বৈশিষ্ট্যগুলির সর্বাধিক মান বৃদ্ধি পেয়েছে এই বিষয়টি বিবেচনায় নিয়ে, আমরা অলস ছিলাম না এবং খুঁজে বের করার সিদ্ধান্ত নিয়েছিলাম অডিট ওয়েট শো কাউন্ট নেক্সট и auditweightsLikesCountNext, অর্থাৎ, সময়ের পরের মুহুর্তে মান। একটি বৈশিষ্ট্য যোগ করে
(অডিটওয়েটসকাউন্ট পরবর্তী-অডিটওয়েটসকাউন্ট)/(অডিটওয়েটলাইকসকাউন্ট-অডিটওয়েটলাইকসকাউন্ট নেক্সট) আমরা দ্রুত একটি ধারালো লাফ দিয়েছি।
নিম্নলিখিত মানগুলি খুঁজে বের করে অনুরূপ লিক ব্যবহার করা যেতে পারে userOwnerCounterCreateLikes userId+ownerId এর মধ্যে এবং উদাহরণস্বরূপ, অডিটওয়েটসিটিআরজেন্ডার objectId+userGender-এর মধ্যে। আমরা লিক সহ 6টি অনুরূপ ক্ষেত্র খুঁজে পেয়েছি এবং সেগুলি থেকে যতটা সম্ভব তথ্য বের করেছি।

ততক্ষণে, আমরা সহযোগী বৈশিষ্ট্যগুলি থেকে যতটা সম্ভব তথ্য সংগ্রহ করেছি, কিন্তু চিত্র এবং পাঠ্য প্রতিযোগিতায় ফিরে আসিনি। আমার পরীক্ষা করার জন্য একটি দুর্দান্ত ধারণা ছিল: প্রাসঙ্গিক প্রতিযোগিতায় চিত্র বা পাঠ্যের উপর ভিত্তি করে বৈশিষ্ট্যগুলি কতটা দেয়?

ইমেজ এবং টেক্সট প্রতিযোগিতায় কোন ফাঁস ছিল না, কিন্তু ততক্ষণে আমি ডিফল্ট ক্যাটবুস্ট প্যারামিটার ফিরিয়ে দিয়েছি, কোডটি পরিষ্কার করেছি এবং কয়েকটি বৈশিষ্ট্য যোগ করেছি। মোট ছিল:

রায়	দ্রুত
ছবি সহ সর্বোচ্চ	0.6411
সর্বাধিক কোন ছবি	0.6297
দ্বিতীয় স্থানের ফলাফল	0.6295

রায়	দ্রুত
পাঠ্য সহ সর্বাধিক	0.666
পাঠ্য ছাড়াই সর্বাধিক	0.660
দ্বিতীয় স্থানের ফলাফল	0.656

রায়	দ্রুত
সহযোগিতায় সর্বাধিক	0.745
দ্বিতীয় স্থানের ফলাফল	0.723

এটা স্পষ্ট হয়ে উঠল যে আমরা পাঠ্য এবং চিত্রগুলি থেকে অনেক কিছু বের করতে সক্ষম হব না, এবং বেশ কয়েকটি আকর্ষণীয় ধারণা চেষ্টা করার পরে, আমরা তাদের সাথে কাজ করা বন্ধ করে দিয়েছি।

সহযোগিতামূলক সিস্টেমে আরও প্রজন্মের বৈশিষ্ট্যগুলি বৃদ্ধি পায়নি এবং আমরা র‌্যাঙ্কিং শুরু করেছি। অনলাইন পর্যায়ে, শ্রেণীবিন্যাস এবং র‌্যাঙ্কিং এনসেম্বল আমাকে একটি ছোট বৃদ্ধি দিয়েছে, কারণ আমি শ্রেণীবিভাগকে কম প্রশিক্ষণ দিয়েছি। YetiRanlPairwise সহ কোনো ত্রুটি ফাংশন, LogLoss ফলাফলের কাছাকাছি কোথাও তৈরি করেনি (0,745 বনাম 0,725)। QueryCrossEntropy এর জন্য এখনও আশা ছিল, যা চালু করা যায়নি।

অফলাইন মঞ্চ

অফলাইন পর্যায়ে, ডেটা কাঠামো একই ছিল, তবে ছোটখাটো পরিবর্তন ছিল:

• আইডেন্টিফায়ার userId, objectId, ownerId পুনরায় র্যান্ডমাইজ করা হয়েছে;
• বেশ কয়েকটি চিহ্ন মুছে ফেলা হয়েছে এবং বেশ কয়েকটির নাম পরিবর্তন করা হয়েছে;
• ডেটা প্রায় 1,5 গুণ বেড়েছে।

তালিকাভুক্ত অসুবিধাগুলি ছাড়াও, একটি বড় প্লাস ছিল: দলটিকে একটি RTX 2080TI সহ একটি বড় সার্ভার বরাদ্দ করা হয়েছিল। আমি একটি দীর্ঘ সময়ের জন্য htop উপভোগ করেছি.

শুধুমাত্র একটি ধারণা ছিল - যা ইতিমধ্যে বিদ্যমান তা কেবল পুনরুত্পাদন করা। সার্ভারে পরিবেশ সেট আপ করার জন্য কয়েক ঘন্টা ব্যয় করার পরে, আমরা ধীরে ধীরে যাচাই করতে শুরু করি যে ফলাফলগুলি পুনরুত্পাদনযোগ্য। আমরা যে প্রধান সমস্যাটির মুখোমুখি হচ্ছি তা হ'ল ডেটা ভলিউম বৃদ্ধি। আমরা লোড কিছুটা কমানোর সিদ্ধান্ত নিয়েছি এবং catboost প্যারামিটার ctr_complexity=1 সেট করেছি। এটি গতি একটু কম করে, কিন্তু আমার মডেল কাজ শুরু করে, ফলাফল ভাল ছিল - 0,733। সের্গেই, আমার বিপরীতে, ডেটাকে 2 ভাগে ভাগ করেনি এবং সমস্ত ডেটার উপর প্রশিক্ষণ দিয়েছিল, যদিও এটি অনলাইন পর্যায়ে সেরা ফলাফল দিয়েছে, অফলাইন পর্যায়ে অনেক অসুবিধা ছিল। আমরা যদি আমাদের তৈরি করা সমস্ত বৈশিষ্ট্য গ্রহণ করি এবং সেগুলিকে ক্যাটবুস্টে ঢেলে দেওয়ার চেষ্টা করি, তবে অনলাইন পর্যায়ে কিছুই কাজ করবে না। সের্গেই টাইপ অপ্টিমাইজেশান করেছেন, উদাহরণস্বরূপ, float64 প্রকারগুলিকে float32 এ রূপান্তর করা। এই নিবন্ধে আপনি পান্ডায় মেমরি অপ্টিমাইজেশান সম্পর্কিত তথ্য পেতে পারেন। ফলস্বরূপ, সের্গেই সমস্ত ডেটা ব্যবহার করে CPU-তে প্রশিক্ষণ নেন এবং প্রায় 0,735 পান।

এই ফলাফলগুলি জয়ের জন্য যথেষ্ট ছিল, কিন্তু আমরা আমাদের প্রকৃত গতি লুকিয়ে রেখেছিলাম এবং নিশ্চিত হতে পারিনি যে অন্য দলগুলি একই কাজ করছে না।

শেষ পর্যন্ত লড়াই করুন

ক্যাটবুস্ট টিউনিং

আমাদের সমাধান সম্পূর্ণরূপে পুনরুত্পাদন করা হয়েছিল, আমরা পাঠ্য ডেটা এবং চিত্রগুলির বৈশিষ্ট্যগুলি যুক্ত করেছি, তাই যা বাকি ছিল তা হল ক্যাটবুস্ট প্যারামিটারগুলিকে টিউন করা৷ সের্গেই অল্প সংখ্যক পুনরাবৃত্তি সহ CPU-তে প্রশিক্ষণ নিয়েছিল, এবং আমি ctr_complexity=1 সহ একটিতে প্রশিক্ষণ নিয়েছিলাম। একদিন বাকি ছিল, এবং আপনি যদি শুধু পুনরাবৃত্তি যোগ করেন বা ctr_complexity বাড়ান, তাহলে সকালের মধ্যে আপনি আরও ভাল গতি পেতে পারেন এবং সারাদিন হাঁটতে পারেন।

অফলাইন পর্যায়ে, সাইটের সেরা সমাধান না বেছে নেওয়ার মাধ্যমে গতি খুব সহজেই লুকানো যেতে পারে। আমরা জমা দেওয়া বন্ধ হওয়ার আগে শেষ মিনিটে লিডারবোর্ডে ব্যাপক পরিবর্তন আশা করেছিলাম এবং বন্ধ না করার সিদ্ধান্ত নিয়েছিলাম।

আনার ভিডিও থেকে, আমি শিখেছি যে মডেলের গুণমান উন্নত করতে, নিম্নলিখিত পরামিতিগুলি নির্বাচন করা ভাল:

• শেখার_হার — ডেটাসেটের আকারের উপর ভিত্তি করে ডিফল্ট মান গণনা করা হয়। শেখার_হার বাড়ানোর জন্য পুনরাবৃত্তির সংখ্যা বাড়ানো প্রয়োজন।
• l2_leaf_reg — রেগুলারাইজেশন সহগ, ডিফল্ট মান 3, পছন্দ করে 2 থেকে 30 বেছে নিন। মান হ্রাস করলে ওভারফিট বৃদ্ধি পায়।
• ব্যাগিং_তাপমাত্রা — নমুনায় বস্তুর ওজনে র্যান্ডমাইজেশন যোগ করে। ডিফল্ট মান হল 1, যেখানে ওজন একটি সূচকীয় বন্টন থেকে আঁকা হয়। মান হ্রাস ওভারফিট বৃদ্ধি বাড়ে.
• এলোমেলো_শক্তি — একটি নির্দিষ্ট পুনরাবৃত্তিতে বিভাজনের পছন্দকে প্রভাবিত করে। র‍্যান্ডম_স্ট্রেংথ যত বেশি হবে, কম গুরুত্বের বিভাজন নির্বাচিত হওয়ার সম্ভাবনা তত বেশি। প্রতিটি পরবর্তী পুনরাবৃত্তিতে, এলোমেলোতা হ্রাস পায়। মান হ্রাস ওভারফিট বৃদ্ধি বাড়ে.

অন্যান্য পরামিতিগুলির চূড়ান্ত ফলাফলের উপর অনেক ছোট প্রভাব রয়েছে, তাই আমি সেগুলি নির্বাচন করার চেষ্টা করিনি। ctr_complexity=1 সহ আমার GPU ডেটাসেটে প্রশিক্ষণের একটি পুনরাবৃত্তি 20 মিনিট সময় নেয় এবং হ্রাস করা ডেটাসেটে নির্বাচিত প্যারামিটারগুলি সম্পূর্ণ ডেটাসেটের সর্বোত্তম প্যারামিটার থেকে কিছুটা আলাদা ছিল৷ শেষ পর্যন্ত, আমি 30% ডেটাতে প্রায় 10টি পুনরাবৃত্তি করেছি এবং তারপরে সমস্ত ডেটাতে প্রায় 10টি পুনরাবৃত্তি করেছি। এটা এই মত কিছু পরিণত:

• শেখার_হার আমি ডিফল্ট থেকে 40% বৃদ্ধি করেছি;
• l2_leaf_reg এটি একই রেখে গেছে;
• ব্যাগিং_তাপমাত্রা и এলোমেলো_শক্তি 0,8 এ কমে গেছে।

আমরা উপসংহারে আসতে পারি যে মডেলটি ডিফল্ট পরামিতিগুলির সাথে প্রশিক্ষণপ্রাপ্ত ছিল।

লিডারবোর্ডে ফলাফল দেখে আমি খুব অবাক হয়েছিলাম:

মডেল	মডেল 1	মডেল 2	মডেল 3	ensemble
টিউনিং ছাড়াই	0.7403	0.7404	0.7404	0.7407
টিউনিং সহ	0.7406	0.7405	0.7406	0.7408

আমি নিজের জন্য উপসংহারে পৌঁছেছি যে যদি মডেলটির দ্রুত প্রয়োগের প্রয়োজন না হয়, তবে অ-অপ্টিমাইজ করা প্যারামিটার ব্যবহার করে বেশ কয়েকটি মডেলের সংমিশ্রণে পরামিতিগুলির নির্বাচন প্রতিস্থাপন করা ভাল।

সের্গেই এটিকে GPU-তে চালানোর জন্য ডেটাসেটের আকার অপ্টিমাইজ করছিলেন। সবচেয়ে সহজ বিকল্প হল ডেটার অংশ কেটে ফেলা, তবে এটি বিভিন্ন উপায়ে করা যেতে পারে:

• ধীরে ধীরে প্রাচীনতম ডেটা (ফেব্রুয়ারির শুরু) সরিয়ে ফেলুন যতক্ষণ না ডেটাসেট মেমরিতে ফিট হতে শুরু করে;
• সর্বনিম্ন গুরুত্ব সহ বৈশিষ্ট্যগুলি সরান;
• UserIds মুছে ফেলুন যার জন্য শুধুমাত্র একটি এন্ট্রি আছে;
• শুধুমাত্র পরীক্ষায় থাকা userIds ছেড়ে দিন।

এবং শেষ পর্যন্ত, সমস্ত বিকল্পের মধ্যে একটি ensemble তৈরি করুন।

শেষ ensemble

শেষ দিনের শেষ সন্ধ্যা পর্যন্ত, আমরা আমাদের মডেলগুলির একটি সংকলন তৈরি করেছিলাম যা 0,742 লাভ করেছিল। রাতারাতি আমি ctr_complexity=2 দিয়ে আমার মডেল চালু করেছি এবং 30 মিনিটের পরিবর্তে এটি 5 ঘন্টার জন্য প্রশিক্ষিত হয়েছে। শুধুমাত্র ভোর 4 টায় এটি গণনা করা হয়েছিল, এবং আমি শেষ দলটি তৈরি করেছি, যা পাবলিক লিডারবোর্ডে 0,7433 দিয়েছে।

সমস্যা সমাধানের বিভিন্ন পদ্ধতির কারণে, আমাদের ভবিষ্যদ্বাণীগুলি দৃঢ়ভাবে সম্পর্কযুক্ত ছিল না, যা সমাহারে একটি ভাল বৃদ্ধি দিয়েছে। একটি ভাল সংমিশ্রণ পেতে, কাঁচা মডেলের ভবিষ্যদ্বাণী ভবিষ্যদ্বাণী (পূর্বাভাস_টাইপ='RawFormulaVal') ব্যবহার করা এবং স্কেল_pos_weight=neg_count/pos_count সেট করা ভাল।

ওয়েবসাইটে আপনি দেখতে পারেন ব্যক্তিগত লিডারবোর্ডে চূড়ান্ত ফলাফল.

অন্যান্য সমাধান

অনেক দল সুপারিশকারী সিস্টেম অ্যালগরিদমের ক্যানন অনুসরণ করেছে। আমি, এই ক্ষেত্রে একজন বিশেষজ্ঞ নই, তাদের মূল্যায়ন করতে পারি না, তবে আমি 2টি আকর্ষণীয় সমাধান মনে করি।

• নিকোলে আনোখিনের সমাধান. Nikolay, Mail.ru-এর একজন কর্মচারী হওয়ায়, পুরস্কারের জন্য আবেদন করেননি, তাই তার লক্ষ্য ছিল সর্বোচ্চ গতি অর্জন করা নয়, সহজে মাপযোগ্য সমাধান পাওয়া।
• জুরি পুরস্কার বিজয়ী দলের সিদ্ধান্তের ভিত্তিতে ফেসবুক থেকে এই নিবন্ধ, ম্যানুয়াল কাজ ছাড়া খুব ভাল ইমেজ ক্লাস্টারিংয়ের জন্য অনুমোদিত।

উপসংহার

আমার স্মৃতিতে সবচেয়ে বেশি কী আটকে আছে:

• যদি ডেটাতে নির্দিষ্ট বৈশিষ্ট্যগুলি থাকে এবং আপনি কীভাবে সঠিকভাবে টার্গেট এনকোডিং করতে জানেন তবে ক্যাটবুস্ট চেষ্টা করা আরও ভাল।
• আপনি যদি কোনো প্রতিযোগিতায় অংশগ্রহণ করেন, তাহলে শেখার_হার এবং পুনরাবৃত্তি ছাড়া অন্য প্যারামিটার নির্বাচন করতে আপনার সময় নষ্ট করা উচিত নয়। একটি দ্রুত সমাধান হল বেশ কয়েকটি মডেলের একটি দল তৈরি করা।
• বুস্টিং জিপিইউতে শিখতে পারে। ক্যাটবুস্ট জিপিইউতে খুব দ্রুত শিখতে পারে, তবে এটি প্রচুর মেমরি খায়।
• ধারণাগুলির বিকাশ এবং পরীক্ষার সময়, একটি ছোট rsm~=0.2 (কেবল CPU) এবং ctr_complexity=1 সেট করা ভাল।
• অন্যান্য দলগুলির থেকে ভিন্ন, আমাদের মডেলগুলির সংমিশ্রণ একটি বড় বৃদ্ধি দিয়েছে। আমরা শুধু ভাবনা বিনিময় করতাম এবং বিভিন্ন ভাষায় লিখতাম। ডেটা বিভক্ত করার জন্য আমাদের একটি ভিন্ন পদ্ধতি ছিল এবং আমি মনে করি, প্রতিটির নিজস্ব বাগ ছিল।
• এটা পরিষ্কার নয় যে কেন র‌্যাঙ্কিং অপ্টিমাইজেশান শ্রেণীবিভাগ অপ্টিমাইজেশনের চেয়ে খারাপ পারফর্ম করেছে।
• আমি পাঠ্যগুলির সাথে কাজ করার কিছু অভিজ্ঞতা অর্জন করেছি এবং সুপারিশকারী সিস্টেমগুলি কীভাবে তৈরি করা হয় তা বোঝার জন্য।

আবেগ, জ্ঞান এবং পুরস্কার প্রাপ্তির জন্য আয়োজকদের ধন্যবাদ।

উত্স: www.habr.com