হাই সব! আমার নাম সাশা, আমি CTO এবং LoyaltyLab-এর সহ-প্রতিষ্ঠাতা। দুই বছর আগে, আমার বন্ধুরা এবং আমি, সমস্ত দরিদ্র ছাত্রদের মতো, সন্ধ্যায় আমাদের বাড়ির কাছের দোকানে বিয়ার কিনতে যেতাম। আমরা খুব বিরক্ত ছিলাম যে খুচরা বিক্রেতা, জেনেও যে আমরা বিয়ারের জন্য আসব, চিপস বা ক্র্যাকারে ছাড় দেয়নি, যদিও এটি এত যৌক্তিক ছিল! কেন এই পরিস্থিতি ঘটছে তা আমরা বুঝতে পারিনি এবং আমাদের নিজস্ব কোম্পানি শুরু করার সিদ্ধান্ত নিয়েছি। ভাল, একটি বোনাস হিসাবে, একই চিপগুলিতে প্রতি শুক্রবার নিজেকে ছাড় দিন৷

এবং এটি এমন পর্যায়ে পৌঁছেছে যেখানে আমি পণ্যটির প্রযুক্তিগত দিকে উপাদান উপস্থাপন করছি এনভিআইডিএ জিটিসি. আমরা সম্প্রদায়ের সাথে আমাদের কাজ ভাগ করে নিতে পেরে খুশি, তাই আমি একটি নিবন্ধ আকারে আমার প্রতিবেদন প্রকাশ করছি।

ভূমিকা

যাত্রার শুরুতে অন্য সবার মতো, আমরা কীভাবে সুপারিশকারী সিস্টেম তৈরি করা হয় তার একটি ওভারভিউ দিয়ে শুরু করেছি। এবং সবচেয়ে জনপ্রিয় স্থাপত্য নিম্নলিখিত ধরনের হতে পরিণত:

এটি দুটি অংশ নিয়ে গঠিত:

1. একটি সহজ এবং দ্রুত মডেল ব্যবহার করে সুপারিশের জন্য প্রার্থীদের নমুনা নেওয়া, সাধারণত একটি সহযোগী।
2. আরও জটিল এবং ধীর কন্টেন্ট মডেল সহ প্রার্থীদের র‌্যাঙ্কিং, ডেটার সমস্ত সম্ভাব্য বৈশিষ্ট্য বিবেচনায় নিয়ে।

এর পরে আমি নিম্নলিখিত শর্তাবলী ব্যবহার করব:

• সুপারিশের জন্য প্রার্থী/প্রার্থী — একটি ব্যবহারকারী-পণ্য জোড়া যা সম্ভাব্যভাবে উৎপাদনের সুপারিশে অন্তর্ভুক্ত করা যেতে পারে।
• প্রার্থীদের নিষ্কাশন / নিষ্কাশনকারী / প্রার্থী নিষ্কাশন পদ্ধতি — উপলব্ধ ডেটা থেকে "সুপারিশ প্রার্থী" বের করার জন্য একটি প্রক্রিয়া বা পদ্ধতি।

প্রথম ধাপে সাধারণত সহযোগী ফিল্টারিংয়ের বিভিন্ন বৈচিত্র ব্যবহার করা হয়। সবচেয়ে জনপ্রিয় - এএলএস. এটা আশ্চর্যজনক যে সুপারিশকারী সিস্টেম সম্পর্কে বেশিরভাগ নিবন্ধ শুধুমাত্র প্রথম পর্যায়ে সহযোগী মডেলগুলিতে বিভিন্ন উন্নতি প্রকাশ করে, কিন্তু অন্য নমুনা পদ্ধতি সম্পর্কে কেউ খুব বেশি কথা বলে না। আমাদের জন্য, শুধুমাত্র সহযোগী মডেল এবং তাদের সাথে বিভিন্ন অপ্টিমাইজেশন ব্যবহার করার পদ্ধতিটি আমরা যে মানের আশা করেছিলাম তার সাথে কাজ করেনি, তাই আমরা এই অংশে বিশেষভাবে গবেষণা করেছি। এবং নিবন্ধের শেষে আমি দেখাব যে আমরা কতটা ALS-কে উন্নত করতে সক্ষম হয়েছি, যা ছিল আমাদের জন্য ভিত্তিরেখা।

আমি আমাদের পদ্ধতির বর্ণনা করার আগে, এটা মনে রাখা গুরুত্বপূর্ণ যে রিয়েলটাইম সুপারিশগুলিতে, যখন 30 মিনিট আগে ঘটে যাওয়া ডেটা বিবেচনা করা আমাদের জন্য গুরুত্বপূর্ণ, তখন প্রয়োজনীয় সময়ে কাজ করতে পারে এমন অনেকগুলি পদ্ধতি নেই৷ তবে, আমাদের ক্ষেত্রে, আমাদের দিনে একবারের বেশি সুপারিশ সংগ্রহ করতে হবে না, এবং বেশিরভাগ ক্ষেত্রে - সপ্তাহে একবার, যা আমাদের জটিল মডেলগুলি ব্যবহার করার এবং গুণমানকে কয়েকগুণ উন্নত করার সুযোগ দেয়।

আসুন একটি বেসলাইন হিসাবে গ্রহণ করি যা শুধুমাত্র ALS প্রার্থীদের বের করার কাজটিতে দেখায়। আমরা নিরীক্ষণের মূল মেট্রিকগুলি হল:

• নির্ভুলতা - নমুনাগুলি থেকে সঠিকভাবে নির্বাচিত প্রার্থীদের অনুপাত।
• প্রত্যাহার হল প্রার্থীদের অনুপাত যা প্রকৃতপক্ষে লক্ষ্য ব্যবধানে ছিল তাদের মধ্যে ঘটেছে।
• F1-স্কোর - পূর্ববর্তী দুটি পয়েন্টে গণনা করা F-পরিমাপ।

অতিরিক্ত বিষয়বস্তু বৈশিষ্ট্য সহ গ্রেডিয়েন্ট বুস্টিং প্রশিক্ষণের পরে আমরা চূড়ান্ত মডেলের মেট্রিকগুলিও দেখব। এছাড়াও এখানে 3টি প্রধান মেট্রিক রয়েছে:

• precision@5 - প্রতিটি ক্রেতার সম্ভাব্যতার ক্ষেত্রে শীর্ষ 5 থেকে পণ্যের গড় শতাংশ।
• Response-rate@5 - দোকানে ভিজিট করা থেকে কমপক্ষে একটি ব্যক্তিগত অফার কেনার জন্য গ্রাহকদের রূপান্তর (এক অফারে 5টি পণ্য)।
• প্রতি ব্যবহারকারীর গড় roc-auc - গড় roc-auc প্রতিটি ক্রেতার জন্য।

এটা মনে রাখা গুরুত্বপূর্ণ যে এই সমস্ত মেট্রিক্সের উপর পরিমাপ করা হয় সময়-সিরিজ ক্রস-বৈধকরণ, অর্থাৎ, প্রশিক্ষণ প্রথম k সপ্তাহে ঘটে এবং k+1 সপ্তাহকে পরীক্ষার ডেটা হিসাবে নেওয়া হয়। এইভাবে, মৌসুমী উত্থান-পতন মডেলগুলির মানের ব্যাখ্যার উপর ন্যূনতম প্রভাব ফেলেছিল। আরও সমস্ত গ্রাফে, অ্যাবসিসা অক্ষ ক্রস-ভ্যালিডেশনে সপ্তাহের সংখ্যা নির্দেশ করবে এবং অর্ডিনেট অক্ষ নির্দিষ্ট মেট্রিকের মান নির্দেশ করবে। সমস্ত গ্রাফ একটি ক্লায়েন্টের লেনদেনের ডেটার উপর ভিত্তি করে তৈরি হয় যাতে একে অপরের মধ্যে তুলনা সঠিক হয়।

আমরা আমাদের পদ্ধতির বর্ণনা শুরু করার আগে, আমরা প্রথমে বেসলাইনের দিকে তাকাই, যা একটি ALS- প্রশিক্ষিত মডেল।
প্রার্থী পুনরুদ্ধার মেট্রিক্স:

চূড়ান্ত মেট্রিক্স:

আমি অ্যালগরিদমের সমস্ত বাস্তবায়নকে কিছু ধরণের ব্যবসায়িক অনুমান হিসাবে বিবেচনা করি। সুতরাং, খুব মোটামুটিভাবে, যেকোন সহযোগী মডেলকে একটি অনুমান হিসাবে বিবেচনা করা যেতে পারে যে "লোকেরা তাদের অনুরূপ লোকেরা যা কিনছে তা কেনার প্রবণতা রাখে।" যেমনটি আমি ইতিমধ্যেই বলেছি, আমরা নিজেদেরকে শুধুমাত্র এই ধরনের শব্দার্থবিদ্যায় সীমাবদ্ধ রাখিনি, এবং এখানে কিছু অনুমান রয়েছে যা অফলাইন খুচরোতে ডেটাতে ভাল কাজ করে:

1. যা আগেও কিনেছি।
2. আমি আগে কিনলাম অনুরূপ.
3. একটি দীর্ঘ অতীত ক্রয়ের সময়কাল.
4. বিভাগ/ব্র্যান্ড অনুসারে জনপ্রিয়।
5. সপ্তাহে সপ্তাহে বিভিন্ন পণ্যের বিকল্প ক্রয় (মার্কভ চেইন)।
6. ক্রেতাদের অনুরূপ পণ্য, বিভিন্ন মডেল দ্বারা নির্মিত বৈশিষ্ট্য অনুযায়ী (Word2Vec, DSSM, ইত্যাদি)।

আপনি আগে কি কিনলেন?

সবচেয়ে সুস্পষ্ট হিউরিস্টিক যা মুদি খুচরোতে খুব ভাল কাজ করে। লয়্যালটি কার্ড ধারক গত K দিনে (সাধারণত 1-3 সপ্তাহ), বা এক বছর আগে K দিনগুলিতে যে সমস্ত পণ্য কিনেছিলেন আমরা এখানে সেগুলি নিয়ে থাকি। শুধুমাত্র এই পদ্ধতি প্রয়োগ করে, আমরা নিম্নলিখিত মেট্রিকগুলি পাই:

এখানে এটা বেশ স্পষ্ট যে আমরা যত বেশি সময় ধরে রাখি, তত বেশি স্মরণ করি এবং আমাদের কম নির্ভুলতা থাকে এবং এর বিপরীতে। গড়ে, "শেষ 2 সপ্তাহ" ক্লায়েন্টদের জন্য আরও ভাল ফলাফল দেয়।

আমি আগে কিনলাম অনুরূপ

এটা আশ্চর্যজনক নয় যে মুদির খুচরা বিক্রেতার জন্য "আমি আগে যা কিনেছিলাম" ভাল কাজ করে, তবে ব্যবহারকারী ইতিমধ্যে যা কিনেছেন তা থেকে প্রার্থীদের বের করা খুব ভালো নয়, কারণ এটি কিছু নতুন পণ্য দিয়ে ক্রেতাকে অবাক করার সম্ভাবনা কম। অতএব, আমরা একই সহযোগী মডেলগুলি ব্যবহার করে এই হিউরিস্টিককে কিছুটা উন্নত করার প্রস্তাব করছি। ALS প্রশিক্ষণের সময় আমরা যে ভেক্টরগুলি পেয়েছি তা থেকে, আমরা ব্যবহারকারী ইতিমধ্যে যা কিনেছেন তার অনুরূপ পণ্য পেতে পারি। এই ধারণাটি ভিডিও সামগ্রী দেখার জন্য পরিষেবাগুলিতে "অনুরূপ ভিডিওগুলির" অনুরূপ, কিন্তু যেহেতু আমরা জানি না যে ব্যবহারকারী একটি নির্দিষ্ট মুহুর্তে কী খাচ্ছে/কিনছে, আমরা কেবলমাত্র সে ইতিমধ্যেই যা কিনেছে তার অনুরূপ খুঁজতে পারি, বিশেষ করে যেহেতু আমরা ইতিমধ্যেই জানি এটা কতটা ভালো কাজ করে। গত 2 সপ্তাহে ব্যবহারকারীর লেনদেনে এই পদ্ধতিটি প্রয়োগ করে, আমরা নিম্নলিখিত মেট্রিকগুলি পাই:

এটা হল k — গত 14 দিনে ক্রেতার দ্বারা কেনা প্রতিটি পণ্যের জন্য পুনরুদ্ধার করা অনুরূপ পণ্যের সংখ্যা।
এই পদ্ধতিটি আমাদের ক্লায়েন্টের জন্য বিশেষভাবে ভাল কাজ করেছে, যার জন্য ব্যবহারকারীর ক্রয় ইতিহাসে ইতিমধ্যেই ছিল এমন কিছুর সুপারিশ না করা গুরুত্বপূর্ণ ছিল।

দেরী ক্রয় সময়কাল

আমরা ইতিমধ্যেই জেনেছি, পণ্য ক্রয়ের উচ্চ ফ্রিকোয়েন্সির কারণে, প্রথম পদ্ধতিটি আমাদের নির্দিষ্ট প্রয়োজনের জন্য ভাল কাজ করে। কিন্তু ওয়াশিং পাউডার/শ্যাম্পু/ইত্যাদির মতো পণ্যের কী হবে? অর্থাৎ, প্রতি সপ্তাহে বা দুই সপ্তাহে যে পণ্যগুলির প্রয়োজন হওয়ার সম্ভাবনা নেই এবং আগের পদ্ধতিগুলি নিষ্কাশন করতে পারে না। এটি নিম্নলিখিত ধারণার দিকে নিয়ে যায় - যারা পণ্যটি বেশি কিনেছেন তাদের জন্য গড়ে প্রতিটি পণ্য কেনার সময়কাল গণনা করার প্রস্তাব করা হয়েছে k একদা. এবং তারপরে ক্রেতার সম্ভবত যা শেষ হয়ে গেছে তা বের করুন। পণ্যের জন্য গণনা করা সময় পর্যাপ্ততার জন্য আপনার চোখ দিয়ে পরীক্ষা করা যেতে পারে:

এবং তারপরে আমরা দেখব যে পণ্যের মেয়াদ শেষ হওয়া সময়ের ব্যবধানের মধ্যে পড়ে কিনা যখন সুপারিশগুলি উত্পাদনে থাকবে এবং কী ঘটে তার নমুনা। পদ্ধতিটি এভাবে চিত্রিত করা যেতে পারে:

এখানে আমাদের 2টি প্রধান ক্ষেত্রে বিবেচনা করা যেতে পারে:

1. K বারের কম পণ্য ক্রয় করা গ্রাহকদের কাছ থেকে পণ্যের নমুনা নেওয়া কি প্রয়োজনীয়।
2. এটা কি একটি পণ্যের নমুনা করা প্রয়োজন যদি এর সময়কালের শেষ লক্ষ্য ব্যবধানের শুরুর আগে পড়ে।

নিম্নলিখিত গ্রাফটি দেখায় যে এই পদ্ধতিটি বিভিন্ন হাইপারপ্যারামিটারের সাথে কী ফলাফল অর্জন করে:

ft — শুধুমাত্র এমন গ্রাহকদের নিন যারা পণ্যটি কমপক্ষে K (এখানে K=5) বার কিনেছেন
tm - শুধুমাত্র সেই প্রার্থীদের নিন যারা লক্ষ্য ব্যবধানের মধ্যে পড়ে

এতে অবাক হওয়ার কিছু নেই যে তিনি সক্ষম (0, 0) বৃহত্তম প্রত্যাহার এবং সবচেয়ে ছোট স্পষ্টতা, যেহেতু এই শর্তের অধীনে বেশিরভাগ প্রার্থী পুনরুদ্ধার করা হয়। যাইহোক, সর্বোত্তম ফলাফল অর্জন করা হয় যখন আমরা এমন গ্রাহকদের জন্য পণ্যের নমুনা করি না যারা একটি নির্দিষ্ট পণ্য এর চেয়ে কম কিনেছেন k সময় এবং নির্যাস, পণ্য সহ, সময়ের শেষ যা লক্ষ্য ব্যবধানের আগে পড়ে।

বিভাগ অনুসারে জনপ্রিয়

আরেকটি মোটামুটি সুস্পষ্ট ধারণা হল বিভিন্ন বিভাগ বা ব্র্যান্ড জুড়ে জনপ্রিয় পণ্যের নমুনা। এখানে আমরা প্রতিটি ক্রেতার জন্য গণনা করি top-k "প্রিয়" বিভাগ/ব্র্যান্ড এবং এই বিভাগ/ব্র্যান্ড থেকে "জনপ্রিয়" বের করুন। আমাদের ক্ষেত্রে, আমরা পণ্যের ক্রয়ের সংখ্যা দ্বারা "প্রিয়" এবং "জনপ্রিয়" নির্ধারণ করব। এই পদ্ধতির একটি অতিরিক্ত সুবিধা হল কোল্ড স্টার্ট ক্ষেত্রে এর প্রযোজ্যতা। অর্থাৎ, সেই গ্রাহকদের জন্য যারা হয় খুব কম কেনাকাটা করেছেন, বা দীর্ঘদিন ধরে দোকানে আসেননি, বা শুধুমাত্র একটি লয়্যালটি কার্ড ইস্যু করেছেন। তাদের জন্য, গ্রাহকদের কাছে জনপ্রিয় এবং ইতিহাস আছে এমন আইটেমগুলি স্টক করা সহজ এবং ভাল। ফলস্বরূপ মেট্রিক্স হল:

এখানে "বিভাগ" শব্দের পরে সংখ্যার অর্থ হল বিভাগের বাসা বাঁধার স্তর।

সামগ্রিকভাবে, এটাও আশ্চর্যজনক নয় যে সংকীর্ণ বিভাগগুলি আরও ভাল ফলাফল অর্জন করে, কারণ তারা ক্রেতাদের জন্য আরও সঠিক "পছন্দের" পণ্যগুলি বের করে।

সপ্তাহে সপ্তাহে বিভিন্ন পণ্যের বিকল্প ক্রয়

একটি আকর্ষণীয় পদ্ধতি যা আমি সুপারিশকারী সিস্টেম সম্পর্কে নিবন্ধগুলিতে দেখিনি তা হল একটি মোটামুটি সহজ এবং একই সাথে মার্কভ চেইনের পরিসংখ্যানগত পদ্ধতি। এখানে আমরা 2টি ভিন্ন সপ্তাহ সময় নিই, তারপর প্রতিটি গ্রাহকের জন্য আমরা এক জোড়া পণ্য তৈরি করি [আমি সপ্তাহে কেনা] - [জ সপ্তাহে কেনা], যেখানে j > i, এবং এখান থেকে আমরা প্রতিটি পণ্যের জন্য পরের সপ্তাহে অন্য পণ্যে স্যুইচ করার সম্ভাবনা গণনা করি। অর্থাৎ প্রতি জোড়া পণ্যের জন্য producti-productj আমরা পাওয়া জোড়ায় তাদের সংখ্যা গণনা করি এবং জোড়ার সংখ্যা দিয়ে ভাগ করি, যেখানে পণ্য প্রথম সপ্তাহে ছিল। প্রার্থীদের বের করার জন্য, আমরা ক্রেতার শেষ রসিদ এবং নির্যাস গ্রহণ করি top-k আমরা প্রাপ্ত ট্রানজিশন ম্যাট্রিক্স থেকে সম্ভবত পরবর্তী পণ্য। একটি ট্রানজিশন ম্যাট্রিক্স তৈরির প্রক্রিয়াটি এইরকম দেখাচ্ছে:

ট্রানজিশন সম্ভাব্যতা ম্যাট্রিক্সের বাস্তব উদাহরণ থেকে আমরা নিম্নলিখিত আকর্ষণীয় ঘটনা দেখতে পাই:

এখানে আপনি আকর্ষণীয় নির্ভরতা লক্ষ্য করতে পারেন যা ভোক্তাদের আচরণে প্রকাশিত হয়: উদাহরণস্বরূপ, সাইট্রাস ফল বা দুধের একটি ব্র্যান্ডের প্রেমীরা যা থেকে তারা অন্যটিতে যেতে পারে। এটাও আশ্চর্যজনক নয় যে মাখনের মতো উচ্চ ফ্রিকোয়েন্সি সহ পণ্যগুলিও এখানে শেষ হয়।

মার্কভ চেইন সহ পদ্ধতির মেট্রিক্স নিম্নরূপ:

k — ক্রেতার শেষ লেনদেন থেকে প্রতিটি কেনা পণ্যের জন্য পুনরুদ্ধার করা পণ্যের সংখ্যা।
আমরা দেখতে পাচ্ছি, সেরা ফলাফল k=4 এর সাথে কনফিগারেশন দ্বারা দেখানো হয়েছে। 4 সপ্তাহের স্পাইক ছুটির চারপাশে মৌসুমী আচরণ দ্বারা ব্যাখ্যা করা যেতে পারে। 

ক্রেতাদের অনুরূপ পণ্য, বিভিন্ন মডেল দ্বারা নির্মিত বৈশিষ্ট্য অনুযায়ী

এখন আমরা সবচেয়ে কঠিন এবং আকর্ষণীয় অংশে এসেছি - গ্রাহকদের ভেক্টর এবং বিভিন্ন মডেল অনুসারে তৈরি পণ্যগুলির উপর ভিত্তি করে নিকটতম প্রতিবেশীদের অনুসন্ধান করা। আমাদের কাজে আমরা 3 টি মডেল ব্যবহার করি:

• এএলএস
• Word2Vec (এই ধরনের কাজের জন্য Item2Vec)
• ডিএসএসএম

আমরা ইতিমধ্যে ALS এর সাথে মোকাবিলা করেছি, আপনি এটি কীভাবে শেখে সে সম্পর্কে পড়তে পারেন এখানে. Word2Vec এর ক্ষেত্রে, আমরা মডেলটির সুপরিচিত বাস্তবায়ন ব্যবহার করি gensim. পাঠ্যের সাথে সাদৃশ্য দ্বারা, আমরা অফারটিকে ক্রয়ের রসিদ হিসাবে সংজ্ঞায়িত করি। এইভাবে, একটি পণ্য ভেক্টর তৈরি করার সময়, মডেলটি রসিদে পণ্যটির জন্য তার "প্রসঙ্গ" (রসিদে অবশিষ্ট পণ্য) ভবিষ্যদ্বাণী করতে শেখে। ইকমার্স ডেটাতে, রসিদের পরিবর্তে ক্রেতার সেশন ব্যবহার করা ভাল; এর থেকে ছেলেরা Ozon. এবং DSSM পার্স করা আরও আকর্ষণীয়। প্রাথমিকভাবে, এটি মাইক্রোসফ্টের ছেলেরা অনুসন্ধানের জন্য একটি মডেল হিসাবে লিখেছিল, আপনি এখানে মূল গবেষণাপত্র পড়তে পারেন. মডেলের স্থাপত্য এই মত দেখায়:

এটা হল Q — ক্যোয়ারী, ইউজার সার্চ ক্যোয়ারী, ডি [আমি] - নথি, ইন্টারনেট পৃষ্ঠা। মডেলের ইনপুট হল যথাক্রমে অনুরোধ এবং পৃষ্ঠাগুলির বৈশিষ্ট্য। প্রতিটি ইনপুট স্তরের পরে বেশ কয়েকটি সম্পূর্ণ সংযুক্ত স্তর রয়েছে (মাল্টিলেয়ার পারসেপ্ট্রন)। এর পরে, মডেলটি মডেলের শেষ স্তরগুলিতে প্রাপ্ত ভেক্টরগুলির মধ্যে কোসাইনকে ছোট করতে শেখে।
সুপারিশের কাজগুলি ঠিক একই আর্কিটেকচার ব্যবহার করে, শুধুমাত্র একটি অনুরোধের পরিবর্তে একটি ব্যবহারকারী রয়েছে এবং পৃষ্ঠাগুলির পরিবর্তে পণ্য রয়েছে। এবং আমাদের ক্ষেত্রে, এই আর্কিটেকচারটি নিম্নলিখিতগুলিতে রূপান্তরিত হয়েছে:

এখন, ফলাফলগুলি পরীক্ষা করার জন্য, এটি শেষ বিন্দুটি কভার করতে রয়ে গেছে - যদি ALS এবং DSSM-এর ক্ষেত্রে আমরা স্পষ্টভাবে ব্যবহারকারী ভেক্টরকে সংজ্ঞায়িত করে থাকি, তাহলে Word2Vec-এর ক্ষেত্রে আমাদের কাছে শুধুমাত্র পণ্য ভেক্টর রয়েছে। এখানে, ব্যবহারকারী ভেক্টর তৈরি করতে, আমরা 3টি প্রধান পদ্ধতির সংজ্ঞায়িত করেছি:

1. শুধু ভেক্টর যোগ করুন, তারপর কোসাইন দূরত্বের জন্য দেখা যাচ্ছে যে আমরা ক্রয়ের ইতিহাসে পণ্যগুলির গড় করেছি।
2. কিছু সময়ের ওজন সহ ভেক্টর সমষ্টি।
3. TF-IDF সহগ সহ পণ্যের ওজন।

ক্রেতা ভেক্টরের রৈখিক ওজনের ক্ষেত্রে, আমরা এই অনুমান থেকে এগিয়ে যাই যে ব্যবহারকারী গতকাল যে পণ্যটি কিনেছেন সেটি ছয় মাস আগে কেনা পণ্যটির চেয়ে তার আচরণের উপর বেশি প্রভাব ফেলে। তাই আমরা ক্রেতার আগের সপ্তাহকে 1 এর মতভেদ বিবেচনা করি এবং ½, ⅓, ইত্যাদির সাথে পরবর্তী কি ঘটেছে:

TF-IDF সহগগুলির জন্য, আমরা পাঠ্যের জন্য TF-IDF-এর মতো ঠিক একই কাজ করি, শুধুমাত্র আমরা ক্রেতাকে একটি নথি হিসাবে বিবেচনা করি এবং চেকটিকে একটি অফার হিসাবে বিবেচনা করি, যথাক্রমে, শব্দটি একটি পণ্য। এইভাবে, ব্যবহারকারীর ভেক্টরটি বিরল পণ্যগুলির দিকে আরও স্থানান্তরিত হবে, যখন ক্রেতার জন্য ঘন ঘন এবং পরিচিত পণ্যগুলি এটিকে খুব বেশি পরিবর্তন করবে না। পদ্ধতিটি এভাবে চিত্রিত করা যেতে পারে:

এখন মেট্রিক্স তাকান. ALS ফলাফলগুলি দেখতে এইরকম:

ক্রেতা ভেক্টর নির্মাণের বিভিন্ন বৈচিত্র সহ Item2Vec-এর মেট্রিক্স:

এই ক্ষেত্রে, আমাদের বেসলাইনে ঠিক একই মডেল ব্যবহার করা হয়। শুধুমাত্র পার্থক্য হল আমরা কোন k ব্যবহার করব। শুধুমাত্র সহযোগী মডেলগুলি ব্যবহার করার জন্য, আপনাকে প্রতিটি গ্রাহকের জন্য প্রায় 50-70টি নিকটতম পণ্য নিতে হবে।

এবং DSSM অনুযায়ী মেট্রিক্স:

কিভাবে সব পদ্ধতি একত্রিত?

শান্ত, আপনি বলেন, কিন্তু প্রার্থী নিষ্কাশন সরঞ্জামের এত বড় সেট দিয়ে কী করবেন? কিভাবে আপনার ডেটার জন্য সর্বোত্তম কনফিগারেশন নির্বাচন করবেন? এখানে আমাদের বেশ কয়েকটি সমস্যা রয়েছে:

1. প্রতিটি পদ্ধতিতে হাইপারপ্যারামিটারের জন্য অনুসন্ধানের স্থানটি একরকম সীমাবদ্ধ করা প্রয়োজন। এটি অবশ্যই, সর্বত্র বিচ্ছিন্ন, তবে সম্ভাব্য পয়েন্টের সংখ্যা খুব বড়।
2. নির্দিষ্ট হাইপারপ্যারামিটার সহ নির্দিষ্ট পদ্ধতির একটি ছোট সীমিত নমুনা ব্যবহার করে, আপনি কীভাবে আপনার মেট্রিকের জন্য সেরা কনফিগারেশন নির্বাচন করতে পারেন?

আমরা এখনও প্রথম প্রশ্নের একটি নির্দিষ্টভাবে সঠিক উত্তর খুঁজে পাইনি, তাই আমরা নিম্নলিখিত থেকে এগিয়ে যাই: প্রতিটি পদ্ধতির জন্য, আমাদের কাছে থাকা ডেটার কিছু পরিসংখ্যানের উপর নির্ভর করে একটি হাইপারপ্যারামিটার সার্চ স্পেস লিমিটার লেখা হয়। এইভাবে, লোকেদের কাছ থেকে কেনাকাটার মধ্যে গড় সময়কাল জেনে, আমরা অনুমান করতে পারি যে "ইতিমধ্যে কি কেনা হয়েছে" এবং "একটি দীর্ঘ অতীত ক্রয়ের সময়কাল" পদ্ধতি ব্যবহার করতে হবে।

এবং আমরা বিভিন্ন পদ্ধতির একটি নির্দিষ্ট পর্যাপ্ত সংখ্যক বৈচিত্রের মধ্য দিয়ে যাওয়ার পরে, আমরা নিম্নলিখিতগুলি নোট করি: প্রতিটি বাস্তবায়ন একটি নির্দিষ্ট সংখ্যক প্রার্থীকে বের করে এবং আমাদের জন্য মূল মেট্রিকের একটি নির্দিষ্ট মান রয়েছে (প্রত্যাহার করুন)। আমরা সর্বোচ্চ সম্ভাব্য মেট্রিক সহ আমাদের অনুমোদিত কম্পিউটিং ক্ষমতার উপর নির্ভর করে মোট একটি নির্দিষ্ট সংখ্যক প্রার্থী পেতে চাই। এখানে সমস্যাটি সুন্দরভাবে ব্যাকপ্যাকের সমস্যায় ভেঙে পড়ে।

এখানে প্রার্থীর সংখ্যা হল ইনগটের ওজন, এবং প্রত্যাহার পদ্ধতি হল এর মান। যাইহোক, অ্যালগরিদম প্রয়োগ করার সময় আরও 2টি পয়েন্ট বিবেচনা করা উচিত:

• তারা পুনরুদ্ধার করা প্রার্থীদের মধ্যে পদ্ধতিগুলি ওভারল্যাপ থাকতে পারে।
• কিছু ক্ষেত্রে, বিভিন্ন পরামিতি সহ একটি পদ্ধতি দুবার নেওয়া সঠিক হবে এবং প্রথম থেকে প্রার্থীর আউটপুট দ্বিতীয়টির উপসেট হবে না।

উদাহরণস্বরূপ, যদি আমরা পুনরুদ্ধারের জন্য বিভিন্ন ব্যবধানের সাথে "আমি ইতিমধ্যে যা কিনেছি" পদ্ধতির বাস্তবায়ন গ্রহণ করি, তাহলে তাদের প্রার্থীদের সেট একে অপরের মধ্যে নেস্ট করা হবে। একই সময়ে, প্রস্থানের সময় "পর্যায়ক্রমিক ক্রয়" এর বিভিন্ন পরামিতি সম্পূর্ণ ছেদ প্রদান করে না। অতএব, আমরা বিভিন্ন পরামিতি সহ নমুনা পদ্ধতিগুলিকে ব্লকগুলিতে ভাগ করি যাতে প্রতিটি ব্লক থেকে আমরা নির্দিষ্ট হাইপারপ্যারামিটার সহ সর্বাধিক একটি নিষ্কাশন পদ্ধতি গ্রহণ করতে চাই। এটি করার জন্য, আপনাকে ন্যাপস্যাক সমস্যাটি বাস্তবায়নে একটু চতুর হতে হবে, তবে উপসর্গ এবং ফলাফল পরিবর্তন হবে না।

এই স্মার্ট সংমিশ্রণটি আমাদেরকে সহজভাবে সহযোগী মডেলের সাথে তুলনা করে নিম্নলিখিত মেট্রিক্স পেতে দেয়:

চূড়ান্ত মেট্রিক্সে আমরা নিম্নলিখিত চিত্রটি দেখতে পাই:

যাইহোক, এখানে আপনি লক্ষ্য করতে পারেন যে ব্যবসার জন্য উপযোগী সুপারিশগুলির জন্য একটি উন্মোচিত পয়েন্ট রয়েছে। এখন আমরা শিখেছি কিভাবে ব্যবহারকারী কি কিনবে তার ভবিষ্যদ্বাণী করার একটি দুর্দান্ত কাজ করতে হয়, উদাহরণস্বরূপ, পরের সপ্তাহে। কিন্তু তিনি ইতিমধ্যেই কিনবেন এমন কিছুতে ছাড় দেওয়া খুব ভালো নয়। তবে প্রত্যাশা সর্বাধিক করা দুর্দান্ত, উদাহরণস্বরূপ, নিম্নলিখিত মেট্রিকগুলির মধ্যে:

1. ব্যক্তিগত সুপারিশের ভিত্তিতে মার্জিন/টার্নওভার।
2. গড় গ্রাহক চেক.
3. পরিদর্শন ফ্রিকোয়েন্সি.

তাই আমরা প্রাপ্ত সম্ভাব্যতাগুলিকে বিভিন্ন সহগ দ্বারা গুণ করি এবং সেগুলিকে পুনরায় রেঙ্ক করি যাতে উপরের মেট্রিকগুলিকে প্রভাবিত করে এমন পণ্যগুলি শীর্ষে যায়৷ কোন রেডিমেড সমাধান নেই যার জন্য ব্যবহার করা সবচেয়ে ভালো। এমনকি আমরা সরাসরি উৎপাদনে এই ধরনের সহগ নিয়ে পরীক্ষা করি। তবে এখানে আকর্ষণীয় কৌশলগুলি রয়েছে যা প্রায়শই আমাদের সেরা ফলাফল দেয়:

1. পণ্যের মূল্য/মার্জিন দ্বারা গুণ করুন।
2. গড় প্রাপ্তি দ্বারা গুণ করুন যেখানে পণ্যটি প্রদর্শিত হয়। সুতরাং পণ্যগুলি আসবে, যার সাথে তারা সাধারণত অন্য কিছু নেয়।
3. এই পণ্যটির ক্রেতাদের ভিজিটের গড় ফ্রিকোয়েন্সি দ্বারা গুণ করুন, এই অনুমানের উপর ভিত্তি করে যে এই পণ্যটি লোকেদের এটির জন্য আরও ঘন ঘন ফিরে আসতে প্ররোচিত করে।

সহগগুলির সাথে পরীক্ষা চালানোর পরে, আমরা উত্পাদনে নিম্নলিখিত মেট্রিকগুলি পেয়েছি:

এটা হল সামগ্রিক পণ্য রূপান্তর — আমরা যে সুপারিশগুলি তৈরি করেছি তাতে সমস্ত পণ্যের মধ্যে কেনা পণ্যের ভাগ৷

একজন মনোযোগী পাঠক অফলাইন এবং অনলাইন মেট্রিক্সের মধ্যে উল্লেখযোগ্য পার্থক্য লক্ষ্য করবেন। এই আচরণটি এই সত্য দ্বারা ব্যাখ্যা করা হয়েছে যে মডেল প্রশিক্ষণের সময় সুপারিশ করা যেতে পারে এমন পণ্যগুলির জন্য সমস্ত গতিশীল ফিল্টার বিবেচনায় নেওয়া যায় না। আমাদের জন্য, এটি একটি স্বাভাবিক গল্প যখন পুনরুদ্ধার করা প্রার্থীদের অর্ধেক ফিল্টার করা যেতে পারে; এই নির্দিষ্টতা আমাদের শিল্পে সাধারণ।

রাজস্বের পরিপ্রেক্ষিতে, নিম্নলিখিত গল্পটি প্রাপ্ত হয়েছে, এটি স্পষ্ট যে সুপারিশগুলি চালু করার পরে, পরীক্ষার গ্রুপের রাজস্ব দৃঢ়ভাবে বৃদ্ধি পাচ্ছে, এখন আমাদের সুপারিশগুলির সাথে রাজস্বের গড় বৃদ্ধি 3-4%:

উপসংহারে, আমি বলতে চাই যে আপনার যদি নন-রিয়েলটাইম সুপারিশের প্রয়োজন হয়, তবে সুপারিশের জন্য প্রার্থীদের বের করে নিয়ে পরীক্ষায় গুণমানের একটি খুব বড় বৃদ্ধি পাওয়া যেতে পারে। তাদের প্রজন্মের জন্য একটি বড় পরিমাণ সময় অনেক ভাল পদ্ধতি একত্রিত করা সম্ভব করে তোলে, যা মোট ব্যবসার জন্য দুর্দান্ত ফলাফল দেবে।

যারা উপাদানটি আকর্ষণীয় বলে মনে করেন তাদের সাথে মন্তব্যে চ্যাট করতে আমি খুশি হব। আপনি আমাকে ব্যক্তিগতভাবে প্রশ্ন করতে পারেন টেলিগ্রাম. আমি এআই/স্টার্টআপ সম্পর্কে আমার চিন্তাভাবনাও শেয়ার করি টেলিগ্রাম চ্যানেল - স্বাগত :)

উত্স: www.habr.com