Бәріңе сәлем! Менің атым Саша, мен LoyaltyLab компаниясының техникалық директоры және тең құрылтайшысымын. Екі жыл бұрын мен достарыммен барлық кедей студенттер сияқты кешке үйіміздің жанындағы ең жақын дүкенге сыра алуға бардық. Біздің сыраға келетінімізді біліп, бөлшек саудагердің чипсы мен крекерге жеңілдік бермегеніне қатты ренжідік, бірақ бұл қисынды болды! Біз бұл жағдайдың неліктен болып жатқанын түсінбей, өз компаниямызды құруды шештік. Бонус ретінде жұма сайын сол чиптерге жеңілдіктер беріңіз.

Мұның бәрі мен өнімнің техникалық жағындағы материалды ұсынатын деңгейге жетті NVIDIA GTC. Біз өз жұмысымызды қоғаммен бөлісуге қуаныштымыз, сондықтан мен өз баяндамамды мақала түрінде жариялап отырмын.

Кіріспе

Саяхаттың басында басқалар сияқты, біз кеңес беру жүйелерінің қалай жасалатынын шолудан бастадық. Ал ең танымал сәулет келесі түрі болып шықты:

Ол екі бөліктен тұрады:

1. Қарапайым және жылдам үлгіні, әдетте бірлескен үлгіні пайдаланып ұсыныстарға үміткерлерді іріктеу.
2. Деректердегі барлық мүмкін мүмкіндіктерді ескере отырып, неғұрлым күрделі және баяу мазмұн үлгісі бар үміткерлердің рейтингі.

Бұдан әрі мен келесі терминдерді қолданамын:

• ұсынымдарға кандидат/кандидат — өндірістегі ұсыныстарға қосылуы мүмкін пайдаланушы-өнім жұбы.
• кандидаттарды алу/экстрактор/кандидаттарды алу әдісі — қолда бар деректерден «ұсыным кандидаттарын» алу процесі немесе әдісі.

Бірінші қадам әдетте бірлескен сүзудің әртүрлі нұсқаларын пайдалануды қамтиды. Ең танымал - ALS. Бір қызығы, кеңес беру жүйелері туралы мақалалардың көпшілігі бірінші кезеңде бірлескен үлгілерге әртүрлі жақсартуларды ашады, бірақ ешкім басқа іріктеу әдістері туралы көп айтпайды. Біз үшін тек бірлескен үлгілерді және олармен әртүрлі оңтайландыруларды пайдалану тәсілі біз күткен сапада жұмыс істемеді, сондықтан біз осы бөлікті зерттеуге арнайы кірістік. Мақаланың соңында мен ALS-ті қаншалықты жақсарта алғанымызды көрсетемін, бұл біздің базамыз болды.

Біздің көзқарасымызды сипаттауға көшпес бұрын, нақты уақыттағы ұсыныстарда, біз үшін 30 минут бұрын болған деректерді ескеру маңызды болған кезде, қажетті уақытта жұмыс істей алатын тәсілдер көп емес екенін атап өткен жөн. Бірақ, біздің жағдайда, біз ұсыныстарды күніне бір реттен жиі емес, ал көп жағдайда аптасына бір рет жинауымыз керек, бұл бізге күрделі модельдерді қолдануға және сапаны бірнеше есе жақсартуға мүмкіндік береді.

Үміткерлерді шығару тапсырмасында тек ALS қандай көрсеткіштерді көрсететінін негіз ретінде алайық. Біз бақылайтын негізгі көрсеткіштер:

• Дәлдік – іріктеуден дұрыс таңдалған үміткерлердің үлесі.
• Еске түсіру – бұл мақсатты интервалда болған үміткерлердің арасынан орын алған кандидаттардың үлесі.
• F1-балл - алдыңғы екі ұпай бойынша есептелген F-өлшемі.

Қосымша мазмұн мүмкіндіктерімен градиентті күшейтуді үйреткеннен кейін соңғы үлгінің көрсеткіштерін де қарастырамыз. Мұнда сонымен қатар 3 негізгі көрсеткіш бар:

• precision@5 - әрбір сатып алушы үшін ықтималдық бойынша алғашқы 5-ке кіретін өнімдердің орташа пайызы.
• respond-rate@5 - тұтынушыларды дүкенге барудан кем дегенде бір жеке ұсынысты (бір ұсыныста 5 өнім) сатып алуға түрлендіру.
• пайдаланушыға шаққандағы ort roc-auc – орташа roc-auc әрбір сатып алушы үшін.

Бұл көрсеткіштердің барлығы өлшенетінін ескеру маңызды уақыттық қатардың кросс-валидациясы, яғни жаттығу алғашқы k аптасында жүреді, ал k+1 апта сынақ деректері ретінде алынады. Осылайша, маусымдық құлдыраулар модельдердің сапасын түсіндіруге ең аз әсер етті. Әрі қарай барлық графиктерде абсцисса осі айқас тексерудегі апта санын, ал ордината осі көрсетілген метриканың мәнін көрсетеді. Барлық графиктер бір-бірімен салыстыру дұрыс болуы үшін бір клиенттің транзакция деректеріне негізделген.

Әдісімізді сипаттауды бастамас бұрын, біз алдымен ALS бойынша оқытылған модель болып табылатын базалық сызықты қарастырамыз.
Үміткерлерді іздеу көрсеткіштері:

Соңғы көрсеткіштер:

Мен алгоритмдердің барлық іске асырылуын бизнес гипотезасының қандай да бір түрі ретінде қарастырамын. Осылайша, өте шамамен алғанда, кез келген бірлескен модельді «адамдар өздеріне ұқсас адамдар сатып алатын нәрсені сатып алуға бейім» гипотеза ретінде қарастыруға болады. Жоғарыда айтқанымдай, біз мұндай семантикамен шектелген жоқпыз және офлайн бөлшек саудадағы деректерде жақсы жұмыс істейтін кейбір гипотезалар:

1. Мен бұрын сатып алғанмын.
2. Бұрын сатып алғаныма ұқсас.
3. Ұзақ өткен сатып алу кезеңі.
4. Санат/бренд бойынша танымал.
5. Әртүрлі тауарларды апта сайын баламалы сатып алу (Марков тізбектері).
6. Әртүрлі модельдер (Word2Vec, DSSM және т.б.) құрастырған сипаттамаларға сәйкес сатып алушыларға ұқсас өнімдер.

Бұрын не сатып алдың?

Азық-түлік бөлшек саудасында өте жақсы жұмыс істейтін ең айқын эвристикалық. Мұнда біз адалдық картасының иесі соңғы K күнде (әдетте 1-3 апта) немесе бір жыл бұрын K күн ішінде сатып алған барлық тауарларды аламыз. Тек осы әдісті қолдану арқылы біз келесі көрсеткіштерді аламыз:

Бұл жерде біз кезеңді неғұрлым ұзағырақ алсақ, соғұрлым еске түсіретініміз және дәлдігіміз аз болатыны және керісінше екені анық. Орташа алғанда, «соңғы 2 апта» клиенттер үшін жақсы нәтиже береді.

Бұрын сатып алғаныма ұқсас

Азық-түлік бөлшек саудасы үшін «бұрын сатып алғаным» жақсы жұмыс істейтіні таңқаларлық емес, бірақ пайдаланушы сатып алған нәрседен үміткерлерді алу өте жақсы емес, өйткені сатып алушыны қандай да бір жаңа өніммен таң қалдыру екіталай. Сондықтан, біз бірдей бірлескен үлгілерді пайдалана отырып, осы эвристиканы сәл жақсартуды ұсынамыз. ALS оқыту кезінде алған векторлардан біз пайдаланушы сатып алған өнімдерге ұқсас өнімдерді ала аламыз. Бұл идея бейне мазмұнын қарау қызметтеріндегі «ұқсас бейнелерге» өте ұқсас, бірақ біз пайдаланушының белгілі бір сәтте не жеп/сатып алатынын білмегендіктен, біз тек оның сатып алған нәрселеріне ұқсастарын ғана іздей аламыз, әсіресе өйткені біз оның қаншалықты жақсы жұмыс істейтінін білеміз. Бұл әдісті соңғы 2 аптадағы пайдаланушы транзакцияларында қолдану арқылы біз келесі көрсеткіштерді аламыз:

Бұл k — соңғы 14 күнде сатып алушы сатып алған әрбір өнім үшін алынған ұқсас өнімдердің саны.
Бұл тәсіл әсіресе біздің клиентіміз үшін жақсы жұмыс істеді, ол үшін пайдаланушының сатып алу тарихында бұрыннан бар ештеңені ұсынбау өте маңызды болды.

Кеш сатып алу мерзімі

Біз бұрыннан белгілі болғандай, тауарларды сатып алудың жоғары жиілігіне байланысты бірінші тәсіл біздің нақты қажеттіліктеріміз үшін жақсы жұмыс істейді. Бірақ кір жуғыш ұнтақ/шампунь/т.б. сияқты тауарлар туралы не деуге болады. Яғни, әр апта сайын немесе екі рет қажет болуы екіталай және бұрынғы әдістер шығара алмайтын өнімдермен. Бұл келесі идеяға әкеледі - өнімді көбірек сатып алған тұтынушылар үшін әрбір өнімді орташа есеппен сатып алу мерзімін есептеу ұсынылады. k бір рет. Содан кейін сатып алушының таусылғанын шығарыңыз. Тауарлар үшін есептелген мерзімдердің сәйкестігін көзбен тексеруге болады:

Содан кейін біз өнім кезеңінің соңы ұсыныстар өндірісте болатын уақыт аралығына келетін-келмейтінін қарастырамыз және не болатынын таңдаймыз. Тәсілді келесідей көрсетуге болады:

Мұнда қарастыруға болатын 2 негізгі жағдай бар:

1. Өнімді K реттен аз сатып алған тұтынушылардан өнімдерді іріктеу қажет пе.
2. Егер оның кезеңінің соңы мақсатты интервалдың басталуына дейін келсе, өнімнің сынамасын алу қажет пе?

Келесі график бұл әдіс әртүрлі гиперпараметрлермен қандай нәтижелерге қол жеткізетінін көрсетеді:

ft — Өнімді кем дегенде K (мұнда K=5) рет сатып алған тұтынушыларды ғана алыңыз
tm — Мақсатты интервалға түсетін үміткерлерді ғана алыңыз

Оның қабілетті болуы ғажап емес (0, 0) ең үлкен еске түсіру және ең кішісі дәлдігі, өйткені бұл жағдайда ең көп үміткерлер алынады. Дегенмен, белгілі бір өнімді аз сатып алған тұтынушылар үшін өнімдерді сынамау кезінде ең жақсы нәтижелерге қол жеткізіледі k рет және үзінді, оның ішінде мерзімінің аяқталуы мақсатты интервалға дейін келетін тауарлар.

Санат бойынша танымал

Тағы бір айқын идея - әртүрлі санаттар немесе брендтер бойынша танымал өнімдерді таңдау. Мұнда біз әрбір сатып алушы үшін есептейміз top-k «таңдаулы» санаттарды/брендтерді және осы санаттан/брендтен «танымал» шығарып алыңыз. Біздің жағдайда біз өнімді сатып алу саны бойынша «сүйікті» және «танымал» анықтаймыз. Бұл тәсілдің қосымша артықшылығы оның суық іске қосу жағдайында қолданылуы болып табылады. Яғни, не өте аз сатып алған, не дүкенге ұзақ уақыт келмеген, не адалдық картасын жаңадан шығарған тұтынушылар үшін. Олар үшін тұтынушылар арасында танымал және бұрыннан бар тарихы бар өнімдерді шығару оңайырақ және жақсырақ. Алынған көрсеткіштер:

Мұндағы «категория» сөзінен кейінгі сан санаттың орналасу деңгейін білдіреді.

Тұтастай алғанда, тар санаттардың жақсы нәтижелерге қол жеткізуі таңқаларлық емес, өйткені олар сатып алушылар үшін дәлірек «сүйікті» өнімдерді шығарады.

Әртүрлі тауарларды апта сайын баламалы сатып алу

Рекомендациялық жүйелер туралы мақалаларда көрмеген қызықты тәсіл - бұл өте қарапайым және сонымен бірге Марков тізбектерінің жұмыс істейтін статистикалық әдісі. Мұнда біз 2 түрлі аптаны аламыз, содан кейін әрбір тұтынушы үшін жұп өнімдерді құрастырамыз [i аптасында сатып алынды]-[j аптасында сатып алынды], мұндағы j > i, және осы жерден біз әрбір өнім үшін келесі аптада басқа өнімге ауысу ықтималдығын есептейміз. Яғни, әрбір тауар жұбы үшін өнім-өнімj Табылған жұптардағы олардың санын санап, жұп санына бөлеміз, мұнда өнімдер бірінші аптада болды. Үміткерлерді алу үшін біз сатып алушының соңғы түбіртегі мен үзіндісін аламыз top-k біз алған өтпелі матрицадан ең ықтимал келесі өнімдер. Өтпелі матрицаны құру процесі келесідей:

Өтпелі ықтималдық матрицасындағы нақты мысалдардан біз келесі қызықты құбылыстарды көреміз:

Мұнда сіз тұтынушылардың мінез-құлқында анықталатын қызықты тәуелділіктерді байқай аласыз: мысалы, цитрус жемістерін жақсы көретіндер немесе олар басқасына ауысуы мүмкін сүт бренді. Сондай-ақ, сары май сияқты қайталанатын сатып алу жиілігі жоғары өнімдердің де осында аяқталуы таңқаларлық емес.

Марков тізбегі бар әдістегі көрсеткіштер келесідей:

k — сатып алушының соңғы транзакциясынан әрбір сатып алынған өнім үшін алынатын өнімдердің саны.
Көріп отырғанымыздай, ең жақсы нәтиже k=4 болатын конфигурация арқылы көрсетіледі. 4-ші аптадағы өсуді мерекелердегі маусымдық мінез-құлықпен түсіндіруге болады. 

Сатып алушыларға ұқсас өнімдер әртүрлі модельдермен жасалған сипаттамаларға сәйкес

Енді біз ең қиын және қызықты бөлікке келдік - тұтынушылардың векторлары мен әртүрлі модельдер бойынша жасалған өнімдер негізінде жақын көршілерді іздеу. Біздің жұмысымызда біз осындай 3 модельді қолданамыз:

• ALS
• Word2Vec (осындай тапсырмалар үшін Item2Vec)
• DSSM

Біз ALS-пен айналыстық, оның қалай үйренетіні туралы оқи аласыз осында. Word2Vec жағдайында біз үлгінің белгілі іске асырылуын қолданамыз gensim. Мәтіндерге ұқсастық бойынша біз ұсынысты сатып алу түбіртегі ретінде анықтаймыз. Осылайша, өнім векторын құру кезінде модель түбіртектегі өнім үшін оның «контекстін» (түбіртектегі қалған өнімдер) болжауды үйренеді. Электрондық коммерция деректерінде түбіртектің орнына сатып алушының сеансын қолданған дұрыс; жігіттер Озон. Ал DSSM талдау үшін қызықтырақ. Бастапқыда оны Microsoft-тың жігіттері іздеу үлгісі ретінде жазған, Зерттеу жұмысының түпнұсқасын мына жерден оқи аласыз. Модельдің архитектурасы келесідей көрінеді:

Бұл Q — сұрау, пайдаланушы іздеу сұрауы, D[i] — құжат, интернет парағы. Модельге енгізу сәйкесінше сұраныс пен беттердің атрибуттары болып табылады. Әрбір кіріс қабатынан кейін толық қосылған бірнеше қабаттар (көпқабатты перцептрон) болады. Содан кейін модель модельдің соңғы қабаттарында алынған векторлар арасындағы косинусты азайтуды үйренеді.
Ұсыныс тапсырмалары дәл сол архитектураны пайдаланады, тек сұраныстың орнына пайдаланушы, ал беттердің орнына өнімдер бар. Ал біздің жағдайда бұл архитектура келесіге өзгереді:

Енді нәтижелерді тексеру үшін соңғы нүктені қамту қалды - егер ALS және DSSM жағдайында бізде нақты анықталған пайдаланушы векторлары болса, Word2Vec жағдайында бізде тек өнім векторлары бар. Мұнда пайдаланушы векторын құру үшін біз 3 негізгі тәсілді анықтадық:

1. Тек векторларды қосыңыз, содан кейін косинус қашықтығы үшін біз сатып алу тарихындағы өнімдерді жай ғана орташалағанымыз белгілі болды.
2. Уақытты өлшеумен векторлық қосынды.
3. TF-IDF коэффициенті бар тауарларды өлшеу.

Сатып алушы векторының сызықты салмағы жағдайында, пайдаланушының кеше сатып алған өнімі оның мінез-құлқына алты ай бұрын сатып алған өнімге қарағанда көбірек әсер етеді деген гипотезадан шығамыз. Сонымен, біз сатып алушының алдыңғы аптасын 1 коэффициентімен және ½, ⅓ және т.б. коэффициенттермен кейін не болғанын қарастырамыз:

TF-IDF коэффициенттері үшін біз мәтіндерге арналған TF-IDF-дегідей орындаймыз, тек біз сатып алушыны құжат ретінде, ал чекті ұсыныс ретінде қарастырамыз, сәйкесінше сөз өнім болып табылады. Осылайша, пайдаланушының векторы сирек тауарларға көбірек ауысады, ал сатып алушы үшін жиі және таныс тауарлар оны көп өзгертпейді. Тәсілді келесідей көрсетуге болады:

Енді көрсеткіштерді қарастырайық. ALS нәтижелері келесідей:

Сатып алушы векторын құрудың әртүрлі нұсқалары бар Item2Vec көрсеткіштері:

Бұл жағдайда дәл сол үлгі біздің базалық үлгідегідей пайдаланылады. Жалғыз айырмашылық - біз қай k қолданамыз. Тек бірлескен үлгілерді пайдалану үшін әрбір тұтынушы үшін шамамен 50-70 жақын өнімді алу керек.

Және DSSM бойынша көрсеткіштер:

Барлық әдістерді қалай біріктіруге болады?

Керемет, сіз айтасыз, бірақ кандидатты алу құралдарының осындай үлкен жиынтығымен не істеу керек? Деректеріңіз үшін оңтайлы конфигурацияны қалай таңдауға болады? Мұнда бізде бірнеше мәселе бар:

1. Әрбір әдісте гиперпараметрлерді іздеу кеңістігін қандай да бір жолмен шектеу қажет. Бұл, әрине, барлық жерде дискретті, бірақ мүмкін болатын нүктелердің саны өте көп.
2. Арнайы гиперпараметрлері бар арнайы әдістердің шағын шектеулі үлгісін пайдалану арқылы метрика үшін ең жақсы конфигурацияны қалай таңдауға болады?

Біз бірінші сұраққа әлі нақты дұрыс жауапты таппадық, сондықтан біз келесіден шығамыз: әрбір әдіс үшін бізде бар деректер бойынша кейбір статистикалық мәліметтерге байланысты гиперпараметрлік іздеу кеңістігін шектегіш жазылады. Осылайша, адамдардан сатып алулар арасындағы орташа кезеңді біле отырып, біз «сатып алынған нәрсе» және «өткен сатып алу кезеңі» әдісін қай кезеңде қолдану керектігін болжай аламыз.

Әртүрлі әдістердің белгілі бір сәйкес вариацияларынан өткеннен кейін біз мынаны атап өтеміз: әрбір іске асыру үміткерлердің белгілі бір санын шығарады және біз үшін негізгі метриканың белгілі бір мәніне ие болады (еске түсіру). Біз рұқсат етілген есептеу қуатына байланысты, мүмкін болатын ең жоғары көрсеткішпен үміткерлердің белгілі бір санын алғымыз келеді. Мұнда мәселе рюкзак мәселесіне әдемі түрде түседі.

Мұнда үміткерлер саны құйма салмағы, ал кері қайтарып алу әдісі оның құны болып табылады. Дегенмен, алгоритмді енгізу кезінде ескеру қажет тағы 2 тармақ бар:

• Әдістердің олар шығарып алатын кандидаттарда сәйкес келуі мүмкін.
• Кейбір жағдайларда әртүрлі параметрлермен бір әдісті екі рет қабылдау дұрыс болады және біріншіден үміткердің нәтижесі екіншісінің ішкі жиыны болмайды.

Мысалы, іздеу үшін әртүрлі аралықтары бар «мен не сатып алдым» әдісін жүзеге асыруды алсақ, онда олардың кандидаттар жиыны бір-біріне кірістірілген болады. Сонымен қатар, шығудағы «кезеңдік сатып алулардағы» әртүрлі параметрлер толық қиылысуды қамтамасыз етпейді. Сондықтан біз әртүрлі параметрлері бар іріктеу тәсілдерін блоктарға бөлеміз, осылайша әрбір блоктан арнайы гиперпараметрлері бар ең көбі бір экстракция тәсілін алғымыз келеді. Мұны істеу үшін сізге сөмке мәселесін орындауда аздап ақылды болу керек, бірақ асимптотика мен нәтиже өзгермейді.

Бұл ақылды комбинация жай бірлескен үлгілермен салыстырғанда келесі көрсеткіштерді алуға мүмкіндік береді:

Соңғы көрсеткіштерде біз келесі суретті көреміз:

Дегенмен, мұнда бизнес үшін пайдалы ұсыныстардың бір ашылмаған нүктесі бар екенін байқауға болады. Енді біз пайдаланушының не сатып алатынын болжау бойынша керемет жұмысты қалай жасау керектігін, мысалы, келесі аптада үйрендік. Бірақ ол сатып алатын нәрсеге жеңілдік беру өте жақсы емес. Бірақ, мысалы, келесі көрсеткіштерді күтуді барынша арттыру өте жақсы:

1. Жеке ұсыныстарға негізделген маржа/айналым.
2. Клиенттердің орташа тексеруі.
3. Келу жиілігі.

Сонымен, біз алынған ықтималдықтарды әртүрлі коэффициенттерге көбейтеміз және жоғарыдағы көрсеткіштерге әсер ететін өнімдер жоғарыға шығу үшін оларды қайта реттейміз. Қай тәсілді қолданған дұрыс деп дайын шешім жоқ. Тіпті, мұндай коэффициенттермен тікелей өндірісте тәжірибе жасаймыз. Бірақ мұнда ең жақсы нәтиже беретін қызықты әдістер бар:

1. Өнімнің бағасына/маржасына көбейтіңіз.
2. Өнім пайда болатын орташа түбіртекпен көбейтіңіз. Осылайша тауарлар пайда болады, олар әдетте басқа нәрсені алады.
3. Бұл өнім адамдарды оны жиі қайтаруға итермелейді деген гипотеза негізінде осы өнімді сатып алушылардың келуінің орташа жиілігіне көбейтіңіз.

Коэффициенттермен тәжірибе жүргізгеннен кейін өндірісте келесі көрсеткіштерді алдық:

Бұл жалпы өнімдерді түрлендіру — біз жасаған ұсыныстардағы барлық өнімдерден сатып алынған өнімдердің үлесі.

Мұқият оқырман офлайн және онлайн көрсеткіштер арасындағы айтарлықтай айырмашылықты байқайды. Бұл әрекет үлгіні үйрету кезінде ұсынылуы мүмкін өнімдерге арналған барлық динамикалық сүзгілердің ескерілмейтіндігімен түсіндіріледі. Біз үшін алынған үміткерлердің жартысын сүзгілеуге болатын қалыпты оқиға; бұл ерекшелік біздің салаға тән.

Кіріс бойынша келесі әңгіме алынды, ұсынымдар іске қосылғаннан кейін сынақ тобының кірісі қатты өсіп жатқаны анық, қазір біздің ұсыныстарымызбен кірістің орташа өсімі 3-4% құрайды:

Қорытындылай келе, егер сізге нақты уақыттағы емес ұсыныстар қажет болса, онда сапаның өте үлкен өсуін ұсыныстарға үміткерлерді алу эксперименттерінен табуға болатынын айтқым келеді. Олардың ұрпақтары үшін көп уақыт көптеген жақсы әдістерді біріктіруге мүмкіндік береді, бұл жалпы бизнес үшін тамаша нәтиже береді.

Мен материалды қызықты деп тапқан кез келген адаммен түсініктемелерде сөйлесуге қуаныштымын. Маған жеке сұрақтарыңызды қоюға болады жеделхат. Мен сондай-ақ AI/стартаптар туралы өз ойларыммен бөлісемін телеграм каналы -қош келдіңіз :)

Ақпарат көзі: www.habr.com