Здравейте всички! Казвам се Саша, аз съм технически директор и съосновател в LoyaltyLab. Преди две години аз и моите приятели, като всички бедни студенти, отидохме вечер за бира до най-близкия магазин близо до къщата. Бяхме много разстроени, че търговецът, знаейки, че ще дойдем за бира, не предложи намаление на чипс или крекери, въпреки че това е толкова логично! Не разбирахме защо се случва тази ситуация и решихме да създадем собствена компания. Е, като бонус, пишете отстъпки за себе си всеки петък за същите тези чипове.

И всичко стигна дотам, че говоря с материал за техническата страна на продукта NVIDIA GTC. Щастливи сме да споделим работата си с общността, затова публикувам доклада си под формата на статия.

въведение

Както всички в началото на пътуването, ние започнахме с преглед на това как се правят препоръчителните системи. И архитектурата от следния тип се оказа най-популярна:

Състои се от две части:

1. Извадка от кандидати за препоръки чрез прост и бърз модел, обикновено съвместен.
2. Класиране на кандидатите по по-сложен и по-бавен модел на съдържание, като се вземат предвид всички възможни характеристики в данните.

Тук и по-долу ще използвам следните термини:

• кандидат/кандидат за препоръки - двойка потребителски продукт, който потенциално може да попадне в препоръки в производството.
• извличане на кандидати/екстрактор/метод за извличане на кандидати — процес или метод за извличане на „кандидати за препоръки“ от наличните данни.

На първата стъпка обикновено се използват различни варианти на съвместно филтриране. Най популярен - ALS. Изненадващо, повечето статии за препоръчителните системи разкриват само различни подобрения на моделите за сътрудничество на първия етап, но никой не говори за други методи за вземане на проби. За нас подходът на използване само на колаборативни модели и различни оптимизации с тях не работи с качеството, което очаквахме, така че се задълбочихме в изследването специално в тази част. И в края на статията ще покажа доколко успяхме да подобрим ALS, което беше нашата базова линия.

Преди да премина към описание на нашия подход, важно е да отбележа, че с препоръките в реално време, когато е важно за нас да вземем предвид данни, които са се случили преди 30 минути, наистина няма много подходи, които могат да работят в точното време. Но в нашия случай трябва да събираме препоръки не повече от веднъж на ден, а в повечето случаи - веднъж седмично, което ни дава възможност да използваме сложни модели и да умножим качеството.

Нека вземем за базова линия какви показатели показва само ALS при задачата за извличане на кандидати. Основните показатели, които наблюдаваме, са:

• Прецизност - съотношението на правилно избраните кандидати от включените в извадката.
• Спомнете си - съотношението на кандидатите, които са се случили от тези, които действително са били в целевия интервал.
• F1-резултат - F-резултат, изчислен върху предходните две точки.

Също така ще разгледаме показателите на крайния модел след обучение за повишаване на градиента с допълнителни функции за съдържание. Има и 3 основни показателя:

• precision@5 — среден процент на попадения от топ 5 по вероятност за всеки клиент.
• response-rate@5 — превръщане на купувачите от посещение на магазина в покупка на поне една лична оферта (една оферта съдържа 5 продукта).
• ср. roc-auc на потребител - средно рок-аук за всеки купувач.

Важно е да се отбележи, че всички тези показатели се измерват на кръстосано валидиране на времеви серии, т.е. обучението се провежда през първите k седмици, а k + 1 седмици се вземат като данни от теста. По този начин сезонните възходи/спадове имаха минимален ефект върху интерпретацията на качеството на моделите. Освен това, на всички диаграми, абсцисната ос ще показва номера на седмицата при кръстосано валидиране, а ординатната ос ще показва стойността на посочения показател. Всички графики са базирани на транзакционните данни на един клиент, така че сравнението между тях да е правилно.

Преди да започнем да описваме нашия подход, нека първо да разгледаме базовата линия, която е обученият ALS модел.
Показатели за извличане на кандидати:

Крайни показатели:

Аз третирам всички имплементации на алгоритми като някаква бизнес хипотеза. По този начин, много грубо, всякакви модели на сътрудничество могат да се разглеждат като хипотеза, че „хората са склонни да купуват това, което хора като тях купуват“. Както казах, ние не се ограничихме до такава семантика и ето някои хипотези, които все още работят страхотно върху данните в офлайн търговията на дребно:

1. Какво си купил преди.
2. Подобно на това, което купих преди.
3. Периодът на отдавна минала покупка.
4. Популярни по категория/марка.
5. Редуващи се покупки на различни стоки от седмица на седмица (вериги Марков).
6. Подобни продукти за купувачи, според характеристиките, изградени от различни модели (Word2Vec, DSSM и др.).

Какво си купи преди

Най-очевидната евристика, която работи много добре в търговията на дребно с хранителни стоки. Тук вземаме всички стоки, които притежателят на картата за лоялност е закупил през последните K дни (обикновено 1-3 седмици) или K дни преди година. Прилагайки само този метод, получаваме следните показатели:

Тук е съвсем очевидно, че колкото повече вземаме периода, толкова повече припомняме и по-малко прецизност имаме и обратно. По-добри резултати средно за клиентите дава “последните 2 седмици”.

Подобно на това, което купих преди

Не е изненадващо, че „какво е купено преди“ работи добре за търговията на дребно с хранителни стоки, но извличането на кандидати само от това, което потребителят вече е купил, не е много готино, защото е малко вероятно да бъде възможно да изненадате купувача с някакъв нов продукт. Затова предлагаме леко да подобрим тази евристика, като използваме същите модели за сътрудничество. От векторите, които получихме по време на ALS обучението, можете да получите подобни продукти на това, което потребителят вече е купил. Тази идея е много подобна на „подобни видеоклипове“ в услугите за гледане на видео съдържание, но тъй като не знаем какво яде/купува потребителят в даден момент, можем да търсим нещо подобно само на това, което той вече е купил, особено след като вече знаем колко добре работи. Прилагайки този метод върху потребителски транзакции през последните 2 седмици, получаваме следните показатели:

Тук k - броят на подобни продукти, които се извличат за всеки продукт, закупен от купувача през последните 14 дни.
Този подход работи особено добре за нас при клиент, който беше критичен да не препоръчва изобщо това, което вече е в историята на покупките на потребителя.

Отдавна изминал период на покупка

Както вече разбрахме, поради високата честота на закупуване на стоки, първият подход работи добре за нашите специфики. Но какво да кажем за стоки като прах за пране/шампоан/т.н. Тоест с продукти, които е малко вероятно да са необходими всяка седмица или две и които предишните методи не могат да извлекат. Това предполага следната идея - предлага се да се изчисли периодът на покупка на всеки продукт средно за купувачи, които са закупили продукта повече k веднъж. И след това извадете това, което най-вероятно купувачът вече е изчерпал. Изчислените периоди за стоки могат да бъдат проверени с очите за адекватност:

И тогава ще видим дали краят на продуктовия период попада във времевия интервал, когато препоръките ще бъдат в производство и ще пробваме това, което попада. Подходът може да се илюстрира така:

Тук имаме 2 основни случая, които могат да бъдат разгледани:

1. Дали да се вземат проби от продукти за клиенти, които са закупили продукта по-малко от K пъти.
2. Дали да се направи проба от продукта, ако краят на неговия период е преди началото на целевия интервал.

Следващата графика показва какви резултати постига такъв метод с различни хиперпараметри:

ft - Вземете само купувачи, които са закупили продукта поне K (тук K = 5) пъти
tm — Вземете само кандидати, които попадат в целевия интервал

Не е изненадващо, способен (0, 0) най-големият отзоваване и най-малката прецизност, тъй като при това условие се извличат най-много кандидати. Въпреки това, най-добри резултати се получават, когато не вземаме проби от продукти за клиенти, които са закупили даден продукт по-малко от k пъти и извлича, наред с други неща, стоки, чийто край на периода пада преди целевия интервал.

Популярни по категория

Друга доста очевидна идея е да се пробват популярни продукти в различни категории или марки. Тук изчисляваме за всеки клиент топ-к „любими“ категории/марки и извличане на „популярни“ от тази категория/марка. В нашия случай, ние определяме „любим“ и „популярен“ според броя на покупките на продукта. Допълнително предимство на този подход е неговата приложимост при студен старт. Тоест за клиенти, които са направили или много малко покупки, или не са били в магазина от дълго време, или като цяло са издали само карта за лоялност. За тях е по-лесно и най-добре да хвърлят стоки от популярни сред купувачите със съществуваща история. Показателите са както следва:

Тук числото след думата „категория“ означава нивото на влагане на категорията.

Като цяло също не е изненадващо, че по-тесните категории постигат по-добри резултати, тъй като те извличат по-точни „любими“ продукти за купувачите.

Редуващи се покупки на различни стоки от седмица на седмица

Интересен подход, който не съм виждал в статии за препоръчителни системи, е доста прост и в същото време работещ статистически метод на веригите на Марков. Тук отделяме 2 различни седмици, след което за всеки клиент изграждаме двойки продукти [купено през седмица i]-[купено през седмица j], където j > i, и оттук изчисляваме за всеки продукт вероятността за преминаване към друг продукт следващата седмица. Тоест за всяка двойка стоки producti-productj пребройте техния брой в намерените двойки и разделете на броя на двойките, където продукти беше през първата седмица. За да извлечем кандидати, ние вземаме последната проверка на купувача и получаваме топ-к най-вероятните следващи продукти от преходната матрица, която получихме. Процесът на изграждане на преходна матрица изглежда така:

От реални примери в матрицата на вероятностите за преход виждаме следните интересни явления:

Тук можете да забележите интересни зависимости, които се разкриват в потребителското поведение: например любители на цитрусови плодове или марка мляко, от която най-вероятно преминават към друга. Също така не е изненадващо, че артикулите с много повторни покупки, като масло, също се озовават тук.

Метриките в метода с вериги на Марков са следните:

k - броят на продуктите, които се извличат за всеки артикул, закупен от последната транзакция на купувача.
Както виждаме, конфигурацията с k=4 показва най-добър резултат. Скокът на седмица 4 може да се обясни със сезонното поведение около празниците. 

Подобни продукти за купувачи, според характеристиките, изградени от различни модели

Така стигаме до най-трудната и интересна част - търсенето на най-близките съседи във векторите на купувачите и продуктите, изградени по различни модели. В нашата работа използваме 3 такива модела:

• ALS
• Word2Vec (Item2Vec за такива задачи)
• DSSM

Вече се занимавахме с ALS, можете да прочетете как се учи тук. В случая с Word2Vec използваме добре познатата реализация на модела от gensim. По аналогия с текстовете определяме офертата като разписка за покупка. По този начин, когато конструира продуктовия вектор, моделът се научава да предвиди своя „контекст“ за продукта в разписката (останалата част от стоките в разписката). В данните за електронната търговия е по-добре да използвате сесията на купувача вместо разписка, момчетата от Озон. А DSSM е по-интересен за разглобяване. Първоначално е написано от момчетата от Microsoft като модел за търсене, можете да прочетете оригиналната изследователска статия тук. Архитектурата на модела изглежда така:

Тук Q - заявка, заявка за търсене на потребителя, D[i] - документ, уеб страница. Входът на модела получава съответно знаците на заявката и страниците. Всеки входен слой е последван от редица напълно свързани слоеве (многослоен перцептрон). След това моделът се научава да минимизира косинуса между векторите, получени в последните слоеве на модела.
Задачите за препоръки използват точно същата архитектура, но вместо заявка има потребител, а вместо страници има продукти. И в нашия случай тази архитектура се трансформира в следното:

Сега, за да проверим резултатите, остава да покрием последната точка - ако в случая на ALS и DSSM имаме изрично дефинирани потребителски вектори, то в случая на Word2Vec имаме само продуктови вектори. Тук, за да изградим потребителски вектор, идентифицирахме 3 основни подхода:

1. Просто добавете векторите, след което за косинусното разстояние се оказва, че току-що сме осреднили продуктите в историята на пазаруване.
2. Сумиране на вектори с известно времево тегло.
3. Претегляне на стоки с коефициент TF-IDF.

В случай на линейно претегляне на вектора на купувача, ние изхождаме от хипотезата, че продуктът, който потребителят е купил вчера, има по-голямо влияние върху неговото поведение, отколкото продуктът, който е купил преди шест месеца. Така че разглеждаме предходната седмица на купувача с коефициент 1 и какво се случи след това с коефициенти ½, ⅓ и т.н.:

За коефициентите TF-IDF правим точно същото нещо като при TF-IDF за текстове, само че разглеждаме купувача като документ, а чека като оферта, съответно думата е продукт. Така потребителският вектор ще се измести повече към редки стоки, а стоките, които са чести и познати на купувача, няма да го променят много. Подходът може да се илюстрира така:

Сега нека да разгледаме показателите. Ето как изглеждат резултатите от ALS:

Метрики от Item2Vec с различни варианти на конструиране на вектора на купувача:

В този случай се използва точно същият модел като в нашата базова линия. Единствената разлика е кое k ще използваме. За да използвате само колаборативни модели, трябва да вземете около 50-70 най-близки продукта за всеки клиент.

И DSSM показатели:

Как да комбинирате всички методи?

Готино, ще кажете, но какво да правите с такъв голям набор от инструменти за извличане на кандидати? Как да изберете оптималната конфигурация за вашите данни? Тук имаме няколко проблема:

1. Необходимо е по някакъв начин да се ограничи пространството за търсене на хиперпараметри във всеки метод. Разбира се, навсякъде е дискретно, но броят на възможните точки е много голям.
2. Как да изберете най-добрата конфигурация за вашия показател, като използвате малка ограничена извадка от конкретни методи със специфични хиперпараметри?

Все още не сме намерили недвусмислено правилен отговор на първия въпрос, така че изхождаме от следното: за всеки метод е написан ограничител на пространството за търсене на хиперпараметър, в зависимост от някои статистически данни за данните, които имаме. По този начин, знаейки средния период между покупките от хората, можем да познаем с какъв период да използваме метода „какво вече е купено“ и „периода на отдавна минала покупка“.

И след като сме преминали през достатъчен брой вариации на различни методи, отбелязваме следното: всяка реализация извлича определен брой кандидати и има определена стойност на метриката (recall), която е ключова за нас. Искаме да получим общ брой кандидати, в зависимост от нашата допустима изчислителна мощност, с възможно най-високия показател. Тук проблемът красиво се срива в проблема с раницата.

Тук броят на кандидатите е теглото на блока, а извикването на метода е неговата стойност. Има обаче още 2 точки, които трябва да се вземат предвид при прилагането на алгоритъма:

• Методите може да имат припокриване в кандидатите, които изтеглят.
• В някои случаи ще бъде правилно да вземете един метод два пъти с различни параметри и кандидатите на изхода на първия няма да бъдат подмножество на втория.

Например, ако вземем прилагането на метода „какво вече е закупено“ с различни интервали за извличане, тогава техните набори от кандидати ще бъдат вложени един в друг. В същото време различните параметри в "периодичните покупки" на изхода не дават пълно пресичане. Следователно, ние разделяме методите за вземане на проби с различни параметри на блокове, така че от всеки блок да искаме да вземем най-много един подход за извличане със специфични хиперпараметри. За да направите това, трябва да хитрувате малко в изпълнението на проблема с раницата, но асимптотиката и резултатът няма да се променят от това.

Такава умна комбинация ни позволява да получим следните показатели в сравнение с обикновени модели за сътрудничество:

В крайната метрика виждаме следната картина:

Тук обаче можете да видите, че има една непокрита точка за препоръки, които са полезни за бизнеса. Сега току-що се научихме как хладно да прогнозираме какво ще купи потребителят, например, следващата седмица. Но просто да дадете отстъпка за факта, че той все пак ще купи, не е много готино. Но е страхотно да увеличите максимално очакванията, например, на следните показатели:

1. Марж/оборот въз основа на лични препоръки.
2. Средна проверка на купувачите.
3. честота на посещение.

Така че ние умножаваме получените вероятности с различни коефициенти и ги класираме отново, така че горната част да включва продукти, които влияят на горните показатели. Тук няма готово решение, кой подход е по-добре да използвате. Дори ние експериментираме с такива коефициенти директно в производството. Но ето някои интересни трикове, които най-често ни дават най-добри резултати:

1. Умножете по цената/маржа на артикула.
2. Умножете по средния чек, в който се среща продуктът. Така ще излезе стоката, с която обикновено вземат нещо друго.
3. Умножете по средната честота на посещения от купувачи на този продукт, въз основа на хипотезата, че този продукт предизвиква по-чести връщания за него.

След като експериментирахме с коефициенти, получихме следните показатели в производството:

Тук цялостно преобразуване на продукта - делът на закупените продукти от всички продукти в препоръките, които генерирахме.

Внимателният читател ще забележи значителна разлика между офлайн и онлайн показателите. Това поведение се обяснява с факта, че не всички динамични филтри за продукти, които могат да бъдат препоръчани, могат да бъдат взети предвид при обучението на модела. За нас е нормална история, когато половината от извлечените кандидати могат да бъдат филтрирани, такава специфика е типична за нашата индустрия.

По отношение на приходите се получава следната история, ясно е, че след пускането на препоръките приходите на тестовата група нарастват силно, сега средното увеличение на приходите с нашите препоръки е 3-4%:

В заключение искам да кажа, че ако имате нужда от препоръки извън реално време, тогава много голямо увеличение на качеството се открива при експерименти с извличане на кандидати за препоръки. Голямото време за генерирането им дава възможност да се комбинират много добри методи, които като цяло ще дадат страхотни резултати за бизнеса.

Ще се радвам да разговарям в коментарите с всеки, който намира материала за интересен. Можете да ми задавате въпроси лично телеграма. Също така споделям мислите си относно AI/стартиращите компании в моя телеграм канал — добре дошли 🙂

Източник: www.habr.com