Здраво свима! Моје име је Саша, ја сам технички директор и суоснивач у ЛоиалтиЛаб-у. Пре две године, моји другари и ја, као и сви сиромашни ђаци, отишли ​​смо увече да купимо пиво у најближој продавници код наше куће. Били смо веома узнемирени што продавац, знајући да ћемо доћи по пиво, није понудио попуст на чипс или крекере, иако је то било тако логично! Нисмо разумели зашто се ова ситуација дешава и одлучили смо да покренемо сопствену компанију. Па, као бонус, дајте себи попусте сваког петка на те исте чипове.

И све је дошло до тачке у којој представљам материјал о техничкој страни производа НВИДИА ГТЦ. Са задовољством можемо да поделимо свој рад са заједницом, па објављујем свој извештај у облику чланка.

Увод

Као и сви други на почетку путовања, почели смо са прегледом како се праве системи препорука. И испоставило се да је најпопуларнија архитектура следећег типа:

Састоји се из два дела:

1. Узорковање кандидата за препоруке помоћу једноставног и брзог модела, обично колаборативног.
2. Рангирање кандидата са сложенијим и споријим моделом садржаја, узимајући у обзир све могуће карактеристике у подацима.

У наставку ћу користити следеће термине:

• кандидат/кандидат за препоруке — пар корисник-производ који би потенцијално могао бити укључен у препоруке у производњи.
• метода екстракције кандидата/екстрактора/кандидата — процес или метод за издвајање „кандидата за препоруку“ из доступних података.

Први корак обично укључује коришћење различитих варијација колаборативног филтрирања. Најпопуларнији - АЛС. Изненађујуће је да већина чланака о системима за препоруке открива само различита побољшања колаборативних модела у првој фази, али нико не говори много о другим методама узорковања. За нас приступ коришћења само колаборативних модела и разних оптимизација са њима није функционисао са квалитетом који смо очекивали, па смо се задубили у истраживање управо о овом делу. И на крају чланка ћу показати колико смо били у стању да побољшамо АЛС, што је била наша основна линија.

Пре него што пређем на описивање нашег приступа, важно је напоменути да у препорукама у реалном времену, када нам је важно да узмемо у обзир податке који су се десили пре 30 минута, заиста нема много приступа који могу да функционишу у потребном времену. Али, у нашем случају, препоруке морамо да прикупљамо не више од једном дневно, а у већини случајева - једном недељно, што нам даје прилику да користимо сложене моделе и вишеструко побољшамо квалитет.

Узмимо као основу које метрике показује само АЛС на задатку издвајања кандидата. Кључни показатељи које пратимо су:

• Прецизност - пропорција исправно одабраних кандидата од узоркованих.
• Подсећање је удео кандидата који су се десили у односу на оне који су заиста били у циљном интервалу.
• Ф1-сцоре - Ф-мера израчуната на претходна два поена.

Такође ћемо погледати метрику коначног модела након тренинга појачања градијента са додатним функцијама садржаја. Овде такође постоје 3 главне метрике:

• прецизност@5 - просечан проценат производа из првих 5 у смислу вероватноће за сваког купца.
• респонсе-рате@5 - конверзија купаца са посете продавници на куповину најмање једне личне понуде (5 производа у једној понуди).
• просечан роц-ауц по кориснику – просек роц-ауц за сваког купца.

Важно је напоменути да се сви ови показатељи мере на основу унакрсна провера временских серија, односно тренинг се дешава у првих к недеља, а к+1 недеља се узима као подаци теста. Тако су сезонски успони и падови имали минималан утицај на интерпретацију квалитета модела. Даље на свим графиконима, оса апсцисе ће означавати број недеље у унакрсној валидацији, а оса ордината ће означавати вредност наведене метрике. Сви графикони су засновани на подацима о трансакцијама од једног клијента тако да су међусобно поређења тачна.

Пре него што почнемо да описујемо наш приступ, прво ћемо погледати основну линију, која је модел обучен за АЛС.
Показатељи тражења кандидата:

Коначни показатељи:

Све имплементације алгоритама третирам као неку врсту пословне хипотезе. Дакле, веома грубо, сваки модел сарадње може се сматрати хипотезом да „људи имају тенденцију да купују оно што купују људи слични њима“. Као што сам већ рекао, нисмо се ограничили на такву семантику, а ево неких хипотеза које добро функционишу на подацима у малопродаји ван мреже:

1. Које сам већ раније купио.
2. Слично ономе што сам раније купио.
3. Период давне куповине.
4. Популарно по категорији/бренду.
5. Наизменичне куповине различите робе из недеље у недељу (Марковљеви ланци).
6. Слични производи купцима, према карактеристикама које су изградили различити модели (Ворд2Вец, ДССМ, итд.).

Шта сте раније купили?

Најочигледнија хеуристика која веома добро функционише у малопродаји прехрамбених производа. Овде узимамо сву робу коју је власник картице лојалности купио у последњих К дана (обично 1-3 недеље) или К дана пре годину дана. Применом само ове методе добијамо следеће метрике:

Овде је сасвим очигледно да што дуже узимамо период, то имамо више присећања и мање прецизности и обрнуто. У просеку, „последње 2 недеље“ дају боље резултате за клијенте.

Слично ономе што сам купио раније

Није изненађујуће што за малопродају прехрамбених производа „оно што сам раније купио“ добро функционише, али издвајање кандидата само из онога што је корисник већ купио није баш кул, јер је мало вероватно да ће купац изненадити неким новим производом. Стога предлажемо да мало побољшамо ову хеуристику користећи исте моделе сарадње. Од вектора које смо добили током АЛС тренинга можемо добити сличне производе онима које је корисник већ купио. Ова идеја је веома слична „сличним видео записима“ у сервисима за гледање видео садржаја, али пошто не знамо шта корисник једе/купује у одређеном тренутку, можемо само да тражимо оне сличне оним што је већ купио, посебно пошто ми већ знамо колико добро функционише. Примењујући овај метод на трансакције корисника у последње 2 недеље, добијамо следеће показатеље:

Овде k — број сличних производа који се преузимају за сваки производ који је купац купио у последњих 14 дана.
Овај приступ је посебно добро функционисао за нашег клијента, коме је било кључно да не препоручи ништа што је већ било у историји куповине корисника.

Касни период куповине

Као што смо већ сазнали, због велике учесталости куповине робе, први приступ добро функционише за наше специфичне потребе. Али шта је са робом као што је прашак за прање/шампон/итд. То јест, са производима за које је мало вероватно да ће бити потребни сваке недеље или две и које претходне методе не могу да извуку. Ово доводи до следеће идеје - предлаже се израчунавање периода куповине сваког производа у просеку за купце који су купили производ више k једном. А онда извуците оно чега је купцу највероватније већ понестало. Адекватност израчунатих периода за робу може се проверити вашим очима:

А онда ћемо погледати да ли крај периода производа пада у временски интервал када ће препоруке бити у производњи и узорковати шта се дешава. Приступ се може илустровати овако:

Овде имамо 2 главна случаја која се могу узети у обзир:

1. Да ли је потребно узорковати производе од купаца који су купили производ мање од К пута.
2. Да ли је потребно узорковати производ ако крај његовог периода пада пре почетка циљног интервала.

Следећи графикон показује какве резултате овај метод постиже са различитим хиперпараметрима:

ft — Узмите само купце који су купили производ најмање К (овде К=5) пута
tm — Узмите само кандидате који спадају у циљни интервал

Није изненађујуће што је у стању (КСНУМКС, КСНУМКС) највећи опозвати и најмањи прецизност, пошто се под овим условом извлачи највише кандидата. Међутим, најбољи резултати се постижу када не узоркујемо производе за купце који су одређени производ купили мање од k времена и екстракт, укључујући робу, чији је крај периода пре циљног интервала.

Популарно по категорији

Још једна прилично очигледна идеја је узорковање популарних производа у различитим категоријама или брендовима. Овде израчунавамо за сваког купца топ-к „омиљене“ категорије/брендови и издвојити „популарно“ из ове категорије/брендове. У нашем случају, „омиљено“ и „популарно“ ћемо одредити по броју куповина производа. Додатна предност овог приступа је његова применљивост у случају хладног старта. Односно, за купце који су или обавили врло мало куповина, или нису били у продавници дуго времена, или су управо издали картицу лојалности. За њих је лакше и боље складиштити артикле који су популарни код купаца и који имају историју. Добијени показатељи су:

Овде број иза речи „категорија“ означава ниво угнежђења категорије.

Све у свему, такође није изненађујуће што уже категорије постижу боље резултате, јер извлаче прецизније „омиљене“ производе за купце.

Наизменичне куповине различите робе из недеље у недељу

Занимљив приступ који нисам видео у чланцима о системима препорука је прилично једноставан и истовремено функционалан статистички метод Марковљевих ланаца. Овде узимамо 2 различите недеље, а затим за сваког купца правимо парове производа [купљено у недељи и]-[купљено у недељи ј], где је ј > и, и одавде израчунавамо за сваки производ вероватноћу преласка на други производ следеће недеље. Односно, за сваки пар робе продуцти-продуцтј Бројимо њихов број у пронађеним паровима и делимо са бројем парова, где продуцти било у првој недељи. Да бисмо издвојили кандидате, узимамо купчеву последњу потврду и извод топ-к највероватније следећи производи из прелазне матрице које смо добили. Процес конструисања прелазне матрице изгледа овако:

Из стварних примера у матрици вероватноће транзиције видимо следеће занимљиве појаве:

Овде можете приметити занимљиве зависности које се откривају у понашању потрошача: на пример, љубитељи цитрусног воћа или марке млека са које ће вероватно прећи на другу. Такође није изненађујуће да производи са великом учесталошћу поновљених куповина, попут путера, такође завршавају овде.

метрике у методи са Марковљевим ланцима су следеће:

k — број производа који се преузимају за сваки купљени производ из последње трансакције купца.
Као што видимо, најбољи резултат показује конфигурација са к=4. Нагли пораст у недељи 4 може се објаснити сезонским понашањем око празника. 

Слични производи купцима, према карактеристикама које су изградили различити модели

Сада смо дошли до најтежег и најинтересантнијег дела – тражења најближих суседа на основу вектора купаца и производа направљених по различитим моделима. У свом раду користимо 3 таква модела:

• АЛС
• Ворд2Вец (Итем2Вец за такве задатке)
• ДССМ

Већ смо се бавили АЛС-ом, можете прочитати како се учи овде. У случају Ворд2Вец користимо добро познату имплементацију модела из генсим. По аналогији са текстовима, понуду дефинишемо као рачун. Дакле, када се конструише вектор производа, модел учи да предвиди за производ у признаници његов „контекст“ (преостале производе у признаници). У подацима о е-трговини, боље је користити сесију купца уместо признанице; момци из Озон. А ДССМ је занимљивији за рашчлањивање. У почетку су га писали момци из Мицрософта као модел за претрагу, Оригинални истраживачки рад можете прочитати овде. Архитектура модела изгледа овако:

Овде Q — упит, упит за претрагу корисника, Д[и] — документ, интернет страница. Улаз у модел су атрибути захтева и страница, респективно. После сваког улазног слоја постоји одређени број потпуно повезаних слојева (вишеслојни перцептрон). Затим, модел учи да минимизира косинус између вектора добијених у последњим слојевима модела.
Задаци препоруке користе потпуно исту архитектуру, само уместо захтева постоји корисник, а уместо страница производи. А у нашем случају, ова архитектура се трансформише у следеће:

Сада, да бисмо проверили резултате, остаје да покријемо последњу тачку - ако у случају АЛС и ДССМ имамо експлицитно дефинисане корисничке векторе, онда у случају Ворд2Вец имамо само векторе производа. Овде, да бисмо изградили кориснички вектор, дефинисали смо 3 главна приступа:

1. Само додајте векторе, а затим за косинусну удаљеност испада да смо једноставно усредсредили производе у историји куповине.
2. Векторско сумирање са одређеним временским пондерисањем.
3. Вагање робе са ТФ-ИДФ коефицијентом.

У случају линеарног пондерисања вектора купца, полазимо од хипотезе да производ који је корисник јуче купио има већи утицај на његово понашање од производа који је купио пре шест месеци. Дакле, разматрамо претходну недељу купца са квотом 1, и шта се следеће десило са квотом од ½, ⅓, итд.:

За ТФ-ИДФ коефицијенте радимо потпуно исто као у ТФ-ИДФ за текстове, само што купца сматрамо документом, а чек као понудом, односно реч је производ. На овај начин ће се корисников вектор више померити ка реткој роби, док честа и позната роба купцу неће много променити. Приступ се може илустровати овако:

Сада погледајмо метрику. Овако изгледају резултати АЛС:

метрике за Итем2Вец са различитим варијацијама конструисања вектора купца:

У овом случају се користи потпуно исти модел као у нашој бази. Једина разлика је који к ћемо користити. Да бисте користили само колаборативне моделе, морате узети око 50-70 најближих производа за сваког купца.

И метрике према ДССМ-у:

Како комбиновати све методе?

Кул, кажете, али шта учинити са тако великим скупом алата за екстракцију кандидата? Како одабрати оптималну конфигурацију за своје податке? Овде имамо неколико проблема:

1. Неопходно је некако ограничити простор за претрагу хиперпараметара у свакој методи. То је, наравно, свуда дискретно, али је број могућих тачака веома велики.
2. Користећи мали ограничени узорак специфичних метода са специфичним хиперпараметрима, како можете изабрати најбољу конфигурацију за своју метрику?

На прво питање још нисмо нашли дефинитивно тачан одговор, па полазимо од следећег: за сваки метод је написан лимитер простора за претрагу хиперпараметара, у зависности од неке статистике о подацима којима располажемо. Дакле, знајући просечан период између куповина људи, можемо да претпоставимо са којим периодом да користимо методе „оно што је већ купљено“ и „период давно прошле куповине“.

А након што смо прошли кроз одређени адекватан број варијација различитих метода, примећујемо следеће: свака имплементација издваја одређени број кандидата и има за нас одређену вредност кључне метрике (подсетимо). Желимо да добијемо укупно одређени број кандидата, у зависности од наше дозвољене рачунарске снаге, са највећом могућом метриком. Овде се проблем лепо урушава у проблем ранца.

Овде је број кандидата тежина ингота, а метода опозива је његова вредност. Међутим, постоје још 2 тачке које треба узети у обзир приликом имплементације алгоритма:

• Методе се можда преклапају у кандидатима које пронађу.
• У неким случајевима, биће исправно узети један метод два пута са различитим параметрима, а излаз кандидата из првог неће бити подскуп другог.

На пример, ако узмемо примену методе „шта сам већ купио“ са различитим интервалима за проналажење, онда ће њихови скупови кандидата бити угнежђени један у другом. Истовремено, различити параметри у „периодичној куповини” на излазу не обезбеђују потпуну раскрсницу. Због тога делимо приступе узорковања са различитим параметрима на блокове тако да из сваког блока желимо да узмемо највише један приступ екстракције са специфичним хиперпараметрима. Да бисте то урадили, морате бити мало паметни у имплементацији проблема ранца, али асимптотика и резултат се неће променити.

Ова паметна комбинација нам омогућава да добијемо следеће метрике у поређењу са једноставним моделима за сарадњу:

У коначној метрици видимо следећу слику:

Међутим, овде можете приметити да постоји једна неоткривена тачка за препоруке које су корисне за пословање. Сада смо управо научили како да урадимо одличан посао предвиђања шта ће корисник купити, на пример, следеће недеље. Али једноставно давање попуста на нешто што ће већ купити није баш кул. Али добро је максимизирати очекивања, на пример, од следећих показатеља:

1. Маржа/промет на основу личних препорука.
2. Просечан чек купца.
3. Учесталост посета.

Тако да добијене вероватноће множимо различитим коефицијентима и поново их рангирамо тако да производи који утичу на горњу метрику дођу до врха. Не постоји готово решење за који приступ је најбоље користити. Чак експериментишемо са таквим коефицијентима директно у производњи. Али ево занимљивих техника које нам најчешће дају најбоље резултате:

1. Помножите са ценом/маржом производа.
2. Помножите са просечним рачуном у коме се производ појављује. Тако ће доћи роба, уз коју обично узимају нешто друго.
3. Помножите са просечном учесталошћу посета купаца овог производа, на основу хипотезе да овај производ провоцира људе да се чешће враћају по њега.

Након спровођења експеримената са коефицијентима, добили смо следеће метрике у производњи:

Овде укупна конверзија производа — удео купљених производа од свих производа у препорукама које смо генерисали.

Пажљив читалац ће приметити значајну разлику између офлајн и онлајн метрике. Ово понашање се објашњава чињеницом да се сви динамички филтери за производе који се могу препоручити не могу узети у обзир приликом обуке модела. За нас је нормална прича када се половина преузетих кандидата може филтрирати; ова специфичност је типична за нашу индустрију.

Што се тиче прихода, добија се следећа прича, јасно је да након лансирања препорука, приход тест групе снажно расте, сада је просечно повећање прихода са нашим препорукама 3-4%:

У закључку, желим да кажем да ако су вам потребне препоруке које нису у реалном времену, онда се у експериментима са издвајањем кандидата за препоруке може наћи веома велико повећање квалитета. Велика количина времена за њихову генерацију омогућава комбиновање многих добрих метода, што ће укупно дати одличне резултате за посао.

Биће ми драго да разговарам у коментарима са свима којима је материјал занимљив. Можете ми лично постављати питања на телеграм. Такође делим своја размишљања о АИ/стартуповима у мом телеграм канал - Добродошли :)

Извор: ввв.хабр.цом