Hamıya salam! Mənim adım Saşadır, mən LoyaltyLab-da texniki direktor və həmtəsisçisiyəm. İki il əvvəl dostlarımla bütün kasıb tələbələr kimi axşam evin yaxınlığındakı ən yaxın mağazaya pivə içməyə getdik. Pivəyə gələcəyimizi bilən pərakəndə satıcının çipsə və ya krakerə endirim etməməsi bizi çox üzdü, baxmayaraq ki, bu çox məntiqlidir! Bu vəziyyətin niyə baş verdiyini anlamadıq və öz şirkətimizi yaratmağa qərar verdik. Yaxşı, bonus olaraq, hər cümə günü eyni fişlər üçün özünüz üçün endirimlər yazın.
Və hər şey o yerə çatdı ki, mən məhsulun texniki tərəfindəki materialla danışıram . İşimizi ictimaiyyətlə bölüşməkdən məmnunuq, ona görə də hesabatımı məqalə şəklində yerləşdirirəm.
Giriş
Səyahətimizin əvvəlində hər kəs kimi, biz də tövsiyə sistemlərinin necə qurulduğuna ümumi baxışla başladıq. Və aşağıdakı tipli memarlıq ən populyar oldu:
İki hissədən ibarətdir:
- Tövsiyə üçün namizədlərin sadə və sürətli, adətən birgə modellə seçilməsi.
- Məlumatlardakı bütün mümkün xüsusiyyətləri nəzərə alaraq, daha mürəkkəb və daha yavaş məzmun modeli ilə namizədlərin sıralanması.
Burada və aşağıda aşağıdakı terminlərdən istifadə edəcəyəm:
- namizəd / tövsiyələr üçün namizəd - potensial olaraq istehsalda tövsiyələrə daxil ola bilən bir cüt istifadəçi məhsulu.
- namizədlərin çıxarılması/çıxarıcı/namizədin çıxarılması üsulu — mövcud məlumatlardan “tövsiyələrə namizədlərin” çıxarılması prosesi və ya üsulu.
Birinci mərhələdə, adətən, birgə filtrləmənin müxtəlif variasiyalarından istifadə olunur. Ən populyar - . Təəccüblüdür ki, tövsiyə sistemləri haqqında məqalələrin əksəriyyəti ilk mərhələdə əməkdaşlıq modellərində müxtəlif təkmilləşdirmələri aşkar edir, lakin heç kim digər seçmə üsulları haqqında danışmır. Bizim üçün yalnız birgə modellərdən və onlarla müxtəlif optimallaşdırmalardan istifadə yanaşması gözlədiyimiz keyfiyyətlə nəticə vermədi, ona görə də xüsusi olaraq bu hissədə araşdırmaya başladıq. Məqalənin sonunda mən ALS-i nə qədər yaxşılaşdıra bildiyimizi göstərəcəyəm ki, bu da bizim bazamız idi.
Yanaşmamızı təsvir etməyə keçməzdən əvvəl qeyd etmək vacibdir ki, real vaxt tövsiyələri ilə, 30 dəqiqə əvvəl baş vermiş məlumatları nəzərə almaq bizim üçün vacib olduqda, doğru zamanda işləyə biləcək bir çox yanaşma yoxdur. Ancaq bizim vəziyyətimizdə tövsiyələri gündə bir dəfədən çox olmayaraq, əksər hallarda isə həftədə bir dəfə toplamaq məcburiyyətindəyik ki, bu da bizə kompleks modellərdən istifadə etmək və keyfiyyəti artırmaq imkanı verir.
Namizədlərin çıxarılması vəzifəsində yalnız ALS-nin göstərdiyi metrikləri əsas götürək. Nəzarət etdiyimiz əsas göstəricilər bunlardır:
- Dəqiqlik - seçilmiş namizədlərdən düzgün seçilmiş namizədlərin nisbəti.
- Geri çağırma - hədəf intervalında olanlar arasında baş verən namizədlərin nisbəti.
- F1-hesab - əvvəlki iki xal üzrə hesablanmış F-balı.
Əlavə məzmun xüsusiyyətləri ilə gradient gücləndirilməsini öyrətdikdən sonra son modelin ölçülərinə də baxacağıq. Həmçinin 3 əsas göstərici var:
- precision@5 — hər bir müştəri üçün ehtimala görə ilk 5-likdə olan hitlərin orta faizi.
- respond-rate@5 — alıcıların mağazaya səfərindən ən azı bir şəxsi təklifin alınmasına çevrilməsi (bir təklifdə 5 məhsul var).
- istifadəçi başına orta hesabla roc-auc - orta hər bir alıcı üçün.
Bütün bu göstəricilərin ölçüldüyünü qeyd etmək vacibdir , yəni təlim ilk k həftədə baş verir və k + 1 həftə test məlumatları kimi götürülür. Beləliklə, mövsümi enişlər modellərin keyfiyyətinin şərhinə minimal təsir göstərmişdir. Bundan əlavə, bütün diaqramlarda absis oxu çarpaz doğrulamada həftə sayını, ordinat oxu isə göstərilən metrikanın dəyərini göstərəcək. Bütün qrafiklər bir müştərinin əməliyyat məlumatlarına əsaslanır ki, onların arasında müqayisə düzgün olsun.
Öz yanaşmamızı təsvir etməyə başlamazdan əvvəl gəlin əvvəlcə ALS üzrə təlim keçmiş model olan bazaya nəzər salaq.
Namizədin çıxarılması metrikləri:
Son göstəricilər:
Alqoritmlərin bütün tətbiqlərini bir növ biznes fərziyyəsi kimi qəbul edirəm. Beləliklə, çox kobud şəkildə, hər hansı bir əməkdaşlıq modelləri "insanlar özləri kimi insanların aldıqları şeyi almağa meyllidirlər" hipotezi kimi qəbul edilə bilər. Dediyim kimi, biz özümüzü belə semantika ilə məhdudlaşdırmadıq və burada hələ də oflayn pərakəndə satışda məlumatlar üzərində yaxşı işləyən bəzi fərziyyələr var:
- Daha əvvəl nə almısınız.
- Əvvəllər aldığım kimi.
- Uzun keçmiş alış dövrü.
- Kateqoriya/brend üzrə məşhurdur.
- Həftədən həftəyə müxtəlif malların alternativ alışları (Markov zəncirləri).
- Fərqli modellər (Word2Vec, DSSM və s.) tərəfindən qurulmuş xüsusiyyətlərə görə alıcılara oxşar məhsullar.
Əvvəl nə almısan
Baqqal pərakəndə satışında çox yaxşı işləyən ən bariz evristik. Burada sadiqlik kartı sahibinin son K gündə (adətən 1-3 həftə) və ya bir il əvvəl K gün ərzində aldığı bütün malları götürürük. Yalnız bu metodu tətbiq etməklə biz aşağıdakı göstəriciləri əldə edirik:
Burada tamamilə aydındır ki, biz dövrü nə qədər çox götürsək, bir o qədər çox xatırlama və daha az dəqiqliyə sahib oluruq və əksinə. Müştərilər üçün orta hesabla daha yaxşı nəticələr “son 2 həftə” verir.
Əvvəllər aldığım kimi
Təəccüblü deyil ki, "əvvəllər satın alınanlar" ərzaq pərakəndə satışı üçün yaxşı işləyir, lakin namizədləri yalnız istifadəçinin artıq satın aldıqlarından çıxarmaq o qədər də gözəl deyil, çünki alıcını hansısa yeni məhsulla təəccübləndirmək mümkün deyil. Buna görə də, biz eyni əməkdaşlıq modellərindən istifadə edərək bu evristikanı bir qədər təkmilləşdirməyi təklif edirik. ALS təlimi zamanı əldə etdiyimiz vektorlardan istifadəçinin artıq aldığı məhsullara oxşar məhsullar əldə edə bilərsiniz. Bu fikir video məzmuna baxmaq xidmətlərindəki “oxşar videolar”a çox bənzəyir, lakin istifadəçinin müəyyən bir anda nə yediyini/aldığını bilmədiyimiz üçün biz yalnız onun artıq aldığı şeyə bənzər bir şey axtara bilərik, Xüsusilə biz bunun nə qədər yaxşı işlədiyini artıq bildiyimiz üçün. Bu metodu son 2 həftə ərzində istifadəçi əməliyyatlarına tətbiq etməklə, biz aşağıdakı göstəriciləri əldə edirik:
Burada k - son 14 gün ərzində alıcı tərəfindən alınmış hər bir məhsul üçün əldə edilən oxşar məhsulların sayı.
Bu yanaşma, istifadəçinin satın alma tarixçəsində olanları heç tövsiyə etməməkdə kritik olan bir müştəri üçün xüsusilə yaxşı işlədi.
Uzun keçmiş alış müddəti
Artıq aşkar etdiyimiz kimi, malların alınmasının yüksək tezliyi səbəbindən birinci yanaşma bizim xüsusiyyətlərimiz üçün yaxşı işləyir. Bəs paltaryuyan toz/şampun/s. kimi mallar haqqında nə demək olar? Yəni, hər həftə və ya iki həftədə ehtiyac duyulmayan və əvvəlki üsullarla çıxarıla bilməyən məhsullarla. Bu, aşağıdakı fikri nəzərdə tutur - məhsulu daha çox alan alıcılar üçün hər bir məhsulun alış müddətini orta hesabla hesablamaq təklif olunur. k bir dəfə. Və sonra çox güman ki, alıcının artıq tükəndiyi şeyi çıxarın. Mallar üçün hesablanmış müddətlər adekvatlıq üçün gözlərlə yoxlanıla bilər:
Və sonra məhsul dövrünün sonunun tövsiyələrin istehsalda olacağı vaxt intervalına düşdüyünü görəcəyik və düşənləri nümunə götürəcəyik. Bu yanaşma belə təsvir edilə bilər:
Burada nəzərdən keçirilə biləcək 2 əsas hal var:
- Məhsulu K dəfədən az alan müştərilər üçün məhsulların nümunə götürülməsi.
- Məhsulun dövrünün sonu hədəf intervalın başlamasından əvvəl olarsa, ondan nümunə götürülüb-görülməməsi.
Aşağıdakı qrafik belə bir metodun müxtəlif hiperparametrlərlə hansı nəticələri əldə etdiyini göstərir:
ft - Yalnız məhsulu ən azı K (burada K = 5) dəfə alan alıcıları götürün
tm — Yalnız hədəf intervalına düşən namizədləri götürün
Təəccüblü deyil, bacarır (0, 0) ən böyük geri və ən kiçik dəqiqlik, çünki bu şərtlə ən çox namizəd çıxarılır. Ancaq ən yaxşı nəticələr müəyyən bir məhsulu daha az alan müştərilər üçün məhsul nümunəsi almadıqda əldə edilir k dəfə və çıxarış, digər şeylər arasında, dövrü sonu hədəf intervaldan əvvəl düşən mallar.
Kateqoriyaya görə məşhurdur
Başqa bir açıq fikir, müxtəlif kateqoriyalar və ya markalar üzrə məşhur məhsulların nümunəsini götürməkdir. Burada hər bir müştəri üçün hesablayırıq top-k "sevimli" kateqoriyalar/brendlər və həmin kateqoriyadan/brenddən "məşhur" çıxarın. Bizim vəziyyətimizdə biz “sevimli” və “populyar”ı məhsul alışlarının sayına görə müəyyən edirik. Bu yanaşmanın əlavə üstünlüyü onun soyuq başlanğıc vəziyyətində tətbiq edilməsidir. Yəni, ya çox az alış-veriş etmiş, ya da uzun müddət mağazada olmayan və ya ümumiyyətlə, yalnız loyallıq kartı çıxarmış müştərilər üçün. Onlar üçün, mövcud tarixi olan alıcılar arasında məşhur olan malları atmaq daha asan və yaxşıdır. Metriklər aşağıdakılardır:
Burada “kateqoriya” sözündən sonrakı rəqəm kateqoriyanın yuva səviyyəsini bildirir.
Ümumiyyətlə, daha dar kateqoriyaların daha yaxşı nəticələr əldə etməsi təəccüblü deyil, çünki onlar alıcılar üçün daha dəqiq “sevimli” məhsulları çıxarırlar.
Həftədən həftəyə müxtəlif malların alternativ alışları
Tövsiyə sistemləri haqqında məqalələrdə görmədiyim maraqlı bir yanaşma, Markov zəncirlərinin kifayət qədər sadə və eyni zamanda işləyən statistik üsuludur. Burada biz 2 fərqli həftə çəkirik, sonra hər bir müştəri üçün cüt məhsullar hazırlayırıq [i həftəsində alınıb]-[j həftəsində alınıb], burada j > i, və buradan hər bir məhsul üçün gələn həftə başqa məhsula keçid ehtimalını hesablayırıq. Yəni hər bir cüt mal üçün məhsul-məhsulj tapılan cütlərdə onların sayını hesablayın və cütlərin sayına bölün, burada məhsuldar birinci həftədə idi. Namizədləri çıxarmaq üçün biz alıcının son çekini götürürük və alırıq top-k əldə etdiyimiz keçid matrisindən ən çox ehtimal olunan növbəti məhsullar. Keçid matrisinin qurulması prosesi belə görünür:
Keçid ehtimalları matrisindəki real nümunələrdən aşağıdakı maraqlı hadisələri görürük:
Burada istehlakçı davranışında aşkar edilən maraqlı asılılıqları görə bilərsiniz: məsələn, sitrus meyvələrini sevənlər və ya çox güman ki, digərinə keçdikləri süd markası. Kərə yağı kimi təkrar alışı yüksək olan məhsulların da burada bitməsi təəccüblü deyil.
Markov zəncirləri ilə metoddakı ölçülər aşağıdakılardır:
k - alıcının son əməliyyatından alınmış hər bir məhsul üçün əldə edilən məhsulların sayı.
Gördüyümüz kimi, k=4 olan konfiqurasiya ən yaxşı nəticəni göstərir. 4-cü həftədəki sıçrayış bayramlar ətrafında mövsümi davranışla izah edilə bilər.
Fərqli modellər tərəfindən qurulmuş xüsusiyyətlərə görə alıcılara oxşar məhsullar
Beləliklə, biz ən çətin və maraqlı hissəyə - alıcıların vektorlarında ən yaxın qonşuların axtarışına və müxtəlif modellərə görə qurulmuş məhsulların axtarışına gəlirik. İşimizdə 3 belə modeldən istifadə edirik:
- ALS
- Word2Vec (Belə tapşırıqlar üçün Item2Vec)
- DSSM
Biz artıq ALS ilə məşğul olmuşuq, onun necə öyrəndiyini oxuya bilərsiniz . Word2Vec vəziyyətində, modelin tanınmış tətbiqindən istifadə edirik gensim. Mətnlərə bənzətməklə, təklifi alış qəbzi kimi müəyyənləşdiririk. Beləliklə, məhsul vektorunu qurarkən model qəbzdəki məhsul (qabızdakı malların qalan hissəsi) üçün onun “kontekstini” proqnozlaşdırmağı öyrənir. Elektron ticarət məlumatlarında qəbz əvəzinə alıcının sessiyasından istifadə etmək daha yaxşıdır. . Və DSSM-ni sökmək daha maraqlıdır. Əvvəlcə Microsoft-dan olan uşaqlar tərəfindən axtarış modeli kimi yazılmışdır, . Modelin arxitekturası belə görünür:
Burada Q - sorğu, istifadəçinin axtarış sorğusu, D[i] - sənəd, veb səhifə. Modelin girişi müvafiq olaraq sorğunun və səhifələrin işarələrini alır. Hər bir giriş qatının ardınca bir sıra tam əlaqəli təbəqələr (çoxqatlı qəbuledici) gəlir. Daha sonra model modelin son qatlarında alınan vektorlar arasında kosinusu minimuma endirməyi öyrənir.
Tövsiyə tapşırıqları tam olaraq eyni arxitekturadan istifadə edir, lakin sorğu əvəzinə istifadəçi, səhifələr əvəzinə məhsullar var. Və bizim vəziyyətimizdə bu memarlıq aşağıdakılara çevrilir:
İndi nəticələri yoxlamaq üçün son nöqtəni əhatə etmək qalır - əgər ALS və DSSM vəziyyətində biz açıq şəkildə müəyyən edilmiş istifadəçi vektorlarımız varsa, Word2Vec vəziyyətində yalnız məhsul vektorlarımız var. Burada istifadəçi vektoru yaratmaq üçün 3 əsas yanaşma müəyyən etdik:
- Sadəcə vektorları əlavə edin, sonra kosinus məsafəsi üçün alış-veriş tarixçəsindəki məhsulları sadəcə orta hesabla götürdük.
- Müəyyən vaxt çəkisi ilə vektorların yekunu.
- TF-IDF əmsalı ilə malların çəkilməsi.
Alıcı vektorunun xətti çəkisi vəziyyətində, istifadəçinin dünən aldığı məhsulun altı ay əvvəl aldığı məhsuldan daha çox davranışına daha çox təsir etdiyi fərziyyəsindən çıxış edirik. Beləliklə, alıcının əvvəlki həftəsini 1 əmsalı ilə və ½, ⅓ və s. əmsallarla sonra nə baş verdiyini nəzərdən keçiririk:
TF-IDF əmsalları üçün biz mətnlər üçün TF-IDF-də olduğu kimi eyni şeyi edirik, yalnız biz alıcını sənəd, qəbzi isə təklif kimi qəbul edirik, müvafiq olaraq söz məhsuldur. Beləliklə, istifadəçi vektoru daha çox nadir mallara doğru dəyişəcək və tez-tez və alıcıya tanış olan mallar onu çox dəyişməyəcək. Bu yanaşma belə təsvir edilə bilər:
İndi ölçülərə baxaq. ALS nəticələri belə görünür:
Alıcı vektorunun qurulmasının müxtəlif variantları ilə Item2Vec üzrə ölçülər:
Bu halda, bizim bazada olduğu kimi eyni model istifadə olunur. Yeganə fərq, hansı k-dan istifadə edəcəyimizdir. Yalnız birgə modellərdən istifadə etmək üçün hər bir müştəri üçün təxminən 50-70 ən yaxın məhsul götürməlisiniz.
Və DSSM ölçüləri:
Bütün üsulları necə birləşdirmək olar?
Əla, deyirsən, amma bu qədər böyük bir namizəd çıxarma alətləri ilə nə etmək lazımdır? Məlumatlarınız üçün optimal konfiqurasiyanı necə seçmək olar? Burada bir neçə problemimiz var:
- Hər bir üsulda hiperparametrlər üçün axtarış yerini bir şəkildə məhdudlaşdırmaq lazımdır. Bu, əlbəttə ki, hər yerdə diskretdir, lakin mümkün nöqtələrin sayı çox böyükdür.
- Xüsusi hiperparametrləri olan xüsusi metodların kiçik məhdud nümunəsindən istifadə edərək metrikanız üçün ən yaxşı konfiqurasiyanı necə seçmək olar?
Biz hələ birinci suala birmənalı olaraq düzgün cavab tapmamışıq, ona görə də aşağıdakılardan hərəkət edirik: hər bir metod üçün əlimizdə olan məlumatların bəzi statistik göstəricilərindən asılı olaraq hiperparametr axtarış məkanı məhdudlaşdırıcısı yazılır. Beləliklə, insanlardan alınan alışlar arasındakı orta dövrü bilməklə, "artıq alınmış şey" və "uzun keçmiş alış dövrü" metodundan hansı dövrdə istifadə edəcəyimizi təxmin edə bilərik.
Fərqli metodların adekvat sayda dəyişməsindən keçdikdən sonra aşağıdakıları qeyd edirik: hər bir tətbiq müəyyən sayda namizədi çıxarır və bizim üçün əsas olan metrikanın (geri çağırma) müəyyən dəyərinə malikdir. Biz icazə verilən hesablama gücümüzdən asılı olaraq, mümkün olan ən yüksək metrik ilə cəmi müəyyən sayda namizəd əldə etmək istəyirik. Burada problem gözəl şəkildə çanta probleminə çevrilir.
Burada namizədlərin sayı külçənin çəkisi, geri çağırma metodu isə onun dəyəridir. Bununla belə, alqoritmi həyata keçirərkən nəzərə alınmalı olan daha 2 məqam var:
- Çıxardıqları namizədlərdə üsullar üst-üstə düşə bilər.
- Bəzi hallarda fərqli parametrlərlə bir metodu iki dəfə götürmək düzgün olacaq və birincinin çıxışında olan namizədlər ikincinin alt çoxluğu olmayacaq.
Məsələn, çıxarış üçün müxtəlif intervallarla “artıq alınmışdır” metodunun həyata keçirilməsini götürsək, onların namizəd dəstləri bir-birinə daxil olacaq. Eyni zamanda, çıxışda "dövri satınalmalarda" müxtəlif parametrlər tam kəsişmə vermir. Buna görə də, biz müxtəlif parametrləri olan seçmə üsullarını bloklara bölürük ki, hər blokdan xüsusi hiperparametrlərlə ən çoxu bir çıxarma yanaşması götürmək istəyirik. Bunu etmək üçün çanta probleminin həyata keçirilməsində bir az hiylə etməlisiniz, lakin asimptotiklər və nəticə bundan dəyişməyəcək.
Belə ağıllı birləşmə bizə sadəcə əməkdaşlıq modelləri ilə müqayisədə aşağıdakı göstəriciləri əldə etməyə imkan verir:
Son göstəricilərdə aşağıdakı şəkli görürük:
Bununla belə, burada biznes üçün faydalı olan tövsiyələr üçün açıqlanmayan bir məqamın olduğunu görə bilərsiniz. İndi biz istifadəçinin, məsələn, gələn həftə nə alacağını soyuqqanlı şəkildə proqnozlaşdırmağı öyrəndik. Ancaq hər halda alacağına görə endirim etmək çox gözəl deyil. Lakin, məsələn, aşağıdakı göstəricilərin gözləntilərini maksimuma çatdırmaq gözəldir:
- Şəxsi tövsiyələrə əsaslanan marja/dövriyyə.
- Alıcıların orta çeki.
- ziyarət tezliyi.
Beləliklə, biz əldə edilmiş ehtimalları müxtəlif əmsallarla çoxaldırıq və onları yenidən sıralayırıq ki, yuxarıdakı göstəricilərə təsir edən məhsullar daxil olsun. Burada hazır həll yoxdur, hansı yanaşmadan istifadə etmək daha yaxşıdır. Hətta biz belə əmsalları birbaşa istehsalda sınaqdan keçiririk. Ancaq ən çox bizə ən yaxşı nəticələr verən bəzi maraqlı fəndlər var:
- Əşyanın qiyməti/marjası ilə çarpın.
- Məhsulun baş verdiyi orta yoxlama ilə çarpın. Beləliklə, adətən başqa bir şey götürdükləri mallar çıxacaq.
- Bu məhsulun daha tez-tez geri qaytarılmasına səbəb olduğu fərziyyəsinə əsaslanaraq, bu məhsulun alıcıları tərəfindən orta ziyarət tezliyinə çarpın.
Əmsallarla təcrübə apardıqdan sonra istehsalda aşağıdakı göstəriciləri əldə etdik:
Burada ümumi məhsul çevrilməsi - yaratdığımız tövsiyələrdə bütün məhsullardan alınmış məhsulların payı.
Diqqətli oxucu oflayn və onlayn ölçülər arasında əhəmiyyətli fərq görəcək. Bu davranış, modeli öyrədərkən tövsiyə edilə bilən məhsullar üçün bütün dinamik filtrlərin nəzərə alına bilməməsi ilə izah olunur. Çıxarılan namizədlərin yarısının süzgəcdən keçirilə bilməsi bizim üçün normal bir hekayədir, belə bir spesifiklik sənayemiz üçün xarakterikdir.
Gəlir baxımından aşağıdakı hekayə əldə edilir, aydın olur ki, tövsiyələr işə salındıqdan sonra test qrupunun gəliri güclü şəkildə artır, indi tövsiyələrimizlə gəlirdə orta artım 3-4% təşkil edir:
Sonda demək istəyirəm ki, qeyri-real vaxtlı tövsiyələrə ehtiyacınız varsa, tövsiyələr üçün namizədlərin çıxarılması ilə aparılan təcrübələrdə keyfiyyətdə çox böyük bir artım tapılır. Onları yaratmaq üçün çox vaxt bir çox yaxşı metodları birləşdirməyə imkan verir ki, bu da ümumilikdə biznes üçün gözəl nəticələr verəcəkdir.
Materialı maraqlı tapan hər kəslə şərhlərdə söhbət etməkdən şad olaram. Mənə şəxsən sual verə bilərsiniz . Mən də AI/startuplar haqqında fikirlərimi paylaşıram -xoş gəldin 🙂
Mənbə: www.habr.com