Sannu duka! Sunana Sasha, Ni ne CTO & Co-kafa a LoyaltyLab. Shekaru biyu da suka wuce, ni da abokaina, kamar sauran dalibai matalauta, mun tafi da yamma don shan giya zuwa kantin mafi kusa da gidan. Mun yi baƙin ciki sosai cewa dillalin, da sanin cewa za mu zo don giya, bai bayar da rangwame a kan chips ko crackers, ko da yake wannan yana da ma'ana! Ba mu fahimci dalilin da yasa wannan yanayin ke faruwa ba kuma muka yanke shawarar ƙirƙirar kamfani namu. Da kyau, a matsayin kari, rubuta rangwame don kanku kowace Juma'a don waɗannan guntu guda ɗaya.

Kuma komai ya kai matsayin da nake magana da kayan a bangaren fasaha na samfurin a NVIDIA GTC. Muna farin cikin raba ayyukanmu ga al'umma, don haka ina buga rahotona ta hanyar rubutu.

Gabatarwar

Kamar kowa a farkon tafiya, mun fara tare da bayyani na yadda ake yin tsarin bada shawarwari. Kuma tsarin gine-gine na nau'in mai zuwa ya zama mafi mashahuri:

Ya ƙunshi sassa biyu:

Samfuran ƴan takara don shawarwari ta tsari mai sauƙi da sauri, yawanci haɗin gwiwa.
Matsayin ƴan takara ta hanyar mafi rikitarwa kuma a hankali samfurin abun ciki, la'akari da duk yuwuwar fasalulluka a cikin bayanan.

Anan da ƙasa zan yi amfani da waɗannan sharuɗɗan:

dan takara / dan takara don shawarwari - samfurin mai amfani, wanda zai iya shiga cikin shawarwarin samarwa.
’yan takara hakar/harar/hanyar fitar da dan takara - tsari ko hanya don fitar da "'yan takara don shawarwari" daga bayanan da aka samu.

A mataki na farko, ana amfani da bambance-bambance daban-daban na tace haɗin gwiwa. Mafi shahara - ALS. Abin mamaki shine, yawancin labarai game da tsarin masu ba da shawara kawai suna bayyana gyare-gyare iri-iri ga samfuran haɗin gwiwa a matakin farko, amma babu wanda yayi magana game da wasu hanyoyin samfur. A gare mu, tsarin yin amfani da samfuran haɗin gwiwa kawai da haɓaka daban-daban tare da su bai yi aiki tare da ingancin da muke tsammani ba, don haka mun haƙa cikin binciken musamman akan wannan ɓangaren. Kuma a ƙarshen labarin zan nuna yadda muka sami damar inganta ALS, wanda shine tushen mu.

Kafin in ci gaba da kwatanta tsarinmu, yana da mahimmanci a lura cewa tare da shawarwari na ainihi, lokacin da yake da mahimmanci a gare mu muyi la'akari da bayanan da suka faru minti 30 da suka wuce, hakika babu hanyoyi da yawa waɗanda zasu iya aiki a daidai lokacin. Amma, a cikin yanayinmu, dole ne mu tattara shawarwari ba fiye da sau ɗaya a rana ba, kuma a mafi yawan lokuta - sau ɗaya a mako, wanda ya ba mu damar yin amfani da samfurori masu rikitarwa da kuma ninka ingancin.

Bari mu ɗauki tushen abin da ma'auni kawai ALS ke nunawa akan aikin fitar da 'yan takara. Mahimman ma'auni da muke saka idanu su ne:

Madaidaici - adadin ƴan takarar da aka zaɓa daidai daga waɗanda aka ƙirƙira.
Tuna - adadin ƴan takarar da suka faru daga cikin waɗanda a zahiri suke cikin tazarar manufa.
F1-maki - F-maki da aka lissafta akan maki biyu da suka gabata.

Za mu kuma duba ma'auni na samfurin ƙarshe bayan horar da haɓaka gradient tare da ƙarin fasalulluka na abun ciki. Hakanan akwai manyan ma'auni guda 3:

precision@5 - matsakaicin kaso na hits daga saman 5 ta yuwuwar kowane abokin ciniki.
amsa-rate@5 - juyar da masu siye daga ziyarar shagon zuwa siyan aƙalla tayin sirri ɗaya ( tayin ɗaya ya ƙunshi samfuran 5).
avg roc-auc kowane mai amfani - matsakaici roka-auc ga kowane mai siye.

Yana da mahimmanci a lura cewa duk waɗannan ma'auni an auna su akan tabbatarwa-jeri-lokaci, wato horo yana faruwa a cikin makonnin k na farko, kuma ana ɗaukar makonni k + 1 azaman bayanan gwaji. Don haka, haɓakawa na yanayi na yanayi yana da ɗan ƙaramin tasiri akan fassarar ingancin samfuran. Bugu da ari, a kan dukkan sigogi, abscissa axis zai nuna lambar mako a cikin tabbatarwar giciye, kuma madaidaicin axis zai nuna ƙimar ƙayyadaddun awo. Duk jadawali sun dogara ne akan bayanan ma'amala na abokin ciniki ɗaya, don kwatancen tsakanin su daidai ne.

Kafin mu fara bayyana tsarin mu, bari mu fara duba tushen tushe, wanda shine samfurin horar da ALS.
Ma'aunin Fitar Dan takara:

Ma'auni na ƙarshe:

Ina ɗaukar duk aiwatar da algorithms azaman wani nau'in hasashe na kasuwanci. Don haka, a zahiri, kowane nau'in haɗin gwiwar ana iya la'akari da shi azaman hasashe cewa "mutane suna son siyan abin da mutane kamar su suke saya". Kamar yadda na ce, ba mu iyakance kanmu ga irin waɗannan ilimin tauhidi ba, kuma ga wasu hasashe waɗanda har yanzu suna aiki da kyau akan bayanai a cikin dillalan layi:

Me kuka saya a baya.
Kama da abin da na saya a baya.
Lokacin dogon siyan da ya gabata.
Shahararren ta nau'i/iri.
Sayayya daban-daban na kayayyaki daban-daban daga mako zuwa mako (Markov sarƙoƙi).
Irin waɗannan samfurori ga masu siye, bisa ga halayen da samfura daban-daban suka gina (Word2Vec, DSSM, da sauransu).

Me kuka saya a baya

Mafi bayyane heuristic wanda ke aiki sosai a cikin kantin kayan miya. Anan muna ɗaukar duk kayan da mai katin aminci ya saya a cikin kwanakin K na ƙarshe (yawanci makonni 1-3), ko kwanakin K shekara guda da ta gabata. Yin amfani da wannan hanyar kawai, muna samun ma'auni masu zuwa:

A bayyane yake a nan cewa idan muka ɗauki lokacin, ƙarin tunawa da ƙarancin daidaito muke da shi kuma akasin haka. Kyakkyawan sakamako akan matsakaita ga abokan ciniki yana ba da "makonni 2 na ƙarshe".

Kama da abin da na saya a baya

Ba abin mamaki ba ne, "abin da ya saya a baya" yana aiki da kyau don kantin kayan miya, amma fitar da 'yan takara kawai daga abin da mai amfani ya rigaya ya saya ba shi da kyau sosai, saboda yana da wuya cewa zai yiwu a yi mamakin mai siye da sabon samfurin. Don haka, muna ba da shawara don haɓaka wannan ɗanɗano ta hanyar amfani da samfuran haɗin gwiwa iri ɗaya. Daga vectors da muka samu yayin horon ALS, zaku iya samun samfuran iri ɗaya zuwa abin da mai amfani ya rigaya ya saya. Wannan ra'ayin ya yi kama da "bidiyoyin makamantansu" a cikin ayyukan kallon abun ciki na bidiyo, amma tun da ba mu san abin da mai amfani ke ci / siya a wani lokaci ba, za mu iya neman wani abu mai kama da abin da ya riga ya saya kawai, musamman da yake mun riga mun san yadda yake aiki sosai. Yin amfani da wannan hanyar akan ma'amalar mai amfani a cikin makonni 2 da suka gabata, muna samun ma'auni masu zuwa:

Yana da k - adadin makamantan samfuran da aka dawo dasu don kowane samfurin da mai siye ya saya a cikin kwanaki 14 da suka gabata.
Wannan hanyar ta yi aiki da kyau musamman a gare mu akan abokin ciniki wanda ke da mahimmanci kada ya ba da shawarar kwata-kwata abin da ke cikin tarihin siyan mai amfani.

Dogon lokacin siyan da ya gabata

Kamar yadda muka riga muka gano, saboda yawan yawan siyan kaya, hanyar farko tana aiki da kyau ga ƙayyadaddun mu. Amma menene game da kayayyaki kamar wankin foda/shampoo/da sauransu. Wato, tare da samfuran da ba za a iya buƙata kowane mako ko biyu ba kuma waɗanda hanyoyin da suka gabata ba za su iya cirewa ba. Wannan yana nuna ra'ayi mai zuwa - an ba da shawarar yin lissafin lokacin siyan kowane samfur akan matsakaici don masu siye waɗanda suka sayi samfurin fiye da haka. k sau ɗaya. Sannan a fitar da abin da mai yiwuwa mai saye ya riga ya ƙare. Za a iya bincika lokutan ƙididdiga don kaya tare da idanu don dacewa:

Kuma a sa'an nan za mu ga idan ƙarshen samfurin lokaci ya fadi a cikin tazarar lokaci lokacin da shawarwarin za su kasance a cikin samarwa da samfurin abin da ya fadi. Hanyar za a iya misalta kamar haka:

Anan muna da manyan batutuwa guda 2 waɗanda za a iya la'akari da su:

Ko don samfurin samfuran ga abokan cinikin da suka sayi samfurin ƙasa da sau K.
Ko samfurin samfurin idan ƙarshen lokacin sa ya faɗi kafin farkon tazarar manufa.

Jadawalin da ke gaba yana nuna sakamakon da irin wannan hanyar ta cimma tare da hyperparameters daban-daban:

ft - Dauki kawai masu siye waɗanda suka sayi samfurin aƙalla K (a nan K = 5) sau
tm - Dauki 'yan takara kawai waɗanda suka fada cikin tazarar manufa

Ba mamaki, iya (0, 0) mafi girma tuna kuma mafi ƙanƙanta daidai, tunda a karkashin wannan yanayin ana fitar da mafi yawan 'yan takara. Koyaya, ana samun sakamako mafi kyau lokacin da ba mu samar da samfuran samfuran ga abokan cinikin da suka sayi takamaiman samfur ƙasa da k lokuta da cirewa, a tsakanin sauran abubuwa, kayan da ƙarshen haila ya faɗi kafin tazarar da aka yi niyya.

Shahararren ta Category

Wani tabbataccen ra'ayi shine a gwada samfuran shahararrun samfuran a cikin nau'i daban-daban ko nau'ikan iri. Anan muna lissafin kowane abokin ciniki saman-k Rukuni/samfuran “mafi so” kuma a fitar da “sananniya” daga wannan nau’in/tambarin. A cikin yanayinmu, muna ayyana "mafi so" da "sanannun" ta yawan siyayyar samfur. Ƙarin fa'idar wannan hanyar ita ce zartar da shi a cikin yanayin farawa mai sanyi. Wato, ga abokan cinikin da suka yi sayayya kaɗan, ko kuma ba su daɗe a kantin sayar da su ba, ko kuma gabaɗaya sun ba da katin aminci kawai. A gare su, yana da sauƙi kuma mafi kyau don jefa kaya daga mashahuri tare da masu siye tare da tarihin da ke akwai. Ma'auni sune kamar haka:

Anan, lambar bayan kalmar “categori” tana nufin matakin gurbi na rukunin.

Gabaɗaya, kuma ba abin mamaki ba ne cewa ƙananan nau'ikan suna samun sakamako mafi kyau, yayin da suke fitar da ingantaccen samfuran "fi so" ga masu siye.

Sayayya daban-daban na kayayyaki daban-daban daga mako zuwa mako

Hanya mai ban sha'awa wanda ban gani ba a cikin labaran game da tsarin masu ba da shawara abu ne mai sauƙi kuma a lokaci guda yana aiki da tsarin ƙididdiga na Markov. Anan muna ɗaukar makonni 2 daban-daban, sannan ga kowane abokin ciniki muna gina samfuran nau'i-nau'i [sayi a cikin mako i] - [sayi a cikin mako j], inda j> i, kuma daga nan muna ƙididdigewa ga kowane samfurin yiwuwar canzawa zuwa wani samfurin mako mai zuwa. Wato ga kowane nau'i na kaya samfuri-samfurin ƙidaya adadin su a cikin nau'i-nau'i da aka samo kuma raba ta adadin nau'i-nau'i, inda samfuri ya kasance a cikin makon farko. Don fitar da 'yan takara, mun ɗauki rajistan karshe na mai siye kuma mu samu saman-k mafi kusantar samfurori na gaba daga matrix miƙa mulki da muka samu. Tsarin gina matrix miƙa mulki yayi kama da haka:

Daga ainihin misalan a cikin matrix na yiwuwar canji, muna ganin abubuwan ban sha'awa masu zuwa:

Anan zaka iya lura da abubuwan dogaro masu ban sha'awa waɗanda aka bayyana a cikin halayen mabukaci: alal misali, masu son citrus ko alamar madara, wanda galibi suna canzawa zuwa wani. Har ila yau, ba abin mamaki ba ne cewa abubuwa masu babban maimaita sayayya, kamar man shanu, suma sun ƙare a nan.

Ma'auni a cikin hanyar tare da sarƙoƙin Markov sune kamar haka:

k - adadin samfuran da aka dawo dasu don kowane abu da aka saya daga ma'amala ta ƙarshe na mai siye.
Kamar yadda muke iya gani, saitin tare da k=4 yana nuna sakamako mafi kyau. Za'a iya bayyana karu a mako na 4 ta yanayin yanayi na lokacin hutu.

Irin waɗannan samfurori ga masu siye, bisa ga halayen da aka gina ta nau'i daban-daban

Don haka mun zo ga mafi wahala da ban sha'awa sashi - binciken maƙwabta mafi kusa a cikin masu saye da samfurori da aka gina bisa ga nau'i daban-daban. A cikin aikinmu, muna amfani da samfura guda 3:

ALS
Word2Vec (Item2Vec don irin waɗannan ayyuka)
DSSM

Mun riga mun yi magana da ALS, za ku iya karanta yadda yake koyo a nan. A cikin yanayin Word2Vec, muna amfani da sanannun aiwatar da ƙirar daga gensim. Ta hanyar kwatanci tare da matani, muna ayyana tayin azaman rasidin siye. Don haka, lokacin da ake gina vector samfurin, ƙirar ta koyi yin hasashen "yanayin" don samfurin a cikin karɓar (sauran kayan da ke cikin rasit). A cikin bayanan ecommerce, yana da kyau a yi amfani da zaman mai siye maimakon rasit, mutanen daga Ozon. Kuma DSSM ya fi ban sha'awa don wargajewa. Asalin mutanen daga Microsoft ne suka rubuta shi azaman samfurin bincike, za ku iya karanta ainihin takardar bincike a nan. Tsarin gine-ginen samfurin yayi kama da haka:

Yana da Q - tambaya, tambayar mai amfani, D[i] - daftarin aiki, shafin yanar gizon. Shigar da samfurin yana karɓar alamun buƙatun da shafuka, bi da bi. Kowane Layer shigarwa yana biye da adadin cikakken haɗin yadudduka (multilayer perceptron). Na gaba, ƙirar ta koya don rage girman cosine tsakanin vectors da aka samu a cikin yadudduka na ƙarshe na ƙirar.
Ayyukan shawarwarin suna amfani da gine-gine iri ɗaya daidai, amma maimakon buƙata, akwai mai amfani, kuma maimakon shafuka, akwai samfurori. Kuma a cikin yanayinmu, wannan gine-ginen yana canzawa zuwa kamar haka:

Yanzu, don bincika sakamakon, ya rage don rufe batu na ƙarshe - idan a cikin yanayin ALS da DSSM mun bayyana ma'anar masu amfani a sarari, to a cikin yanayin Word2Vec muna da samfuran samfuran kawai. Anan, don gina vector mai amfani, mun gano manyan hanyoyi guda 3:

Kawai ƙara vectors, to, don nisan cosine ya zama cewa kawai mun ƙididdige samfuran a cikin tarihin siyayya.
Takaitawar vectors tare da ɗan lokaci mai nauyi.
Auna kaya tare da TF-IDF coefficient.

Dangane da ma'aunin ma'aunin linzamin kwamfuta na mai siye, mun ci gaba daga hasashe cewa samfurin da mai amfani ya saya a jiya yana da tasiri sosai akan halayensa fiye da samfurin da ya saya watanni shida da suka gabata. Don haka mun yi la'akari da makon da ya gabata na mai siye tare da ƙididdiga na 1, da abin da ya faru na gaba tare da ƙididdiga na ½, ⅓, da sauransu:

Don ƙididdiga na TF-IDF, muna yin daidai daidai da abin da ke cikin TF-IDF don rubutu, kawai muna la'akari da mai siye a matsayin takarda, da kuma karɓa a matsayin tayin, bi da bi, kalmar samfur ce. Don haka vector mai amfani zai ƙara matsawa zuwa kayan da ba kasafai ba, kuma kayan da suka saba da mai siye ba za su canza shi da yawa ba. Hanyar za a iya misalta kamar haka:

Yanzu bari mu dubi ma'auni. Wannan shine yadda sakamakon ALS yayi kama:

Ma'auni ta Item2Vec tare da bambanta daban-daban na gina vector mai siye:

A wannan yanayin, ana amfani da daidai wannan samfurin kamar yadda yake a cikin tushen mu. Bambancin kawai shine wanda k za mu yi amfani da shi. Don amfani da samfuran haɗin gwiwa kawai, dole ne ku ɗauki kusan samfuran 50-70 mafi kusanci ga kowane abokin ciniki.

Kuma ma'aunin DSSM:

Yadda za a hada duk hanyoyin?

Sannu, ka ce, amma me za a yi da irin wannan babban saitin kayan aikin hakar ɗan takara? Yadda za a zabi mafi kyawun tsari don bayanan ku? Anan muna da matsaloli da yawa:

Wajibi ne a ko ta yaya iyakance sararin binciken hyperparameters a kowace hanya. Yana da, ba shakka, mai hankali a ko'ina, amma adadin yiwuwar maki yana da girma sosai.
Yadda za a zaɓi mafi kyawun tsari don ma'aunin ku ta amfani da ƙaramin ƙayyadadden samfurin takamaiman hanyoyin tare da takamaiman hyperparameters?

Har yanzu ba mu sami cikakkiyar cikakkiyar amsa ga tambaya ta farko ba, don haka za mu ci gaba daga mai zuwa: ga kowace hanya, ana rubuta maƙasudin bincike na hyperparameter, dangane da wasu ƙididdiga kan bayanan da muke da su. Don haka, sanin matsakaicin lokaci tsakanin sayayya daga mutane, za mu iya yin la'akari da wane lokaci don amfani da hanyar "abin da aka riga aka saya" da "lokacin da aka saya a baya".

Kuma bayan mun wuce wasu isassun adadin bambance-bambancen hanyoyi daban-daban, mun lura da waɗannan: kowane aiwatarwa yana fitar da takamaiman adadin ƴan takara kuma yana da ƙimar ƙimar ma'aunin (tuna) wanda shine mabuɗin a gare mu. Muna son samun takamaiman adadin ƴan takara gabaɗaya, ya danganta da ikon sarrafa kwamfuta da aka yarda da mu, tare da mafi girman ma'auni. Anan matsalar da kyau ta ruguje cikin matsalar jakar jakar.

Anan adadin 'yan takara shine nauyin ingot, kuma hanyar tunawa shine darajarsa. Koyaya, akwai ƙarin maki 2 waɗanda yakamata a la'akari dasu yayin aiwatar da algorithm:

Hanyoyi na iya yin karo da juna a cikin 'yan takarar da suka fitar.
A wasu lokuta, zai zama daidai don ɗaukar hanya guda sau biyu tare da sigogi daban-daban, kuma masu takara a cikin fitarwa na farko ba za su kasance juzu'i na na biyu ba.

Alal misali, idan muka ɗauki aiwatar da hanyar "abin da aka riga aka saya" tare da tazara daban-daban don hakar, to, za a haɗa jerin 'yan takarar su a cikin juna. A lokaci guda, sigogi daban-daban a cikin "sayayya na lokaci-lokaci" a wurin fita ba su ba da cikakkiyar tsaka-tsaki ba. Don haka, muna rarraba hanyoyin yin samfuri tare da sigogi daban-daban zuwa tubalan ta yadda daga kowane toshe muna so mu ɗauka aƙalla tsarin cirewa ɗaya tare da takamaiman hyperparameters. Don yin wannan, kuna buƙatar yaudara kaɗan a cikin aiwatar da matsalar knapsack, amma asymptotics da sakamakon ba zai canza daga wannan ba.

Irin wannan haɗakar wayo yana ba mu damar samun ma'auni masu zuwa idan aka kwatanta da samfuran haɗin gwiwa kawai:

A kan awo na ƙarshe muna ganin hoto mai zuwa:

Duk da haka, a nan za ku iya ganin cewa akwai wani batu da aka gano don shawarwari masu amfani ga kasuwanci. Yanzu mun koyi yadda ake yin hasashen abin da mai amfani zai saya, misali, mako mai zuwa. Amma kawai bayar da rangwame a kan cewa zai saya ko ta yaya ba shi da kyau sosai. Amma yana da kyau a haɓaka tsammanin, alal misali, na ma'auni masu zuwa:

Margin/juyawa bisa shawarwarin sirri.
Matsakaicin rajistan masu siye.
ziyarar mita.

Don haka muna ninka yuwuwar da aka samu ta hanyar ƙididdiga daban-daban kuma muna sake ba su matsayi ta yadda saman ya haɗa da samfuran da suka shafi ma'aunin da ke sama. Babu wani shiri da aka yi bayani a nan, wace hanya ce mafi kyau don amfani. Ko da muna gwaji tare da irin waɗannan ƙididdiga kai tsaye a cikin samarwa. Amma ga wasu dabaru masu ban sha'awa waɗanda galibi suna ba mu sakamako mafi kyau:

Ƙirƙirar da farashi/margin abu.
Raba ta matsakaicin rajistan shiga wanda samfurin ke faruwa. Don haka kayan za su fito wanda yawanci suke ɗaukar wani abu daban.
Ƙirƙiri ta hanyar matsakaicin mitar ziyarar masu siyan wannan samfur, dangane da hasashen cewa wannan samfurin yana ƙara tsokanar sa akai-akai.

Bayan gwaji tare da ƙididdiga, mun sami ma'auni masu zuwa a samarwa:

Yana da juyar da samfur gaba ɗaya - rabon samfuran da aka saya daga duk samfuran a cikin shawarwarin da muka ƙirƙira.

Mai karatu mai hankali zai lura da babban bambanci tsakanin ma'aunin layi da layi. An bayyana wannan hali ta gaskiyar cewa ba duk matattara masu ƙarfi don samfuran da za a iya ba da shawarar ba za a iya la'akari da su yayin horar da ƙirar. Labari ne na yau da kullun a gare mu lokacin da za a iya tace rabin ƴan takarar da aka fitar, irin wannan ƙayyadaddun abu ne na yau da kullun a cikin masana'antar mu.

Dangane da kudaden shiga, ana samun labarin mai zuwa, a bayyane yake cewa bayan ƙaddamar da shawarwarin, kudaden shiga na ƙungiyar gwaji yana ƙaruwa sosai, yanzu matsakaicin haɓakar kudaden shiga tare da shawarwarinmu shine 3-4%:

A ƙarshe, ina so in faɗi cewa idan kuna buƙatar shawarwarin da ba na ainihi ba, to ana samun karuwa mai yawa a cikin inganci a cikin gwaje-gwaje tare da fitar da 'yan takara don shawarwari. Yawancin lokaci don samar da su ya sa ya yiwu a haɗa yawancin hanyoyi masu kyau, wanda a cikin duka zai ba da sakamako mai kyau ga kasuwanci.

Zan yi farin cikin yin magana a cikin sharhi tare da duk wanda ya sami abin ban sha'awa. Kuna iya yi mani tambayoyi a cikin mutum telegram. Ina kuma raba tunanina akan AI/farawa a cikin nawa tashar telegram - barka da zuwa 🙂

source: www.habr.com

Yadda muka haɓaka ingancin shawarwari a cikin dillalan kan layi