Helo pawb! Fy enw i yw Sasha, fi yw CTO a Chyd-sylfaenydd yn LoyaltyLab. Ddwy flynedd yn ôl, aeth fy ffrindiau a minnau, fel pob myfyriwr tlawd, gyda'r nos am gwrw i'r siop agosaf ger y tŷ. Roeddem yn ofidus iawn nad oedd yr adwerthwr, gan wybod y byddem yn dod am gwrw, yn cynnig gostyngiad ar sglodion neu gracers, er bod hyn mor rhesymegol! Nid oeddem yn deall pam fod y sefyllfa hon yn digwydd a phenderfynwyd creu ein cwmni ein hunain. Wel, fel bonws, ysgrifennwch ostyngiadau i chi'ch hun bob dydd Gwener ar gyfer yr un sglodion hynny.
A daeth popeth i'r pwynt fy mod yn siarad â deunydd ar ochr dechnegol y cynnyrch yn . Rydym yn hapus i rannu ein gwaith gyda’r gymuned, felly rwy’n postio fy adroddiad ar ffurf erthygl.
Cyflwyniad
Fel pawb ar ddechrau'r daith, dechreuon ni gyda throsolwg o sut mae systemau argymell yn cael eu gwneud. A phensaernïaeth o'r math canlynol oedd y mwyaf poblogaidd:
Mae'n cynnwys dwy ran:
- Samplu ymgeiswyr ar gyfer argymhellion trwy fodel syml a chyflym, cydweithredol fel arfer.
- Trefnu ymgeiswyr yn ôl model cynnwys mwy cymhleth ac arafach, gan ystyried yr holl nodweddion posibl yn y data.
Yma ac isod byddaf yn defnyddio'r termau canlynol:
- ymgeisydd / ymgeisydd am argymhellion - pâr o gynnyrch defnyddiwr, a all o bosibl fynd i mewn i argymhellion wrth gynhyrchu.
- ymgeiswyr dull echdynnu/echdynnu/echdynnu ymgeisydd — proses neu ddull ar gyfer echdynnu “ymgeiswyr ar gyfer argymhellion” o'r data sydd ar gael.
Yn y cam cyntaf, defnyddir gwahanol amrywiadau o hidlo cydweithredol fel arfer. Y mwyaf poblogaidd - . Yn syndod, dim ond yn y cam cyntaf y mae'r rhan fwyaf o erthyglau am systemau argymell yn datgelu gwelliannau amrywiol i fodelau cydweithredol, ond nid oes neb yn siarad am ddulliau samplu eraill. I ni, nid oedd y dull o ddefnyddio modelau cydweithredol yn unig ac optimeiddio amrywiol gyda nhw yn gweithio gyda'r ansawdd yr oeddem yn ei ddisgwyl, felly fe wnaethom gloddio i'r ymchwil yn benodol ar y rhan hon. Ac ar ddiwedd yr erthygl byddaf yn dangos faint roeddem yn gallu gwella ALS, sef ein llinell sylfaen.
Cyn imi symud ymlaen at ddisgrifio ein dull gweithredu, mae'n bwysig nodi, gydag argymhellion amser real, pan fo'n bwysig inni ystyried data a ddigwyddodd 30 munud yn ôl, nad oes llawer o ddulliau a all weithio ar yr amser cywir mewn gwirionedd. Ond, yn ein hachos ni, mae'n rhaid i ni gasglu argymhellion dim mwy nag unwaith y dydd, ac yn y rhan fwyaf o achosion - unwaith yr wythnos, sy'n rhoi'r cyfle i ni ddefnyddio modelau cymhleth a lluosi'r ansawdd.
Gadewch i ni gymryd ar gyfer y llinell sylfaen yr hyn y mae metrigau yn unig ALS yn ei ddangos ar y dasg o echdynnu ymgeiswyr. Y metrigau allweddol rydym yn eu monitro yw:
- Cywirdeb - cyfran yr ymgeiswyr a ddewiswyd yn gywir o'r rhai a samplwyd.
- Dwyn i gof - cyfran yr ymgeiswyr a ddigwyddodd allan o'r rhai a oedd mewn gwirionedd yn y cyfwng targed.
- Sgôr F1 - sgôr F wedi'i gyfrifo ar y ddau bwynt blaenorol.
Byddwn hefyd yn edrych ar fetrigau'r model terfynol ar ôl gwella graddiant hyfforddi gyda nodweddion cynnwys ychwanegol. Mae yna hefyd 3 phrif fetrig:
- cywirdeb@5 — canran gyfartalog yr ymweliadau o'r 5 uchaf yn ôl tebygolrwydd ar gyfer pob cwsmer.
- ymateb-cyfradd@5 — trosi prynwyr o ymweliad â'r siop i brynu o leiaf un cynnig personol (mae un cynnig yn cynnwys 5 cynnyrch).
- avg roc-auc per user - canolig ar gyfer pob prynwr.
Mae'n bwysig nodi bod yr holl fetrigau hyn yn cael eu mesur ar , hynny yw, mae hyfforddiant yn digwydd yn ystod yr wythnosau k cyntaf, a chymerir k + 1 wythnos fel data prawf. Felly, ychydig iawn o effaith a gafodd cynnydd/drwsiadau tymhorol ar y dehongliad o ansawdd y modelau. Ymhellach, ar bob siart, bydd yr echelin abscissa yn nodi rhif yr wythnos wrth groes-ddilysu, a bydd yr echelin trefn yn nodi gwerth y metrig penodedig. Mae pob graff yn seiliedig ar ddata trafodion un cleient, fel bod y gymhariaeth rhyngddynt yn gywir.
Cyn i ni ddechrau disgrifio ein hymagwedd, gadewch i ni yn gyntaf edrych ar y llinell sylfaen, sef y model hyfforddedig ALS.
Metrigau Echdynnu Ymgeisydd:
metrigau terfynol:
Rwy'n trin pob gweithrediad o algorithmau fel rhyw fath o ddamcaniaeth busnes. Felly, yn fras iawn, gellir ystyried unrhyw fodelau cydweithredol fel rhagdybiaeth bod “pobl yn tueddu i brynu’r hyn y mae pobl fel nhw yn ei brynu”. Fel y dywedais, ni wnaethom gyfyngu ein hunain i semanteg o'r fath, a dyma rai damcaniaethau sy'n dal i weithio'n cŵl ar ddata mewn manwerthu all-lein:
- Beth ydych chi wedi'i brynu o'r blaen.
- Yn debyg i'r hyn a brynais o'r blaen.
- Y cyfnod o bryniant gorffennol hir.
- Poblogaidd yn ôl categori/brand.
- Prynu nwyddau gwahanol bob yn ail wythnos (cadwyni Markov).
- Cynhyrchion tebyg i brynwyr, yn ôl y nodweddion a adeiladwyd gan wahanol fodelau (Word2Vec, DSSM, ac ati).
Beth wnaethoch chi ei brynu o'r blaen
Yr hewristig mwyaf amlwg sy'n gweithio'n dda iawn mewn manwerthu bwyd. Yma rydyn ni'n cymryd yr holl nwyddau a brynodd deiliad y cerdyn teyrngarwch yn ystod y dyddiau K diwethaf (1-3 wythnos fel arfer), neu K diwrnod flwyddyn yn ôl. Gan ddefnyddio'r dull hwn yn unig, rydym yn cael y metrigau canlynol:
Mae'n eithaf amlwg yma po fwyaf y cymerwn y cyfnod, y mwyaf o adalw a llai o gywirdeb sydd gennym ac i'r gwrthwyneb. Mae canlyniadau gwell ar gyfartaledd i gleientiaid yn rhoi’r “2 wythnos ddiwethaf”.
Yn debyg i'r hyn a brynais o'r blaen
Nid yw'n syndod bod "yr hyn sydd wedi'i brynu o'r blaen" yn gweithio'n dda ar gyfer manwerthu bwyd, ond nid yw tynnu ymgeiswyr yn unig o'r hyn y mae'r defnyddiwr eisoes wedi'i brynu yn cŵl iawn, oherwydd mae'n annhebygol y bydd yn bosibl synnu'r prynwr gyda rhywfaint o gynnyrch newydd. Felly, rydym yn cynnig gwella'r hewristig hwn ychydig gan ddefnyddio'r un modelau cydweithredol. O'r fectorau a gawsom yn ystod yr hyfforddiant ALS, gallwch gael cynhyrchion tebyg i'r hyn y mae'r defnyddiwr eisoes wedi'i brynu. Mae'r syniad hwn yn debyg iawn i “fideos tebyg” mewn gwasanaethau gwylio cynnwys fideo, ond gan nad ydym yn gwybod beth mae'r defnyddiwr yn ei fwyta / ei brynu ar adeg benodol, ni allwn ond edrych am rywbeth tebyg i'r hyn y mae eisoes wedi'i brynu, yn enwedig gan ein bod eisoes yn gwybod pa mor dda y mae'n gweithio. Gan gymhwyso'r dull hwn ar drafodion defnyddwyr dros y pythefnos diwethaf, rydym yn cael y metrigau canlynol:
Yma k - nifer y cynhyrchion tebyg sy'n cael eu hadalw ar gyfer pob cynnyrch a brynwyd gan y prynwr yn ystod y 14 diwrnod diwethaf.
Gweithiodd y dull hwn yn arbennig o dda i ni ar gleient a oedd yn hanfodol i beidio ag argymell o gwbl yr hyn a oedd eisoes yn hanes prynu'r defnyddiwr.
Cyfnod prynu gorffennol hir
Fel yr ydym eisoes wedi darganfod, oherwydd amlder uchel prynu nwyddau, mae'r dull cyntaf yn gweithio'n dda ar gyfer ein manylion penodol. Ond beth am nwyddau fel powdr golchi/siampŵ/etc. Hynny yw, gyda chynhyrchion sy'n annhebygol o fod eu hangen bob wythnos neu ddwy ac na all dulliau blaenorol eu hechdynnu. Mae hyn yn awgrymu'r syniad canlynol - cynigir cyfrifo cyfnod prynu pob cynnyrch ar gyfartaledd i brynwyr a brynodd y cynnyrch yn fwy. k unwaith. Ac yna tynnwch yr hyn sydd fwyaf tebygol y mae'r prynwr eisoes wedi rhedeg allan ohono. Gellir gwirio'r cyfnodau a gyfrifwyd ar gyfer nwyddau gyda'r llygaid am ddigonolrwydd:
Ac yna byddwn yn gweld a yw diwedd y cyfnod cynnyrch yn dod o fewn yr egwyl amser pan fydd yr argymhellion yn cael eu cynhyrchu a samplu'r hyn sy'n disgyn. Gellir dangos y dull gweithredu fel hyn:
Yma mae gennym 2 brif achos y gellir eu hystyried:
- A ddylid samplu cynhyrchion ar gyfer cwsmeriaid a brynodd y cynnyrch lai nag amseroedd K.
- A ddylid samplu'r cynnyrch os yw diwedd ei gyfnod yn disgyn cyn dechrau'r cyfnod targed.
Mae'r graff canlynol yn dangos pa ganlyniadau mae dull o'r fath yn ei gyflawni gyda hyperparamedrau gwahanol:
ft - Cymerwch brynwyr yn unig a brynodd y cynnyrch o leiaf K (yma K = 5) gwaith
tm — Cymerwch ymgeiswyr sy'n disgyn i'r cyfnod targed yn unig
Nid yw'n syndod, gallu (0, 0) y mwyaf dwyn i gof a'r lleiaf trachywiredd, oherwydd o dan yr amod hwn y tynnir y rhan fwyaf o ymgeiswyr. Fodd bynnag, ceir y canlyniadau gorau pan na fyddwn yn samplu cynhyrchion ar gyfer cwsmeriaid a brynodd gynnyrch penodol yn llai na k amseroedd a echdynnu, ymhlith pethau eraill, nwyddau y mae eu diwedd cyfnod yn disgyn cyn yr egwyl targed.
Poblogaidd yn ôl Categori
Syniad gweddol amlwg arall yw samplu cynhyrchion poblogaidd ar draws gwahanol gategorïau neu frandiau. Yma rydym yn cyfrifo ar gyfer pob cwsmer brig-k categorïau/brandiau “hoff” a thynnu “poblogaidd” o'r categori/brand hwnnw. Yn ein hachos ni, rydym yn diffinio “hoff” a “poblogaidd” yn ôl nifer y pryniannau cynnyrch. Mantais ychwanegol y dull hwn yw ei gymhwysedd mewn achos cychwyn oer. Hynny yw, ar gyfer cwsmeriaid sydd naill ai wedi gwneud ychydig iawn o bryniannau, neu nad ydynt wedi bod yn y siop ers amser maith, neu yn gyffredinol dim ond wedi cyhoeddi cerdyn teyrngarwch. Ar eu cyfer, mae'n haws ac yn well taflu nwyddau o boblogaidd gyda phrynwyr sydd â hanes presennol. Mae'r metrigau fel a ganlyn:
Yma, mae'r rhif ar ôl y gair “categori” yn golygu lefel nythu'r categori.
Yn gyffredinol, nid yw'n syndod ychwaith bod categorïau culach yn cyflawni canlyniadau gwell, gan eu bod yn echdynnu "hoff" gynhyrchion mwy cywir i brynwyr.
Prynu nwyddau gwahanol bob yn ail wythnos
Mae ymagwedd ddiddorol nad wyf wedi'i gweld mewn erthyglau am systemau argymell yn ddull ystadegol eithaf syml ac ar yr un pryd o gadwyni Markov. Yma rydym yn cymryd 2 wythnos wahanol, yna ar gyfer pob cwsmer rydym yn adeiladu parau o gynhyrchion [prynu yn wythnos i] -[prynu yn wythnos j], lle j> i, ac o'r fan hon rydym yn cyfrifo ar gyfer pob cynnyrch y tebygolrwydd o newid i gynnyrch arall yr wythnos nesaf. Hynny yw, ar gyfer pob pâr o nwyddau cynnyrch-cynnyrchj cyfrif eu rhif yn y parau a ddarganfuwyd a rhannu â nifer y parau, ble cynnyrch oedd yn yr wythnos gyntaf. I echdynnu ymgeiswyr, rydym yn cymryd y siec olaf y prynwr a chael brig-k y cynhyrchion nesaf mwyaf tebygol o'r matrics trawsnewid a gawsom. Mae’r broses o adeiladu matrics pontio yn edrych fel hyn:
O enghreifftiau go iawn yn y matrics o debygolrwyddau pontio, gwelwn y ffenomenau diddorol canlynol:
Yma gallwch sylwi ar ddibyniaethau diddorol sy'n cael eu datgelu yn ymddygiad defnyddwyr: er enghraifft, cariadon sitrws neu frand o laeth, y maent yn fwyaf tebygol o newid i un arall. Nid yw'n syndod ychwaith bod eitemau sy'n cael eu hailbrynu'n fawr, fel menyn, hefyd yn cyrraedd yma.
Mae'r metrigau yn y dull gyda chadwyni Markov fel a ganlyn:
k - nifer y cynhyrchion sy'n cael eu hadalw ar gyfer pob eitem a brynwyd o drafodiad diwethaf y prynwr.
Fel y gallwn weld, mae'r ffurfweddiad gyda k = 4 yn dangos y canlyniad gorau. Gellir esbonio'r pigyn yn wythnos 4 gan ymddygiad tymhorol o amgylch gwyliau.
Cynhyrchion tebyg i brynwyr, yn ôl nodweddion a adeiladwyd gan wahanol fodelau
Felly rydyn ni'n dod at y rhan fwyaf anodd a diddorol - chwilio am y cymdogion agosaf yn fectorau prynwyr a chynhyrchion a adeiladwyd yn ôl modelau amrywiol. Yn ein gwaith, rydym yn defnyddio 3 model o'r fath:
- ALS
- Word2Vec (Item2Vec ar gyfer tasgau o'r fath)
- DSSM
Rydym eisoes wedi delio ag ALS, gallwch ddarllen am sut mae'n dysgu . Yn achos Word2Vec, rydym yn defnyddio gweithrediad adnabyddus y model o gensim. Trwy gyfatebiaeth â'r testunau, rydym yn diffinio'r cynnig fel derbynneb prynu. Felly, wrth adeiladu fector y cynnyrch, mae'r model yn dysgu rhagweld ei “gyd-destun” ar gyfer y cynnyrch yn y dderbynneb (gweddill y nwyddau yn y dderbynneb). Mewn data e-fasnach, mae'n well defnyddio sesiwn y prynwr yn lle derbynneb, y bechgyn o . Ac mae DSSM yn fwy diddorol i'w ddadosod. Fe'i hysgrifennwyd yn wreiddiol gan y bechgyn o Microsoft fel model chwilio, . Mae pensaernïaeth y model yn edrych fel hyn:
Yma Q - ymholiad, ymholiad chwilio defnyddiwr, D[i] - dogfen, tudalen we. Mae mewnbwn y model yn derbyn arwyddion y cais a thudalennau, yn y drefn honno. Dilynir pob haen fewnbwn gan nifer o haenau cwbl gysylltiedig (perceptron aml-haen). Nesaf, mae'r model yn dysgu lleihau'r cosin rhwng y fectorau a gafwyd yn haenau olaf y model.
Mae'r tasgau argymhelliad yn defnyddio'r un bensaernïaeth yn union, ond yn lle cais, mae yna ddefnyddiwr, ac yn lle tudalennau, mae yna gynhyrchion. Ac yn ein hachos ni, mae'r bensaernïaeth hon yn cael ei thrawsnewid i'r canlynol:
Nawr, i wirio'r canlyniadau, mae'n weddill i gwmpasu'r pwynt olaf - os yn achos ALS a DSSM mae gennym fectorau defnyddwyr wedi'u diffinio'n benodol, yna yn achos Word2Vec dim ond fectorau cynnyrch sydd gennym. Yma, i adeiladu fector defnyddiwr, rydym wedi nodi 3 phrif ddull:
- Ychwanegwch y fectorau, yna ar gyfer y pellter cosin mae'n ymddangos ein bod ni newydd gyfrifo'r cynhyrchion yn yr hanes siopa ar gyfartaledd.
- Crynhoad o fectorau gyda pheth pwysoliad amser.
- Pwyso nwyddau gyda chyfernod TF-IDF.
Yn achos pwysoli llinol fector y prynwr, rydym yn symud ymlaen o'r ddamcaniaeth bod y cynnyrch a brynodd y defnyddiwr ddoe yn cael mwy o ddylanwad ar ei ymddygiad na'r cynnyrch a brynodd chwe mis yn ôl. Felly rydym yn ystyried wythnos flaenorol y prynwr gyda chyfernod o 1, a beth ddigwyddodd nesaf gyda chyfernodau o ½, ⅓, ac ati:
Ar gyfer cyfernodau TF-IDF, rydym yn gwneud yn union yr un peth ag yn TF-IDF ar gyfer testunau, dim ond rydym yn ystyried y prynwr fel dogfen, a'r dderbynneb fel cynnig, yn y drefn honno, mae'r gair yn gynnyrch. Felly bydd fector y defnyddiwr yn symud yn fwy tuag at nwyddau prin, ac ni fydd nwyddau sy'n aml ac yn gyfarwydd i'r prynwr yn ei newid llawer. Gellir dangos y dull gweithredu fel hyn:
Nawr, gadewch i ni edrych ar y metrigau. Dyma sut olwg sydd ar ganlyniadau ALS:
Metrigau yn ôl Item2Vec gyda gwahanol amrywiadau o adeiladu fector y prynwr:
Yn yr achos hwn, defnyddir yr un model yn union ag yn ein llinell sylfaen. Yr unig wahaniaeth yw pa k y byddwn yn ei ddefnyddio. Er mwyn defnyddio modelau cydweithredol yn unig, mae'n rhaid i chi gymryd tua 50-70 o gynhyrchion agosaf ar gyfer pob cwsmer.
A metrigau DSSM:
Sut i gyfuno'r holl ddulliau?
Cŵl, meddech chi, ond beth i'w wneud â set mor fawr o offer echdynnu ymgeiswyr? Sut i ddewis y cyfluniad gorau posibl ar gyfer eich data? Yma mae gennym nifer o broblemau:
- Mae angen rhywsut gyfyngu ar y gofod chwilio ar gyfer hyperparameters ym mhob dull. Mae, wrth gwrs, yn arwahanol ym mhobman, ond mae nifer y pwyntiau posibl yn fawr iawn.
- Sut i ddewis y cyfluniad gorau ar gyfer eich metrig gan ddefnyddio sampl gyfyngedig fach o ddulliau penodol gyda hyperparamedrau penodol?
Nid ydym eto wedi dod o hyd i ateb cywir diamwys i'r cwestiwn cyntaf, felly rydym yn symud ymlaen o'r canlynol: ar gyfer pob dull, ysgrifennir cyfyngydd gofod chwilio hyperparamedr, yn dibynnu ar rai ystadegau ar y data sydd gennym. Felly, gan wybod y cyfnod cyfartalog rhwng pryniannau gan bobl, gallwn ddyfalu gyda pha gyfnod i ddefnyddio'r dull “yr hyn sydd eisoes wedi'i brynu” a “cyfnod pryniant gorffennol hir”.
Ac ar ôl i ni fynd trwy nifer digonol o amrywiadau o wahanol ddulliau, rydym yn nodi'r canlynol: mae pob gweithrediad yn tynnu nifer penodol o ymgeiswyr ac mae ganddo werth penodol o'r metrig (cofio) sy'n allweddol i ni. Rydym am gael cyfanswm penodol o ymgeiswyr, yn dibynnu ar ein pŵer cyfrifiadurol a ganiateir, gyda'r metrig uchaf posibl. Yma mae'r broblem yn cwympo i'r broblem bag cefn.
Yma nifer yr ymgeiswyr yw pwysau'r ingot, a'r dull adalw yw ei werth. Fodd bynnag, mae 2 bwynt arall y dylid eu hystyried wrth weithredu'r algorithm:
- Gall dulliau fod wedi gorgyffwrdd yn yr ymgeiswyr y byddant yn eu tynnu allan.
- Mewn rhai achosion, bydd yn gywir cymryd un dull ddwywaith gyda pharamedrau gwahanol ac ni fydd yr ymgeiswyr ar allbwn yr un cyntaf yn is-set o'r ail un.
Er enghraifft, os cymerwn weithrediad y dull “yr hyn a brynwyd eisoes” gyda gwahanol gyfnodau ar gyfer echdynnu, yna bydd eu setiau o ymgeiswyr yn cael eu nythu i'w gilydd. Ar yr un pryd, nid yw paramedrau gwahanol yn y "prynu cyfnodol" ar yr allanfa yn rhoi croestoriad cyflawn. Felly, rydym yn rhannu dulliau samplu â pharamedrau gwahanol yn flociau fel ein bod am ddefnyddio un dull echdynnu ar y mwyaf gyda hyperparamedrau penodol o bob bloc. I wneud hyn, mae angen i chi dwyllo ychydig wrth weithredu'r broblem bag cefn, ond ni fydd yr asymptotig a'r canlyniad yn newid o hyn.
Mae cyfuniad mor glyfar yn ein galluogi i gael y metrigau canlynol o gymharu â modelau cydweithredol yn unig:
Ar y metrigau terfynol gwelwn y llun canlynol:
Fodd bynnag, yma gallwch weld bod un pwynt heb ei ddatgelu ar gyfer argymhellion sy'n ddefnyddiol i fusnes. Nawr rydyn ni newydd ddysgu sut i ragweld yn oer yr hyn y bydd y defnyddiwr yn ei brynu, er enghraifft, yr wythnos nesaf. Ond nid yw rhoi gostyngiad ar y ffaith y bydd yn prynu beth bynnag yn cŵl iawn. Ond mae'n cŵl cynyddu'r disgwyliad, er enghraifft, o'r metrigau canlynol:
- Ymyl / trosiant yn seiliedig ar argymhellion personol.
- Gwiriad cyfartalog prynwyr.
- amlder ymweld.
Felly rydyn ni'n lluosi'r tebygolrwydd a gafwyd â gwahanol gyfernodau a'u hail-raddio fel bod y brig yn cynnwys cynhyrchion sy'n effeithio ar y metrigau uchod. Nid oes ateb parod yma, pa ddull sy'n well ei ddefnyddio. Hyd yn oed rydym yn arbrofi gyda chyfernodau o'r fath yn uniongyrchol wrth gynhyrchu. Ond dyma rai triciau diddorol sydd yn aml yn rhoi'r canlyniadau gorau i ni:
- Lluoswch â phris/ymyl yr eitem.
- Lluoswch â'r gwiriad cyfartalog y mae'r cynnyrch yn digwydd ynddo. Felly bydd y nwyddau yn dod allan y maent fel arfer yn cymryd rhywbeth arall.
- Lluoswch ag amlder cyfartalog ymweliadau gan brynwyr y cynnyrch hwn, yn seiliedig ar y rhagdybiaeth bod y cynnyrch hwn yn ysgogi enillion amlach ar ei gyfer.
Ar ôl arbrofi gyda chyfernodau, cawsom y metrigau canlynol wrth gynhyrchu:
Yma trosi cynnyrch cyffredinol - cyfran y cynhyrchion a brynwyd o bob cynnyrch yn yr argymhellion a gynhyrchwyd gennym.
Bydd darllenydd sylwgar yn sylwi ar wahaniaeth sylweddol rhwng metrigau all-lein ac ar-lein. Eglurir yr ymddygiad hwn gan y ffaith na ellir ystyried yr holl hidlyddion deinamig ar gyfer cynhyrchion y gellir eu hargymell wrth hyfforddi'r model. Mae'n stori arferol i ni pan fydd modd hidlo hanner yr ymgeiswyr a dynnwyd allan, mae penodoldeb o'r fath yn nodweddiadol yn ein diwydiant.
O ran refeniw, ceir y stori ganlynol, mae'n amlwg, ar ôl lansio'r argymhellion, bod refeniw'r grŵp prawf yn tyfu'n gryf, nawr mae'r cynnydd cyfartalog mewn refeniw gyda'n hargymhellion yn 3-4%:
I gloi, rwyf am ddweud, os oes angen argymhellion nad ydynt yn rhai amser real, yna mae cynnydd mawr iawn mewn ansawdd i'w weld mewn arbrofion gydag ymgeiswyr echdynnu ar gyfer argymhellion. Mae llawer o amser i'w cynhyrchu yn ei gwneud hi'n bosibl cyfuno llawer o ddulliau da, a fydd yn rhoi canlyniadau cŵl i'r busnes i gyd.
Byddaf yn falch o sgwrsio yn y sylwadau gyda phawb sy'n gweld y deunydd yn ddiddorol. Gallwch ofyn cwestiynau i mi yn bersonol . Rwyf hefyd yn rhannu fy meddyliau ar AI / startups yn fy — croeso 🙂
Ffynhonnell: hab.com