Pehea mākou i hoʻomaikaʻi nui ai i ka maikaʻi o nā ʻōlelo paipai ma nā hale kūʻai kūʻai pūnaewele

Aloha kākou! ʻO Sasha koʻu inoa, ʻo wau ʻo CTO & Co-Founder ma LoyaltyLab. ʻElua makahiki i hala aku nei, hele au me koʻu mau hoa, e like me nā haumāna ʻilihune a pau, i ke ahiahi e kūʻai i ka pia ma ka hale kūʻai kokoke kokoke i ko mākou hale. Ua huhū loa mākou no ka ʻike ʻana o ka mea kūʻai aku e hele mai ana mākou no ka pia, ʻaʻole ia i hāʻawi i ka hoʻemi ʻana i nā chips a i ʻole nā ​​​​pahū, ʻoiai ua kūpono kēia! ʻAʻole mākou i maopopo i ke kumu o kēia kūlana a ua hoʻoholo mākou e hoʻomaka i kā mākou hui ponoʻī. ʻAe, ma ke ʻano he bonus, e hāʻawi iā ʻoe iho i nā uku i kēlā me kēia Pōʻalima ma kēlā mau ʻāpana like.

Pehea mākou i hoʻomaikaʻi nui ai i ka maikaʻi o nā ʻōlelo paipai ma nā hale kūʻai kūʻai pūnaewele

A ua hiki i nā mea a pau aʻu e hōʻike nei i nā mea ma ka ʻaoʻao ʻenehana o ka huahana ma NVIDIA GTC. Hauʻoli mākou e kaʻana like i kā mākou hana me ke kaiāulu, no laila ke paʻi nei au i kaʻu hōʻike ma ke ʻano he ʻatikala.

Hōʻike

E like me nā poʻe ʻē aʻe i ka hoʻomaka ʻana o ka huakaʻi, ua hoʻomaka mākou me ka nānā ʻana i ke ʻano o ka hana ʻia ʻana o nā ʻōnaehana paipai. A ʻo ka hale hoʻolālā kaulana loa i lilo i ʻano ʻano penei:
Pehea mākou i hoʻomaikaʻi nui ai i ka maikaʻi o nā ʻōlelo paipai ma nā hale kūʻai kūʻai pūnaewele

He ʻelua ʻāpana ia:

  1. ʻO ka laʻana i nā moho no nā ʻōlelo aʻoaʻo me ka hoʻohana ʻana i kahi kumu hoʻohālike maʻalahi a wikiwiki hoʻi, maʻamau he hana hui.
  2. Ka helu ʻana o nā moho me kahi ʻano maʻiʻo paʻakikī a lohi, me ka noʻonoʻo ʻana i nā hiʻohiʻona hiki i ka ʻikepili.

Ma hope aku e hoʻohana wau i kēia mau huaʻōlelo:

  • moho/moho no na manao paipai - he hui mea hoʻohana-huahana hiki ke hoʻokomo ʻia i loko o nā ʻōlelo paipai i ka hana ʻana.
  • moho unuhi/unuhi/moho unuhi - he kaʻina hana a i ʻole ke ala no ka unuhi ʻana i nā "moho manaʻo" mai ka ʻikepili i loaʻa.

ʻO ka hana mua, ʻo ia ka hoʻohana ʻana i nā ʻano like ʻole o ka kānana hui. ʻO ka mea kaulana loa - ALS. He mea kahaha ka nui o nā ʻatikala e pili ana i nā ʻōnaehana kākoʻo e hōʻike wale i nā hoʻomaikaʻi like ʻole i nā kumu hoʻohālike i ka pae mua, akā ʻaʻohe mea e kamaʻilio nui e pili ana i nā ʻano hoʻohālike ʻē aʻe. No mākou, ʻaʻole i hana ka hoʻokokoke ʻana o ka hoʻohana ʻana i nā hiʻohiʻona like ʻole a me nā ʻano loiloi like ʻole me ka maikaʻi a mākou i manaʻo ai, no laila ua ʻeli mākou i ka noiʻi ma kēia ʻāpana. A ma ka hopena o ka ʻatikala e hōʻike wau i ka nui o ka hiki iā mākou ke hoʻomaikaʻi i ka ALS, ʻo ia kā mākou kumu.

Ma mua o koʻu neʻe ʻana i ka wehewehe ʻana i kā mākou ala, he mea nui ia e hoʻomaopopo i nā ʻōlelo aʻoaʻo maoli, inā he mea nui iā mākou e noʻonoʻo i ka ʻikepili i hana ʻia 30 mau minuke i hala, ʻaʻole nui nā ala e hiki ke hana i ka manawa i koi ʻia. Akā, i kā mākou hihia, pono mākou e hōʻiliʻili i nā manaʻo i ʻoi aku ma mua o hoʻokahi manawa i ka lā, a ma ka hapa nui - hoʻokahi manawa i ka pule, e hāʻawi iā mākou i ka manawa e hoʻohana ai i nā hiʻohiʻona paʻakikī a hoʻomaikaʻi i ka maikaʻi.

E noʻonoʻo kākou i nā metric wale nō i hōʻike ʻia e ALS ma ka hana o ka unuhi ʻana i nā moho. ʻO nā metric koʻikoʻi a mākou e nānā nei:

  • ʻO ka pololei - ka māhele o nā moho i koho pono ʻia mai nā mea i hoʻohālike ʻia.
  • ʻO ka hoʻomanaʻo ʻana ka hapa o nā moho i loaʻa ma waho o ka poʻe i loaʻa maoli i ka wā i manaʻo ʻia.
  • F1-helu - F-ana i helu ʻia ma nā helu ʻelua i hala.

E nānā pū mākou i nā ana o ke kumu hoʻohālike hope loa ma hope o ka hoʻomaʻamaʻa ʻana i ka gradient boosting me nā hiʻohiʻona ʻokoʻa. Aia pū kekahi 3 mau ana nui ma aneʻi:

  • precision@5 - ka awelika pākēneka o nā huahana mai ka 5 kiʻekiʻe ma ke ʻano o ka hiki no kēlā me kēia mea kūʻai.
  • pane-rate@5 - ka hoʻololi ʻana o nā mea kūʻai mai ke kipa ʻana i ka hale kūʻai i ke kūʻai ʻana i hoʻokahi makana pilikino (5 huahana i hoʻokahi hāʻawi).
  • avg roc-auc no ka mea hoʻohana - awelika roc-auc no kēlā me kēia mea kūʻai.

Pono e hoʻomaopopo ʻia ua ana ʻia kēia mau ana a pau hōʻoia cross-hōʻike manawa, 'o ia ho'i, ho'oma'ama'a 'ia i nā pule k mua, a lawe 'ia ka pule k+1 i 'ikepili ho'ā'o. No laila, ʻoi aku ka liʻiliʻi o ka piʻi ʻana o ka wā i ka wehewehe ʻana i ka maikaʻi o nā hiʻohiʻona. Ma nā pakuhi a pau, e hōʻike ka axis abscissa i ka helu pule ma ka hōʻoia kea, a e hōʻike ka axis ordinate i ka waiwai o ka metric i kuhikuhi ʻia. Hoʻokumu ʻia nā pakuhi a pau i ka ʻikepili kālepa mai kahi mea kūʻai aku i pololei ka hoʻohālikelike ʻana ma waena o kekahi.

Ma mua o ka hoʻomaka ʻana e wehewehe i kā mākou ala, e nānā mua mākou i ka baseline, kahi kumu hoʻohālike i hoʻomaʻamaʻa ʻia e ALS.
Nā ana hoʻihoʻi moho:
Pehea mākou i hoʻomaikaʻi nui ai i ka maikaʻi o nā ʻōlelo paipai ma nā hale kūʻai kūʻai pūnaewele

anana hope:
Pehea mākou i hoʻomaikaʻi nui ai i ka maikaʻi o nā ʻōlelo paipai ma nā hale kūʻai kūʻai pūnaewele

Hana wau i nā hoʻokō āpau o nā algorithm e like me kekahi ʻano kuhiakau ʻoihana. No laila, ma ke ʻano koʻikoʻi, hiki ke noʻonoʻo ʻia kekahi kumu hoʻohālike e like me ke kuhiakau e "kūʻai nā kānaka i nā mea like me lākou e kūʻai ai." E like me kaʻu i ʻōlelo ai, ʻaʻole mākou i kaupalena iā mākou iho i ia mau semantics, a eia kekahi mau hypotheses e hana maikaʻi ana i ka ʻikepili ma nā hale kūʻai pūnaewele:

  1. ʻO kaʻu i kūʻai mua ai.
  2. E like me kaʻu i kūʻai ai ma mua.
  3. Ka wā o kahi kūʻai lōʻihi i hala.
  4. Kaulana ma ka waeʻano/mea hoʻohana.
  5. Nā kūʻai kūʻai like ʻole i kēlā me kēia pule (Markov chains).
  6. Nā huahana like i nā mea kūʻai aku, e like me nā hiʻohiʻona i kūkulu ʻia e nā hiʻohiʻona like ʻole (Word2Vec, DSSM, etc.).

He aha kāu i kūʻai ai ma mua?

ʻO ka heuristic maopopo loa e hana maikaʻi loa i nā hale kūʻai kūʻai. Ma ʻaneʻi mākou e lawe i nā waiwai a pau i kūʻai ʻia e ka mea paʻa kāleka kūpaʻa i nā lā K hope (maʻa mau 1-3 pule), a i ʻole K lā i ka makahiki i hala. Ke noi wale nei i kēia ʻano, loaʻa iā mākou nā metric aʻe:
Pehea mākou i hoʻomaikaʻi nui ai i ka maikaʻi o nā ʻōlelo paipai ma nā hale kūʻai kūʻai pūnaewele

Eia ka mea maopopo loa ʻo ka lōʻihi o kā mākou lawe ʻana i ka manawa, ʻoi aku ka nui o ka hoʻomanaʻo ʻana a me ka liʻiliʻi o ka pololei a me ka hope. Ma ka awelika, hāʻawi nā "wiki hope 2" i nā hopena maikaʻi aʻe no nā mea kūʻai.

E like me kaʻu i kūʻai ai ma mua

ʻAʻole ia he mea kupanaha no ka hale kūʻai kūʻai "ka mea aʻu i kūʻai ai ma mua" e hana maikaʻi, akā ʻo ka unuhi ʻana i nā moho wale nō mai ka mea i kūʻai ʻia e ka mea hoʻohana ʻaʻole ia he mea ʻoluʻolu loa, no ka mea, ʻaʻole paha e kāhāhā ka mea kūʻai aku me kekahi huahana hou. No laila, manaʻo mākou e hoʻomaikaʻi iki i kēia heuristic me ka hoʻohana ʻana i nā kumu hoʻohālike like. Mai nā vectors i loaʻa iā mākou i ka wā hoʻomaʻamaʻa ALS, hiki iā mākou ke loaʻa nā huahana like me ka mea i kūʻai mua ʻia e ka mea hoʻohana. Ua like loa kēia manaʻo me nā "wikiō like" i nā lawelawe no ka nānā ʻana i nā ʻike wikiō, akā ʻoiai ʻaʻole mākou i ʻike i ka mea a ka mea hoʻohana e ʻai ai / kūʻai ai i kekahi manawa, hiki iā mākou ke ʻimi wale i nā mea like me kāna i kūʻai mua ai, ʻoi aku. ʻoiai ua ʻike mua mākou i ka maikaʻi o ka hana. Ke hoʻohana nei i kēia ʻano hana i nā mea hoʻohana i nā pule he 2 i hala, loaʻa iā mākou nā metric aʻe:
Pehea mākou i hoʻomaikaʻi nui ai i ka maikaʻi o nā ʻōlelo paipai ma nā hale kūʻai kūʻai pūnaewele

he mea k - ka helu o nā huahana like i kiʻi ʻia no kēlā me kēia huahana i kūʻai ʻia e ka mea kūʻai aku i nā lā 14 i hala.
Ua hana maikaʻi kēia ala no kā mākou mea kūʻai aku, nona ka mea koʻikoʻi ʻaʻole e ʻōlelo i kekahi mea i loaʻa i ka mōʻaukala kūʻai o ka mea hoʻohana.

Ka wā kūʻai lohi

E like me kā mākou i ʻike mua ai, ma muli o ke kiʻekiʻe o ke kūʻai ʻana i nā huahana, hana maikaʻi ke ala mua no kā mākou pono kikoʻī. Akā pehea e pili ana i nā waiwai e like me ka pauka holoi / shampoo / etc. ʻO ia hoʻi, me nā huahana i makemake ʻole ʻia i kēlā me kēia pule a ʻelua paha a ʻaʻole hiki i nā ʻano hana mua ke unuhi. Ke alakaʻi nei kēia i kēia manaʻo - ua manaʻo ʻia e helu i ka manawa o ke kūʻai ʻana o kēlā me kēia huahana ma ka awelika no nā mea kūʻai aku i kūʻai aku i ka huahana. k pākahi. A laila e unuhi i ka mea i pau i ka mea kūʻai aku. Hiki ke nānā ʻia nā manawa i helu ʻia no ka waiwai me kou mau maka no ka lawa.
Pehea mākou i hoʻomaikaʻi nui ai i ka maikaʻi o nā ʻōlelo paipai ma nā hale kūʻai kūʻai pūnaewele

A laila e nānā mākou inā hāʻule ka hopena o ka manawa huahana i loko o ka manawa i ka wā e hana ʻia ai nā ʻōlelo aʻoaʻo a hoʻohālikelike i nā mea e hiki mai ana. Hiki ke hōʻike ʻia ke ala e like me kēia:
Pehea mākou i hoʻomaikaʻi nui ai i ka maikaʻi o nā ʻōlelo paipai ma nā hale kūʻai kūʻai pūnaewele

Eia mākou he 2 mau hihia nui i hiki ke noʻonoʻo ʻia:

  1. He mea pono anei e ho'āʻo i nā huahana mai nā mea kūʻai aku i kūʻai i ka huahana ma lalo o K manawa.
  2. He mea pono anei e hoʻāʻo i kahi huahana inā hāʻule ka hopena o kona manawa ma mua o ka hoʻomaka ʻana o ka wā i manaʻo ʻia.

Hōʻike ka pakuhi ma lalo i nā hopena i loaʻa i kēia ʻano me nā hyperparameters like ʻole:
Pehea mākou i hoʻomaikaʻi nui ai i ka maikaʻi o nā ʻōlelo paipai ma nā hale kūʻai kūʻai pūnaewele
ft — E lawe wale i nā mea kūʻai aku i kūʻai i ka huahana ma ka liʻiliʻi loa K (anei K=5).
tm - E lawe wale i nā moho i hāʻule i loko o ka wā kuhi

ʻAʻole ia he mea kupanaha ke hiki iā ia (0, 0) ka nui loa hoʻomanaʻo aʻela nō a me ka mea liilii loa pololei, oiai, malalo o keia kulana ua loaa ka nui o na moho. Eia naʻe, loaʻa nā hopena maikaʻi loa inā ʻaʻole mākou e hoʻohālike i nā huahana no nā mea kūʻai aku i kūʻai i kahi huahana ma lalo o k nā manawa a me ka unuhi, me nā waiwai, ʻo ka hopena o ka manawa e hāʻule ai ma mua o ka wā kuhi.

Kaulana ma ka waeʻano

ʻO ka manaʻo ʻē aʻe ʻo ka hoʻāʻo ʻana i nā huahana kaulana ma nā ʻāpana like ʻole a i ʻole nā ​​​​mea hōʻailona. Maanei mākou e helu ai no kēlā me kēia mea kūʻai luna-k "punahele" a me ka unuhi "kaulana" mai kēia ʻano. I kā mākou hihia, e hoʻoholo mākou i ka "punahele" a me ka "kaulana" e ka helu o nā kūʻai o ka huahana. ʻO kahi pōmaikaʻi hou o kēia ala ʻo ia ka hoʻohana ʻana i ka hihia hoʻomaka anu. ʻO ia hoʻi, no nā mea kūʻai aku i kūʻai liʻiliʻi loa, a ʻaʻole i hele i ka hale kūʻai no ka manawa lōʻihi, a i ʻole i hoʻopuka i kahi kāleka kūpaʻa. No lākou, ʻoi aku ka maʻalahi a ʻoi aku ka maikaʻi o ka mālama ʻana i nā mea i kaulana i nā mea kūʻai aku a loaʻa kahi moʻolelo. ʻO nā metric hopena:
Pehea mākou i hoʻomaikaʻi nui ai i ka maikaʻi o nā ʻōlelo paipai ma nā hale kūʻai kūʻai pūnaewele
Eia ka helu ma hope o ka huaʻōlelo "kāwai" ʻo ia ka pae o ka nesting o ka waeʻano.

Ma ke ʻano holoʻokoʻa, ʻaʻole ia he mea kupanaha ka loaʻa ʻana o nā ʻāpana haiki i nā hopena maikaʻi aʻe, ʻoiai lākou e unuhi i nā huahana "punahele" pololei loa no nā mea kūʻai.

Kūʻai ʻē aʻe i nā waiwai like ʻole i kēlā me kēia pule

ʻO kahi ala hoihoi aʻu i ʻike ʻole ai ma nā ʻatikala e pili ana i nā ʻōnaehana mea hoʻolaha he mea maʻalahi a ma ka manawa like e hana ana i ke ʻano helu helu o nā kaulahao Markov. Maanei mākou e lawe ai i 2 mau pule like ʻole, a laila no kēlā me kēia mea kūʻai mākou e kūkulu i nā huahana pālua [kūʻai i ka pule i]-[kūʻai ʻia i ka pule j], kahi j > i, a mai ʻaneʻi mākou e helu ai no kēlā me kēia huahana i ka hiki ke hoʻololi i kahi huahana ʻē aʻe i kēia pule aʻe. ʻO ia hoʻi, no kēlā me kēia pālua o nā waiwai huahana-huahanaj E helu mākou i kā lākou helu ma nā hui i loaʻa a puʻunaue i ka helu o nā pālua, kahi huahana i ka pule mua. No ka unuhi ʻana i nā moho, lawe mākou i ka loaʻa hope a ka mea kūʻai aku luna-k nā huahana e hiki mai ana mai ka matrix transition i loaʻa iā mākou. ʻO ke kaʻina hana o ke kūkulu ʻana i kahi matrix transition e like me kēia:
Pehea mākou i hoʻomaikaʻi nui ai i ka maikaʻi o nā ʻōlelo paipai ma nā hale kūʻai kūʻai pūnaewele

Mai nā hiʻohiʻona maoli i ka matrix probability transition, ʻike mākou i kēia mau mea hoihoi:
Pehea mākou i hoʻomaikaʻi nui ai i ka maikaʻi o nā ʻōlelo paipai ma nā hale kūʻai kūʻai pūnaewele
Maanei hiki iā ʻoe ke ʻike i nā hilinaʻi hoihoi i hōʻike ʻia i ka ʻano o ka mea kūʻai aku: no ka laʻana, nā mea aloha i nā hua citrus a i ʻole kahi brand waiu e hoʻololi ai lākou i kahi ʻē aʻe. ʻAʻole ia he mea kupanaha ka pau ʻana o nā huahana me ka pinepine o nā kūʻai hou ʻana, e like me ka pata.

ʻO nā ana ma ke ʻano me nā kaulahao Markov penei:
Pehea mākou i hoʻomaikaʻi nui ai i ka maikaʻi o nā ʻōlelo paipai ma nā hale kūʻai kūʻai pūnaewele
k - ka helu o nā huahana i kiʻi ʻia no kēlā me kēia huahana i kūʻai ʻia mai ka hana hope a ka mea kūʻai aku.
E like me kā mākou e ʻike ai, hōʻike ʻia ka hopena maikaʻi loa e ka hoʻonohonoho ʻana me k=4. Hiki ke wehewehe ʻia ka spike i ka pule 4 e ka hana kau a puni nā lā hoʻomaha. 

ʻO nā huahana like i nā mea kūʻai aku, e like me nā hiʻohiʻona i kūkulu ʻia e nā hiʻohiʻona like ʻole

I kēia manawa ua hiki mai mākou i kahi ʻāpana paʻakikī a hoihoi - ʻimi i nā hoalauna kokoke e pili ana i nā vectors o nā mea kūʻai aku a me nā huahana i kūkulu ʻia e like me nā ʻano hiʻohiʻona. I kā mākou hana, hoʻohana mākou i 3 mau hiʻohiʻona:

  • ALS
  • Word2Vec (Item2Vec no ia mau hana)
  • DSSM

Ua hana mua mākou me ALS, hiki iā ʻoe ke heluhelu e pili ana i ke aʻo ʻana maanei. Ma ka hihia o Word2Vec, hoʻohana mākou i ka hoʻokō kaulana o ke kumu hoʻohālike mai gensim. Ma ka hoʻohālikelike me nā kikokikona, wehewehe mākou i ka hāʻawi ma ke ʻano he loaʻa kūʻai. No laila, i ke kūkulu ʻana i kahi vector huahana, aʻo ke kumu hoʻohālike e wānana no ka huahana ma ka loaʻa ʻana o kāna "context" (nā huahana i koe i ka loaʻa). I ka ʻikepili ecommerce, ʻoi aku ka maikaʻi o ka hoʻohana ʻana i ka hālāwai o ka mea kūʻai aku ma mua o kahi loaʻa; nā kāne mai 'Ozon. A ʻoi aku ka hoihoi o DSSM i ka parse. I ka hoʻomaka ʻana, ua kākau ʻia e nā kāne mai Microsoft i kumu hoʻohālike no ka ʻimi ʻana, Hiki iā ʻoe ke heluhelu i ka pepa noiʻi kumu ma aneʻi. ʻO ke ʻano o ke ʻano hoʻohālike e like me kēia:
Pehea mākou i hoʻomaikaʻi nui ai i ka maikaʻi o nā ʻōlelo paipai ma nā hale kūʻai kūʻai pūnaewele

he mea Q - nīnau, nīnau huli mea hoʻohana, D[i] — palapala, ʻaoʻao pūnaewele. ʻO ka mea hoʻokomo i ke kŘkohu nā ʻano o ka noi a me nā ʻaoʻao. Ma hope o kēlā me kēia papa hoʻokomo, aia kekahi mau papa pili piha (multilayer perceptron). A laila, e aʻo ana ke kŘkohu e hoʻemi i ka cosine ma waena o nā vectors i loaʻa ma nā papa hope o ke kŘkohu.
Hoʻohana like nā hana manaʻo i ka hoʻolālā like, aia wale nō ma kahi o kahi noi aia kahi mea hoʻohana, a ma kahi o nā ʻaoʻao aia nā huahana. A i ko mākou hihia, ua hoʻololi ʻia kēia ʻano hana i kēia mau mea:
Pehea mākou i hoʻomaikaʻi nui ai i ka maikaʻi o nā ʻōlelo paipai ma nā hale kūʻai kūʻai pūnaewele

I kēia manawa, e nānā i nā hopena, e hoʻomau i ka uhi ʻana i ka helu hope - inā ma ka hihia o ALS a me DSSM ua wehewehe mākou i nā vectors mea hoʻohana, a laila ma ka hihia o Word2Vec wale nō kā mākou huahana vectors. Maʻaneʻi, e kūkulu i ka vector mea hoʻohana, ua wehewehe mākou i 3 mau ala nui:

  1. E hoʻohui wale i nā vectors, a laila no ka mamao o ka cosine ua ʻike mākou ua hoʻohālikelike mākou i nā huahana i ka mōʻaukala kūʻai.
  2. ʻO ka hōʻuluʻulu vector me ke kaupaona manawa.
  3. Ke kaupaona ana me ka helu TF-IDF.

I ka hihia o ke kaupaona laina o ka vector mea kūʻai mai, hoʻomaka mākou mai ka hypothesis ʻo ka huahana i kūʻai ʻia e ka mea hoʻohana i nehinei i ʻoi aku ka mana o kāna ʻano ma mua o ka huahana āna i kūʻai ai i ʻeono mahina i hala. No laila ke noʻonoʻo nei mākou i ka pule o ka mea kūʻai aku me ka nui o ka 1, a he aha ka mea i hiki mai me ka ½, ⅓, etc.:
Pehea mākou i hoʻomaikaʻi nui ai i ka maikaʻi o nā ʻōlelo paipai ma nā hale kūʻai kūʻai pūnaewele

No ka TF-IDF coefficients, hana mākou e like me ka TF-IDF no nā kikokikona, ʻo mākou wale nō e noʻonoʻo i ka mea kūʻai aku ma ke ʻano he palapala, a ʻo ka hōʻoia ma ke ʻano he hāʻawi, kēlā me kēia, he huahana ka huaʻōlelo. ʻO kēia ala, e hoʻololi hou aku ka vector o ka mea hoʻohana i nā waiwai liʻiliʻi, ʻoiai ʻaʻole e hoʻololi nui ʻia nā waiwai maʻamau a maʻamau no ka mea kūʻai aku. Hiki ke hōʻike ʻia ke ala e like me kēia:
Pehea mākou i hoʻomaikaʻi nui ai i ka maikaʻi o nā ʻōlelo paipai ma nā hale kūʻai kūʻai pūnaewele

I kēia manawa, e nānā kākou i nā metric. ʻO kēia ke ʻano o nā hopena ALS:
Pehea mākou i hoʻomaikaʻi nui ai i ka maikaʻi o nā ʻōlelo paipai ma nā hale kūʻai kūʻai pūnaewele
Metrics no Item2Vec me nā ʻano like ʻole o ke kūkulu ʻana i ka vector mea kūʻai:
Pehea mākou i hoʻomaikaʻi nui ai i ka maikaʻi o nā ʻōlelo paipai ma nā hale kūʻai kūʻai pūnaewele
I kēia hihia, hoʻohana ʻia ke ʻano hoʻohālike e like me kā mākou kumu. ʻO ka ʻokoʻa wale nō ka k a mākou e hoʻohana ai. No ka hoʻohana ʻana i nā hiʻohiʻona hui wale, pono ʻoe e lawe ma kahi o 50-70 mau huahana kokoke loa no kēlā me kēia mea kūʻai.

A me nā metric e like me DSSM:
Pehea mākou i hoʻomaikaʻi nui ai i ka maikaʻi o nā ʻōlelo paipai ma nā hale kūʻai kūʻai pūnaewele

Pehea e hoʻohui ai i nā ʻano hana a pau?

Maikaʻi, e ʻōlelo ʻoe, akā he aha ka mea e hana ai me kahi pūʻulu nui o nā mea hoʻoheheʻe moho? Pehea e koho ai i ka hoʻonohonoho kūpono no kāu ʻikepili? Eia kekahi mau pilikia:

  1. Pono e kaupalena i ka wahi huli no nā hyperparameters i kēlā me kēia ʻano. He ʻoiaʻiʻo, ʻokoʻa ma nā wahi āpau, akā nui loa ka helu o nā helu hiki.
  2. Ke hoʻohana nei i kahi laʻana liʻiliʻi liʻiliʻi o nā ʻano kikoʻī me nā hyperparameters kikoʻī, pehea ʻoe e koho ai i ka hoʻonohonoho maikaʻi loa no kāu metric?

ʻAʻole i loaʻa iā mākou kahi pane pololei loa i ka nīnau mua, no laila ke hoʻomau nei mākou mai kēia: no kēlā me kēia ʻano, kākau ʻia kahi palena palena hulina hyperparameter, ma muli o kekahi mau ʻikepili i loaʻa iā mākou. No laila, ke ʻike nei i ka manawa maʻamau ma waena o nā kūʻai mai nā kānaka, hiki iā mākou ke koho me ka manawa e hoʻohana ai i ke ʻano "ka mea i kūʻai ʻia" a me ka "manawa o kahi kūʻai lōʻihi i hala".

A ma hope o ko mākou hele ʻana i kahi helu kūpono o nā ʻano like ʻole, ʻike mākou i kēia: ʻo kēlā me kēia hoʻokō e unuhi i kekahi helu o nā moho a loaʻa kekahi waiwai o ka metric kī no mākou (hoʻomanaʻo). Makemake mākou e loaʻa ka huina o kekahi helu o nā moho, ma muli o ko mākou mana helu ʻae ʻia, me ka metric kiʻekiʻe loa. Eia ka pilikia e hāʻule nani i loko o ka pilikia backpack.
Pehea mākou i hoʻomaikaʻi nui ai i ka maikaʻi o nā ʻōlelo paipai ma nā hale kūʻai kūʻai pūnaewele

Eia ka helu o nā moho ke kaumaha o ka ingot, a ʻo ke ala hoʻomanaʻo ʻo ia kona waiwai. Eia nō naʻe, aia he 2 mau mea e pono e noʻonoʻo i ka wā e hoʻokō ai i ka algorithm:

  • Hiki i nā ʻano hana ke uhi i nā moho a lākou e kiʻi ai.
  • I kekahi mau hihia, pono ke lawe ʻelua i hoʻokahi ala me nā ʻāpana like ʻole, a ʻo ka mea i hoʻopuka ʻia mai ka mua ʻaʻole ia he ʻāpana o ka lua.

No ka laʻana, inā lawe mākou i ka hoʻokō ʻana i ke ʻano "ka mea aʻu i kūʻai ai" me nā manawa like ʻole no ka hoʻihoʻi ʻana, a laila e hoʻopili ʻia kā lākou mau moho i loko o kekahi. I ka manawa like, ʻaʻole hāʻawi nā ʻokoʻa like ʻole i ka "kūʻai manawa" ma ka puka. No laila, hoʻokaʻawale mākou i nā ala hoʻohālike me nā ʻokoʻa like ʻole i nā poloka e like me kēlā me kēia poloka makemake mākou e lawe i hoʻokahi ala unuhi me nā hyperparameters kikoʻī. No ka hana ʻana i kēia, pono ʻoe e mākaukau iki i ka hoʻokō ʻana i ka pilikia knapsack, akā ʻaʻole e loli ka asymptotics a me ka hopena.

Hāʻawi kēia hui akamai iā mākou e kiʻi i nā metric aʻe i ka hoʻohālikelike ʻana me nā hiʻohiʻona hui wale:
Pehea mākou i hoʻomaikaʻi nui ai i ka maikaʻi o nā ʻōlelo paipai ma nā hale kūʻai kūʻai pūnaewele
Ma nā metric hope ʻike mākou i kēia kiʻi:
Pehea mākou i hoʻomaikaʻi nui ai i ka maikaʻi o nā ʻōlelo paipai ma nā hale kūʻai kūʻai pūnaewele

Eia naʻe, ma aneʻi hiki iā ʻoe ke ʻike aia hoʻokahi wahi i wehe ʻole ʻia no nā ʻōlelo aʻoaʻo e pono ai no ka ʻoihana. I kēia manawa ua aʻo wale mākou pehea e hana ai i kahi hana nui o ka wānana i ka mea e kūʻai ai ka mea hoʻohana, no ka laʻana, i ka pule aʻe. Akā ʻaʻole maikaʻi loa ka hāʻawi ʻana i kahi hoʻemi i kahi mea āna e kūʻai ai. Akā ʻoluʻolu ke hoʻonui i ka manaʻolana, no ka laʻana, o nā metric aʻe:

  1. Margin/turnover ma muli o nā ʻōlelo aʻoaʻo pilikino.
  2. ʻAwelika mea kūʻai nānā.
  3. Ka pinepine o na kipa ana.

No laila mākou e hoʻonui i nā probabilities i loaʻa e nā coefficients ʻokoʻa a hoʻonohonoho hou iā lākou i hiki i nā huahana e pili ana i nā metric ma luna ke piʻi i luna. ʻAʻohe mea i hoʻomākaukau ʻia no ke ʻano o ka hoʻohana ʻana. Ke hoʻāʻo nei mākou me ia coefficient pololei i ka hana ʻana. Akā eia nā ʻenehana hoihoi e hāʻawi pinepine iā mākou i nā hopena maikaʻi loa:

  1. E hoʻonui i ke kumu kūʻai/palena o ka huahana.
  2. E hoʻonui i ka loaʻa awelika i ʻike ʻia ai ka huahana. No laila e piʻi mai ana nā waiwai, kahi e lawe pinepine ai lākou i kahi mea ʻē aʻe.
  3. E hoʻonui i ka awelika o nā kipa e nā mea kūʻai aku i kēia huahana, ma muli o ke kuhiakau e hoʻonāukiuki kēia huahana i nā poʻe e hoʻi pinepine.

Ma hope o ka hana ʻana i nā hoʻokolohua me nā coefficients, ua loaʻa iā mākou nā metric aʻe i ka hana ʻana:
Pehea mākou i hoʻomaikaʻi nui ai i ka maikaʻi o nā ʻōlelo paipai ma nā hale kūʻai kūʻai pūnaewele
he mea huli huahana holoʻokoʻa - ka mahele o nā huahana i kūʻai ʻia mai loko mai o nā huahana a pau i nā ʻōlelo paipai a mākou i hana ai.

E ʻike ka mea heluhelu hoʻolohe i ka ʻokoʻa koʻikoʻi ma waena o nā metric offline a me ka pūnaewele. Ua wehewehe ʻia kēia ʻano e ka ʻoiaʻiʻo ʻaʻole hiki ke noʻonoʻo ʻia nā kānana ikaika a pau no nā huahana hiki ke ʻōlelo ʻia ke aʻo ʻana i ke kumu hoʻohālike. No mākou, he moʻolelo maʻamau ka hiki ke kānana ʻia ka hapalua o nā moho i kiʻi ʻia; ʻano maʻamau kēia kikoʻī i kā mākou ʻoihana.

Ma ke ʻano o ka loaʻa kālā, loaʻa ka moʻolelo aʻe, ʻike maopopo ʻia ma hope o ka hoʻomaka ʻana o nā ʻōlelo aʻoaʻo, ke ulu ikaika nei ka loaʻa kālā o ka hui hoʻāʻo, i kēia manawa ka piʻi ʻana o ka loaʻa kālā me kā mākou mau manaʻo he 3-4%:
Pehea mākou i hoʻomaikaʻi nui ai i ka maikaʻi o nā ʻōlelo paipai ma nā hale kūʻai kūʻai pūnaewele

I ka hopena, makemake wau e ʻōlelo inā makemake ʻoe i nā ʻōlelo aʻoaʻo non-realtime, a laila hiki ke loaʻa ka piʻi nui o ka maikaʻi i nā hoʻokolohua me ka unuhi ʻana i nā moho no nā ʻōlelo aʻoaʻo. ʻO ka nui o ka manawa no kā lākou hanauna e hiki ai ke hoʻohui i nā ʻano hana maikaʻi, ʻo ia ka mea e hāʻawi i nā hopena maikaʻi loa no ka ʻoihana.

E hauʻoli wau e kamaʻilio ma nā ʻōlelo me ka mea e ʻike i ka mea hoihoi. Hiki iā ʻoe ke nīnau mai iaʻu i nā nīnau pilikino ma telegram. Kaʻana like wau i koʻu mau manaʻo e pili ana iā AI/startups i kaʻu kaila telegrama - Welina :)

Source: www.habr.com

Pākuʻi i ka manaʻo hoʻopuka