Баарына салам! Менин атым Саша, мен LoyaltyLab компаниясынын CTO жана биргелешип уюштуруучусумун. Эки жыл мурун досторум менен бардык жакыр студенттердей эле кечинде үйүбүзгө жакын жайгашкан дүкөнгө сыра алганы барганбыз. Биздин сырага келерибизди билип туруп, сатуучу чипсы же крекерге арзандатууну сунуштабаганына абдан капа болдук, бирок бул абдан логикалык! Эмне үчүн мындай абал болуп жатканын түшүнгөн жокпуз жана өзүбүздүн компаниябызды ачууну чечтик. Бонус катары, жума сайын ошол эле чиптерге арзандатууларды бериңиз.

Мунун баары мен буюмдун техникалык жагындагы материалды сунуштай турган деңгээлге жетти NVIDIA GTC. Биз өз ишибизди коомчулук менен бөлүшүүгө кубанычтабыз, ошондуктан мен өз отчетумду макала түрүндө жарыялап жатам.

тааныштыруу

Саякаттын башында башкалар сыяктуу эле, биз рекомендатор системалары кандайча жасалганын карап чыгуу менен баштадык. Ал эми абдан популярдуу архитектура төмөнкү түрү болуп чыкты:

Ал эки бөлүктөн турат:

1. Жөнөкөй жана тез моделди, адатта, биргелешкен моделди колдонуу менен сунуштар үчүн талапкерлерди тандоо.
2. Берилиштердеги бардык мүмкүн болгон өзгөчөлүктөрдү эске алуу менен бир кыйла татаал жана жай мазмундуу модели менен талапкерлердин рейтинги.

Мындан ары мен төмөнкү терминдерди колдоном:

• сунуштар үчүн талапкер/кандидат — өндүрүштөгү сунуштарга киргизилиши мүмкүн болгон колдонуучу-продукт жубу.
• талапкерлерди алуу/экстрактор/талапкерди алуу ыкмасы — колдо болгон маалыматтардан “сунуштама талапкерлерин” алуу процесси же ыкмасы.

Биринчи кадам, адатта, биргелешкен чыпкалоонун ар кандай вариацияларын колдонууну камтыйт. Эң популярдуу - ALS. Рекомендациялоочу системалар жөнүндө макалалардын көбү биринчи этапта биргелешкен моделдердин ар кандай өркүндөтүлүшүн гана ачып бергени таң калыштуу, бирок башка тандоо ыкмалары жөнүндө эч ким көп сөз кылбайт. Биз үчүн бир гана биргелешкен моделдерди жана алар менен ар кандай оптималдаштырууну колдонуу ыкмасы биз күткөн сапатка ээ болгон жок, ошондуктан биз бул бөлүк боюнча атайын изилдөөлөрдү казып көрдүк. Ал эми макаланын аягында мен биздин базалык негиз болгон ALS оорусун канчалык жакшырта алганыбызды көрсөтөм.

Мен биздин мамилени сүрөттөөгө өтүүдөн мурун, реалдуу убакыт сунуштарында, биз үчүн 30 мүнөт мурун болгон маалыматтарды эске алуу маанилүү болгондо, талап кылынган убакытта иштей турган ыкмалар көп эмес экенин белгилей кетүү маанилүү. Бирок, биздин учурда, сунуштарды күнүнө бир жолудан ашык эмес, ал эми көпчүлүк учурларда - жумасына бир жолу чогултушубуз керек, бул бизге татаал моделдерди колдонууга жана сапатын бир нече эсеге жакшыртууга мүмкүнчүлүк берет.

Келгиле, талапкерлерди тандоо тапшырмасында ALS гана көрсөткөн көрсөткүчтөрдү негиз катары алалы. Биз көзөмөлдөгөн негизги көрсөткүчтөр болуп төмөнкүлөр саналат:

• Тактык - тандалгандардын ичинен туура тандалган талапкерлердин үлүшү.
• Кайра чакырып алуу - бул максаттуу аралыкта болгон талапкерлердин ичинен өткөн талапкерлердин үлүшү.
• F1-упай - мурунку эки пункт боюнча эсептелген F-өлчөмү.

Кошумча мазмун функциялары менен градиентти жогорулатууну үйрөткөндөн кийин акыркы моделдин көрсөткүчтөрүн да карайбыз. Бул жерде дагы 3 негизги көрсөткүч бар:

• precision@5 - ар бир сатып алуучу үчүн ыктымалдуулук боюнча алдыңкы 5ке кирген өнүмдөрдүн орточо пайызы.
• Responsive-rate@5 - кардарлардын дүкөнгө баруудан кеминде бир жеке сунушту (бир сунушта 5 өнүм) сатып алууга айландыруу.
• бир колдонуучуга ort roc-auc - орточо roc-auc ар бир сатып алуучу үчүн.

Бул бардык көрсөткүчтөр боюнча өлчөнгөн экенин белгилей кетүү маанилүү убакыт серияларынын кайчылаш валидациясы, башкача айтканда, машыгуу биринчи k жумада болот, ал эми k+1 жума тесттик маалымат катары кабыл алынат. Ошентип, сезондук өйдө-ылдый моделдердин сапатын чечмелөөгө минималдуу таасир эткен. Андан ары бардык графиктерде абсцисса огу кайчылаш валидацияда жуманын санын, ал эми ордината огу көрсөтүлгөн метриканын маанисин көрсөтөт. Бардык графиктер бири-бири менен салыштыруу туура болушу үчүн, бир кардардын транзакция маалыматтарына негизделген.

Биздин мамилебизди сүрөттөп баштоодон мурун, биз алгач ALS боюнча үйрөтүлгөн модель болгон базаны карайбыз.
Талапкерлерди издөө көрсөткүчтөрү:

Акыркы көрсөткүчтөр:

Мен алгоритмдердин бардык ишке ашырылышын кандайдыр бир бизнес гипотеза катары карайм. Ошентип, өтө болжол менен, кандайдыр бир биргелешкен моделди "адамдар өздөрүнө окшош адамдар сатып алган нерсени сатып алышат" деген гипотеза катары кароого болот. Мен буга чейин айткандай, биз өзүбүздү мындай семантика менен чектеген жокпуз жана бул жерде оффлайн соодадагы маалыматтарда жакшы иштеген кээ бир гипотезалар бар:

1. Мен буга чейин сатып алган.
2. Мен мурун сатып алган нерсеге окшош.
3. Узак өткөн сатып алуу мезгили.
4. Категория/бренд боюнча популярдуу.
5. Ар кандай товарларды жумадан жумага кезектешип сатып алуу (Марков чынжырлары).
6. Ар кандай моделдер (Word2Vec, DSSM, ж.б.) тарабынан курулган мүнөздөмөлөргө ылайык, сатып алуучуларга окшош буюмдар.

Мурда эмне сатып алдың?

Азык-түлүк чекене соодасында абдан жакшы иштеген эң айкын эвристикалык. Бул жерде биз лоялдуулук картасынын ээси акыркы K күн ичинде (көбүнчө 1-3 жума) же бир жыл мурун K күн сатып алган бардык товарларды алабыз. Бул ыкманы колдонуу менен биз төмөнкү көрсөткүчтөрдү алабыз:

Бул жерде биз мезгилди канчалык көп алсак, ошончолук кайра чакырып алуу жана бизде тактык ошончолук аз болору ачык көрүнүп турат. Орточо алганда, "акыркы 2 жума" кардарлар үчүн жакшы натыйжаларды берет.

Мен мурун сатып алган нерсеге окшош

Азык-түлүк чекене соодасы үчүн "мурун сатып алган нерсем" жакшы иштегени таң калыштуу эмес, бирок колдонуучу сатып алган нерседен гана талапкерлерди алуу анча деле сонун эмес, анткени сатып алуучуну кандайдыр бир жаңы продукт менен таң калтырышы күмөн. Ошондуктан, биз ошол эле биргелешкен моделдерди колдонуу менен бул эвристиканы бир аз жакшыртууну сунуштайбыз. ALS окутуу учурунда алган векторлордон биз колдонуучу буга чейин сатып алган өнүмгө окшош продукттарды ала алабыз. Бул идея видео контентти көрүү кызматтарындагы "окшош видеолорго" абдан окшош, бирок биз колдонуучу белгилүү бир учурда эмне жеп/сатып алып жатканын билбегендиктен, биз анын сатып алган нерселерине окшошторду гана издей алабыз, айрыкча анткени биз анын канчалык жакшы иштээрин билебиз. Бул ыкманы колдонуучунун акыркы 2 жумадагы транзакцияларында колдонуу менен биз төмөнкү көрсөткүчтөрдү алабыз:

бул k — акыркы 14 күндүн ичинде сатып алуучу тарабынан сатылып алынган ар бир продукт үчүн алынган окшош товарлардын саны.
Бул ыкма биздин кардар үчүн өзгөчө жакшы иштеди, алар үчүн колдонуучунун сатып алуу тарыхында болгон эч нерсени сунуш кылбоо абдан маанилүү болчу.

Сатып алуу мөөнөтү кеч

Биз буга чейин аныкталгандай, товарларды сатып алуунун жогорку жыштыгына байланыштуу, биринчи ыкма биздин конкреттүү муктаждыктарыбыз үчүн жакшы иштейт. Ал эми кир жуугуч порошок/шампунь/ж.б. Башкача айтканда, ар бир же эки жумада талап кылынышы күмөн болгон жана мурунку ыкмалар менен казып алуу мүмкүн эмес. Бул төмөнкүдөй ойго алып келет - продуктту көбүрөөк сатып алган кардарлар үчүн орточо ар бир продуктунун сатып алуу мөөнөтүн эсептөө сунушталат k бир жолу. Андан кийин сатып алуучунун эмнеси түгөнсө керек. Товарлар үчүн эсептелген мөөнөттөрдүн шайкештигин көзүңүз менен текшерсе болот:

Андан кийин биз продукт мезгилинин аягы сунуштар өндүрүштө боло турган убакыт аралыгына туура келер-келбесин карап чыгабыз жана эмне болорун тандайбыз. Бул ыкманы төмөнкүчө чагылдырууга болот:

Бул жерде биз каралышы мүмкүн болгон 2 негизги учурлар бар:

1. Продукцияны K жолудан аз сатып алган кардарлардын үлгүсүн алуу керекпи.
2. Эгерде анын мөөнөтүнүн аягы максаттуу интервалдын башталышына чейин туура келсе, продуктунун үлгүсүн алуу керекпи.

Төмөнкү графикте бул ыкма ар кандай гиперпараметрлер менен кандай натыйжаларга жетээрин көрсөтөт:

ft — Продукцияны жок дегенде K (бул жерде K=5) жолу сатып алган кардарларды гана алыңыз
tm — Максаттуу интервалга туура келген талапкерлерди гана алыңыз

Анын колунан келгени таң калыштуу эмес (0, 0) эң чоң эстөө жана эң кичинеси тактык, анткени бул шартта талапкерлердин көбү алынат. Бирок, белгилүү бир продуктуну азыраак сатып алган кардарлар үчүн өнүмдөрдү тандап албаганда эң жакшы натыйжаларга жетишилет k жолу жана экстракты, анын ичинде товарларды, мөөнөтүнүн аяктоосу максаттуу аралыкка чейин туура келет.

Категориясы боюнча популярдуу

Дагы бир айкын идея - ар кандай категориялар же бренддер боюнча популярдуу өнүмдөрдү тандап алуу. Бул жерде биз ар бир сатып алуучу үчүн эсептеп топ-к "сүйүктүү" категорияларды/бренддерди жана бул категориядан/брендден "популярдуу" чыгарып алыңыз. Биздин учурда, биз продуктту сатып алуулардын саны боюнча "сүйүктүү" жана "популярдуу" аныктайт. Бул ыкманын кошумча артыкчылыгы анын суук башталгыч учурда колдонулушу болуп саналат. Башкача айтканда, же өтө аз сатып алган, же көптөн бери дүкөнгө барбаган, же лоялдуулук картасын жаңыдан чыгарган кардарлар үчүн. Алар үчүн кардарлардын арасында популярдуу болгон жана тарыхы бар өнүмдөрдү колдонуу оңой жана жакшыраак. Натыйжада көрсөткүчтөр болуп төмөнкүлөр саналат:

Бул жерде “категория” деген сөздөн кийинки сан категориянын уясынын деңгээлин билдирет.

Жалпысынан алганда, тар категориялар жакшы натыйжаларга жетишип жатканы таң калыштуу эмес, анткени алар сатып алуучулар үчүн тагыраак "сүйүктүү" өнүмдөрдү чыгарышат.

Аптадан жумага ар кандай товарларды сатып алуу

Рекомендатордук системалар жөнүндө макалаларда мен көргөн эмесмин, кызыктуу ыкма - бул абдан жөнөкөй жана ошол эле учурда Марков чынжырларынын статистикалык ыкмасы. Бул жерде биз 2 башка жуманы талап кылабыз, андан кийин ар бир кардар үчүн жуп буюмдарды курабыз [i жумасында сатып алдым]-[j жумасында сатып алдым], мында j > i, жана бул жерден биз ар бир продукт үчүн кийинки аптада башка продуктка өтүү ыктымалдыгын эсептейбиз. Башкача айтканда, ар бир жуп товар үчүн продукты-продуктж Табылган жуптарда алардын санын санап, жуптардын санына бөлөбүз, кайдагы продукты биринчи жумада болгон. Талапкерлерди алуу үчүн биз сатып алуучунун акыркы квитанциясын жана көчүрмөсүн алабыз топ-к биз алган өткөөл матрицадан кийинки өнүмдөр. Өткөөл матрицаны түзүү процесси төмөнкүдөй көрүнөт:

Өткөөл ыктымалдык матрицасындагы реалдуу мисалдардан биз төмөнкү кызыктуу кубулуштарды көрөбүз:

Бул жерде сиз керектөөчүлөрдүн жүрүм-турумунда ачылган кызыктуу көз карандылыктарды байкай аласыз: мисалы, цитрус жемиштерин же сүттүн брендин сүйгөндөр, алар башкага өтүшү мүмкүн. Кайталап сатып алуулардын жогорку жыштыгы менен, сары май сыяктуу азыктар да ушул жерден келип калышы таң калыштуу эмес.

Марков чынжырлары менен методдогу көрсөткүчтөр төмөнкүдөй:

k - сатып алуучунун акыркы транзакциясынан ар бир сатып алынган продукт үчүн алынган продукциянын саны.
Көрүнүп тургандай, эң жакшы натыйжа k=4 менен конфигурация менен көрсөтүлөт. 4-жумадагы өсүштү майрам күндөрүндөгү сезондук жүрүм-турум менен түшүндүрүүгө болот. 

Сатып алуучуларга окшош буюмдар, ар кандай моделдер тарабынан курулган мүнөздөмөлөргө ылайык

Эми биз эң татаал жана кызыктуу бөлүгүнө келдик – кардарлардын векторлорунун жана ар кандай моделдер боюнча курулган буюмдардын негизинде жакынкы кошуналарды издөө. Биздин ишибизде биз мындай 3 моделди колдонобуз:

• ALS
• Word2Vec (мындай тапшырмалар үчүн Item2Vec)
• DSSM

Биз буга чейин ALS менен күрөшкөнбүз, анын кантип үйрөнөрүн окуй аласыз бул жерде. Word2Vec учурда, биз моделдин белгилүү ишке ашырууну колдонобуз gensim. Тексттерге окшошуп, биз сунушту сатып алуу дүмүрчөгү катары аныктайбыз. Ошентип, продукт векторун курууда, модель квитанциядагы буюм үчүн анын "контексти" (дүмүрчөктө калган продуктулар) үчүн болжолдоону үйрөнөт. Электрондук коммерция маалыматтарында, дүмүрчөктүн ордуна сатып алуучунун сессиясын колдонгон жакшы; озон. Жана DSSM талдоо үчүн кызыктуураак. Башында, аны издөө үчүн үлгү катары Microsoft жигиттери жазган, Түпнуска изилдөө кагазын бул жерден окуй аласыз. Моделдин архитектурасы төмөнкүдөй көрүнөт:

бул Q - суроо, колдонуучунун издөө суроосу, D[i] — документ, интернет баракчасы. Моделге киргизүү тиешелүүлүгүнө жараша суроо-талаптын жана барактардын атрибуттары болуп саналат. Ар бир кириш катмарынан кийин толук туташтырылган бир катар катмарлар (көп катмарлуу кабылдоочу) болот. Андан кийин, модель моделдин акыркы катмарларында алынган векторлордун ортосундагы косинустарды минималдаштырууну үйрөнөт.
Сунуштама тапшырмалары так эле архитектураны колдонушат, суранычтын ордуна колдонуучу гана бар, ал эми барактардын ордуна өнүмдөр бар. Ал эми биздин учурда, бул архитектура төмөнкүгө айландырылат:

Эми, натыйжаларды текшерүү үчүн, акыркы пунктту жабуу калды - эгерде ALS жана DSSM учурда бизде колдонуучунун векторлору так аныкталган болсо, Word2Vec учурда бизде продукт векторлору гана бар. Бул жерде колдонуучу векторун куруу үчүн биз 3 негизги ыкманы аныктадык:

1. Жөн гана векторлорду кошсоңуз, анда косинус аралыктары үчүн биз сатып алуу тарыхындагы өнүмдөрдү жөн эле орточо кылып алганбыз.
2. Бир аз убакыттын салмагы менен вектордук жыйынтык.
3. TF-IDF коэффициенти менен жүктөрдү таразалоо.

Сатып алуучунун векторунун сызыктуу салмагында, колдонуучу кечээ сатып алган продукт алты ай мурун сатып алган товарга караганда анын жүрүм-турумуна көбүрөөк таасир этет деген гипотезадан чыгабыз. Ошентип, биз сатып алуучунун мурунку аптасын 1 коэффициент менен жана ½, ⅓, ж.б.

TF-IDF коэффициенттери үчүн биз тексттер үчүн TF-IDFдегидей кылабыз, бир гана биз сатып алуучуну документ катары, ал эми чекти сунуш катары карайбыз, тиешелүүлүгүнө жараша сөз продукт болуп саналат. Ошентип, колдонуучунун вектору сейрек кездешүүчү товарларга көбүрөөк жылат, ал эми сатып алуучу үчүн тез-тез жана тааныш товарлар аны көп деле өзгөртпөйт. Бул ыкманы төмөнкүчө чагылдырууга болот:

Эми көрсөткүчтөрдү карап көрөлү. Бул ALS жыйынтыгы кандай болот:

Сатып алуучунун векторун түзүүнүн ар кандай вариациялары менен Item2Vec үчүн метрика:

Бул учурда, дал ошол эле модель биздин базалык катары колдонулат. Бир гана айырмасы, биз кайсы к-ны колдонобуз. Биргелешкен моделдерди гана колдонуу үчүн ар бир кардар үчүн 50-70 жакын товарды алышыңыз керек.

Жана DSSM боюнча көрсөткүчтөр:

Бардык ыкмаларды кантип айкалыштыруу керек?

Сонун, сиз айтасыз, бирок талапкерди казып алуу куралдарынын мынчалык чоң топтомун эмне кылуу керек? Сиздин маалыматтарыңыз үчүн оптималдуу конфигурацияны кантип тандоо керек? Бул жерде бизде бир нече көйгөйлөр бар:

1. Ар бир ыкмада гиперпараметрлерди издөө мейкиндигин кандайдыр бир жол менен чектөө керек. Бул, албетте, бардык жерде дискреттик, бирок мүмкүн болгон пункттардын саны абдан чоң.
2. Конкреттүү гиперпараметрлери бар белгилүү бир ыкмалардын чакан чектелген үлгүсүн колдонуу менен, метрикаңыз үчүн эң жакшы конфигурацияны кантип тандай аласыз?

Биз биринчи суроого биротоло туура жооп таба элекпиз, ошондуктан биз төмөндөгүлөрдөн чыгабыз: ар бир метод үчүн гиперпараметрдик издөө мейкиндигин чектөөчү жазылат, ал бизде болгон маалыматтар боюнча айрым статистикалык маалыматтарга жараша болот. Ошентип, адамдардан сатып алуулардын ортосундагы орточо мезгилди билүү менен, биз "эч эле сатылып алынган" жана "мурдагы сатып алуу мезгили" ыкмасын кайсы мезгилде колдонууну болжолдой алабыз.

Жана биз ар кандай ыкмалардын белгилүү бир адекваттуу сандагы вариацияларынан өткөндөн кийин, биз төмөнкүлөрдү белгилейбиз: ар бир ишке ашыруу талапкерлердин белгилүү бир санын чыгарат жана биз үчүн негизги көрсөткүчтүн белгилүү бир маанисине ээ (эстетүү). Биз уруксат берилген эсептөө күчүбүзгө жараша, мүмкүн болгон эң жогорку метрика менен белгилүү бир сандагы талапкерлерди алгыбыз келет. Бул жерде маселе кооз рюкзак көйгөйүнө кулайт.

Бул жерде талапкерлердин саны куйма салмагы болуп саналат, ал эми кайра чакырып алуу ыкмасы анын наркы болуп саналат. Бирок, алгоритмди ишке ашырууда эске алынышы керек болгон дагы 2 пункт бар:

• Методдор алар алган талапкерлердин бири-бирине дал келиши мүмкүн.
• Кээ бир учурларда, ар кандай параметрлери менен бир ыкманы эки жолу алуу туура болот, ал эми биринчиден чыккан талапкердин жыйынтыгы экинчисинин бир бөлүгү болбойт.

Мисалы, издөө үчүн ар кандай интервалдар менен “мен буга чейин эле сатып алган нерсем” ыкмасын ишке ашырууну алсак, анда алардын талапкерлер топтому бири-биринин ичине жайгаштырылат. Ошол эле учурда, чыгууда "мезгил-мезгили менен сатып алуулар" ар кандай параметрлери толук кесилишин камсыз кылбайт. Ошондуктан, биз ар кандай параметрлери бар тандап алуу ыкмаларын блокторго бөлөбүз, ар бир блоктон биз өзгөчө гиперпараметрлер менен эң көп дегенде бирден экстракция ыкмасын алгыбыз келет. Бул үчүн, сиз сумка маселесин ишке ашырууда бир аз акылдуу болушуңуз керек, бирок асимптотика жана натыйжа өзгөрбөйт.

Бул акылдуу айкалышы жөнөкөй биргелешкен моделдерге салыштырмалуу төмөнкү көрсөткүчтөрдү алууга мүмкүндүк берет:

Акыркы көрсөткүчтө биз төмөнкү сүрөттү көрөбүз:

Бирок, бул жерде бизнес үчүн пайдалуу сунуштар үчүн бир ачылбаган пункт бар экенин байкаса болот. Эми биз жаңы эле, мисалы, кийинки жумада колдонуучу эмне сатып алаарын алдын ала кандай сонун жумуш жасоону үйрөндүк. Бирок жөн гана ал сатып ала турган нерсеге арзандатуу берүү абдан сонун эмес. Бирок, мисалы, төмөнкү көрсөткүчтөрдү максималдуу күтүү сонун болот:

1. Жеке сунуштардын негизинде маржа / жүгүртүү.
2. Орточо кардар текшерүү.
3. Визиттердин жыштыгы.

Ошентип, биз алынган ыктымалдуулуктарды ар кандай коэффициенттерге көбөйтөбүз жана жогорудагы метрикага таасир этүүчү продуктылар жогоруга чыгышы үчүн аларды кайра иреттейбиз. Бул жерде кайсы ыкманы колдонуу эң жакшы деген даяр чечим жок. Ал турсун мындай коэффи-циенттерди тузден-туз вндуруште эксперимент жасайбыз. Бирок бул жерде көбүнчө бизге эң жакшы натыйжаларды берген кызыктуу ыкмалар бар:

1. буюмдун баасы / маржа менен көбөйтүү.
2. Продукт пайда болгон орточо квитанцияга көбөйтүңүз. Ошентип, товарлар пайда болот, алар менен көбүнчө башка нерсени алышат.
3. Бул продуктту сатып алуучулардын орточо жыштыгына көбөйтүңүз, гипотезага таянуу менен, бул продукт адамдарды ага тез-тез кайрылып келүүгө түртөт.

Коэффициенттер менен эксперименттерди жүргүзгөндөн кийин өндүрүштө төмөнкү көрсөткүчтөрдү алдык:

бул жалпы продуктыларды өзгөртүү — биз тузген рекомендациялардагы бардык продукциянын ичинен сатып алынган продукциянын улушу.

Кунт коюп окурман оффлайн жана онлайн көрсөткүчтөрдүн ортосундагы олуттуу айырманы байкайт. Бул жүрүм-турум моделди окутууда сунуш кылынышы мүмкүн болгон бардык динамикалык чыпкаларды эске алуу мүмкүн эместиги менен түшүндүрүлөт. Биз үчүн, алынган талапкерлердин жарымын чыпкалоо мүмкүн болгон кадимки окуя, бул биздин тармакка мүнөздүү.

Киреше боюнча, төмөнкү окуя алынган, сунуштар ишке киргизилгенден кийин, тесттик топтун кирешеси катуу өсүп жаткандыгы көрүнүп турат, азыр биздин сунуштар менен кирешенин орточо өсүшү 3-4% ды түзөт:

Жыйынтыктап айтканда, эгер сизге реалдуу эмес рекомендациялар керек болсо, анда сапаттын абдан чоң өсүшүн сунуштарга талапкерлерди алуу менен эксперименттерден тапса болот деп айткым келет. Алардын мууну үчүн көп убакыт көп жакшы ыкмаларды айкалыштырууга мүмкүндүк берет, алар жалпысынан бизнес үчүн чоң натыйжаларды берет.

Материалды кызыктуу деп тапкандар менен комментарийлерде сүйлөшүүгө кубанычта болом. Мага жеке дареги боюнча суроолорду берсеңиз болот телеграмма. Мен дагы AI/стартаптар тууралуу оюм менен бөлүшөм телеграм каналы - Кош келдиңиз :)

Source: www.habr.com