Како радимо на квалитету и брзини одабира препорука

Моје име је Павел Паркхоменко, ја сам МЛ програмер. У овом чланку бих желео да говорим о структури услуге Иандек.Зен и поделим техничка побољшања, чија је имплементација омогућила повећање квалитета препорука. Из овог поста ћете научити како пронаћи најрелевантније за корисника међу милионима докумената за само неколико милисекунди; како направити континуирану декомпозицију велике матрице (која се састоји од милиона колона и десетина милиона редова) тако да нови документи добију свој вектор за десетине минута; како поново користити декомпозицију матрице корисник-чланак да бисте добили добру векторску репрезентацију за видео.

Наша база података препорука садржи милионе докумената различитих формата: текстуалне чланке креиране на нашој платформи и преузете са спољних сајтова, видео записе, наративе и кратке постове. Развој овакве услуге повезан је са великим бројем техничких изазова. Ево неких од њих:

• Подели рачунарске задатке: све тешке операције обављајте ван мреже, а у реалном времену само брзу примену модела како бисте били одговорни за 100-200 мс.
• Брзо узмите у обзир радње корисника. Да бисте то урадили, неопходно је да се сви догађаји одмах испоруче препоручиоцу и утичу на резултате модела.
• Направите фид тако да се за нове кориснике брзо прилагођава њиховом понашању. Људи који су се тек придружили систему треба да осећају да њихове повратне информације утичу на препоруке.
• Брзо схватите коме да препоручите нови чланак.
• Брзо одговорите на сталну појаву нових садржаја. Свакодневно се објављују десетине хиљада чланака, а многи од њих имају ограничен животни век (рецимо, вести). То је оно што их разликује од филмова, музике и других дуготрајних и скупих садржаја за креирање.
• Пренесите знање из једне области у другу. Ако систем препорука има обучене моделе за текстуалне чланке и у њега додамо видео, можемо поново да користимо постојеће моделе како би нови тип садржаја био боље рангиран.

Рећи ћу вам како смо решили ове проблеме.

Избор кандидата

Како смањити број докумената који се разматрају хиљадама пута за неколико милисекунди, а да практично не дође до погоршања квалитета рангирања?

Претпоставимо да смо обучили многе МЛ моделе, генерисали карактеристике на основу њих и обучили други модел који рангира документе за корисника. Све би било у реду, али не можете само узети и израчунати све знакове за све документе у реалном времену, ако постоје милиони ових докумената, а препоруке треба да се направе за 100-200 мс. Задатак је одабрати одређени подскуп од милиона који ће бити рангиран за корисника. Ова фаза се обично назива селекција кандидата. За то постоји неколико захтева. Прво, селекција мора да се деси веома брзо, како би што више времена остало за сам ранг. Друго, пошто смо значајно смањили број докумената за рангирање, морамо сачувати документе релевантне за корисника што је могуће потпуније.

Наш принцип селекције кандидата је еволуирао и тренутно смо дошли до вишестепене шеме:

Прво, сви документи су подељени у групе, а најпопуларнији документи су узети из сваке групе. Групе могу бити сајтови, теме, кластери. За сваког корисника, на основу његове историје, бирају се групе које су му најближе и из њих се узимају најбољи документи. Такође користимо кНН индекс за одабир докумената који су најближи кориснику у реалном времену. Постоји неколико метода за конструисање кНН индекса; наш је најбоље функционисао ХНСВ (Хјерархијски навигациони графикони малог света). Ово је хијерархијски модел који вам омогућава да пронађете Н најближих вектора за корисника из базе података од милион за неколико милисекунди. Прво индексирамо целу нашу базу докумената ван мреже. Пошто претраживање у индексу ради прилично брзо, ако постоји неколико јаких уградњи, можете креирати неколико индекса (један индекс за свако уграђивање) и приступити сваком од њих у реалном времену.

Још увек имамо десетине хиљада докумената за сваког корисника. Ово је још увек много да се изброје све карактеристике, тако да у овој фази користимо лаки ранг – лагани модел тешког рангирања са мање функција. Задатак је да се предвиди која ће документа тешки модел имати у врху. Документи са највећим предиктором биће коришћени у тешком моделу, односно у последњој фази рангирања. Овај приступ вам омогућава да смањите базу података докумената који се разматрају за корисника са милиона на хиљаде за десетине милисекунди.

АЛС корак у времену извођења

Како узети у обзир повратне информације корисника одмах након клика?

Важан фактор у препорукама је време одговора на повратне информације корисника. Ово је посебно важно за нове кориснике: када особа тек почне да користи систем препорука, добија неперсонализовани феед докумената различитих тема. Чим направи први клик, морате то одмах узети у обзир и прилагодити се његовим интересима. Ако израчунате све факторе ван мреже, брз одговор система ће постати немогућ због кашњења. Дакле, потребно је обрадити радње корисника у реалном времену. У ове сврхе користимо АЛС корак у току извршавања да бисмо изградили векторску репрезентацију корисника.

Претпоставимо да имамо векторску репрезентацију за све документе. На пример, можемо да направимо уградње ван мреже на основу текста чланка користећи ЕЛМо, БЕРТ или друге моделе машинског учења. Како можемо добити векторску репрезентацију корисника у истом простору на основу њихових интеракција у систему?

Општи принцип формирања и декомпозиције матрице корисник-документНека имамо м корисника и н докумената. Неким корисницима је познат њихов однос према одређеним документима. Тада се ове информације могу представити као м к н матрица: редови одговарају корисницима, а колоне документима. Пошто особа није видела већину докумената, већина ћелија матрице ће остати празна, док ће друге бити попуњене. За сваки догађај (свиђа ми се, не свиђа ми се, клик) нека вредност је дата у матрици - али хајде да размотримо поједностављени модел у коме свиђање одговара 1, а несвиђање одговара -1.

Хајде да декомпонујемо матрицу на два: П (м к д) и К (д к н), где је д димензија векторске репрезентације (обично мали број). Тада ће сваки објекат одговарати д-димензионалном вектору (за корисника - ред у матрици П, за документ - колона у матрици К). Ови вектори ће бити уграђивање одговарајућих објеката. Да бисте предвидели да ли ће се кориснику свидети документ, можете једноставно да помножите његове уградње.

Један од могућих начина за декомпоновање матрице је АЛС (наизменични најмањи квадрати). Оптимизоваћемо следећу функцију губитка:

Овде је руи интеракција корисника у са документом и, ки је вектор документа и, пу је вектор корисника у.

Тада се аналитички проналази оптимални кориснички вектор са становишта средње квадратне грешке (за фиксне векторе документа) решавањем одговарајуће линеарне регресије.

Ово се зове "АЛС корак". А сам АЛС алгоритам је да наизменично поправљамо једну од матрица (кориснике и чланке) и ажурирамо другу, проналазећи оптимално решење.

На срећу, проналажење векторске репрезентације корисника је прилично брза операција која се може обавити у току рада помоћу векторских инструкција. Овај трик вам омогућава да одмах узмете у обзир повратне информације корисника приликом рангирања. Исто уграђивање се може користити у кНН индексу за побољшање селекције кандидата.

Дистрибутед Цоллаборативе Филтеринг

Како направити инкременталну дистрибуирану матричну факторизацију и брзо пронаћи векторске репрезентације нових чланака?

Садржај није једини извор сигнала препоруке. Други важан извор су информације о сарадњи. Добре карактеристике рангирања се традиционално могу добити декомпозицијом матрице корисник-документ. Али када смо покушали да урадимо такву декомпозицију, наишли смо на проблеме:

1. Имамо милионе докумената и десетине милиона корисника. Матрица се не уклапа у потпуности на једну машину, а разлагање ће трајати веома дуго.
2. Већина садржаја у систему има кратак животни век: документи остају релевантни само неколико сати. Због тога је потребно што брже конструисати њихов векторски приказ.
3. Ако направите декомпозицију одмах након објављивања документа, довољан број корисника неће имати времена да га процени. Стога, његова векторска репрезентација највероватније неће бити добра.
4. Ако се кориснику свиђа или не свиђа, то нећемо моћи одмах да узмемо у обзир у декомпозицији.

Да бисмо решили ове проблеме, имплементирали смо дистрибуирану декомпозицију матрице корисник-документ са честим инкременталним ажурирањима. Како тачно функционише?

Претпоставимо да имамо групу од Н машина (Н је у стотинама) и желимо да извршимо дистрибуирану декомпозицију матрице на њима која не стане на једну машину. Поставља се питање како извршити ову декомпозицију тако да, с једне стране, има довољно података о свакој машини, а са друге стране, да прорачуни буду независни?

Користићемо алгоритам АЛС декомпозиције описан горе. Хајде да погледамо како да извршимо један АЛС корак на дистрибуиран начин - остали кораци ће бити слични. Рецимо да имамо фиксну матрицу докумената и желимо да направимо матрицу корисника. Да бисмо то урадили, поделићемо га на Н делова по линијама, сваки део ће садржати приближно исти број линија. Свакој машини ћемо послати непразне ћелије одговарајућих редова, као и матрицу уградње докумената (у целини). Пошто његова величина није велика, а матрица корисничких докумената је обично веома ретка, ови подаци ће стати на обичну машину.

Овај трик се може понављати током неколико епоха док се модел не конвергира, наизменично мењајући фиксну матрицу једну по једну. Али чак и тада, разградња матрице може потрајати неколико сати. И ово не решава проблем да морате брзо да примите уградње нових докумената и ажурирате уградње оних о којима је било мало информација приликом израде модела.

Помогло нам је увођење брзих инкременталних ажурирања модела. Рецимо да имамо тренутно обучени модел. Од њеног тренинга, појавили су се нови чланци са којима су наши корисници имали интеракцију, као и чланци који су имали мало интеракције током обуке. Да бисмо брзо добили уградње таквих чланака, користимо корисничке уградње добијене током прве велике обуке модела и урадимо један АЛС корак да бисмо израчунали матрицу документа датој фиксној корисничкој матрици. Ово вам омогућава да примите уградње прилично брзо – у року од неколико минута након што је документ објављен – и често ажурирате уградње недавних докумената.

Да бисмо дали препоруке одмах узели у обзир људске радње, током рада не користимо корисничке уградње добијене ван мреже. Уместо тога, радимо АЛС корак и добијамо стварни кориснички вектор.

Пребаците на другу област домена

Како користити повратне информације корисника о текстуалним чланцима за изградњу векторске репрезентације видеа?

У почетку смо препоручивали само текстуалне чланке, тако да су многи наши алгоритми прилагођени овој врсти садржаја. Али када смо додавали друге врсте садржаја, суочили смо се са потребом да прилагодимо моделе. Како смо решили овај проблем користећи видео пример? Једна опција је да се сви модели поново обуче од нуле. Али то траје доста времена, а неки од алгоритама су захтевни за величину узорка за обуку, који још увек није доступан у потребној количини за нову врсту садржаја у првим тренуцима свог живота на сервису.

Отишли ​​смо другим путем и поново користили текстуалне моделе за видео. Исти АЛС трик нам је помогао да креирамо векторске репрезентације видео записа. Узели смо векторску репрезентацију корисника на основу текстуалних чланака и урадили АЛС корак користећи информације о видео приказу. Тако смо лако добили векторски приказ видеа. А током времена извршавања једноставно израчунавамо близину између корисничког вектора добијеног из текстуалних чланака и видео вектора.

Закључак

Развијање језгра система препорука у реалном времену укључује многе изазове. Морате брзо обрадити податке и применити МЛ методе да бисте ефикасно користили ове податке; изградити сложене дистрибуиране системе способне да обрађују корисничке сигнале и нове јединице садржаја за минимално време; и многе друге задатке.

У постојећем систему, чији сам дизајн описао, квалитет препорука за корисника расте заједно са његовом активношћу и дужином боравка на сервису. Али, наравно, ту лежи главна потешкоћа: систему је тешко да одмах разуме интересе особе која има мало интеракције са садржајем. Наш кључни циљ је побољшање препорука за нове кориснике. Наставићемо да оптимизујемо алгоритме тако да садржај који је релевантан за особу брже улази у његов фид, а нерелевантан садржај се не приказује.

Извор: ввв.хабр.цом