HNSW<\/a><\/noindex> (Hierarchical Navigable Small World graphs). C'est un mod\u00e8le hi\u00e9rarchique qui permet de trouver en quelques millisecondes N vecteurs les plus proches pour l'utilisateur \u00e0 partir d'une base de millions. Nous indexons pr\u00e9alablement l'ensemble de notre base documentaire hors ligne. \u00c9tant donn\u00e9 que la recherche dans l'index est assez rapide, avec plusieurs embeddings performants, nous pouvons cr\u00e9er plusieurs indices (un pour chaque embedding) et interroger chacun d'eux en temps r\u00e9el.<\/p>\nNous disposons de dizaines de milliers de documents pour chaque utilisateur. Cela reste beaucoup pour le calcul de toutes les caract\u00e9ristiques, donc \u00e0 ce stade, nous appliquons un classement l\u00e9ger \u2014 un mod\u00e8le simplifi\u00e9 de classement lourd avec moins de caract\u00e9ristiques. L'objectif est de pr\u00e9dire quels documents seront en t\u00eate selon le mod\u00e8le lourd. Les documents avec la plus grande pr\u00e9diction seront utilis\u00e9s dans le mod\u00e8le lourd, c'est-\u00e0-dire \u00e0 la derni\u00e8re \u00e9tape du classement. Cette approche permet de r\u00e9duire en quelques millisecondes la base des documents examin\u00e9s par l'utilisateur, passant de millions \u00e0 des milliers.<\/p>\n
\u00c9tape ALS en temps r\u00e9el<\/h2>\n \nComment prendre en compte le feedback de l'utilisateur imm\u00e9diatement apr\u00e8s le clic ?<\/b><\/p>\n
Un facteur important dans les recommandations est le temps de r\u00e9ponse au feedback de l'utilisateur. Cela est particuli\u00e8rement important pour les nouveaux utilisateurs : lorsqu'une personne commence \u00e0 utiliser le syst\u00e8me de recommandation, elle re\u00e7oit un flux de documents vari\u00e9s non personnalis\u00e9s. D\u00e8s qu'elle effectue son premier clic, il est n\u00e9cessaire de prendre cela en compte imm\u00e9diatement et de s'adapter \u00e0 ses int\u00e9r\u00eats. Si tous les facteurs sont calcul\u00e9s hors ligne, la r\u00e9action rapide du syst\u00e8me deviendra impossible en raison du d\u00e9lai. Il est donc n\u00e9cessaire de traiter les actions de l'utilisateur en temps r\u00e9el. Pour cela, nous utilisons l'\u00e9tape ALS en temps r\u00e9el pour construire une repr\u00e9sentation vectorielle de l'utilisateur.<\/p>\n
Supposons que nous avons une repr\u00e9sentation vectorielle pour tous les documents. Par exemple, nous pouvons hors ligne, sur la base du texte de l'article, construire des embeddings \u00e0 l'aide de ELMo, BERT ou d'autres mod\u00e8les de machine learning. Comment obtenir une repr\u00e9sentation vectorielle des utilisateurs dans le m\u00eame espace bas\u00e9 sur leurs interactions dans le syst\u00e8me ?<\/p>\n
Principe g\u00e9n\u00e9ral de cr\u00e9ation et de d\u00e9composition de la matrice utilisateur-document<\/b>Consid\u00e9rons m utilisateurs et n documents. Pour certains utilisateurs, leur int\u00e9r\u00eat pour quelques documents est connu. Cette information peut alors \u00eatre pr\u00e9sent\u00e9e sous la forme d'une matrice m x n : les lignes correspondent aux utilisateurs, et les colonnes \u2014 aux documents. \u00c9tant donn\u00e9 que la plupart des documents n'ont pas \u00e9t\u00e9 vus par l'utilisateur, la majorit\u00e9 des cellules de la matrice restera vide, tandis que d'autres seront remplies. Pour chaque \u00e9v\u00e9nement (like, dislike, clic) dans la matrice, il est pr\u00e9vu une certaine valeur \u2014 mais consid\u00e9rons un mod\u00e8le simplifi\u00e9 o\u00f9 un like correspond \u00e0 1, et un dislike \u00e0 -1.<\/p>\n
D\u00e9composons la matrice en deux : P (m x d) et Q (d x n), o\u00f9 d est la dimension de la repr\u00e9sentation vectorielle (g\u00e9n\u00e9ralement un petit nombre). Ainsi, chaque objet correspondra \u00e0 un vecteur de dimension d (l'utilisateur \u2014 une ligne dans la matrice P, le document \u2014 une colonne dans la matrice Q). Ces vecteurs seront les embeddings des objets correspondants. Pour pr\u00e9dire si un utilisateur aimera un document, il suffit de multiplier leurs embeddings.<\/p>\n
\nIci, rui est l'interaction de l'utilisateur u avec le document i, qi est le vecteur du document i, pu est le vecteur de l'utilisateur u.<\/p>\n
Ainsi, le vecteur utilisateur optimal du point de vue de l'erreur quadratique moyenne (avec les vecteurs des documents fixes) est trouv\u00e9 analytiquement en r\u00e9solvant la r\u00e9gression lin\u00e9aire correspondante.<\/p>\n
Cela s'appelle un \u00ab pas ALS \u00bb. L'algorithme ALS consiste \u00e0 fixer alternativement une des matrices (utilisateurs et articles) et \u00e0 mettre \u00e0 jour l'autre pour trouver la solution optimale.<\/p>\n
Heureusement, trouver la repr\u00e9sentation vectorielle d'un utilisateur est une op\u00e9ration assez rapide qui peut \u00eatre effectu\u00e9e en temps r\u00e9el, en utilisant des instructions vectorielles. Ce truc permet de tenir imm\u00e9diatement compte des retours des utilisateurs dans le classement. Le m\u00eame embedding peut \u00eatre utilis\u00e9 dans l'index kNN pour am\u00e9liorer la s\u00e9lection de candidats.<\/p>\n
Filtration collaborative distribu\u00e9e<\/h2>\n \nComment effectuer une factorisation matricielle distribu\u00e9e incr\u00e9mentale et trouver rapidement la repr\u00e9sentation vectorielle de nouveaux articles ?<\/b><\/p>\n
Le contenu n'est pas la seule source de signaux pour les recommandations. Une autre source importante est l'information collaborative. De bons indicateurs pour le classement peuvent traditionnellement \u00eatre obtenus \u00e0 partir de la d\u00e9composition de la matrice utilisateur-document. Toutefois, en essayant de r\u00e9aliser cette d\u00e9composition, nous avons rencontr\u00e9 des probl\u00e8mes :<\/p>\n
1. Nous avons des millions de documents et des dizaines de millions d'utilisateurs. La matrice ne peut pas tenir sur une seule machine dans son ensemble, et la d\u00e9composition sera tr\u00e8s longue.
Pour r\u00e9soudre les probl\u00e8mes mentionn\u00e9s, nous avons mis en \u0153uvre une d\u00e9composition distribu\u00e9e de la matrice utilisateur-document avec des mises \u00e0 jour incr\u00e9mentielles fr\u00e9quentes. Comment cela fonctionne-t-il ?<\/p>\n
Supposons que nous avons un cluster de N machines (N est dans les centaines) et que nous souhaitons faire une d\u00e9composition distribu\u00e9e de la matrice qui ne tient pas sur une seule machine. La question est de savoir comment r\u00e9aliser cette d\u00e9composition pour que, d'une part, chaque machine ait suffisamment de donn\u00e9es et, d'autre part, que les calculs soient ind\u00e9pendants ? <\/p>\n
Ce truc peut \u00eatre r\u00e9p\u00e9t\u00e9 pendant plusieurs \u00e9poques jusqu'\u00e0 la convergence du mod\u00e8le, en changeant tour \u00e0 tour la matrice fixe. Mais m\u00eame dans ce cas, la d\u00e9composition de la matrice peut durer plusieurs heures. Et cela ne r\u00e9sout pas le probl\u00e8me qu'il faut obtenir rapidement les embeddings de nouveaux documents et mettre \u00e0 jour les embeddings de ceux d'entre eux pour lesquels il y avait peu d'informations lors de la construction du mod\u00e8le. <\/p>\n
Nous avons b\u00e9n\u00e9fici\u00e9 de l'impl\u00e9mentation d'une mise \u00e0 jour incr\u00e9mentale rapide du mod\u00e8le. Supposons que nous ayons un mod\u00e8le entra\u00een\u00e9 actuellement. Depuis son entra\u00eenement, de nouveaux articles sont apparus, avec lesquels nos utilisateurs ont interagi, ainsi que des articles qui avaient peu d'interactions lors de l'entra\u00eenement. Pour obtenir rapidement l'embedding de ces articles, nous utilisons les embeddings des utilisateurs obtenus lors du premier grand entra\u00eenement du mod\u00e8le et faisons un pas ALS pour calculer la matrice des documents avec la matrice des utilisateurs fixe. Cela permet d'obtenir des embeddings assez rapidement \u2014 dans les minutes qui suivent la publication d'un document \u2014 et de mettre souvent \u00e0 jour les embeddings des nouveaux documents.<\/p>\n
Pour que les recommandations prennent imm\u00e9diatement en compte les actions de l'utilisateur, nous n'utilisons pas les embeddings des utilisateurs obtenus hors ligne au moment de l'ex\u00e9cution. Au lieu de cela, nous faisons un pas ALS et obtenons le vecteur utilisateur actuel.<\/p>\n
Transfert vers un autre domaine<\/h2>\n \nComment utiliser le retour d'information des utilisateurs sur les articles textuels pour construire une repr\u00e9sentation vectorielle des vid\u00e9os ?<\/b><\/p>\n
Au d\u00e9part, nous ne recommandions que des articles textuels, c'est pourquoi de nombreux algorithmes sont adapt\u00e9s \u00e0 ce type de contenu. Mais avec l'ajout de contenus d'un autre type, nous avons rencontr\u00e9 le besoin d'adapter les mod\u00e8les. Comment avons-nous r\u00e9solu cette t\u00e2che pour les vid\u00e9os ? Une des options consiste \u00e0 r\u00e9entra\u00eener tous les mod\u00e8les depuis le d\u00e9but. Mais c'est long, et de plus, une partie des algorithmes exige beaucoup d'exemples d'entra\u00eenement, qui ne sont pas encore disponibles en quantit\u00e9 suffisante pour les nouveaux types de contenus dans les premiers moments de leur vie sur le service.<\/p>\n
Nous avons emprunt\u00e9 une autre voie en r\u00e9utilisant des mod\u00e8les de textes pour les vid\u00e9os. La cr\u00e9ation de repr\u00e9sentations vectorielles des vid\u00e9os a \u00e9t\u00e9 facilit\u00e9e par le m\u00eame truc avec l'ALS. Nous avons pris la repr\u00e9sentation vectorielle des utilisateurs bas\u00e9e sur des articles texte et avons r\u00e9alis\u00e9 une \u00e9tape d'ALS en utilisant les informations sur les vues des vid\u00e9os. De cette fa\u00e7on, nous avons facilement obtenu la repr\u00e9sentation vectorielle des vid\u00e9os. En cours d'ex\u00e9cution, nous calculons simplement la proximit\u00e9 entre le vecteur utilisateur, obtenu \u00e0 partir des articles texte, et le vecteur vid\u00e9o.<\/p>\n
Conclusion<\/h2>\n \nLe d\u00e9veloppement du noyau d'un syst\u00e8me de recommandations en temps r\u00e9el est associ\u00e9 \u00e0 de nombreuses t\u00e2ches. Il faut traiter les donn\u00e9es rapidement et appliquer des m\u00e9thodes ML pour une utilisation efficace de ces donn\u00e9es ; construire des syst\u00e8mes distribu\u00e9s complexes capables de traiter les signaux utilisateurs et les nouvelles unit\u00e9s de contenu en un minimum de temps ; et bien d'autres t\u00e2ches.<\/p>\n
Dans le syst\u00e8me actuel, dont j'ai d\u00e9crit le fonctionnement, la qualit\u00e9 des recommandations pour l'utilisateur augmente avec son activit\u00e9 et sa dur\u00e9e de pr\u00e9sence sur le service. Mais bien s\u00fbr, ici r\u00e9side aussi la principale difficult\u00e9 : il est difficile pour le syst\u00e8me de comprendre rapidement les int\u00e9r\u00eats d'une personne qui a peu interagi avec le contenu. Am\u00e9liorer les recommandations pour les nouveaux utilisateurs est notre t\u00e2che cl\u00e9. Nous continuerons \u00e0 optimiser les algorithmes pour que le contenu pertinent arrive plus rapidement dans leur fil d'actualit\u00e9, tandis que le contenu non pertinent ne soit pas montr\u00e9.habr.com<\/a> <\/p>","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"excerpt":{"rendered":"\u041c\u0435\u043d\u044f \u0437\u043e\u0432\u0443\u0442 \u041f\u0430\u0432\u0435\u043b \u041f\u0430\u0440\u0445\u043e\u043c\u0435\u043d\u043a\u043e, \u044f ML-\u0440\u0430\u0437\u0440\u0430\u0431\u043e\u0442\u0447\u0438\u043a. \u0412 \u044d\u0442\u043e\u0439 \u0441\u0442\u0430\u0442\u044c\u0435 \u044f \u0445\u043e\u0442\u0435\u043b \u0431\u044b \u0440\u0430\u0441\u0441\u043a\u0430\u0437\u0430\u0442\u044c \u043e\u0431 \u0443\u0441\u0442\u0440\u043e\u0439\u0441\u0442\u0432\u0435 \u0441\u0435\u0440\u0432\u0438\u0441\u0430 \u042f\u043d\u0434\u0435\u043a\u0441.\u0414\u0437\u0435\u043d \u0438 \u043f\u043e\u0434\u0435\u043b\u0438\u0442\u044c\u0441\u044f \u0442\u0435\u0445\u043d\u0438\u0447\u0435\u0441\u043a\u0438\u043c\u0438 \u0443\u043b\u0443\u0447\u0448\u0435\u043d\u0438\u044f\u043c\u0438, \u0432\u043d\u0435\u0434\u0440\u0435\u043d\u0438\u0435 \u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u043f\u043e\u0437\u0432\u043e\u043b\u0438\u043b\u043e \u0443\u0432\u0435\u043b\u0438\u0447\u0438\u0442\u044c \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u043e \u0440\u0435\u043a\u043e\u043c\u0435\u043d\u0434\u0430\u0446\u0438\u0439. \u0418\u0437 \u043f\u043e\u0441\u0442\u0430 \u0432\u044b \u0443\u0437\u043d\u0430\u0435\u0442\u0435, \u043a\u0430\u043a \u0432\u0441\u0435\u0433\u043e \u0437\u0430 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u043c\u0438\u043b\u043b\u0438\u0441\u0435\u043a\u0443\u043d\u0434 \u043d\u0430\u0445\u043e\u0434\u0438\u0442\u044c \u0441\u0440\u0435\u0434\u0438 \u043c\u0438\u043b\u043b\u0438\u043e\u043d\u043e\u0432 \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u043e\u0432 \u043d\u0430\u0438\u0431\u043e\u043b\u0435\u0435 \u0440\u0435\u043b\u0435\u0432\u0430\u043d\u0442\u043d\u044b\u0435 \u0434\u043b\u044f \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044f; \u043a\u0430\u043a \u0434\u0435\u043b\u0430\u0442\u044c \u043d\u0435\u043f\u0440\u0435\u0440\u044b\u0432\u043d\u043e\u0435 \u0440\u0430\u0437\u043b\u043e\u0436\u0435\u043d\u0438\u0435 \u0431\u043e\u043b\u044c\u0448\u043e\u0439 \u043c\u0430\u0442\u0440\u0438\u0446\u044b (\u0441\u043e\u0441\u0442\u043e\u044f\u0449\u0435\u0439 \u0438\u0437 \u043c\u0438\u043b\u043b\u0438\u043e\u043d\u043e\u0432 \u0441\u0442\u043e\u043b\u0431\u0446\u043e\u0432 \u0438 […]<\/p>\n","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"author":1,"featured_media":71853,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[688],"tags":[],"class_list":["post-71852","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-administrirovanie"],"aioseo_notices":[],"aioseo_head":"\n\t\t\n\t
![\"Comment](\"\/wp-content\/uploads\/2020\/02\/d63caf9162ca3533548fdef9cd740c24.png\")