HNSW<\/a><\/noindex> (Hierarchische navigierbare kleine Weltgraphen). Dies ist ein hierarchisches Modell, das es erm\u00f6glicht, in wenigen Millisekunden die N n\u00e4chsten Vektoren f\u00fcr den Benutzer aus einer Million gro\u00dfen Datenbank zu finden. Zuvor indizieren wir offline unsere gesamte Dokumentenbank. Da die Suche im Index ziemlich schnell funktioniert, kann man bei mehreren starken Embeddings mehrere Indizes erstellen (je einen Index f\u00fcr jedes Embedding) und in Echtzeit auf jeden von ihnen zugreifen.<\/p>\nWir haben zehntausende Dokumente f\u00fcr jeden Benutzer. Das ist nach wie vor viel, um alle Merkmale zu z\u00e4hlen, daher wenden wir in diesem Schritt ein leichtes Ranking an \u2013 ein vereinfachtes Modell des schweren Rankings mit weniger Merkmalen. Die Aufgabe besteht darin, vorherzusagen, welche Dokumente in dem schweren Modell ganz oben stehen werden. Dokumente mit der h\u00f6chsten Vorhersage werden im schweren Modell verwendet, also im letzten Schritt des Rankings. Dieser Ansatz erm\u00f6glicht es, die Datenbank der f\u00fcr den Benutzer in Betracht gezogenen Dokumente in nur wenigen Millisekunden von Millionen auf Tausende zu reduzieren.<\/p>\n
ALS-Schritt zur Laufzeit<\/h2>\n \nWie ber\u00fccksichtigt man das Feedback des Benutzers sofort nach dem Klick?<\/b><\/p>\n
Ein wichtiger Faktor bei Empfehlungen ist die Reaktionszeit auf das Feedback des Benutzers. Dies ist besonders wichtig f\u00fcr neue Benutzer: Wenn jemand gerade erst beginnt, das Empfehlungssystem zu nutzen, erh\u00e4lt er einen unpersonalisierten Feed mit einer Vielzahl von Dokumenten zu verschiedenen Themen. Sobald er den ersten Klick macht, muss dies sofort ber\u00fccksichtigt werden, um sich an seine Interessen anzupassen. Wenn alle Faktoren offline berechnet werden, wird eine schnelle Reaktion des Systems aufgrund von Verz\u00f6gerungen unm\u00f6glich. Daher m\u00fcssen die Aktionen des Benutzers in Echtzeit verarbeitet werden. Zu diesem Zweck verwenden wir den ALS-Schritt zur Laufzeit, um eine vektorielle Darstellung des Benutzers zu erstellen.<\/p>\n
Angenommen, f\u00fcr alle Dokumente haben wir eine vektorielle Darstellung. Zum Beispiel k\u00f6nnen wir offline basierend auf dem Text des Artikels Einbettungen mit Hilfe von ELMo, BERT oder anderen Modellen des maschinellen Lernens erstellen. Wie kann man die vektorielle Darstellung der Benutzer im selben Raum basierend auf ihrer Interaktion im System erhalten?<\/p>\n
Das allgemeine Prinzip der Bildung und Zerlegung der Benutzer-Dokument-Matrix<\/b>Angenommen, wir haben m Benutzer und n Dokumente. F\u00fcr einige Benutzer ist ihre Beziehung zu bestimmten Dokumenten bekannt. Dann kann diese Information in Form einer m x n-Matrix dargestellt werden: Die Zeilen entsprechen den Benutzern und die Spalten den Dokumenten. Da die meisten Dokumente von den Benutzern nicht gesehen wurden, bleiben die meisten Zellen der Matrix leer, w\u00e4hrend andere ausgef\u00fcllt sind. F\u00fcr jedes Ereignis (Gef\u00e4llt mir, Gef\u00e4llt mir nicht, Klick) ist in der Matrix ein gewisser Wert vorgesehen \u2013 betrachten wir ein vereinfachtes Modell, in dem ein Gef\u00e4llt mir 1 und ein Gef\u00e4llt mir nicht \u20131 entspricht.<\/p>\n
Wir zerlegen die Matrix in zwei: P (m x d) und Q (d x n), wobei d die Dimension der Vektorrepr\u00e4sentation ist (gew\u00f6hnlich eine kleine Zahl). Dann entspricht jedem Objekt ein d-dimensionaler Vektor (dem Benutzer eine Zeile in der Matrix P, dem Dokument eine Spalte in der Matrix Q). Diese Vektoren sind die Embeddings der entsprechenden Objekte. Um vorherzusagen, ob einem Benutzer ein Dokument gef\u00e4llt, k\u00f6nnen wir einfach ihre Embeddings multiplizieren.<\/p>\n
\nHier ist rui die Interaktion des Benutzers u mit dem Dokument i, qi ist der Vektor des Dokuments i, pu ist der Vektor des Benutzers u.<\/p>\n
Dann wird der optimale Vektor des Benutzers (bei festen Dokumentvektoren) analytisch durch die L\u00f6sung der entsprechenden linearen Regression gefunden, wobei die mittlere quadrierte Abweichung minimiert wird.<\/p>\n
Das wird als \"ALS-Schritt\" bezeichnet. Der Algorithmus ALS selbst besteht darin, dass wir abwechselnd eine der Matrizen (Benutzer und Artikel) fixieren und die andere aktualisieren, um die optimale L\u00f6sung zu finden.<\/p>\n
Gl\u00fccklicherweise ist das Finden der Vektorrepr\u00e4sentation eines Benutzers eine relativ schnelle Operation, die zur Laufzeit unter Verwendung von Vektorbefehlen durchgef\u00fchrt werden kann. Dieser Trick erm\u00f6glicht es, das Feedback des Benutzers sofort in die Rangliste einzubeziehen. Dasselbe Embedding kann auch im kNN-Index verwendet werden, um die Auswahl der Kandidaten zu verbessern.<\/p>\n
Verteilte kollaborative Filterung<\/h2>\n \nWie kann man inkrementelle verteilte Matrixfaktorisierung durchf\u00fchren und schnell die Vektorrepr\u00e4sentation neuer Artikel finden?<\/b><\/p>\n
Inhalte sind nicht die einzige Informationsquelle f\u00fcr Empfehlungen. Eine weitere wichtige Quelle ist die kollaborative Information. Gute Hinweise im Ranking k\u00f6nnen traditionell aus der Zerlegung der Nutzer-Dokument-Matrix gewonnen werden. Bei dem Versuch, eine solche Zerlegung durchzuf\u00fchren, sind wir jedoch auf Probleme gesto\u00dfen:<\/p>\n
1. Wir haben Millionen von Dokumenten und Dutzende Millionen von Nutzern. Die Matrix passt nicht vollst\u00e4ndig auf eine einzelne Maschine, und die Zerlegung wird sehr lange dauern.
Um die genannten Probleme zu l\u00f6sen, haben wir eine verteilte Zerlegung der Nutzer-Dokument-Matrix mit h\u00e4ufigen inkrementellen Updates implementiert. Wie funktioniert das genau?<\/p>\n
Angenommen, wir haben einen Cluster von N Maschinen (N summiert sich zu Hunderten), und wir m\u00f6chten eine verteilte Zerlegung der Matrix durchf\u00fchren, die nicht auf eine einzelne Maschine passt. Die Frage ist, wie man diese Zerlegung so ausf\u00fchrt, dass einerseits gen\u00fcgend Daten auf jeder Maschine vorhanden sind und andererseits die Berechnungen unabh\u00e4ngig sind. <\/p>\n
Dieser Trick kann \u00fcber mehrere Epochen hinweg wiederholt werden, bis das Modell konvergiert, indem man abwechselnd die feste Matrix \u00e4ndert. Aber selbst dann kann die Zerlegung der Matrix mehrere Stunden dauern. Das l\u00f6st nicht das Problem, dass man schnell Embedding f\u00fcr neue Dokumente erhalten und die Embedding f\u00fcr die Dokumente aktualisieren muss, zu denen es bei der Erstellung des Modells wenig Informationen gab. <\/p>\n
Uns hat die Einf\u00fchrung eines schnellen inkrementellen Updates des Modells geholfen. Angenommen, wir haben ein aktuelles trainiertes Modell. Seit seiner Schulung sind neue Artikel erschienen, mit denen unsere Benutzer interagiert haben, sowie Artikel, die w\u00e4hrend des Trainings wenig Interaktionen hatten. Um das Embedding solcher Artikel schnell zu erhalten, verwenden wir die Benutzer-Embeddings, die w\u00e4hrend des ersten gro\u00dfen Trainings des Modells erhalten wurden, und f\u00fchren einen ALS-Schritt durch, um die Dokumentmatrix bei einer festen Benutzermatrix zu berechnen. Das erm\u00f6glicht es, das Embedding recht schnell zu erhalten \u2014 innerhalb weniger Minuten nach der Ver\u00f6ffentlichung eines Dokuments \u2014 und h\u00e4ufig die Embedding frischer Dokumente zu aktualisieren.<\/p>\n
Um die Aktionen einer Person sofort in die Empfehlungen einzubeziehen, verwenden wir zur Laufzeit keine Benutzer-Embeddings, die offline erhalten wurden. Stattdessen f\u00fchren wir einen ALS-Schritt durch und erhalten den aktuellen Benutzer-Vektor.<\/p>\n
\u00dcbertragung auf ein anderes Anwendungsgebiet<\/h2>\n \nWie kann man das Feedback der Benutzer zu Textartikeln nutzen, um eine vektorielle Darstellung von Videos zu erstellen?<\/b><\/p>\n
Urspr\u00fcnglich haben wir nur Textartikel empfohlen, daher sind viele unserer Algorithmen auf diese Art von Inhalt ausgerichtet. Bei der Hinzuf\u00fcgung anderer Inhaltstypen standen wir vor der Notwendigkeit, die Modelle anzupassen. Wie haben wir dieses Problem am Beispiel von Videos gel\u00f6st? Eine M\u00f6glichkeit w\u00e4re gewesen, alle Modelle von Grund auf neu zu trainieren. Aber das dauert lange, zudem sind einige Algorithmen anspruchsvoll hinsichtlich der Menge an Trainingsdaten, die zu Beginn ihrer Lebensdauer auf dem Service f\u00fcr den neuen Inhalt noch nicht in ausreichendem Ma\u00dfe vorhanden sind.<\/p>\n
Wir sind einen anderen Weg gegangen und haben Textmodelle f\u00fcr Videos wiederverwendet. Bei der Erstellung von Vektor-Darstellungen f\u00fcr Videos haben wir den gleichen Trick mit ALS verwendet. Wir haben die Vektor-Darstellung der Nutzer basierend auf Textartikeln genommen und einen ALS-Schritt gemacht, indem wir die Informationen \u00fcber Videoaufrufe genutzt haben. So haben wir m\u00fchelos die Vektor-Darstellung f\u00fcr Videos erhalten. Zur Laufzeit berechnen wir einfach die \u00c4hnlichkeit zwischen dem Nutzervektor, der auf den Textartikeln basiert, und dem Video-Vektor.<\/p>\n
Fazit<\/h2>\n \nDie Entwicklung des Kerns eines Echtzeit-Empfehlungssystems ist mit einer Vielzahl von Herausforderungen verbunden. Es m\u00fcssen Daten schnell verarbeitet und ML-Methoden angewendet werden, um diese Daten effektiv zu nutzen; komplexe verteilte Systeme aufgebaut werden, die in der Lage sind, Benutzersignale und neue Inhalte in minimaler Zeit zu verarbeiten; sowie viele andere Aufgaben zu erledigen.<\/p>\n
In dem aktuellen System, dessen Aufbau ich beschrieben habe, steigt die Qualit\u00e4t der Empfehlungen f\u00fcr den Nutzer mit seiner Aktivit\u00e4t und der Dauer seines Aufenthalts im Service. Doch hier liegt auch die gr\u00f6\u00dfte Schwierigkeit: Es f\u00e4llt dem System schwer, die Interessen einer Person zu verstehen, die wenig mit Inhalten interagiert hat. Die Verbesserung der Empfehlungen f\u00fcr neue Nutzer ist unsere Hauptaufgabe. Wir werden die Algorithmen weiterhin optimieren, damit relevante Inhalte schneller in ihren Feeds erscheinen und irrelevante nicht angezeigt werden.habr.com<\/a> <\/p>","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"excerpt":{"rendered":"\u041c\u0435\u043d\u044f \u0437\u043e\u0432\u0443\u0442 \u041f\u0430\u0432\u0435\u043b \u041f\u0430\u0440\u0445\u043e\u043c\u0435\u043d\u043a\u043e, \u044f ML-\u0440\u0430\u0437\u0440\u0430\u0431\u043e\u0442\u0447\u0438\u043a. \u0412 \u044d\u0442\u043e\u0439 \u0441\u0442\u0430\u0442\u044c\u0435 \u044f \u0445\u043e\u0442\u0435\u043b \u0431\u044b \u0440\u0430\u0441\u0441\u043a\u0430\u0437\u0430\u0442\u044c \u043e\u0431 \u0443\u0441\u0442\u0440\u043e\u0439\u0441\u0442\u0432\u0435 \u0441\u0435\u0440\u0432\u0438\u0441\u0430 \u042f\u043d\u0434\u0435\u043a\u0441.\u0414\u0437\u0435\u043d \u0438 \u043f\u043e\u0434\u0435\u043b\u0438\u0442\u044c\u0441\u044f \u0442\u0435\u0445\u043d\u0438\u0447\u0435\u0441\u043a\u0438\u043c\u0438 \u0443\u043b\u0443\u0447\u0448\u0435\u043d\u0438\u044f\u043c\u0438, \u0432\u043d\u0435\u0434\u0440\u0435\u043d\u0438\u0435 \u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u043f\u043e\u0437\u0432\u043e\u043b\u0438\u043b\u043e \u0443\u0432\u0435\u043b\u0438\u0447\u0438\u0442\u044c \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u043e \u0440\u0435\u043a\u043e\u043c\u0435\u043d\u0434\u0430\u0446\u0438\u0439. \u0418\u0437 \u043f\u043e\u0441\u0442\u0430 \u0432\u044b \u0443\u0437\u043d\u0430\u0435\u0442\u0435, \u043a\u0430\u043a \u0432\u0441\u0435\u0433\u043e \u0437\u0430 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u043c\u0438\u043b\u043b\u0438\u0441\u0435\u043a\u0443\u043d\u0434 \u043d\u0430\u0445\u043e\u0434\u0438\u0442\u044c \u0441\u0440\u0435\u0434\u0438 \u043c\u0438\u043b\u043b\u0438\u043e\u043d\u043e\u0432 \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u043e\u0432 \u043d\u0430\u0438\u0431\u043e\u043b\u0435\u0435 \u0440\u0435\u043b\u0435\u0432\u0430\u043d\u0442\u043d\u044b\u0435 \u0434\u043b\u044f \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044f; \u043a\u0430\u043a \u0434\u0435\u043b\u0430\u0442\u044c \u043d\u0435\u043f\u0440\u0435\u0440\u044b\u0432\u043d\u043e\u0435 \u0440\u0430\u0437\u043b\u043e\u0436\u0435\u043d\u0438\u0435 \u0431\u043e\u043b\u044c\u0448\u043e\u0439 \u043c\u0430\u0442\u0440\u0438\u0446\u044b (\u0441\u043e\u0441\u0442\u043e\u044f\u0449\u0435\u0439 \u0438\u0437 \u043c\u0438\u043b\u043b\u0438\u043e\u043d\u043e\u0432 \u0441\u0442\u043e\u043b\u0431\u0446\u043e\u0432 \u0438 […]<\/p>\n","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"author":1,"featured_media":71853,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[688],"tags":[],"class_list":["post-71852","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-administrirovanie"],"aioseo_notices":[],"aioseo_head":"\n\t\t\n\t
![\"Wie](\"\/wp-content\/uploads\/2020\/02\/d63caf9162ca3533548fdef9cd740c24.png\")