HNSW<\/a><\/noindex> (gr\u00e1ficas de mundo peque\u00f1o jer\u00e1rquicas navegables). Este es un modelo jer\u00e1rquico que permite encontrar en milisegundos los N vectores m\u00e1s cercanos al usuario de una base de millones. Previamente, indexamos toda nuestra base de documentos fuera de l\u00ednea. Dado que la b\u00fasqueda en el \u00edndice es bastante r\u00e1pida, con varios embeddings potentes, se pueden crear varios \u00edndices (uno por cada embedding) y acceder a cada uno de ellos en tiempo real.<\/p>\nTenemos decenas de miles de documentos para cada usuario. A\u00fan as\u00ed, sigue siendo mucho para contabilizar todas las caracter\u00edsticas, as\u00ed que en esta etapa aplicamos un ranking ligero: un modelo simplificado de ranking pesado con menos caracter\u00edsticas. La tarea es predecir qu\u00e9 documentos estar\u00e1n en el top de un modelo pesado. Los documentos con la mayor predicci\u00f3n se utilizar\u00e1n en el modelo pesado, es decir, en la \u00faltima etapa del ranking. Este enfoque permite reducir en decenas de milisegundos la base de documentos considerados para el usuario de millones a miles.<\/p>\n
Paso ALS en tiempo de ejecuci\u00f3n<\/h2>\n \n\u00bfC\u00f3mo tener en cuenta la retroalimentaci\u00f3n del usuario inmediatamente despu\u00e9s de hacer clic?<\/b><\/p>\n
Un factor importante en las recomendaciones es el tiempo de respuesta a la retroalimentaci\u00f3n del usuario. Esto es especialmente crucial para los nuevos usuarios: cuando una persona comienza a utilizar el sistema de recomendaciones, recibe un feed no personalizado de documentos diversos por tem\u00e1tica. Tan pronto como hace su primer clic, es necesario tener en cuenta esto de inmediato y ajustarse a sus intereses. Si se calculan todos los factores fuera de l\u00ednea, la r\u00e1pida respuesta del sistema se vuelve imposible debido a la latencia. Por lo tanto, es necesario procesar las acciones del usuario en tiempo real. Para estos fines, utilizamos el paso ALS en tiempo de ejecuci\u00f3n para construir una representaci\u00f3n vectorial del usuario.<\/p>\n
Supongamos que tenemos una representaci\u00f3n vectorial para todos los documentos. Por ejemplo, podemos construir incrustaciones fuera de l\u00ednea bas\u00e1ndonos en el texto del art\u00edculo utilizando ELMo, BERT u otros modelos de aprendizaje autom\u00e1tico. \u00bfC\u00f3mo se puede obtener una representaci\u00f3n vectorial de los usuarios en este mismo espacio a partir de sus interacciones en el sistema?<\/p>\n
Principio general de formaci\u00f3n y descomposici\u00f3n de la matriz usuario-documento<\/b>Supongamos que tenemos m usuarios y n documentos. Para algunos usuarios, se conoce su relaci\u00f3n con ciertos documentos. Entonces, esta informaci\u00f3n se puede representar en forma de una matriz m x n: las filas corresponden a los usuarios y las columnas a los documentos. Dado que la mayor\u00eda de los documentos no han sido vistos por el usuario, la mayor parte de las celdas de la matriz permanecer\u00e1n vac\u00edas, mientras que otras estar\u00e1n llenas. Para cada evento (me gusta, no me gusta, clic), hay un valor en la matriz, pero consideremos un modelo simplificado, en el que me gusta corresponde a 1 y no me gusta a -1.<\/p>\n
Descomponemos la matriz en dos: P (m x d) y Q (d x n), donde d es la dimensi\u00f3n de la representaci\u00f3n vectorial (generalmente un n\u00famero peque\u00f1o). Entonces, a cada objeto le corresponde un vector de d dimensiones (al usuario le corresponde una fila en la matriz P, al documento le corresponde una columna en la matriz Q). Estos vectores ser\u00e1n los embeddings de los objetos correspondientes. Para predecir si a un usuario le gustar\u00e1 un documento, simplemente podemos multiplicar sus embeddings.<\/p>\n
\nAqu\u00ed rui es la interacci\u00f3n del usuario u con el documento i, qi es el vector del documento i, pu es el vector del usuario u.<\/p>\n
Entonces, el vector \u00f3ptimo desde el punto de vista del error cuadr\u00e1tico medio del usuario (con los vectores de documentos fijos) se encuentra anal\u00edticamente resolviendo la correspondiente regresi\u00f3n lineal.<\/p>\n
Esto se llama el \"paso ALS\". Y el propio algoritmo ALS consiste en que alternamos la fijaci\u00f3n de una de las matrices (de usuarios y art\u00edculos) y actualizamos la otra, encontrando la soluci\u00f3n \u00f3ptima.<\/p>\n
Afortunadamente, encontrar la representaci\u00f3n vectorial del usuario es una operaci\u00f3n bastante r\u00e1pida, que se puede realizar en tiempo de ejecuci\u00f3n, utilizando instrucciones vectoriales. Este truco permite tener en cuenta de inmediato la retroalimentaci\u00f3n del usuario en el ranking. El mismo embedding se puede usar en el \u00edndice kNN para mejorar la selecci\u00f3n de candidatos.<\/p>\n
Filtrado colaborativo distribuido<\/h2>\n \n\u00bfC\u00f3mo hacer factorizaci\u00f3n matricial distribuida incremental y encontrar r\u00e1pidamente la representaci\u00f3n vectorial de nuevos art\u00edculos?<\/b><\/p>\n
El contenido no es la \u00fanica fuente de se\u00f1ales para recomendaciones. Otra fuente importante es la informaci\u00f3n colaborativa. Las buenas se\u00f1ales en el ranking tradicionalmente se pueden obtener de la descomposici\u00f3n de la matriz usuario-documento. Sin embargo, al intentar realizar dicha descomposici\u00f3n, nos encontramos con problemas:<\/p>\n
1. Tenemos millones de documentos y decenas de millones de usuarios. La matriz no cabe en una sola m\u00e1quina y la descomposici\u00f3n ser\u00e1 muy larga.
Para resolver los problemas mencionados, implementamos una descomposici\u00f3n distribuida de la matriz usuario-documento con actualizaciones incrementales frecuentes. \u00bfC\u00f3mo funciona esto exactamente?<\/p>\n
Supongamos que tenemos un cl\u00faster de N m\u00e1quinas (N cuenta en cientos) y queremos realizar una descomposici\u00f3n distribuida de una matriz que no cabe en una sola m\u00e1quina. La pregunta es: \u00bfc\u00f3mo llevar a cabo esta descomposici\u00f3n de manera que, por un lado, cada m\u00e1quina tenga suficientes datos y, por otro, los c\u00e1lculos sean independientes? <\/p>\n
Este truco se puede repetir durante varias \u00e9pocas hasta que el modelo converja, cambiando de manera alterna la matriz fija. Pero incluso as\u00ed, la descomposici\u00f3n de la matriz puede tardar varias horas. Y esto no resuelve el problema de que se necesitan obtener r\u00e1pidamente las incrustaciones de nuevos documentos y actualizar las incrustaciones de aquellos de los que hab\u00eda poca informaci\u00f3n al construir el modelo. <\/p>\n
Nos ayud\u00f3 la implementaci\u00f3n de una actualizaci\u00f3n incremental r\u00e1pida del modelo. Supongamos que tenemos el modelo entrenado actual. Desde que se entren\u00f3, han aparecido nuevos art\u00edculos con los que interactuaron nuestros usuarios, as\u00ed como art\u00edculos que tuvieron poca interacci\u00f3n durante el entrenamiento. Para obtener r\u00e1pidamente la incrustaci\u00f3n de tales art\u00edculos, utilizamos las incrustaciones de los usuarios obtenidas durante el primer gran entrenamiento del modelo y hacemos un paso de ALS para calcular la matriz de documentos mientras la matriz de usuarios se mantiene fija. Esto permite obtener las incrustaciones bastante r\u00e1pido, en unos minutos despu\u00e9s de la publicaci\u00f3n del documento, y actualizar con frecuencia las incrustaciones de documentos recientes.<\/p>\n
Para que las recomendaciones tengan en cuenta inmediatamente las acciones del usuario, en tiempo de ejecuci\u00f3n no utilizamos las incrustaciones de usuarios obtenidas fuera de l\u00ednea. En cambio, hacemos un paso de ALS y obtenemos el vector de usuario actualizado.<\/p>\n
Transferencia a otro dominio.<\/h2>\n \n\u00bfC\u00f3mo utilizar el feedback del usuario en art\u00edculos textuales para construir una representaci\u00f3n vectorial de videos?<\/b><\/p>\n
Inicialmente, solo recomend\u00e1bamos art\u00edculos textuales, por lo que muchos de nuestros algoritmos est\u00e1n adaptados a este tipo de contenido. Pero al agregar contenido de otro tipo, nos enfrentamos a la necesidad de adaptar los modelos. \u00bfC\u00f3mo abordamos esta tarea en el caso de videos? Una opci\u00f3n es volver a entrenar todos los modelos desde cero. Pero esto lleva tiempo, adem\u00e1s, algunos algoritmos son exigentes en cuanto al volumen de la muestra de entrenamiento, la cual a\u00fan no est\u00e1 disponible en la cantidad necesaria para el contenido de un nuevo tipo en los primeros momentos de su vida en el servicio.<\/p>\n
Hemos tomado un camino diferente y reutilizado modelos de texto para videos. En la creaci\u00f3n de representaciones vectoriales de videos, nos ayud\u00f3 el mismo truco con ALS. Tomamos la representaci\u00f3n vectorial de los usuarios basada en art\u00edculos de texto y dimos un paso de ALS, utilizando la informaci\u00f3n sobre las vistas de los videos. De este modo, obtuvimos sin esfuerzo la representaci\u00f3n vectorial de los videos. Y en tiempo de ejecuci\u00f3n, simplemente calculamos la cercan\u00eda entre el vector de usuario, obtenido a partir de art\u00edculos de texto, y el vector del video.<\/p>\n
Conclusi\u00f3n<\/h2>\n \nEl desarrollo del n\u00facleo de un sistema de recomendaci\u00f3n en tiempo real est\u00e1 asociado con numerosas tareas. Es necesario procesar datos r\u00e1pidamente y aplicar m\u00e9todos de ML para un uso efectivo de esos datos; construir sistemas distribuidos complejos, capaces de procesar se\u00f1ales de usuario y nuevas unidades de contenido en el menor tiempo posible; y muchas otras tareas.<\/p>\n
En el sistema actual, cuya estructura describ\u00ed, la calidad de las recomendaciones para el usuario aumenta con su actividad y la duraci\u00f3n de su permanencia en el servicio. Pero, por supuesto, aqu\u00ed radica la principal dificultad: al sistema le cuesta entender de inmediato los intereses de una persona que ha interactuado poco con el contenido. Mejorar las recomendaciones para nuevos usuarios es nuestra tarea clave. Continuaremos optimizando los algoritmos para que el contenido relevante para la persona llegue m\u00e1s r\u00e1pido a su feed, mientras que el contenido no relevante no se muestre.habr.com<\/a> <\/p>","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"excerpt":{"rendered":"\u041c\u0435\u043d\u044f \u0437\u043e\u0432\u0443\u0442 \u041f\u0430\u0432\u0435\u043b \u041f\u0430\u0440\u0445\u043e\u043c\u0435\u043d\u043a\u043e, \u044f ML-\u0440\u0430\u0437\u0440\u0430\u0431\u043e\u0442\u0447\u0438\u043a. \u0412 \u044d\u0442\u043e\u0439 \u0441\u0442\u0430\u0442\u044c\u0435 \u044f \u0445\u043e\u0442\u0435\u043b \u0431\u044b \u0440\u0430\u0441\u0441\u043a\u0430\u0437\u0430\u0442\u044c \u043e\u0431 \u0443\u0441\u0442\u0440\u043e\u0439\u0441\u0442\u0432\u0435 \u0441\u0435\u0440\u0432\u0438\u0441\u0430 \u042f\u043d\u0434\u0435\u043a\u0441.\u0414\u0437\u0435\u043d \u0438 \u043f\u043e\u0434\u0435\u043b\u0438\u0442\u044c\u0441\u044f \u0442\u0435\u0445\u043d\u0438\u0447\u0435\u0441\u043a\u0438\u043c\u0438 \u0443\u043b\u0443\u0447\u0448\u0435\u043d\u0438\u044f\u043c\u0438, \u0432\u043d\u0435\u0434\u0440\u0435\u043d\u0438\u0435 \u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u043f\u043e\u0437\u0432\u043e\u043b\u0438\u043b\u043e \u0443\u0432\u0435\u043b\u0438\u0447\u0438\u0442\u044c \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u043e \u0440\u0435\u043a\u043e\u043c\u0435\u043d\u0434\u0430\u0446\u0438\u0439. \u0418\u0437 \u043f\u043e\u0441\u0442\u0430 \u0432\u044b \u0443\u0437\u043d\u0430\u0435\u0442\u0435, \u043a\u0430\u043a \u0432\u0441\u0435\u0433\u043e \u0437\u0430 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u043c\u0438\u043b\u043b\u0438\u0441\u0435\u043a\u0443\u043d\u0434 \u043d\u0430\u0445\u043e\u0434\u0438\u0442\u044c \u0441\u0440\u0435\u0434\u0438 \u043c\u0438\u043b\u043b\u0438\u043e\u043d\u043e\u0432 \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u043e\u0432 \u043d\u0430\u0438\u0431\u043e\u043b\u0435\u0435 \u0440\u0435\u043b\u0435\u0432\u0430\u043d\u0442\u043d\u044b\u0435 \u0434\u043b\u044f \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044f; \u043a\u0430\u043a \u0434\u0435\u043b\u0430\u0442\u044c \u043d\u0435\u043f\u0440\u0435\u0440\u044b\u0432\u043d\u043e\u0435 \u0440\u0430\u0437\u043b\u043e\u0436\u0435\u043d\u0438\u0435 \u0431\u043e\u043b\u044c\u0448\u043e\u0439 \u043c\u0430\u0442\u0440\u0438\u0446\u044b (\u0441\u043e\u0441\u0442\u043e\u044f\u0449\u0435\u0439 \u0438\u0437 \u043c\u0438\u043b\u043b\u0438\u043e\u043d\u043e\u0432 \u0441\u0442\u043e\u043b\u0431\u0446\u043e\u0432 \u0438 […]<\/p>\n","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"author":1,"featured_media":71853,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[688],"tags":[],"class_list":["post-71852","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-administrirovanie"],"aioseo_notices":[],"aioseo_head":"\n\t\t\n\t
![\"C\u00f3mo](\"\/wp-content\/uploads\/2020\/02\/d63caf9162ca3533548fdef9cd740c24.png\")