HNSW<\/a><\/noindex> (Grafi a Mondo Piccolo Navigabile Gerarchico). Questo \u00e8 un modello gerarchico che consente di trovare in pochi millisecondi N vettori pi\u00f9 vicini per l'utente da una base di milioni. In precedenza, indicizziamo offline tutto il nostro database di documenti. Poich\u00e9 la ricerca nell'indice \u00e8 piuttosto veloce, con diversi embedding potenti \u00e8 possibile creare pi\u00f9 indici (uno per ogni embedding) e accedere a ciascuno di essi in tempo reale.<\/p>\nAbbiamo decine di migliaia di documenti per ogni utente. Questo \u00e8 ancora molto per conteggiare tutte le caratteristiche, quindi in questa fase applichiamo un ranking semplificato: un modello di ranking leggero con un numero ridotto di caratteristiche. L'obiettivo \u00e8 prevedere quali documenti arriveranno in cima al ranking del modello pesante. I documenti con il punteggio predittivo pi\u00f9 alto saranno utilizzati nel modello pesante, ossia nell'ultima fase del ranking. Questo approccio consente di ridurre in decine di millisecondi la base di documenti considerati per l'utente da milioni a migliaia.<\/p>\n
Passo ALS in tempo reale<\/h2>\n \nCome tenere conto del feedback dell'utente subito dopo il clic?<\/b><\/p>\n
Un fattore importante nelle raccomandazioni \u00e8 il tempo di risposta al feedback dell'utente. Questo \u00e8 particolarmente importante per i nuovi utenti: quando una persona inizia a usare il sistema di raccomandazione, riceve un feed non personalizzato di documenti vari. Non appena effettua il primo clic, \u00e8 necessario considerarlo immediatamente e adattarsi ai suoi interessi. Se tutti i fattori vengono calcolati offline, la reazione rapida del sistema diventa impossibile a causa dei ritardi. Quindi \u00e8 necessario elaborare le azioni dell'utente in tempo reale. A questo scopo utilizziamo il passo ALS in tempo reale per costruire una rappresentazione vettoriale dell'utente.<\/p>\n
Supponiamo di avere una rappresentazione vettoriale per tutti i documenti. Ad esempio, possiamo offline costruire embedding basati sul testo dell'articolo utilizzando ELMo, BERT o altri modelli di machine learning. Come possiamo ottenere una rappresentazione vettoriale degli utenti nello stesso spazio in base alle loro interazioni all'interno del sistema?<\/p>\n
Principio generale di formazione e decomposizione della matrice utente-documento<\/b>Supponiamo di avere m utenti e n documenti. Per alcuni utenti \u00e8 noto il loro rapporto con alcuni documenti. Queste informazioni possono essere rappresentate sotto forma di matrice m x n: le righe corrispondono agli utenti, mentre le colonne ai documenti. Poich\u00e9 la maggior parte dei documenti non \u00e8 stata vista dall'individuo, gran parte delle celle della matrice rimarr\u00e0 vuota, mentre altre saranno riempite. Per ciascun evento (like, dislike, click) nella matrice \u00e8 previsto un certo valore, ma consideriamo un modello semplificato in cui il like corrisponde a 1 e il dislike a -1.<\/p>\n
Scomponiamo la matrice in due: P (m x d) e Q (d x n), dove d \u00e8 la dimensione della rappresentazione vettoriale (di solito \u00e8 un numero ridotto). Cos\u00ec, ad ogni oggetto corrisponderebbe un vettore di dimensione d (l'utente sarebbe una riga nella matrice P, il documento una colonna nella matrice Q). Questi vettori costituiranno gli embedding degli oggetti corrispondenti. Per prevedere se un documento piacer\u00e0 a un utente, \u00e8 sufficiente moltiplicare i loro embedding.<\/p>\n
\nQui rui \u00e8 l'interazione dell'utente u con il documento i, qi \u00e8 il vettore del documento i, pu \u00e8 il vettore dell'utente u.<\/p>\n
Quindi, il vettore dell'utente ottimale dal punto di vista dell'errore quadratico medio (con i vettori dei documenti fissati) si trova analiticamente risolvendo la corrispondente regressione lineare.<\/p>\n
Questo \u00e8 chiamato \"step ALS\". E l'algoritmo ALS consiste nel fissare alternativamente una delle matrici (utenti e articoli) e aggiornare l'altra, trovando la soluzione ottimale.<\/p>\n
Fortunatamente, trovare la rappresentazione vettoriale dell'utente \u00e8 un'operazione piuttosto veloce, che pu\u00f2 essere effettuata in tempo reale, utilizzando istruzioni vettoriali. Questo trucco consente di tener conto immediatamente del feedback dell'utente nel ranking. Lo stesso embedding pu\u00f2 essere utilizzato anche nell'indice kNN per migliorare la selezione dei candidati.<\/p>\n
Filtraggio collaborativo distribuito<\/h2>\n \nCome eseguire la fattorizzazione della matrice distribuita incrementale e trovare rapidamente la rappresentazione vettoriale di nuovi articoli?<\/b><\/p>\n
Il contenuto non \u00e8 l'unica fonte di segnali per le raccomandazioni. Un'altra fonte importante \u00e8 l'informazione collaborativa. Buoni segnali nel ranking possono tradizionalmente derivare dalla scomposizione della matrice utente-documento. Ma tentando di fare tale scomposizione ci siamo imbattuti in problemi:<\/p>\n
1. Abbiamo milioni di documenti e decine di milioni di utenti. La matrice non pu\u00f2 essere ospitata su una sola macchina e la scomposizione sar\u00e0 molto lunga.
Per risolvere i problemi elencati, abbiamo implementato una scomposizione distribuita della matrice utente-documento con aggiornamenti incrementali frequenti. Come funziona esattamente?<\/p>\n
Supponiamo di avere un cluster di N macchine (N conta centinaia) e desideriamo effettuare una scomposizione distribuita della matrice, che non pu\u00f2 essere ospitata su una sola macchina. La domanda \u00e8: come eseguire questa scomposizione in modo che, da un lato, ogni macchina abbia dati sufficienti e, dall'altro, che i calcoli siano indipendenti? <\/p>\n
Questo trucco pu\u00f2 essere ripetuto per diverse epoche fino alla convergenza del modello, cambiando a turno la matrice fissa. Ma anche allora, la fattorizzazione della matrice pu\u00f2 richiedere diverse ore. E questo non risolve il problema di dover ottenere rapidamente gli embedding di nuovi documenti e aggiornare gli embedding di quelli per cui si disponeva di poche informazioni durante la costruzione del modello. <\/p>\n
Ci ha aiutato l'implementazione di un aggiornamento incrementale rapido del modello. Supponiamo di avere il nostro attuale modello addestrato. Dalla sua formazione, sono apparsi nuovi articoli con cui i nostri utenti hanno interagito, cos\u00ec come articoli che durante la formazione hanno avuto poche interazioni. Per ottenere rapidamente l'embedding di tali articoli, utilizziamo gli embedding degli utenti ottenuti durante il primo grande addestramento del modello e facciamo un passo ALS per calcolare la matrice dei documenti con una matrice fissa degli utenti. Questo permette di ottenere embedding abbastanza rapidamente \u2014 in pochi minuti dopo la pubblicazione del documento \u2014 e di aggiornare frequentemente gli embedding dei documenti freschi.<\/p>\n
Per garantire che le azioni dell'utente siano immediatamente considerate nelle raccomandazioni, durante il runtime non utilizziamo gli embedding degli utenti ottenuti offline. Invece, facciamo un passo ALS e otteniamo il vettore utente attuale.<\/p>\n
Trasferimento in un'altra area tematica<\/h2>\n \nCome utilizzare il feedback degli utenti sugli articoli di testo per costruire una rappresentazione vettoriale dei video?<\/b><\/p>\n
Inizialmente, raccomandavamo solo articoli di testo, quindi molti dei nostri algoritmi sono ottimizzati per questo tipo di contenuto. Ma con l'aggiunta di contenuti di altro tipo, ci siamo imbattuti nella necessit\u00e0 di adattare i modelli. Come abbiamo affrontato questa sfida con i video? Una delle opzioni \u00e8 riaddestrare tutti i modelli da zero. Ma questo richiede tempo, e inoltre alcuni algoritmi sono esigenti in termini di volume del campione di addestramento, che non \u00e8 ancora disponibile in quantit\u00e0 sufficiente per il nuovo tipo di contenuto nei primi momenti della sua vita nel servizio.<\/p>\n
Abbiamo seguito un'altra strada e riutilizzato modelli di testi per i video. Nella creazione delle rappresentazioni vettoriali dei video ci ha aiutato lo stesso trucco con ALS. Abbiamo preso la rappresentazione vettoriale degli utenti basata su articoli testuali e abbiamo effettuato un passo ALS, utilizzando le informazioni sulle visualizzazioni video. In questo modo abbiamo ottenuto senza sforzo una rappresentazione vettoriale dei video. E durante il runtime calcoliamo semplicemente la vicinanza tra il vettore dell'utente, ottenuto sulla base degli articoli testuali, e il vettore del video.<\/p>\n
Conclusione<\/h2>\n \nLo sviluppo del nucleo di un sistema di raccomandazione in tempo reale \u00e8 accompagnato da molteplici compiti. \u00c8 necessario elaborare rapidamente i dati e applicare metodi di ML per un utilizzo efficace di questi dati; costruire sistemi distribuiti complessi, in grado di elaborare i segnali degli utenti e nuove unit\u00e0 di contenuto nel minor tempo possibile; e molte altre sfide.<\/p>\n
Nell'attuale sistema, la cui architettura ho descritto, la qualit\u00e0 delle raccomandazioni per l'utente cresce insieme alla sua attivit\u00e0 e alla durata del tempo trascorso sul servizio. Ma naturalmente, qui si cela anche la principale difficolt\u00e0: il sistema fatica a comprendere immediatamente gli interessi di una persona che ha interagito poco con il contenuto. Migliorare le raccomandazioni per i nuovi utenti \u00e8 il nostro obiettivo chiave. Continueremo a ottimizzare gli algoritmi affinch\u00e9 i contenuti pertinenti per l'utente arrivino pi\u00f9 velocemente nel suo feed, mentre quelli non pertinenti non vengano mostrati.habr.com<\/a> <\/p>","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"excerpt":{"rendered":"\u041c\u0435\u043d\u044f \u0437\u043e\u0432\u0443\u0442 \u041f\u0430\u0432\u0435\u043b \u041f\u0430\u0440\u0445\u043e\u043c\u0435\u043d\u043a\u043e, \u044f ML-\u0440\u0430\u0437\u0440\u0430\u0431\u043e\u0442\u0447\u0438\u043a. \u0412 \u044d\u0442\u043e\u0439 \u0441\u0442\u0430\u0442\u044c\u0435 \u044f \u0445\u043e\u0442\u0435\u043b \u0431\u044b \u0440\u0430\u0441\u0441\u043a\u0430\u0437\u0430\u0442\u044c \u043e\u0431 \u0443\u0441\u0442\u0440\u043e\u0439\u0441\u0442\u0432\u0435 \u0441\u0435\u0440\u0432\u0438\u0441\u0430 \u042f\u043d\u0434\u0435\u043a\u0441.\u0414\u0437\u0435\u043d \u0438 \u043f\u043e\u0434\u0435\u043b\u0438\u0442\u044c\u0441\u044f \u0442\u0435\u0445\u043d\u0438\u0447\u0435\u0441\u043a\u0438\u043c\u0438 \u0443\u043b\u0443\u0447\u0448\u0435\u043d\u0438\u044f\u043c\u0438, \u0432\u043d\u0435\u0434\u0440\u0435\u043d\u0438\u0435 \u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u043f\u043e\u0437\u0432\u043e\u043b\u0438\u043b\u043e \u0443\u0432\u0435\u043b\u0438\u0447\u0438\u0442\u044c \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u043e \u0440\u0435\u043a\u043e\u043c\u0435\u043d\u0434\u0430\u0446\u0438\u0439. \u0418\u0437 \u043f\u043e\u0441\u0442\u0430 \u0432\u044b \u0443\u0437\u043d\u0430\u0435\u0442\u0435, \u043a\u0430\u043a \u0432\u0441\u0435\u0433\u043e \u0437\u0430 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u043c\u0438\u043b\u043b\u0438\u0441\u0435\u043a\u0443\u043d\u0434 \u043d\u0430\u0445\u043e\u0434\u0438\u0442\u044c \u0441\u0440\u0435\u0434\u0438 \u043c\u0438\u043b\u043b\u0438\u043e\u043d\u043e\u0432 \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u043e\u0432 \u043d\u0430\u0438\u0431\u043e\u043b\u0435\u0435 \u0440\u0435\u043b\u0435\u0432\u0430\u043d\u0442\u043d\u044b\u0435 \u0434\u043b\u044f \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044f; \u043a\u0430\u043a \u0434\u0435\u043b\u0430\u0442\u044c \u043d\u0435\u043f\u0440\u0435\u0440\u044b\u0432\u043d\u043e\u0435 \u0440\u0430\u0437\u043b\u043e\u0436\u0435\u043d\u0438\u0435 \u0431\u043e\u043b\u044c\u0448\u043e\u0439 \u043c\u0430\u0442\u0440\u0438\u0446\u044b (\u0441\u043e\u0441\u0442\u043e\u044f\u0449\u0435\u0439 \u0438\u0437 \u043c\u0438\u043b\u043b\u0438\u043e\u043d\u043e\u0432 \u0441\u0442\u043e\u043b\u0431\u0446\u043e\u0432 \u0438 […]<\/p>\n","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"author":1,"featured_media":71853,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[688],"tags":[],"class_list":["post-71852","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-administrirovanie"],"aioseo_notices":[],"aioseo_head":"\n\t\t\n\t
![\"Come](\"\/wp-content\/uploads\/2020\/02\/d63caf9162ca3533548fdef9cd740c24.png\")