권장 사항 선택의 품질과 속도에 대한 작업 방법

제 이름은 Pavel Parkhomenko이고 ML 개발자입니다. 이 기사에서는 Yandex.Zen 서비스의 구조에 대해 이야기하고 기술적 개선 사항을 공유하고 이를 통해 추천 품질을 높일 수 있었습니다. 이 게시물에서는 단 몇 밀리초 안에 수백만 개의 문서 중에서 사용자에게 가장 관련성이 높은 문서를 찾는 방법을 배우게 됩니다. 새 문서가 수십 분 안에 벡터를 수신할 수 있도록 대규모 행렬(수백만 개의 열과 수천만 개의 행으로 구성)을 연속적으로 분해하는 방법; 비디오에 대한 좋은 벡터 표현을 얻기 위해 사용자 기사 행렬 분해를 재사용하는 방법.

우리의 추천 데이터베이스에는 플랫폼에서 생성되고 외부 사이트에서 가져온 텍스트 기사, 비디오, 설명 및 짧은 게시물 등 다양한 형식의 수백만 개의 문서가 포함되어 있습니다. 이러한 서비스의 개발에는 수많은 기술적 과제가 수반됩니다. 그 중 일부는 다음과 같습니다.

• 컴퓨팅 작업 분할: 모든 무거운 작업을 오프라인으로 수행하고 실시간으로 100-200ms를 담당하기 위해 모델의 빠른 적용을 수행합니다.
• 사용자 작업을 신속하게 고려하세요. 이를 위해서는 모든 이벤트가 추천자에게 즉시 전달되고 모델 결과에 영향을 미치는 것이 필요합니다.
• 신규 사용자의 행동에 빠르게 적응할 수 있도록 피드를 만드세요. 방금 시스템에 참여한 사람들은 자신의 피드백이 추천에 영향을 미친다고 느껴야 합니다.
• 새 기사를 누구에게 추천해야 하는지 빠르게 파악하세요.
• 지속적으로 등장하는 새로운 콘텐츠에 빠르게 대응하세요. 매일 수만 개의 기사가 게시되고 그 중 다수는 수명이 제한되어 있습니다(예: 뉴스). 이것이 영화, 음악 및 기타 오래 지속되고 값비싼 콘텐츠와 구별되는 점입니다.
• 한 도메인 영역에서 다른 도메인 영역으로 지식을 이전합니다. 추천 시스템이 텍스트 기사에 대한 모델을 훈련하고 여기에 비디오를 추가하는 경우 기존 모델을 재사용하여 새로운 유형의 콘텐츠 순위를 높일 수 있습니다.

이러한 문제를 어떻게 해결했는지 알려 드리겠습니다.

후보자 선정

순위 품질이 거의 저하되지 않으면서 고려 중인 문서 수를 몇 밀리초 안에 수천 배로 줄이는 방법은 무엇입니까?

많은 ML 모델을 훈련하고, 이를 기반으로 기능을 생성하고, 사용자를 위해 문서 순위를 매기는 또 다른 모델을 훈련했다고 가정해 보겠습니다. 모든 것이 괜찮겠지만 수백만 개의 문서가 있고 권장 사항을 100-200ms 내에 작성해야 하는 경우 모든 문서의 모든 기호를 실시간으로 가져와 계산할 수는 없습니다. 이 작업은 수백만 개의 특정 하위 집합을 선택하여 사용자에 대해 순위를 매기는 것입니다. 이 단계를 일반적으로 후보 선정이라고 합니다. 이에 대한 몇 가지 요구 사항이 있습니다. 첫째, 선택은 매우 신속하게 이루어져야 순위를 매기는 데 최대한 많은 시간을 할애할 수 있습니다. 둘째, 순위를 매기기 위한 문서의 수를 대폭 줄였으므로 사용자와 관련된 문서를 최대한 완벽하게 보존해야 합니다.

후보자 선택에 대한 우리의 원칙은 진화했으며 현재는 다단계 계획에 도달했습니다.

먼저, 모든 문서를 그룹으로 나누고 각 그룹에서 가장 인기 있는 문서를 가져옵니다. 그룹은 사이트, 주제, 클러스터가 될 수 있습니다. 각 사용자에 대해 기록을 기반으로 가장 가까운 그룹이 선택되고 가장 좋은 문서가 선택됩니다. 또한 kNN 인덱스를 사용하여 실시간으로 사용자에게 가장 가까운 문서를 선택합니다. kNN 인덱스를 구성하는 방법에는 여러 가지가 있는데, 우리 방법이 가장 효과적이었습니다. HNSW (계층적 탐색이 가능한 작은 세계 그래프). 이는 몇 밀리초 안에 수백만 개의 데이터베이스에서 사용자에 대해 가장 가까운 N개의 벡터를 찾을 수 있는 계층적 모델입니다. 먼저 전체 문서 데이터베이스를 오프라인으로 인덱싱합니다. 인덱스 검색은 매우 빠르게 작동하므로 강력한 임베딩이 여러 개 있는 경우 여러 인덱스(임베딩당 하나의 인덱스)를 만들고 각 인덱스에 실시간으로 액세스할 수 있습니다.

우리는 여전히 각 사용자당 수만 개의 문서를 보유하고 있습니다. 모든 기능을 계산하기에는 여전히 많은 양이므로 이 단계에서는 기능이 더 적은 경량의 Heavy 순위 모델인 Light Ranking을 사용합니다. 작업은 무거운 모델이 맨 위에 어떤 문서를 갖게 될지 예측하는 것입니다. 예측 변수가 가장 높은 문서는 무거운 모델, 즉 순위 지정의 마지막 단계에서 사용됩니다. 이 접근 방식을 사용하면 사용자에게 고려되는 문서 데이터베이스를 수십 밀리초 단위로 수백만에서 수천으로 줄일 수 있습니다.

런타임의 ALS 단계

클릭 후 즉시 사용자 피드백을 고려하는 방법은 무엇입니까?

추천에서 중요한 요소는 사용자 피드백에 대한 응답 시간입니다. 이는 신규 사용자에게 특히 중요합니다. 추천 시스템을 막 사용하기 시작한 사람은 다양한 주제의 문서에 대한 개인화되지 않은 피드를 받습니다. 그가 첫 번째 클릭을 하자마자 즉시 이를 고려하고 그의 관심사에 적응해야 합니다. 오프라인으로 모든 요소를 ​​계산할 경우 지연으로 인해 빠른 시스템 응답이 불가능해집니다. 그래서 사용자의 행동을 실시간으로 처리하는 것이 필요합니다. 이러한 목적을 위해 런타임 시 ALS 단계를 사용하여 사용자의 벡터 표현을 구축합니다.

모든 문서에 대한 벡터 표현이 있다고 가정해 보겠습니다. 예를 들어 ELMo, BERT 또는 기타 기계 학습 모델을 사용하여 기사의 텍스트를 기반으로 오프라인으로 임베딩을 구축할 수 있습니다. 시스템 내 상호 작용을 기반으로 동일한 공간에 있는 사용자의 벡터 표현을 어떻게 얻을 수 있습니까?

사용자 문서 매트릭스의 형성 및 분해에 대한 일반 원리m명의 사용자와 n개의 문서가 있다고 가정하겠습니다. 일부 사용자의 경우 특정 문서와의 관계가 알려져 있습니다. 그런 다음 이 정보는 mxn 행렬로 표현될 수 있습니다. 행은 사용자에 해당하고 열은 문서에 해당합니다. 그 사람이 대부분의 문서를 보지 않았으므로 대부분의 매트릭스 셀은 비어 있는 반면 다른 셀은 채워집니다. 각 이벤트(좋아요, 싫어요, 클릭)에 대해 일부 값이 매트릭스에 제공됩니다. 그러나 좋아요는 1에 해당하고 싫어요는 -1에 해당하는 단순화된 모델을 고려해 보겠습니다.

행렬을 P(mxd)와 Q(dxn)의 두 가지로 분해해 보겠습니다. 여기서 d는 벡터 표현의 차원(보통 작은 숫자)입니다. 그러면 각 객체는 d차원 벡터(사용자의 경우 - 행렬 P의 행, 문서의 경우 - 행렬 Q의 열)에 해당합니다. 이러한 벡터는 해당 객체의 임베딩이 됩니다. 사용자가 문서를 좋아할지 예측하려면 단순히 임베딩을 곱하면 됩니다.

행렬을 분해할 수 있는 방법 중 하나는 ALS(Alternating Least Squares)입니다. 우리는 다음과 같은 손실 함수를 최적화할 것입니다:

여기서 rui는 사용자 u와 문서 i의 상호 작용이고, qi는 문서 i의 벡터이고, pu는 사용자 u의 벡터입니다.

그런 다음 해당 선형 회귀를 해결하여 평균 제곱 오류(고정 문서 벡터에 대한) 관점에서 최적의 사용자 벡터를 분석적으로 찾습니다.

이를 "ALS 단계"라고 합니다. 그리고 ALS 알고리즘 자체는 매트릭스(사용자 및 기사) 중 하나를 교대로 수정하고 다른 매트릭스를 업데이트하여 최적의 솔루션을 찾는 것입니다.

다행스럽게도 사용자의 벡터 표현을 찾는 것은 벡터 명령을 사용하여 런타임에 수행할 수 있는 상당히 빠른 작업입니다. 이 트릭을 사용하면 사용자 피드백을 순위에 즉시 고려할 수 있습니다. 후보 선택을 개선하기 위해 kNN 인덱스에 동일한 임베딩을 사용할 수 있습니다.

분산 협업 필터링

증분 분산 행렬 분해를 수행하고 새 기사의 벡터 표현을 빠르게 찾는 방법은 무엇입니까?

콘텐츠가 추천 신호의 유일한 소스는 아닙니다. 또 다른 중요한 소스는 협업 정보입니다. 좋은 순위 기능은 전통적으로 사용자 문서 매트릭스를 분해하여 얻을 수 있습니다. 그러나 이러한 분해를 시도할 때 문제가 발생했습니다.

1. 우리는 수백만 개의 문서와 수천만 명의 사용자를 보유하고 있습니다. 매트릭스는 하나의 시스템에 완전히 맞지 않으며 분해하는 데 매우 오랜 시간이 걸립니다.
2. 시스템에 있는 대부분의 콘텐츠는 수명이 짧습니다. 문서는 단 몇 시간 동안만 관련성을 유지합니다. 따라서 가능한 한 빨리 벡터 표현을 구성하는 것이 필요합니다.
3. 문서가 게시된 직후에 분해를 구축하면 충분한 수의 사용자가 이를 평가할 시간이 없습니다. 따라서 벡터 표현이 그다지 좋지 않을 가능성이 높습니다.
4. 사용자가 좋아요 또는 싫어요를 표시한 경우 이를 즉시 분석에 반영할 수 없습니다.

이러한 문제를 해결하기 위해 우리는 빈번한 증분 업데이트를 통해 사용자 문서 매트릭스의 분산 분해를 구현했습니다. 정확히 어떻게 작동하나요?

N개의 머신 클러스터가 있고(N은 수백 개임) 하나의 머신에 맞지 않는 행렬의 분산 분해를 수행하려고 한다고 가정합니다. 문제는 한편으로는 각 기계에 충분한 데이터가 있고 다른 한편으로는 계산이 독립적이 되도록 이 분해를 수행하는 방법입니다.

위에서 설명한 ALS 분해 알고리즘을 사용하겠습니다. 하나의 ALS 단계를 분산 방식으로 실행하는 방법을 살펴보겠습니다. 나머지 단계는 유사합니다. 고정된 문서 매트릭스가 있고 사용자 매트릭스를 구축하고 싶다고 가정해 보겠습니다. 이를 위해 라인별로 N개의 부분으로 나눌 것이며, 각 부분에는 대략 동일한 수의 라인이 포함됩니다. 해당 행의 비어 있지 않은 셀과 문서 임베딩 매트릭스(전체)를 각 시스템에 보냅니다. 크기가 그다지 크지 않고 사용자 문서 매트릭스가 일반적으로 매우 드물기 때문에 이 데이터는 일반 시스템에 적합합니다.

이 트릭은 모델이 수렴할 때까지 여러 epoch에 걸쳐 반복되어 고정 행렬을 하나씩 교대로 사용할 수 있습니다. 그러나 그런 경우에도 행렬 분해에는 몇 시간이 걸릴 수 있습니다. 그리고 이는 새 문서의 임베딩을 신속하게 수신하고 모델 구축 시 정보가 거의 없었던 문서의 임베딩을 업데이트해야 하는 문제를 해결하지 못합니다.

빠른 증분 모델 업데이트의 도입이 도움이 되었습니다. 현재 훈련된 모델이 있다고 가정해 보겠습니다. 교육 이후 사용자가 상호작용한 새로운 기사가 ​​있었고 교육 중에 상호작용이 거의 없었던 기사도 있었습니다. 이러한 기사의 임베딩을 빠르게 얻기 위해 모델의 첫 번째 대규모 교육 중에 얻은 사용자 임베딩을 사용하고 ALS 단계를 수행하여 고정된 사용자 매트릭스가 있는 문서 매트릭스를 계산합니다. 이를 통해 문서가 게시된 후 몇 분 이내에 임베딩을 매우 빠르게 수신할 수 있으며 최근 문서의 임베딩을 자주 업데이트할 수 있습니다.

인간의 행동을 즉시 고려하여 권장 사항을 만들기 위해 런타임에는 오프라인에서 얻은 사용자 임베딩을 사용하지 않습니다. 대신 ALS 단계를 수행하고 실제 사용자 벡터를 얻습니다.

다른 도메인 영역으로 이전

텍스트 기사에 대한 사용자 피드백을 사용하여 비디오의 벡터 표현을 구축하는 방법은 무엇입니까?

처음에는 텍스트 기사만 권장했기 때문에 많은 알고리즘이 이러한 유형의 콘텐츠에 맞춰져 있습니다. 하지만 다른 유형의 콘텐츠를 추가할 때 모델을 조정해야 하는 필요성에 직면했습니다. 비디오 예제를 사용하여 이 문제를 어떻게 해결했습니까? 한 가지 옵션은 모든 모델을 처음부터 다시 학습시키는 것입니다. 그러나 이는 시간이 오래 걸리고 일부 알고리즘은 훈련 샘플의 크기를 요구하는데, 이는 서비스 수명의 첫 순간에 새로운 유형의 콘텐츠에 필요한 수량을 아직 사용할 수 없습니다.

우리는 다른 방법으로 비디오에 텍스트 모델을 재사용했습니다. 동일한 ALS 트릭이 비디오의 벡터 표현을 만드는 데 도움이 되었습니다. 텍스트 기사를 기반으로 사용자의 벡터 표현을 취하고 비디오 조회 정보를 사용하여 ALS 단계를 수행했습니다. 그래서 우리는 비디오의 벡터 표현을 쉽게 얻었습니다. 그리고 런타임에는 텍스트 기사에서 얻은 사용자 벡터와 비디오 벡터 간의 근접성을 간단히 계산합니다.

결론

실시간 추천 시스템의 핵심을 개발하는 데는 많은 어려움이 따릅니다. 이 데이터를 효과적으로 사용하려면 데이터를 빠르게 처리하고 ML 방법을 적용해야 합니다. 사용자 신호와 새로운 콘텐츠 단위를 최소 시간 내에 처리할 수 있는 복잡한 분산 시스템을 구축합니다. 그리고 다른 많은 작업.

내가 설명한 디자인의 현재 시스템에서는 사용자의 활동 및 서비스 체류 기간에 따라 사용자에 대한 추천 품질이 향상됩니다. 그러나 물론 여기에는 주요 어려움이 있습니다. 콘텐츠와 거의 상호 작용하지 않는 사람의 관심사를 시스템이 즉시 이해하는 것은 어렵습니다. 신규 사용자를 위한 추천을 개선하는 것이 우리의 주요 목표입니다. 우리는 개인과 관련된 콘텐츠가 피드에 더 빨리 들어가고 관련 없는 콘텐츠가 표시되지 않도록 알고리즘을 계속 최적화할 것입니다.

출처 : habr.com