Mail.ru Mail에서 기계 학습 운영

Highload++ 및 DataFest Minsk 2019에서의 연설을 바탕으로 합니다.

오늘날 많은 사람들에게 메일은 온라인 생활의 필수적인 부분입니다. 도움을 받아 우리는 비즈니스 서신을 수행하고 재정, 호텔 예약, 주문 등과 관련된 모든 종류의 중요한 정보를 저장합니다. 2018년 중반에는 메일 개발을 위한 제품 전략을 수립했습니다. 현대 메일은 어떤 모습이어야 할까요?

메일은 반드시 똑똑한즉, 사용자가 증가하는 정보의 양을 탐색할 수 있도록 도와줍니다. 가장 편리한 방법으로 필터링, 구조화 및 제공합니다. 그녀는 분명 유능한, 예를 들어 벌금 납부와 같은 다양한 작업을 사서함에서 바로 해결할 수 있습니다(불행히도 제가 사용하는 기능). 동시에 메일은 정보 보호, 스팸 차단, 해킹 방지 기능을 제공해야 합니다. 안전한.

이러한 영역은 여러 가지 주요 문제를 정의하며, 그 중 다수는 기계 학습을 사용하여 효과적으로 해결할 수 있습니다. 다음은 전략의 일부로 개발된 기존 기능의 예입니다(각 방향마다 하나씩).

• 스마트 답장. 메일에는 스마트 답장 기능이 있습니다. 신경망은 편지의 텍스트를 분석하고 그 의미와 목적을 이해하며 그 결과 긍정적, 부정적, 중립이라는 가장 적절한 세 가지 응답 옵션을 제공합니다. 이는 편지에 답할 때 시간을 크게 절약하는 데 도움이 되며 종종 비표준적이고 재미있는 방식으로 응답하기도 합니다.
• 이메일 그룹화온라인 상점 주문과 관련됩니다. 우리는 온라인으로 쇼핑하는 경우가 많으며 일반적으로 매장에서는 각 주문에 대해 여러 이메일을 보낼 수 있습니다. 예를 들어, 가장 큰 서비스인 AliExpress에서는 하나의 주문에 대해 많은 편지가 들어오고 터미널의 경우 그 숫자가 최대 29에 도달할 수 있다고 계산했습니다. 따라서 명명된 엔터티 인식 모델을 사용하여 주문 번호를 추출합니다. 텍스트의 기타 정보와 모든 문자를 하나의 스레드로 그룹화합니다. 또한 주문에 대한 기본 정보를 별도의 상자에 표시하므로 이러한 유형의 이메일 작업을 더 쉽게 할 수 있습니다.

  

• 사칭 방지. 피싱은 공격자가 금융 정보(사용자의 은행 카드 포함) 및 로그인 정보를 얻으려고 시도하는 특히 위험한 사기 유형의 이메일입니다. 이러한 문자는 시각적인 것을 포함하여 해당 서비스에서 보낸 실제 문자를 모방합니다. 따라서 Computer Vision의 도움으로 우리는 대기업(예: Mail.ru, Sber, Alfa)의 로고와 편지의 디자인 스타일을 인식하고 이를 스팸 및 피싱 분류기의 텍스트 및 기타 기능과 함께 고려합니다. .

기계 학습

일반적인 이메일의 기계 학습에 대해 조금 설명합니다. 메일은 부하가 높은 시스템입니다. 하루 평균 1,5억 개의 편지가 30천만 DAU 사용자를 위해 당사 서버를 통과합니다. 약 30개의 머신러닝 시스템이 필요한 모든 기능과 기능을 지원합니다.

각 문자는 전체 분류 파이프라인을 통과합니다. 먼저 스팸을 차단하고 좋은 이메일을 남겨드리겠습니다. 스팸의 95-99%가 적절한 폴더에 들어가지 않기 때문에 사용자는 스팸 방지 작업을 인식하지 못하는 경우가 많습니다. 스팸 인식은 우리 시스템에서 매우 중요한 부분이자 가장 어려운 부분입니다. 스팸 방지 분야에서는 방어 시스템과 공격 시스템 사이에 지속적인 적응이 있기 때문에 우리 팀에 지속적인 엔지니어링 과제를 제공하기 때문입니다.

다음으로 문자와 사람, 로봇을 분리합니다. 사람들이 보낸 이메일이 가장 중요하므로 우리는 그들을 위해 스마트 답장과 같은 기능을 제공합니다. 로봇의 편지는 두 부분으로 나뉩니다. 거래 - 이는 구매 확인 또는 호텔 예약 확인, 재정 및 정보 제공과 같은 서비스에서 보내는 중요한 편지입니다. 이는 비즈니스 광고, 할인입니다.

우리는 거래 이메일이 개인 서신과 마찬가지로 중요하다고 믿습니다. 주문이나 항공권 예약에 대한 정보를 신속하게 찾아야 하는 경우가 많고 이러한 편지를 검색하는 데 시간을 소비하기 때문에 이러한 편지는 가까이에 있어야 합니다. 따라서 편의를 위해 자동으로 여행, 주문, 금융, 티켓, 등록, 벌금 등 XNUMX가지 주요 범주로 나눕니다.

정보 편지는 사용자가 그러한 편지를 읽지 않으면 사용자의 삶에 중요한 변화가 없기 때문에 즉각적인 응답이 필요하지 않은 가장 크고 아마도 덜 중요한 그룹입니다. 새로운 인터페이스에서는 이를 소셜 네트워크와 뉴스레터라는 두 개의 스레드로 축소하여 받은 편지함을 시각적으로 정리하고 중요한 메시지만 표시되도록 했습니다.

착취

시스템 수가 많으면 운영에 많은 어려움이 따릅니다. 결국 모델은 다른 소프트웨어와 마찬가지로 시간이 지남에 따라 성능이 저하됩니다. 기능이 손상되고, 기계가 고장나고, 코드가 비뚤어지게 됩니다. 또한 데이터는 지속적으로 변경됩니다. 새로운 데이터가 추가되고, 사용자 행동 패턴이 변형되므로 적절한 지원이 없는 모델은 시간이 지남에 따라 점점 더 나빠질 것입니다.

머신러닝이 사용자의 삶에 더 깊이 침투할수록 생태계에 미치는 영향이 커지고 결과적으로 시장 참가자가 더 많은 금전적 손실이나 이익을 얻을 수 있다는 점을 잊어서는 안 됩니다. 따라서 점점 더 많은 영역에서 플레이어가 ML 알고리즘 작업에 적응하고 있습니다(전형적인 예로는 광고, 검색 및 이미 언급한 스팸 방지가 있습니다).

또한 기계 학습 작업에는 특징이 있습니다. 시스템의 사소한 변화라도 모델에 대한 많은 작업을 생성할 수 있습니다. 즉, 몇 주 또는 몇 달이 걸릴 수 있는 데이터 작업, 재교육, 배포 등이 있습니다. 따라서 모델이 작동하는 환경이 빠르게 변경될수록 모델을 유지하는 데 더 많은 노력이 필요합니다. 팀은 많은 시스템을 만들고 그것에 대해 만족할 수 있지만 새로운 작업을 수행할 기회 없이 시스템을 유지 관리하는 데 거의 모든 리소스를 소비할 수 있습니다. 스팸 방지 팀에서 이러한 상황을 겪은 적이 있습니다. 그리고 그들은 지원을 자동화해야 한다는 분명한 결론을 내렸습니다.

오토메이션

자동화할 수 있는 것은 무엇입니까? 실제로 거의 모든 것. 저는 기계 학습 인프라를 정의하는 네 가지 영역을 확인했습니다.

• 데이터 수집;
• 추가 훈련;
• 배포;
• 테스트 및 모니터링.

환경이 불안정하고 지속적으로 변화하는 경우 모델 자체보다 모델 주변의 전체 인프라가 훨씬 더 중요하다는 것이 드러납니다. 오래된 선형 분류기일 수도 있지만 올바른 기능을 제공하고 사용자로부터 좋은 피드백을 받으면 모든 추가 기능을 갖춘 최첨단 모델보다 훨씬 더 잘 작동할 것입니다.

피드백 루프

이 주기는 데이터 수집, 추가 교육 및 배포, 즉 실제로 전체 모델 업데이트 주기를 결합합니다. 왜 중요 함? 메일에서 등록 일정을 확인하세요.

기계 학습 개발자는 봇이 이메일에 등록하는 것을 방지하는 봇 방지 모델을 구현했습니다. 실제 사용자만 남는 값으로 그래프가 떨어집니다. 모든것이 좋아! 하지만 XNUMX시간이 지나면 봇이 스크립트를 수정하고 모든 것이 정상으로 돌아옵니다. 이 구현에서 개발자는 기능을 추가하고 모델을 재교육하는 데 한 달이 걸렸지만 스팸 발송자는 XNUMX시간 만에 적응할 수 있었습니다.

너무 고통스러울 정도로 고통스럽지 않고 나중에 모든 것을 다시 실행할 필요가 없도록 하려면 먼저 피드백 루프가 어떤 모습일지, 환경이 변하면 어떻게 할지 생각해야 합니다. 데이터 수집부터 시작해 보겠습니다. 이는 우리 알고리즘의 원동력입니다.

데이터 수집

최신 신경망의 경우 데이터가 많을수록 더 좋고 실제로 제품 사용자에 의해 생성된다는 것이 분명합니다. 사용자는 데이터 표시를 통해 우리에게 도움을 줄 수 있지만 우리는 이것을 남용할 수 없습니다. 어느 시점에서 사용자는 모델 완성에 지쳐서 다른 제품으로 전환할 것이기 때문입니다.

가장 흔한 실수 중 하나(여기서는 Andrew Ng를 언급합니다)는 실제로 작업 품질의 주요 척도인 사용자 피드백이 아닌 테스트 데이터세트의 측정항목에 너무 집중하는 것입니다. 사용자를 위한 제품입니다. 사용자가 모델 작업을 이해하지 못하거나 마음에 들지 않으면 모든 것이 망가집니다.

따라서 사용자는 항상 투표할 수 있어야 하며 피드백을 위한 도구가 제공되어야 합니다. 금융과 관련된 편지가 우편함에 도착했다고 생각되면 '금융'이라고 표시하고 사용자가 클릭하여 금융이 아니라고 말할 수 있는 버튼을 그려야 합니다.

피드백 품질

사용자 피드백의 품질에 대해 이야기해 보겠습니다. 첫째, 당신과 사용자는 하나의 개념에 서로 다른 의미를 담을 수 있습니다. 예를 들어, 귀하와 귀하의 제품 관리자는 "금융"이 은행에서 보낸 편지를 의미한다고 생각하고, 사용자는 연금에 관해 할머니가 보낸 편지도 금융을 의미한다고 생각합니다. 둘째, 아무 논리 없이 버튼을 누르는 것을 아무 생각 없이 좋아하는 사용자가 있습니다. 셋째, 사용자는 자신의 결론에 대해 깊은 오해를 받을 수 있습니다. 우리 실습의 놀라운 예는 분류기 구현입니다. 나이지리아 스팸, 아프리카에서 갑자기 발견된 먼 친척으로부터 사용자에게 수백만 달러를 가져가도록 요청하는 매우 재미있는 유형의 스팸입니다. 이 분류기를 구현한 후 우리는 이러한 이메일에 대한 "스팸 아님" 클릭 수를 확인한 결과 그 중 80%가 흥미진진한 나이지리아 스팸인 것으로 나타났습니다. 이는 사용자가 극도로 속기 쉽다는 것을 의미합니다.

그리고 이 버튼은 사람뿐만 아니라 브라우저인 것처럼 가장하는 모든 종류의 봇에 의해서도 클릭될 수 있다는 사실을 잊지 마십시오. 따라서 원시 피드백은 학습에 좋지 않습니다. 이 정보로 무엇을 할 수 있나요?

우리는 두 가지 접근 방식을 사용합니다.

• 연결된 ML의 피드백. 예를 들어, 앞서 언급했듯이 제한된 수의 징후를 기반으로 빠른 결정을 내리는 온라인 안티 봇 시스템이 있습니다. 그리고 그 이후에 작동하는 두 번째 느린 시스템이 있습니다. 사용자, 그의 행동 등에 대한 더 많은 데이터가 있습니다. 결과적으로 가장 많은 정보를 바탕으로 결정이 내려지며, 이에 따라 정확성과 완성도가 높아집니다. 이러한 시스템의 작동 차이를 훈련 데이터로 첫 번째 시스템에 전달할 수 있습니다. 따라서 단순한 시스템은 항상 더 복잡한 시스템의 성능에 접근하려고 노력할 것입니다.
• 클릭 분류. 각 사용자 클릭을 간단히 분류하고 유효성과 유용성을 평가할 수 있습니다. 우리는 사용자 속성, 사용자 기록, 보낸 사람 속성, 텍스트 자체 및 분류자의 결과를 사용하여 스팸 방지 메일에서 이를 수행합니다. 결과적으로 우리는 사용자 피드백을 검증하는 자동 시스템을 갖게 되었습니다. 그리고 훨씬 덜 자주 재교육을 받아야 하기 때문에 해당 작업은 다른 모든 시스템의 기초가 될 수 있습니다. 이 모델의 최우선 순위는 정밀도입니다. 왜냐하면 부정확한 데이터에 대한 모델 교육은 결과를 초래하기 때문입니다.

데이터를 정리하고 ML 시스템을 추가로 교육하는 동안 사용자를 잊어서는 안 됩니다. 왜냐하면 우리에게는 그래프에 있는 수천, 수백만 개의 오류가 통계이고 사용자에게는 모든 버그가 비극이기 때문입니다. 사용자는 제품의 오류를 어떻게든 감수해야 한다는 사실 외에도 피드백을 받은 후 비슷한 상황이 앞으로 사라질 것이라고 기대합니다. 따라서 사용자에게 투표할 수 있는 기회뿐만 아니라 ML 시스템의 동작을 수정하여 각 피드백 클릭에 대한 개인 경험적 방법을 생성하는 것은 항상 가치가 있습니다. 메일의 경우 필터링 기능이 될 수 있습니다. 이 사용자에 대한 보낸 사람 및 제목의 편지.

또한 다른 사용자가 비슷한 문제를 겪지 않도록 반자동 또는 수동 모드에서 지원할 일부 보고서나 요청을 기반으로 모델을 구축해야 합니다.

학습을 위한 휴리스틱

이러한 휴리스틱과 목발에는 두 가지 문제가 있습니다. 첫 번째는 계속 증가하는 목발의 수는 장기적으로 품질과 성능은 물론이고 유지 관리도 어렵다는 것입니다. 두 번째 문제는 오류가 자주 발생하지 않을 수 있으며 몇 번의 클릭만으로 모델을 추가 학습하는 것만으로는 충분하지 않다는 것입니다. 다음 접근 방식을 적용하면 서로 관련되지 않은 두 가지 효과를 크게 무력화할 수 있는 것으로 보입니다.

1. 우리는 임시 목발을 만듭니다.
2. 우리는 그것에서 모델로 데이터를 보내고, 수신된 데이터를 포함하여 정기적으로 자체 업데이트됩니다. 물론 여기서는 학습 세트의 데이터 품질이 저하되지 않도록 휴리스틱의 정확도가 높은 것이 중요합니다.
3. 그런 다음 목발을 트리거하도록 모니터링을 설정하고, 일정 시간이 지난 후 목발이 더 이상 작동하지 않고 모델에 완전히 덮이면 안전하게 제거할 수 있습니다. 이제 이 문제는 다시는 발생하지 않을 것입니다.

그래서 목발 군대는 매우 유용합니다. 가장 중요한 것은 그들의 서비스가 긴급하고 영구적이지 않다는 것입니다.

추가 훈련

재교육은 사용자나 다른 시스템의 피드백 결과로 얻은 새로운 데이터를 추가하고 이를 기반으로 기존 모델을 교육하는 프로세스입니다. 추가 교육에는 몇 가지 문제가 있을 수 있습니다.

1. 모델은 추가 교육을 지원하지 않고 처음부터만 학습할 수 있습니다.
2. 자연의 책 어디에도 추가 교육이 생산 작업의 질을 확실히 향상시킬 것이라고 기록되어 있지 않습니다. 종종 반대 현상이 발생합니다. 즉, 악화만 가능합니다.
3. 변화는 예측할 수 없습니다. 이것은 우리가 스스로 확인한 다소 미묘한 점입니다. A/B 테스트에서 새로운 모델이 기존 모델과 유사한 결과를 보인다고 해서 동일하게 작동한다는 의미는 아닙니다. 이들의 작업은 단 XNUMX%만 다를 수 있으며 이로 인해 새로운 오류가 발생하거나 이미 수정된 이전 오류가 반환될 수 있습니다. 우리와 사용자 모두 현재 오류를 처리하는 방법을 이미 알고 있으며, 새로운 오류가 많이 발생하면 사용자는 예측 가능한 동작을 기대하기 때문에 무슨 일이 일어나고 있는지 이해하지 못할 수도 있습니다.

따라서 추가 훈련에서 가장 중요한 것은 모델이 개선되거나 적어도 악화되지 않도록 하는 것입니다.

추가 교육에 대해 이야기할 때 가장 먼저 떠오르는 것은 Active Learning 접근 방식입니다. 이것은 무엇을 의미 하는가? 예를 들어, 분류자는 이메일이 금융과 관련되어 있는지 여부를 결정하고 결정 경계 주위에 레이블이 지정된 예시 샘플을 추가합니다. 예를 들어 피드백이 많고 온라인으로 모델을 훈련할 수 있는 광고에서는 이 방법이 효과적입니다. 그리고 피드백이 거의 없으면 생산 데이터 분포에 비해 매우 편향된 샘플을 얻게 되며 이를 기반으로 작동 중 모델의 동작을 평가하는 것이 불가능합니다.

사실, 우리의 목표는 오래된 패턴, 이미 알려진 모델을 보존하고 새로운 모델을 획득하는 것입니다. 여기서는 연속성이 중요합니다. 우리가 종종 출시하기 위해 많은 노력을 기울인 모델은 이미 작동 중이므로 성능에 집중할 수 있습니다.

메일에는 트리, 선형, 신경망 등 다양한 모델이 사용됩니다. 각각에 대해 우리는 자체적인 추가 훈련 알고리즘을 만듭니다. 추가 훈련 과정에서 우리는 새로운 데이터뿐만 아니라 아래의 모든 알고리즘에서 고려할 새로운 기능도 자주 얻습니다.

선형 모델

로지스틱 회귀 분석이 있다고 가정해 보겠습니다. 우리는 다음 구성요소로부터 손실 모델을 만듭니다.

• 새 데이터에 대한 LogLoss;
• 새로운 기능의 가중치를 정규화합니다(이전 기능은 건드리지 않습니다).
• 우리는 또한 오래된 패턴을 보존하기 위해 오래된 데이터로부터 학습합니다.
• 그리고 아마도 가장 중요한 것은 표준에 따라 가중치가 이전 모델에 비해 많이 변하지 않도록 보장하는 조화 정규화를 추가한다는 것입니다.

각 손실 구성요소에는 계수가 있으므로 교차 검증을 통해 또는 제품 요구 사항을 기반으로 작업에 대한 최적의 값을 선택할 수 있습니다.

나무

의사결정 트리로 넘어가겠습니다. 우리는 트리의 추가 훈련을 위해 다음 알고리즘을 컴파일했습니다.

1. 프로덕션에서는 100~300그루의 나무로 구성된 숲을 운영하며, 이는 오래된 데이터 세트를 기반으로 학습됩니다.
2. 마지막에 M = 5 조각을 제거하고 2M = 10개의 새 조각을 추가합니다. 전체 데이터 세트에 대해 훈련되었지만 새 데이터에 대한 가중치가 높기 때문에 자연스럽게 모델의 증분 변화가 보장됩니다.

분명히, 시간이 지남에 따라 나무의 수는 크게 증가하고, 시기를 맞추기 위해 주기적으로 줄여야 합니다. 이를 위해 우리는 현재 널리 사용되는 KD(Knowledge Distillation)를 사용합니다. 작동 원리에 대해 간략히 설명합니다.

1. 우리는 현재의 "복잡한" 모델을 가지고 있습니다. 훈련 데이터 세트에서 이를 실행하고 출력에서 ​​클래스 확률 분포를 얻습니다.
2. 다음으로, 클래스 분포를 목표 변수로 사용하여 모델 결과를 반복하도록 학생 모델(이 경우에는 더 적은 수의 트리가 있는 모델)을 훈련합니다.
3. 여기서는 데이터 세트 마크업을 어떤 방식으로든 사용하지 않으므로 임의의 데이터를 사용할 수 있다는 점에 유의하는 것이 중요합니다. 물론 전투 스트림의 데이터 샘플을 학생 모델의 훈련 샘플로 사용합니다. 따라서 훈련 세트를 사용하면 모델의 정확성을 보장할 수 있으며 스트림 샘플은 훈련 세트의 편향을 보상하여 생산 분포에서 유사한 성능을 보장합니다.

이 두 기술(트리를 추가하고 지식 증류를 사용하여 주기적으로 트리 수를 줄이는 것)의 조합은 새로운 패턴의 도입과 완전한 연속성을 보장합니다.

KD의 도움으로 우리는 기능 제거, 공백 작업 등 모델 기능에 대한 다양한 작업도 수행합니다. 우리의 경우 데이터베이스에 저장되는 중요한 통계 기능(발신자, 텍스트 해시, URL 등)이 많이 있는데 실패하는 경향이 있습니다. 물론 모델은 훈련 세트에서 실패 상황이 발생하지 않기 때문에 이러한 이벤트 개발에 준비가 되어 있지 않습니다. 이러한 경우 KD와 증강 기술을 결합합니다. 데이터의 일부를 훈련할 때 필요한 기능을 제거하거나 재설정하고 원래 레이블(현재 모델의 출력)을 가져오며 학생 모델은 이 분포를 반복하는 방법을 학습합니다. .

우리는 더 심각한 모델 조작이 발생할수록 필요한 스레드 샘플의 비율이 더 높아진다는 것을 확인했습니다.

가장 간단한 작업인 기능 제거에는 흐름의 작은 부분만 필요합니다. 몇 가지 기능만 변경되고 현재 모델은 동일한 세트에서 학습되었으므로 차이가 최소화됩니다. 모델을 단순화하려면(트리 수를 여러 번 줄임) 이미 50~50개가 필요하며, 모델 성능에 심각한 영향을 미칠 중요한 통계적 특징이 누락된 경우 작업을 평준화하기 위해 더 많은 흐름이 필요합니다. 모든 유형의 문자에 대한 새로운 누락 방지 모델.

패스트텍스트

FastText로 넘어가겠습니다. 단어의 표현(임베딩)은 단어 자체와 모든 문자 N-그램(보통 트라이그램)의 임베딩 합계로 구성된다는 점을 상기시켜 드리겠습니다. 트라이그램이 상당히 많을 수 있기 때문에 버킷 해싱(Bucket Hashing), 즉 전체 공간을 특정 고정 해시맵으로 변환하는 방법이 사용됩니다. 결과적으로 단어수+버킷수당 내부 레이어의 차원으로 가중치 행렬을 구하게 된다.

추가 교육을 통해 단어와 트라이그램이라는 새로운 기호가 나타납니다. Facebook의 표준 후속 교육에서는 중요한 일이 발생하지 않습니다. 교차 엔트로피가 있는 이전 가중치만 새 데이터에 대해 재교육됩니다. 따라서 새로운 기능은 사용되지 않습니다. 물론 이 접근 방식에는 생산 시 모델의 예측 불가능성과 관련하여 위에서 설명한 모든 단점이 있습니다. 이것이 바로 우리가 FastText를 약간 수정한 이유입니다. 우리는 모든 새로운 가중치(단어 및 트라이그램)를 추가하고, 교차 엔트로피로 전체 행렬을 확장하고, 선형 모델과 유사하게 조화 정규화를 추가하여 이전 가중치의 미미한 변화를 보장합니다.

현지 시간

컨벌루션 네트워크는 좀 더 복잡합니다. CNN에서 마지막 레이어가 완성되면 물론 조화 정규화를 적용하고 연속성을 보장할 수 있습니다. 그러나 전체 네트워크에 대한 추가 훈련이 필요한 경우 이러한 정규화는 더 이상 모든 레이어에 적용할 수 없습니다. 그러나 Triplet Loss(원본 기사).

삼중 손실

피싱 방지 작업을 예로 들어 삼중 손실을 일반적인 용어로 살펴보겠습니다. 우리는 우리 로고와 다른 회사 로고의 긍정적이고 부정적인 예를 사용합니다. 우리는 첫 번째 사이의 거리를 최소화하고 두 번째 사이의 거리를 최대화합니다. 클래스의 압축성을 높이기 위해 작은 간격으로 이를 수행합니다.

네트워크를 추가로 훈련시키면 메트릭 공간이 완전히 바뀌고 이전 공간과 완전히 호환되지 않게 됩니다. 이는 벡터를 사용하는 문제에서 심각한 문제입니다. 이 문제를 해결하기 위해 훈련 중에 이전 임베딩을 혼합합니다.

우리는 훈련 세트에 새로운 데이터를 추가했으며 처음부터 모델의 두 번째 버전을 훈련하고 있습니다. 두 번째 단계에서는 네트워크를 추가로 훈련합니다(미세 조정). 먼저 마지막 레이어가 완성되고 전체 네트워크가 고정 해제됩니다. 트리플렛을 구성하는 과정에서 우리는 훈련된 모델을 사용하여 임베딩의 일부만 계산하고 나머지는 이전 모델을 사용하여 계산합니다. 따라서 추가 학습 과정에서 메트릭 공간 v1과 v2의 호환성을 보장합니다. 조화 정규화의 고유한 버전입니다.

전체 아키텍처

스팸 방지를 사용하는 전체 시스템을 예로 들면 모델은 격리되지 않고 서로 중첩됩니다. 우리는 CNN과 Fast Text를 사용하여 사진, 텍스트 및 기타 기능을 촬영하고 임베딩을 얻습니다. 다음으로 다양한 클래스(문자 유형, 스팸, 로고 존재 여부)에 대한 점수를 제공하는 임베딩 위에 분류자가 적용됩니다. 신호와 표지판은 최종 결정을 내리기 위해 이미 나무 숲으로 들어가고 있습니다. 이 체계의 개별 분류기를 사용하면 모든 데이터를 원시 형식으로 의사 결정 트리에 공급하는 대신 시스템 결과를 더 잘 해석하고 문제가 있는 경우 구성 요소를 보다 구체적으로 재교육할 수 있습니다.

결과적으로 우리는 모든 수준에서 연속성을 보장합니다. CNN과 Fast Text의 최하위 수준에서는 조화 정규화를 사용하고, 중간 분류기에 대해서는 확률 분포의 일관성을 위해 조화 정규화와 속도 보정도 사용합니다. 음, 트리 부스팅은 점진적으로 훈련되거나 Knowledge Distillation을 사용하여 훈련됩니다.

일반적으로 이러한 중첩된 기계 학습 시스템을 유지하는 것은 일반적으로 어려운 일입니다. 하위 수준의 모든 구성 요소가 위의 전체 시스템에 대한 업데이트로 이어지기 때문입니다. 그러나 우리의 설정에서는 각 구성 요소가 약간 변경되고 이전 구성 요소와 호환되므로 전체 구조를 다시 교육할 필요 없이 전체 시스템을 하나씩 업데이트할 수 있으므로 심각한 오버헤드 없이 지원할 수 있습니다.

배포

다양한 유형의 모델에 대한 데이터 수집 및 추가 교육에 대해 논의했으며 이제 프로덕션 환경에 배포하는 단계로 넘어갑니다.

A/B 테스트

앞서 말했듯이 데이터를 수집하는 과정에서 편향된 표본을 얻는 경우가 많으며, 이로 인해 모델의 생산 성능을 평가할 수 없습니다. 따라서 배포 시 실제 상황이 어떻게 진행되는지 이해하기 위해 모델을 이전 버전과 비교해야 합니다. 즉, A/B 테스트를 수행해야 합니다. 실제로 차트를 출시하고 분석하는 과정은 매우 일상적이며 쉽게 자동화할 수 있습니다. 모델 응답 및 사용자 피드백에 대해 사용 가능한 모든 지표를 수집하는 동시에 사용자의 5%, 30%, 50% 및 100%를 대상으로 모델을 점진적으로 출시합니다. 심각한 이상값이 있는 경우 자동으로 모델을 롤백하고, 다른 경우에는 충분한 수의 사용자 클릭을 수집한 후 비율을 높이기로 결정합니다. 결과적으로 우리는 완전히 자동으로 사용자의 50%에게 새 모델을 제공하고 전체 사용자에 대한 출시는 사람이 승인하게 됩니다. 단, 이 단계는 자동화될 수 있습니다.

그러나 A/B 테스트 프로세스에는 최적화의 여지가 있습니다. 사실 모든 A/B 테스트는 상당히 길기 때문에(우리의 경우 피드백 양에 따라 6~24시간 소요) 비용이 많이 들고 리소스도 제한됩니다. 또한 A/B 테스트의 전체 시간을 근본적으로 가속화하려면 충분히 높은 비율의 테스트 흐름이 필요합니다(작은 비율로 측정항목을 평가하기 위해 통계적으로 유의미한 샘플을 모집하는 데 시간이 매우 오래 걸릴 수 있음). A/B 슬롯 수는 극히 제한되어 있습니다. 분명히 우리는 가장 유망한 모델만 테스트해야 하며, 그 중 추가 훈련 과정에서 상당히 많은 것을 얻습니다.

이 문제를 해결하기 위해 우리는 A/B 테스트의 성공을 예측하는 별도의 분류기를 훈련했습니다. 이를 위해 훈련 세트, 지연된 세트 및 스트림의 샘플에 대한 의사 결정 통계, 정밀도, 재현율 및 기타 측정항목을 기능으로 사용합니다. 또한 휴리스틱을 사용하여 현재 생산 중인 모델과 모델을 비교하고 모델의 복잡성을 고려합니다. 이러한 모든 기능을 사용하여 테스트 기록에 대해 훈련된 분류자는 후보 모델(우리의 경우 나무 숲)을 평가하고 A/B 테스트에 사용할 모델을 결정합니다.

구현 당시 이 접근 방식을 통해 성공적인 A/B 테스트 횟수를 여러 번 늘릴 수 있었습니다.

테스트 및 모니터링

테스트와 모니터링은 이상하게도 우리의 건강에 해를 끼치지 않으며 오히려 건강을 개선하고 불필요한 스트레스를 덜어줍니다. 테스트를 통해 오류를 예방할 수 있으며, 모니터링을 통해 오류를 적시에 감지하여 사용자에게 미치는 영향을 줄일 수 있습니다.

조만간 시스템이 항상 실수를 하게 된다는 점을 여기서 이해하는 것이 중요합니다. 이는 모든 소프트웨어의 개발 주기 때문입니다. 시스템 개발 초기에는 모든 것이 안정되고 주요 혁신 단계가 완료될 때까지 항상 많은 버그가 존재합니다. 그러나 시간이 지남에 따라 엔트로피는 큰 타격을 받고 오류가 다시 나타납니다. 이는 제가 처음에 이야기했던 주변 구성 요소의 성능 저하와 데이터 변경으로 인해 발생합니다.

여기서 저는 모든 머신러닝 시스템이 전체 수명주기 동안 이익의 관점에서 고려되어야 한다는 점을 지적하고 싶습니다. 아래 그래프는 시스템이 희귀한 유형의 스팸을 포착하기 위해 어떻게 작동하는지에 대한 예를 보여줍니다(그래프의 선은 XNUMX에 가깝습니다). 어느 날, 그녀는 잘못 캐시된 속성으로 인해 미쳐버렸습니다. 다행히도 비정상적인 발동에 대한 모니터링이 없었기 때문에 시스템은 의사결정 경계의 '스팸' 폴더에 대량의 편지를 저장하기 시작했습니다. 결과를 바로잡았음에도 불구하고 시스템은 이미 XNUMX년이 지나도 보상을 받을 수 없을 정도로 많은 실수를 저질렀습니다. 그리고 이는 모델의 라이프사이클 측면에서 볼 때 완전한 실패입니다.

따라서 모니터링과 같은 간단한 일이 모델의 삶에서 핵심이 될 수 있습니다. 표준적이고 명확한 지표 외에도 모델 응답 및 점수의 분포는 물론 주요 기능 값의 분포도 고려합니다. KL 다이버전스를 사용하면 현재 분포를 과거 분포와 비교하거나 A/B 테스트 값을 나머지 스트림과 비교할 수 있어 모델의 이상 현상을 발견하고 적시에 변경 사항을 롤백할 수 있습니다.

대부분의 경우, 우리는 향후 모니터링에 사용할 간단한 경험적 방법이나 모델을 사용하여 시스템의 첫 번째 버전을 출시합니다. 예를 들어 특정 온라인 상점의 일반 모델과 비교하여 NER 모델을 모니터링하고 분류기 적용 범위가 NER 모델과 비교하여 떨어지면 그 이유를 이해합니다. 휴리스틱의 또 다른 유용한 활용법!

결과

기사의 핵심 아이디어를 다시 살펴보겠습니다.

• Fibdeck. 우리는 항상 사용자에 대해 생각합니다. 사용자가 우리의 실수를 어떻게 받아들일지, 어떻게 보고할 수 있을지 생각합니다. 사용자는 훈련 모델에 대한 순수한 피드백 소스가 아니며 보조 ML 시스템의 도움으로 이를 제거해야 한다는 점을 잊지 마십시오. 사용자로부터 신호를 수집할 수 없는 경우 연결된 시스템과 같은 대체 피드백 소스를 찾습니다.
• 추가 훈련. 여기서 가장 중요한 것은 연속성이므로 현재 생산 모델에 의존합니다. 우리는 조화 정규화 및 유사한 트릭으로 인해 이전 모델과 크게 다르지 않도록 새 모델을 교육합니다.
• 배포. 측정항목을 기반으로 한 자동 배포는 모델 구현 시간을 크게 줄여줍니다. 편안한 수면과 생산적인 주말을 위해서는 통계 및 의사 결정 분포, 사용자 낙상 횟수를 모니터링하는 것이 필수입니다.

글쎄, 이것이 ML 시스템을 더 빠르게 개선하고, 더 빠르게 시장에 출시하고, 더 안정적이고 스트레스를 덜 받는 데 도움이 되기를 바랍니다.

출처 : habr.com