자연재해처럼 접근하여 이탈을 예측한 방법

때로는 문제를 해결하기 위해 다른 각도에서 바라볼 필요가 있습니다. 지난 10년 동안 비슷한 문제를 같은 방법으로 다른 효과로 해결했다고 해도 이 방법이 유일한 방법은 아닙니다.

고객 이탈이라는 주제가 있습니다. 모든 회사의 고객은 여러 가지 이유로 해당 제품이나 서비스 사용을 중단할 수 있기 때문에 이는 불가피합니다. 물론 기업 입장에서 이탈은 자연스러운 일이지만 가장 바람직한 행동은 아니기 때문에 모두가 이탈을 최소화하려고 노력합니다. 더 나은 방법은 특정 사용자 카테고리 또는 특정 사용자의 이탈 가능성을 예측하고 이를 유지하기 위한 몇 가지 단계를 제안하는 것입니다.

가능하다면 적어도 다음과 같은 이유로 고객을 분석하고 유지하려고 노력해야 합니다.

• 신규 고객 유치는 유지 절차보다 비용이 더 많이 듭니다.. 신규 고객을 유치하려면 원칙적으로 약간의 비용(광고)을 지출해야 하지만, 기존 고객은 특별한 조건이 있는 특별 제안으로 활성화될 수 있습니다.
• 고객이 떠나는 이유를 이해하는 것이 제품과 서비스 개선의 핵심.

이탈을 예측하는 표준 접근 방식이 있습니다. 그러나 AI 챔피언십 중 하나에서 우리는 이를 위해 Weibull 분포를 시도하기로 결정했습니다. 생존성 분석, 일기예보, 자연재해 분석, 산업공학 등에 가장 많이 사용됩니다. Weibull 분포는 두 개의 매개변수로 매개변수화된 특수 분포 함수입니다. и .

위키 백과

일반적으로 흥미로운 내용이지만 유출을 예측하는 데에는, 그리고 일반적으로 핀테크에서는 그다지 자주 사용되지 않습니다. 컷 아래에서는 우리(데이터 마이닝 연구소)가 어떻게 이를 수행하여 인공지능 챔피언십에서 "AI in Banks" 부문에서 금메달을 획득했는지 알려드리겠습니다.

일반적인 이탈 정보

고객 이탈이 무엇인지, 그리고 그것이 왜 그렇게 중요한지에 대해 조금 이해해 보겠습니다. 고객 기반은 비즈니스에 중요합니다. 예를 들어, 새로운 고객은 광고를 통해 제품이나 서비스에 대해 알게 된 후 한동안 라이브(제품을 적극적으로 사용)하고 일정 시간이 지나면 사용을 중단하는 등의 방식으로 이 기반에 왔습니다. 이 기간을 “고객 라이프사이클”이라고 하며, 고객이 제품에 대해 알고, 구매 결정을 내리고, 비용을 지불하고, 사용하고, 충성 소비자가 되어 최종적으로 제품 사용을 중단하는 단계를 설명하는 용어입니다. 이런저런 이유로. 따라서 이탈은 고객 수명주기의 마지막 단계로, 고객이 서비스 사용을 중단하는 시점이며, 비즈니스의 경우 이는 고객이 더 이상 이익을 얻지 못하거나 전혀 이익을 얻지 못함을 의미합니다.

각 은행 고객은 자신의 필요에 맞게 하나 또는 다른 은행 카드를 선택하는 특정 개인입니다. 자주 여행한다면 마일리지가 있는 카드가 유용할 것입니다. 많이 구매하세요 - 안녕하세요, 캐쉬백 카드입니다. 그는 특정 상점에서 많은 것을 구매하며 이를 위한 특별한 플라스틱 파트너가 이미 있습니다. 물론 '가장 저렴한 서비스'를 기준으로 카드를 선택하는 경우도 있습니다. 일반적으로 여기에는 변수가 충분합니다.

그리고 사람은 은행 자체도 선택합니다. 하바롭스크 출신일 때 모스크바와 해당 지역에만 지점이 있는 은행에서 카드를 선택하는 이유는 무엇입니까? 그러한 은행의 카드가 최소 2배 더 수익성이 높더라도 근처에 은행 지점이 있는지는 여전히 중요한 기준입니다. 예, 2019년이 이미 왔고 디지털이 우리의 전부입니다. 하지만 일부 은행의 여러 문제는 지점에서만 해결할 수 있습니다. 또한 인구의 일부는 스마트폰 애플리케이션보다 실제 은행을 훨씬 더 신뢰하므로 이 점 또한 고려해야 합니다.

결과적으로 개인은 은행 상품(또는 은행 자체)을 거부하는 데 여러 가지 이유가 있을 수 있습니다. 직업을 바꾸었고, 카드요금이 급여에서 수익성이 낮은 '단순한 인간을 위한'으로 바뀌었습니다. 은행 지점이 없는 다른 도시로 이사했습니다. 지점에서 무자격 교환원과의 상호 작용이 마음에 들지 않았습니다. 즉, 제품을 사용하는 이유보다 계정을 폐쇄하는 이유가 더 많을 수 있습니다.

그리고 고객은 자신의 의도를 명확하게 표현할 수 있을 뿐만 아니라 은행에 와서 명세서를 작성할 수 있을 뿐만 아니라 계약을 종료하지 않고 제품 사용을 중단할 수도 있습니다. 이러한 문제를 이해하기 위해 머신러닝과 AI를 활용하기로 결정했습니다.

더욱이 고객 이탈은 모든 산업(통신사, 인터넷 서비스 제공업체, 보험사 등 일반적으로 고객 기반과 정기적인 거래가 있는 모든 곳)에서 발생할 수 있습니다.

우리는 무엇을 했습니까?

우선, 고객이 떠난 것으로 간주하기 시작한 시점부터 명확한 경계를 설명하는 것이 필요했습니다. 우리 업무에 필요한 데이터를 제공한 은행의 관점에서 볼 때 고객의 활동 상태는 이분법적이었습니다. 즉, 그는 활성 상태이거나 비활성 상태입니다. "Activity" 테이블에는 ACTIVE_FLAG 플래그가 있으며 그 값은 "0" 또는 "1"(각각 "Inactive" 및 "Active")일 수 있습니다. 그리고 모든 것이 괜찮을 것이지만 사람은 한동안 적극적으로 사용할 수 있고 한 달 동안 활성 목록에서 벗어날 수 있습니다. 그는 아프거나 휴가 중 다른 나라로 가거나 심지어 테스트하러갔습니다. 다른 은행의 카드. 아니면 오랜 기간 동안 활동이 없었다가 다시 은행 서비스를 이용할 수도 있습니다.

따라서 우리는 플래그가 "0"으로 설정된 특정 연속 기간을 비활성 기간이라고 부르기로 결정했습니다.

클라이언트는 다양한 기간의 비활성 기간 후에 비활성 상태에서 활성 상태로 전환됩니다. 우리는 "비활성 기간의 신뢰성"이라는 경험적 가치의 정도, 즉 일시적인 비활성 이후에 은행 상품을 다시 사용하기 시작할 확률을 계산할 기회가 있습니다.

예를 들어, 이 그래프는 몇 달간 활동이 없는(ACTIVE_FLAG=1) 클라이언트의 활동 재개(ACTIVE_FLAG=0)를 보여줍니다.

여기서 우리가 작업을 시작한 데이터 세트를 조금 더 명확하게 설명하겠습니다. 그래서 은행은 19개월 동안의 집계된 정보를 다음 표에 제공했습니다.

• "활동" - 급여 및 매출 정보를 포함한 월간 고객 거래(카드, 인터넷 뱅킹 및 모바일 뱅킹).
• "카드" - 자세한 관세 일정과 함께 고객이 보유한 모든 카드에 대한 데이터입니다.
• "계약" - 고객의 계약(공개 및 비공개 모두)에 대한 정보: 대출, 예금 등 각 매개변수를 나타냅니다.
• "고객" - 일련의 인구통계학적 데이터(성별 및 연령) 및 연락처 정보 가용성.

작업을 위해서는 "지도"를 제외한 모든 테이블이 필요했습니다.

여기에는 또 다른 어려움이 있었습니다. 이 데이터에서 은행은 카드에서 어떤 종류의 활동이 발생했는지 표시하지 않았습니다. 즉, 트랜잭션이 있는지 여부는 이해할 수 있지만 더 이상 트랜잭션 유형을 확인할 수 없습니다. 따라서 의뢰인이 현금을 인출하고 있는지, 월급을 받고 있는지, 물건 구매에 돈을 쓰고 있는지가 불분명합니다. 또한 계좌 잔액에 대한 데이터도 없었는데 이는 유용했을 것입니다.

표본 자체는 편견이 없었습니다. 이 섹션에서 19개월 동안 은행은 고객을 유지하고 유출을 최소화하려는 어떠한 시도도 하지 않았습니다.

따라서 비활성 기간에 대해 설명합니다.

이탈의 정의를 공식화하려면 비활성 기간을 선택해야 합니다. 특정 시점에 이탈 예측을 생성하려면 , 간격으로 최소 3개월 이상의 고객 이력이 있어야 합니다. . 우리의 기록은 19개월로 제한되어 있으므로 가능하다면 6개월의 비활성 기간을 갖기로 결정했습니다. 그리고 고품질 예측을 위한 최소 기간은 3개월이 걸렸습니다. 우리는 고객 데이터 행동 분석을 바탕으로 실증적으로 3개월과 6개월 동안의 수치를 취했습니다.

우리는 고객 이탈의 정의를 다음과 같이 공식화했습니다. 이는 ACTIVE_FLAG=0인 첫 번째 달입니다. 이번 달부터 ACTIVE_FLAG 필드에 6개 이상의 연속 XNUMX이 있습니다. 즉, 클라이언트가 XNUMX개월 동안 비활성 상태였던 달입니다.

떠난 고객 수

남은 클라이언트 수

이탈률은 어떻게 계산되나요?

그러한 대회와 실제로는 일반적으로 유출이 이런 방식으로 예측되는 경우가 많습니다. 클라이언트는 다양한 기간에 제품과 서비스를 사용하며, 클라이언트와의 상호 작용에 대한 데이터는 고정 길이 n의 기능 벡터로 표시됩니다. 대부분 이 정보에는 다음이 포함됩니다.

• 사용자를 특성화하는 데이터(인구통계 데이터, 마케팅 부문)
• 은행 상품 및 서비스 사용 기록(이는 항상 특정 시간 또는 필요한 간격의 기간과 관련된 고객 활동입니다).
• 외부 데이터(예: 소셜 네트워크의 리뷰)를 얻을 수 있는 경우.

그런 다음 작업마다 다른 이탈의 정의를 도출합니다. 그런 다음 고객이 떠날 가능성을 예측하는 기계 학습 알고리즘을 사용합니다. 요인의 벡터 기반 . 알고리즘을 훈련시키기 위해 의사결정 트리의 앙상블을 구성하는 잘 알려진 프레임워크 중 하나가 사용됩니다. XGBoost, 라이트 GBM, 캣부스트 또는 그 수정.

알고리즘 자체는 나쁘지 않지만 이탈을 예측하는 데에는 몇 가지 심각한 단점이 있습니다.

• 그에겐 소위 '기억'이 없다.. 모델의 입력은 현재 시점에 해당하는 지정된 수의 기능입니다. 매개변수 변경 내역에 대한 정보를 저장하려면 지난 1,2,3, XNUMX, XNUMX개월 동안의 은행 거래 건수 또는 금액과 같이 시간 경과에 따른 매개변수 변경을 특성화하는 특수 기능을 계산해야 합니다. 이 접근 방식은 임시 변경의 특성을 부분적으로만 반영할 수 있습니다.
• 고정된 예측 범위. 모델은 미리 정의된 기간 동안만 고객 이탈을 예측할 수 있습니다(예: 한 달 전 예측). 다른 기간(예: XNUMX개월)에 대한 예측이 필요한 경우 훈련 세트를 다시 작성하고 새 모델을 다시 훈련해야 합니다.

우리의 접근

우리는 표준 접근 방식을 사용하지 않기로 즉시 결정했습니다. 우리 외에도 497명이 더 많은 사람들이 챔피언십에 등록했는데, 그들 각자는 상당한 경험을 갖고 있었습니다. 따라서 그러한 조건에서 표준 계획에 따라 작업을 수행하는 것은 좋은 생각이 아닙니다.

그리고 고객 이탈 횟수의 확률 분포를 예측하여 이진 분류 모델이 직면한 문제를 해결하기 시작했습니다. 비슷한 접근방식을 볼 수 있다 여기에, 기존 접근 방식보다 더 유연하게 이탈을 예측하고 더 복잡한 가설을 테스트할 수 있습니다. 유출 시간을 모델링하는 분포군으로 우리는 분포를 선택했습니다. 와이블 생존 분석에 널리 사용되기 때문입니다. 내담자의 행동은 일종의 생존으로 볼 수 있습니다.

다음은 매개변수에 따른 Weibull 확률 밀도 분포의 예입니다. и :

이는 시간이 지남에 따라 이탈하는 세 명의 서로 다른 고객의 확률 밀도 함수입니다. 시간은 월 단위로 표시됩니다. 즉, 이 그래프는 고객이 향후 2개월 동안 언제 이탈할 가능성이 가장 높은지를 보여줍니다. 보시다시피 분포를 가진 클라이언트는 Weibull(0.5, 3,1) 및 Weibull을 가진 클라이언트보다 더 일찍 떠날 가능성이 더 큽니다. (XNUMX) 분포.

그 결과, 모든 고객을 위한 모델이 탄생했습니다.
월은 시간 경과에 따른 유출 확률 발생을 가장 잘 반영하는 Weibull 분포의 매개변수를 예측합니다. 더 자세하게:

• 훈련 세트의 목표 기능은 특정 클라이언트에 대해 특정 월의 이탈까지 남은 시간입니다.
• 고객에 대한 이탈률이 없는 경우 이탈 시간은 이번 달부터 우리가 보유한 기록의 끝까지의 개월 수보다 크다고 가정합니다.
• 사용된 모델: LSTM 레이어가 있는 순환 신경망.
• 손실 함수로는 Weibull 분포에 음의 로그 우도 함수를 사용합니다.

이 방법의 장점은 다음과 같습니다.

• 이진 분류의 명백한 가능성 외에도 확률 분포를 통해 고객이 3개월 이내에 은행 서비스 사용을 중단할지 여부와 같은 다양한 이벤트를 유연하게 예측할 수 있습니다. 또한 필요한 경우 이 분포에 대해 다양한 측정항목의 평균을 계산할 수 있습니다.
• LSTM 순환 신경망에는 메모리가 있으며 사용 가능한 전체 기록을 효과적으로 사용합니다. 이야기가 확장되거나 다듬어질수록 정확도가 높아집니다.
• 기간을 더 작은 기간으로 나눌 때(예: 월을 주로 나눌 때) 접근 방식을 쉽게 확장할 수 있습니다.

하지만 좋은 모델을 만드는 것만으로는 충분하지 않고, 품질도 제대로 평가해야 합니다.

품질은 어떻게 평가되었나요?

우리는 측정항목으로 리프트 곡선을 선택했습니다. 명확한 해석으로 인해 비즈니스에서 이러한 경우에 사용됩니다. 잘 설명되어 있습니다. 여기에 и 여기에. 이 측정항목의 의미를 한 문장으로 설명하면 '알고리즘이 처음에 몇 번이나 가장 좋은 예측을 했는지'가 될 것입니다. 무작위보다 %."

훈련 모델

경쟁 조건은 다양한 모델과 접근 방식을 비교할 수 있는 특정 품질 척도를 확립하지 못했습니다. 또한 이탈의 정의는 다를 수 있으며 문제 설명에 따라 달라질 수 있으며 문제 설명은 비즈니스 목표에 따라 결정됩니다. 따라서 어떤 방법이 더 나은지 이해하기 위해 두 가지 모델을 훈련했습니다.

1. 앙상블 의사결정 트리 기계 학습 알고리즘을 사용하여 일반적으로 사용되는 이진 분류 접근 방식(라이트 GBM);
2. Weibull-LSTM 모델

테스트 세트는 훈련 세트에 포함되지 않은 사전 선택된 500개의 클라이언트로 구성되었습니다. 클라이언트별로 분류된 교차 검증을 사용하여 모델에 대한 하이퍼 매개변수가 선택되었습니다. 각 모델을 훈련하는 데 동일한 기능 세트가 사용되었습니다.

모델에 메모리가 없기 때문에 지난 XNUMX개월 동안 매개변수의 평균값에 대한 한 달 동안 매개변수의 변화 비율을 보여주는 특별한 기능이 사용되었습니다. 지난 XNUMX개월 동안의 가치 변화율을 특징으로 하는 것은 무엇입니까? 이것이 없다면 Random Forest 기반 모델은 Weibull-LSTM에 비해 불리할 것입니다.

Weibull 분포를 사용하는 LSTM이 앙상블 결정 트리 접근 방식보다 나은 이유

여기에서는 단 몇 장의 사진으로 모든 것이 명확해졌습니다.

기존 알고리즘과 Weibull-LSTM의 리프트 곡선 비교

기존 알고리즘과 Weibull-LSTM의 월별 리프트 곡선 측정항목 비교

일반적으로 LSTM은 거의 모든 경우에 기존 알고리즘보다 우수합니다.

이탈 예측

Weibull 분포를 사용하는 LSTM 셀이 있는 순환 신경망을 기반으로 하는 모델은 이탈을 미리 예측할 수 있습니다. 예를 들어 다음 n개월 이내에 고객 이탈을 예측할 수 있습니다. n = 3인 경우를 생각해 보세요. 이 경우 신경망은 매달 클라이언트가 다음 달부터 n번째 달까지 떠날지 여부를 정확하게 결정해야 합니다. 즉, n개월 후에도 고객이 남을지 여부를 정확하게 판단해야 합니다. 이는 사전 예측으로 간주될 수 있습니다. 고객이 이제 막 떠날 생각을 하기 시작한 순간을 예측하는 것입니다.

유출 전 Weibull-LSTM 1, 2, 3개월의 리프트 곡선을 비교해 보겠습니다.

우리는 한동안 더 이상 활동하지 않는 고객에 대한 예측도 중요하다고 이미 위에서 썼습니다. 따라서 여기서는 떠난 고객이 이미 XNUMX~XNUMX개월 동안 활동이 없었던 사례를 샘플에 추가하고 Weibull-LSTM이 이러한 사례를 이탈로 올바르게 분류하는지 확인하겠습니다. 이러한 사례가 샘플에 존재하므로 네트워크가 이를 잘 처리할 것으로 기대합니다.

고객 유지

실제로, 이것은 그러한 고객이 제품 사용 중단을 준비하고 있다는 정보를 손에 쥐고 수행할 수 있는 주요 작업입니다. 고객을 유지하기 위해 고객에게 유용한 것을 제공할 수 있는 모델을 구축한다는 것은 유사한 시도가 성공적으로 끝난 이력이 없으면 불가능합니다.

저희는 그런 이야기가 없어서 이렇게 결정했어요.

1. 우리는 각 고객에게 흥미로운 제품을 식별하는 모델을 구축하고 있습니다.
2. 매달 우리는 분류기를 실행하여 떠날 가능성이 있는 고객을 식별합니다.
3. 우리는 포인트 1의 모델에 따라 일부 고객에게 제품을 제공하고 우리의 행동을 기억합니다.
4. 몇 달 후에 우리는 잠재적으로 떠나는 고객 중 어떤 고객이 떠났고 어떤 고객이 남아 있는지 살펴봅니다. 따라서 우리는 훈련 샘플을 구성합니다.
5. 4단계에서 얻은 기록을 사용하여 모델을 훈련합니다.
6. 선택적으로 1단계의 모델을 5단계에서 얻은 모델로 대체하여 절차를 반복합니다.

이러한 유지 품질에 대한 테스트는 정기적인 A/B 테스트를 통해 수행할 수 있습니다. 우리는 잠재적으로 떠날 고객을 두 그룹으로 나눕니다. 우리는 보존 모델을 기반으로 한 사람에게는 제품을 제공하고 다른 사람에게는 아무것도 제공하지 않습니다. 우리는 예제의 첫 번째 지점에서 이미 유용할 수 있는 모델을 훈련하기로 결정했습니다.

우리는 분할을 가능한 한 해석 가능하게 만들고 싶었습니다. 이를 위해 우리는 총 거래 수, 임금, 총 계좌 회전율, 연령, 성별 등 쉽게 해석할 수 있는 몇 가지 특성을 선택했습니다. "Maps" 테이블의 기능은 정보가 없는 것으로 고려되지 않았으며 검증 세트와 훈련 세트 간의 데이터 유출을 방지하기 위한 처리의 복잡성으로 인해 표 3 "Contracts"의 기능은 고려되지 않았습니다.

클러스터링은 Gaussian 혼합 모델을 사용하여 수행되었습니다. Akaike 정보 기준을 통해 우리는 2개의 최적값을 결정할 수 있었습니다. 첫 번째 최적값은 1개의 클러스터에 해당합니다. 덜 뚜렷한 두 번째 최적은 80개의 클러스터에 해당합니다. 이 결과를 바탕으로 다음과 같은 결론을 내릴 수 있습니다. 사전에 주어진 정보 없이 데이터를 클러스터로 나누는 것은 매우 어렵습니다. 더 나은 클러스터링을 위해서는 각 클라이언트를 자세히 설명하는 데이터가 필요합니다.

따라서 각 개별 고객에게 서로 다른 제품을 제공하기 위해 지도 학습의 문제를 고려했습니다. "정기예금", "신용카드", "초과인월", "소비자대출", "자동차대출", "모기지" 등의 상품이 고려되었습니다.

데이터에는 "당좌 계좌"라는 제품 유형이 하나 더 포함되어 있습니다. 그러나 정보 내용이 낮기 때문에 고려하지 않았습니다. 은행 고객인 사용자의 경우 제품 사용을 중단하지 않고 어떤 제품이 관심을 가질지 예측하는 모델을 구축했습니다. 로지스틱 회귀가 모델로 선택되었으며 처음 10번째 백분위수에 대한 리프트 값이 품질 평가 지표로 사용되었습니다.

모델의 품질은 그림을 통해 평가할 수 있습니다.

고객을 위한 상품 추천 모델 결과

합계

이러한 접근 방식으로 우리는 RAIF-Challenge 2017 AI 챔피언십에서 "AI in Banks" 부문에서 XNUMX위를 차지했습니다.

분명히 가장 중요한 것은 색다른 각도에서 문제에 접근하고 다른 상황에서 일반적으로 사용되는 방법을 사용하는 것이 었습니다.

사용자의 대규모 유출은 서비스에 있어서 자연재해일 수도 있습니다.

이 방법은 은행뿐만 아니라 유출을 고려하는 것이 중요한 다른 모든 영역에서 고려할 수 있습니다. 예를 들어 Rostelecom의 시베리아 및 상트페테르부르크 지점에서 자체 유출을 계산하는 데 이를 사용했습니다.

"데이터 마이닝 연구소" 회사 "검색 포털 "스푸트니크"

출처 : habr.com