App in the Air에서 유지 관리가 구현되는 방법

모바일 애플리케이션에 사용자를 유지하는 것은 전체적인 과학입니다. 이 과정의 저자는 VC.ru 기사에서 기본 사항을 설명했습니다. 그로스 해킹(Growth Hacking): 모바일 앱 분석 App in the Air의 머신러닝 책임자인 Maxim Godzi입니다. Maxim은 모바일 애플리케이션 분석 및 최적화 작업의 예를 사용하여 회사에서 개발한 도구에 대해 이야기합니다. App in the Air에서 개발된 제품 개선을 위한 이러한 체계적인 접근 방식을 Retentioneering이라고 합니다. 제품에서 다음 도구를 사용할 수 있습니다. 그 중 일부는 무료 액세스 깃허브에서.

App in the Air는 전 세계적으로 3만 명이 넘는 활성 사용자를 보유한 애플리케이션으로, 항공편을 추적하고 출발/도착 시간 변경, 체크인 및 공항 특성에 대한 정보를 얻을 수 있습니다.

깔때기에서 궤적까지

모든 개발팀은 온보딩 퍼널(사용자의 제품 수용을 목표로 하는 프로세스)을 구축합니다. 전체 시스템을 위에서부터 살펴보고 응용 프로그램의 문제점을 찾는 데 도움이 되는 첫 번째 단계입니다. 그러나 제품이 개발됨에 따라 이러한 접근 방식의 한계를 느끼게 될 것입니다. 단순 유입경로를 사용하면 제품의 불명확한 성장 지점을 확인할 수 없습니다. 퍼널의 목적은 애플리케이션에서 사용자의 단계를 전반적으로 살펴보고 표준 지표를 표시하는 것입니다. 그러나 퍼널은 명백한 문제 또는 반대로 특별한 사용자 활동에 대한 표준 편차를 신중하게 숨길 것입니다.

앱인디에어에서는 자체 퍼널을 구축했지만, 제품의 특성상 결국 모래시계로 끝났습니다. 그런 다음 우리는 접근 방식을 확장하고 애플리케이션 자체가 제공하는 풍부한 정보를 사용하기로 결정했습니다.

퍼널을 구축하면 사용자 온보딩 궤적을 잃게 됩니다. 궤적은 사용자와 애플리케이션 자체의 일련의 작업(예: 푸시 알림 보내기)으로 구성됩니다.

타임스탬프를 사용하면 사용자의 궤적을 매우 쉽게 재구성하고 각 사용자에 대한 그래프를 만들 수 있습니다. 물론 그래프도 많습니다. 따라서 유사한 사용자를 그룹화해야 합니다. 예를 들어 모든 사용자를 테이블 행별로 정렬하고 특정 기능을 사용하는 빈도를 나열할 수 있습니다.

이러한 테이블을 바탕으로 매트릭스를 작성하고 사용자를 기능 사용 빈도, 즉 그래프의 노드별로 그룹화했습니다. 이는 일반적으로 통찰력을 향한 첫 번째 단계입니다. 예를 들어 이미 이 단계에서 일부 사용자는 일부 기능을 전혀 사용하지 않는 것을 볼 수 있습니다. 빈도 분석을 수행하면서 그래프에서 어떤 노드가 "가장 큰"지, 즉 사용자가 가장 자주 방문하는 페이지를 연구하기 시작했습니다. 귀하에게 중요한 일부 기준에 따라 근본적으로 다른 카테고리는 즉시 강조 표시됩니다. 예를 들어 여기에는 구독 결정에 따라 나눈 두 개의 사용자 클러스터가 있습니다(총 16개의 클러스터가 있음).

사용 방법

이러한 방식으로 사용자를 살펴보면 사용자를 유지하거나 가입하도록 유도하는 데 어떤 기능을 사용하는지 확인할 수 있습니다. 당연히 행렬은 분명한 사실도 보여줄 것입니다. 예를 들어, 구독을 구매한 사람들이 구독 화면을 방문했다는 것입니다. 하지만 이 외에도 다른 방법으로는 전혀 알지 못했던 패턴도 찾을 수 있습니다.

그래서 우리는 항공편을 추가하고 하루 종일 적극적으로 추적한 다음 다시 어딘가로 날아갈 때까지 오랜 시간 동안 사라지는 사용자 그룹을 우연히 발견했습니다. 기존 도구를 사용하여 그들의 행동을 분석하면 그들이 단순히 애플리케이션의 기능에 만족하지 않는다고 생각할 것입니다. 그들이 이 애플리케이션을 하루 동안 사용하고 다시는 돌아오지 않았다는 것을 어떻게 설명할 수 있습니까? 그러나 그래프의 도움으로 우리는 그들이 매우 활동적이라는 것을 알았습니다. 단지 그들의 모든 활동이 하루에 딱 맞는다는 것입니다.

이제 우리의 주요 임무는 그러한 사용자가 통계를 사용하는 동안 해당 항공사의 로열티 프로그램에 연결하도록 권장하는 것입니다. 이 경우 우리는 그가 구매하는 모든 항공편을 가져오고 그가 새 항공권을 구매하자마자 가입하도록 유도할 것입니다. 이 문제를 해결하기 위해 우리는 Aviasales, Svyaznoy.Travel 및 기타 애플리케이션과 협력하기 시작했습니다. 사용자가 항공권을 구매하면 앱에서 App in the Air에 항공편을 추가하라는 메시지가 표시되며 우리는 이를 즉시 확인할 수 있습니다.

그래프 덕분에 구독 화면에 접속한 사람 중 5%가 구독을 취소하는 것으로 나타났습니다. 그런 사례를 분석하기 시작했는데, 첫 번째 페이지로 이동했다가 구글 계정 연결을 시작했다가 바로 취소하고 다시 첫 번째 페이지로 이동하는 사용자가 XNUMX번이나 있다는 사실을 확인했습니다. 처음에 우리는 “이 사용자에게 뭔가 문제가 있는 것이 분명합니다.”라고 생각했습니다. 그리고 나서 우리는 애플리케이션에 버그가 있을 가능성이 높다는 것을 깨달았습니다. 깔때기에서 이는 다음과 같이 해석됩니다. 사용자는 애플리케이션이 요청하는 권한 집합이 마음에 들지 않아 떠났습니다.

또 다른 그룹에는 5%의 사용자가 스마트폰의 모든 캘린더 앱 중 하나를 선택하라는 메시지가 표시되는 화면에서 길을 잃었습니다. 사용자는 다른 캘린더를 계속해서 선택한 다음 간단히 앱을 종료합니다. UX 문제가 있었던 것으로 밝혀졌습니다. 사용자가 캘린더를 선택한 후 오른쪽 상단에 있는 완료를 클릭해야 했습니다. 모든 사용자가 그것을 본 것은 아닙니다.

앱인더에어 첫 화면

그래프에서 우리는 약 30%의 사용자가 첫 번째 화면을 넘어가지 않는다는 것을 확인했습니다. 이는 우리가 사용자에게 구독을 유도하는 데 매우 적극적이기 때문입니다. 첫 화면에서 앱은 Google 또는 Triplt를 사용하여 등록하라는 메시지를 표시하며 등록 건너뛰기에 대한 정보는 없습니다. 첫 번째 화면을 떠난 사용자 중 16%의 사용자는 '더보기'를 클릭하고 다시 돌아옵니다. 애플리케이션 내부적으로 등록할 수 있는 방법을 찾고 있는 것으로 확인되었으며 다음 업데이트에서 출시할 예정입니다. 또한, 즉시 떠나는 사람들 중 2/3는 아무 것도 클릭하지 않습니다. 그들에게 무슨 일이 일어나고 있는지 알아보기 위해 우리는 히트맵을 만들었습니다. 고객은 클릭할 수 없는 링크가 아닌 앱 기능 목록을 클릭하고 있는 것으로 나타났습니다.

미시적 순간을 포착하세요

아스팔트 도로 옆에서 사람들이 길을 짓밟는 모습을 자주 볼 수 있습니다. 유지는 이러한 경로를 찾고 가능하면 도로를 변경하려는 시도입니다.

물론 실제 사용자로부터 배우는 것도 나쁘지만 적어도 애플리케이션에서 사용자 문제를 나타내는 패턴을 자동으로 추적하기 시작했습니다. 이제 제품 관리자는 사용자가 동일한 화면으로 계속해서 돌아오는 '루프'가 많이 발생하면 이메일 알림을 받습니다.

애플리케이션의 문제와 성장 영역을 분석하기 위해 일반적으로 흥미로운 사용자 궤적 패턴을 살펴보겠습니다.

• 루프와 사이클. 위에서 언급한 루프는 사용자의 궤적에서 하나의 이벤트(예: Calendar-calendar-calendar-calendar)가 반복되는 경우입니다. 반복이 많은 루프는 인터페이스 문제 또는 불충분한 이벤트 표시를 나타내는 명확한 표시입니다. 사이클은 닫힌 궤적이기도 하지만 루프와는 달리 비행 기록 보기 - 비행 추가 - 비행 기록 보기 등 두 개 이상의 이벤트를 포함합니다.
• Flowstoppers - 사용자가 어떤 장애물로 인해 애플리케이션을 통해 원하는 동작을 계속할 수 없는 경우(예: 클라이언트에게 명확하지 않은 인터페이스가 있는 화면) 이러한 이벤트는 속도를 늦추고 사용자의 궤적을 바꿉니다.
• 분기점은 다양한 유형의 클라이언트의 궤적이 분리된 이후의 중요한 이벤트입니다. 특히 이러한 화면에는 대상 작업에 대한 직접적인 전환이나 클릭 유도 문구가 포함되어 있지 않아 일부 사용자를 해당 작업으로 효과적으로 유도합니다. 예를 들어, 애플리케이션에서 콘텐츠 구매와 직접적인 관련이 없지만 고객이 콘텐츠를 구매하거나 구매하지 않으려는 일부 화면은 다르게 동작합니다. 분기점은 더하기 기호(구매 또는 클릭 결정에 영향을 줄 수 있음) 또는 빼기 기호(몇 단계 후에 사용자가 애플리케이션을 떠날 것인지 결정할 수 있음)를 통해 사용자의 행동에 영향을 미치는 지점이 될 수 있습니다.
• 중단된 변환 지점은 잠재적인 분기점입니다. 이를 대상 작업을 촉발할 수 있는 화면으로 생각할 수 있지만 그렇지 않습니다. 이는 사용자가 필요로 하는 시점일 수도 있지만 우리는 단순히 그것에 대해 모르기 때문에 이를 만족시키지 못합니다. 궤적 분석을 통해 이러한 필요성을 식별할 수 있어야 합니다.
• 방해 지점 - 사용자에게 가치를 제공하지 않고, 전환에 영향을 주지 않으며, 궤적을 "흐리게" 하여 사용자의 목표 행동을 방해할 수 있는 화면/팝업입니다.
• 사각지대는 사용자가 접근하기 매우 어려운 애플리케이션, 화면 및 기능의 숨겨진 지점입니다.
• 배수구 - 교통량이 누출되는 지점

일반적으로 수학적 접근 방식을 통해 우리는 클라이언트가 제품 관리자가 사용자를 위한 표준 사용 시나리오를 계획할 때 일반적으로 생각하는 것과 완전히 다른 방식으로 애플리케이션을 사용한다는 것을 이해할 수 있었습니다. 사무실에 앉아 가장 멋진 제품 컨퍼런스에 참석하더라도 사용자가 애플리케이션을 사용하여 문제를 해결할 수 있는 다양한 실제 현장 조건을 상상하는 것은 여전히 ​​매우 어렵습니다.

이것은 나에게 큰 농담을 생각나게 한다. 테스터가 술집에 들어가서 맥주 한 잔, 맥주 2잔, 맥주 0잔, 맥주 999999999잔, 유리잔 속의 도마뱀, -맥주 1잔, 맥주 쿼튜입 잔을 주문합니다. 첫 번째 실제 고객이 바에 들어와 화장실이 어디에 있는지 묻습니다. 바에 불이 붙고 모두가 죽습니다.

이 문제에 깊이 빠져 있던 제품 분석가들은 마이크로 순간이라는 개념을 도입하기 시작했습니다. 현대 사용자는 문제에 대한 즉각적인 해결책이 필요합니다. Google은 몇 년 전부터 이에 대해 이야기하기 시작했습니다. 회사는 이러한 사용자 행동을 마이크로 모먼츠라고 불렀습니다. 사용자는 주의가 산만해지고, 실수로 애플리케이션을 닫고, 자신에게 필요한 것이 무엇인지 이해하지 못하고, 하루 후에 다시 로그인하고, 다시 잊어버린 다음, 친구가 메신저로 보낸 링크를 따라갑니다. 그리고 이 모든 세션은 20초 이상 지속될 수 없습니다.

그래서 우리는 직원들이 거의 실시간으로 문제가 무엇인지 이해할 수 있도록 지원 서비스 업무를 설정하려고 노력하기 시작했습니다. 어떤 사람이 지원 페이지에 와서 질문을 작성하기 시작할 때쯤이면 우리는 그의 궤적(마지막 100개 이벤트)을 알고 문제의 본질을 판단할 수 있습니다. 이전에는 지원 요청 텍스트에 대한 ML 분석을 사용하여 모든 지원 요청을 카테고리로 자동 배포했습니다. 분류에 성공했음에도 불구하고 모든 요청의 87%가 13개 카테고리 중 하나로 올바르게 분배되면 사용자의 상황에 가장 적합한 솔루션을 자동으로 찾을 수 있는 궤적을 다루는 작업입니다.

업데이트를 신속하게 출시할 수는 없지만 문제를 확인할 수 있으며 사용자가 이미 본 시나리오를 따르는 경우 푸시 알림을 보낼 수 있습니다.

애플리케이션을 최적화하는 작업에는 사용자 궤적을 연구하기 위한 풍부한 도구가 필요하다는 것을 알 수 있습니다. 또한, 사용자가 택하는 모든 경로를 알면 필요한 경로를 마련할 수 있으며, 맞춤형 콘텐츠, 푸시 알림 및 적응형 UI 요소의 도움으로 "직접" 사용자가 자신의 요구 사항에 가장 적합한 타겟 작업을 수행하도록 유도하고 수익을 창출할 수 있습니다. , 데이터 및 기타 비즈니스 가치를 제공합니다.

주의할 점

• 예를 들어 퍼널만을 사용하여 사용자 전환을 연구한다는 것은 애플리케이션 자체가 제공하는 풍부한 정보를 잃는다는 것을 의미합니다.

• 그래프의 사용자 궤적에 대한 유지 분석은 사용자를 유지하거나 구독을 유도하는 데 사용하는 기능을 확인하는 데 도움이 됩니다.
• 유지 관리 도구는 애플리케이션에서 사용자 문제를 나타내는 패턴을 자동으로 실시간으로 추적하고, 발견하기 어려웠던 버그를 찾아 닫는 데 도움이 됩니다.

• 이는 사용자 행동의 명확하지 않은 패턴을 찾는 데 도움이 됩니다.

• 유지 관리 도구를 사용하면 주요 사용자 이벤트 및 지표(사용자 손실, LTV 및 그래프에서 쉽게 확인할 수 있는 기타 여러 지표)를 예측하기 위한 자동화된 ML 도구를 구축할 수 있습니다.

우리는 자유로운 아이디어 교환을 위해 Retentioneering을 중심으로 커뮤니티를 구축하고 있습니다. 우리가 개발 중인 도구는 다양한 모바일 및 웹 애플리케이션의 분석가와 제품이 통찰력, 최고의 기술 및 방법을 교환할 수 있는 언어로 생각할 수 있습니다. 과정에서 이러한 도구를 사용하는 방법을 배울 수 있습니다. 그로스 해킹(Growth Hacking): 모바일 앱 분석 바이너리 지구.

출처 : habr.com