제품의 진짜 모습을 보고 살아남으세요. 몇 가지 새로운 서비스를 작성하는 이유로 사용자 전환에 대한 데이터

인터넷에는 고객 행동 분석의 이점에 관한 수백 개의 기사가 있습니다. 대부분 이는 소매 부문과 관련이 있습니다. 식품 바구니 분석, ABC 및 XYZ 분석부터 유지 마케팅 및 개인 제안까지. 수십 년 동안 다양한 기술이 사용되었고, 알고리즘이 고안되었으며, 코드가 작성 및 디버깅되었습니다. 가져가서 사용하십시오. 우리의 경우 한 가지 근본적인 문제가 발생했습니다. ISPsystem은 소매업이 아닌 소프트웨어 개발에 종사하고 있다는 것입니다.
제 이름은 Denis이고 현재 ISPsystem에서 분석 시스템의 백엔드를 담당하고 있습니다. 그리고 이것은 내 동료와 내가 겪은 이야기입니다. 다닐 — 데이터 시각화 담당자 — 이 지식의 프리즘을 통해 우리 소프트웨어 제품을 보려고 노력했습니다. 평소처럼 역사부터 시작해 보겠습니다.

처음에는 말이 있었는데, “우리 한번 해볼까?”라는 말이 있었습니다.

그 당시 저는 R&D 부서에서 개발자로 일하고 있었습니다. Danil이 여기 Habré에 대한 글을 읽었을 때 모든 것이 시작되었습니다. 유지에 대해 — 애플리케이션의 사용자 전환을 분석하기 위한 도구입니다. 나는 그것을 여기서 사용한다는 생각에 다소 회의적이었습니다. 예를 들어, 라이브러리 개발자는 목표 작업(주문 또는 소유자 회사에 지불하는 방법에 대한 기타 변형)이 명확하게 정의된 애플리케이션 분석을 인용했습니다. 당사의 제품은 현장에서 공급됩니다. 즉, 사용자는 먼저 라이선스를 구매한 다음 애플리케이션에서 여정을 시작합니다. 예, 데모 버전이 있습니다. 거기에서 제품을 시험해 보면 돼지가 찌르는 일이 없습니다.

그러나 우리 제품의 대부분은 호스팅 시장을 겨냥하고 있습니다. 이들은 대규모 고객이며 사업 개발 부서에서 제품 기능에 대해 조언합니다. 또한 구매 당시 고객은 우리 소프트웨어가 어떤 문제를 해결하는 데 도움이 될지 이미 알고 있습니다. 애플리케이션의 경로는 제품에 포함된 CJM과 일치해야 하며, UX 솔루션은 이들이 계속해서 궤도를 유지하는 데 도움이 될 것입니다. 스포일러: 항상 그런 것은 아닙니다. 도서관 소개가 미뤄졌지만... 오래가지 않았습니다.

우리 스타트업이 출시되면서 모든 것이 바뀌었습니다. 카트비 — Instagram 계정에서 온라인 상점을 만들기 위한 플랫폼입니다. 이 애플리케이션에서는 사용자에게 모든 기능을 무료로 사용할 수 있는 XNUMX주 기간이 제공되었습니다. 그런 다음 구독 여부를 결정해야 했습니다. 그리고 이는 "경로-대상 작업" 개념에 완벽하게 들어맞습니다. 결정되었습니다. 시도해 봅시다!

첫 번째 결과 또는 아이디어를 얻을 수 있는 곳

개발팀과 저는 말그대로 하루 만에 제품을 이벤트 수집 시스템에 연결했습니다. ISPsystem은 페이지 방문에 대한 이벤트를 수집하기 위해 자체 시스템을 사용하지만 원시 데이터를 무료로 다운로드할 수 있는 동일한 목적으로 Yandex.Metrica를 사용하는 것을 방해하는 것은 없습니다. 라이브러리 사용 사례를 연구했으며 일주일 간의 데이터 수집 후에 전환 그래프를 받았습니다.

전환 그래프. 기본 기능, 명확성을 위해 다른 전환이 제거됨

예에서와 같이 평면적이고 명확하며 아름답습니다. 이 그래프를 통해 우리는 사람들이 가장 오랜 시간을 보내는 가장 빈번한 경로와 교차점을 식별할 수 있었습니다. 이를 통해 우리는 다음을 이해할 수 있었습니다.

• XNUMX개 엔터티를 포괄하는 대규모 CJM 대신 XNUMX개 개체만 적극적으로 사용됩니다. UX 솔루션을 활용하여 필요한 곳으로 사용자를 추가적으로 안내하는 것이 필요합니다.
• UX 디자이너가 엔드투엔드 방식으로 디자인한 일부 페이지에서는 사람들이 그 페이지에 불합리한 시간을 소비하게 됩니다. 특정 페이지에 중지 요소가 무엇인지 파악하고 조정해야 합니다.
• 10번의 전환 후에 20%의 사람들이 피곤해지기 시작하여 애플리케이션 세션을 종료했습니다. 그리고 이는 애플리케이션에 온보딩 페이지가 5개나 있다는 사실을 고려한 것입니다! 사용자가 정기적으로 세션을 포기하는 페이지를 식별하고 해당 세션으로의 경로를 단축해야 합니다. 더 나은 점은 일반 경로를 식별하고 소스 페이지에서 대상 페이지로 빠르게 전환할 수 있다는 것입니다. ABC 분석과 버려진 장바구니 분석에는 공통점이 있지 않나요?

그리고 여기서 우리는 이 도구를 온프레미스 제품에 적용하는 것에 대한 우리의 태도를 재검토했습니다. 활발히 판매되고 사용되는 제품을 분석하기로 했습니다 - VM매니저 6. 훨씬 더 복잡하고 훨씬 더 많은 엔터티가 있습니다. 우리는 전환 그래프가 어떻게 나타날지 기대하고 기다리고 있었습니다.

실망과 영감에 대하여

실망 #1

27월 XNUMX일은 근무일의 끝이자 월말이자 연말이기도 했습니다. 데이터가 축적되고 쿼리가 작성되었습니다. 모든 것이 처리되기까지 몇 초가 남았고 우리는 작업 결과를 보고 다음 작업 연도가 어디에서 시작될지 알아볼 수 있었습니다. R&D 부서, 제품 관리자, UX 디자이너, 팀 리더, 개발자가 모니터 앞에 모여 제품에서 사용자 경로가 어떻게 보이는지 확인했지만... 우리는 다음과 같은 것을 보았습니다.

Retentioneering 라이브러리로 구축된 전환 그래프

영감 #1

강력하게 연결된 수십 개의 엔터티, 명확하지 않은 시나리오. 새로운 작업 연도는 분석이 아니라 그러한 그래프를 사용하여 작업을 단순화하는 방법의 발명으로 시작될 것이라는 점은 분명했습니다. 하지만 모든 것이 생각보다 훨씬 단순하다는 느낌을 지울 수 없었습니다. 그리고 Retentioneering 소스 코드를 연구한 지 XNUMX분 후에 구성된 그래프를 도트 형식으로 내보낼 수 있었습니다. 이를 통해 그래프를 다른 도구인 Gephi에 업로드할 수 있게 되었습니다. 그리고 레이아웃, 필터, 통계 등 그래프를 분석할 수 있는 범위가 이미 있습니다. 인터페이스에서 필요한 매개변수를 구성하기만 하면 됩니다. 이런 생각을 염두에 두고 우리는 설날 주말을 맞이하여 떠났습니다.

실망 #2

직장에 복귀한 후, 모두가 쉬고 있는 동안 우리 고객들은 제품을 연구하고 있었습니다. 네, 너무 힘들어서 창고에 이전에는 존재하지 않았던 이벤트가 나타났습니다. 이는 쿼리를 업데이트해야 함을 의미했습니다.

이 사실의 슬픔을 이해하기 위한 약간의 배경지식. 우리는 우리가 표시한 이벤트(예: 일부 버튼 클릭)와 사용자가 방문한 페이지의 URL을 모두 전송합니다. Cartbee의 경우 '원액션-원페이지' 모델이 효과가 있었습니다. 그러나 VMmanager에서는 상황이 완전히 달랐습니다. 한 페이지에 여러 개의 모달 창이 열릴 수 있었습니다. 그 안에서 사용자는 다양한 문제를 해결할 수 있습니다. 예: URL:

/host/item/24/ip(modal:modal/host/item/ip/create)

이는 "IP 주소" 페이지에서 사용자가 IP 주소를 추가했음을 의미합니다. 그리고 여기에 두 가지 문제가 동시에 표시됩니다.

• URL에는 일종의 경로 매개변수(가상 머신의 ID)가 포함되어 있습니다. 제외해야합니다.
• URL에는 모달 창 ID가 포함되어 있습니다. 어떻게든 그러한 URL을 "압축해제"해야 합니다.
  또 다른 문제는 우리가 표시한 바로 그 이벤트에 매개변수가 있다는 것이었습니다. 예를 들어, 목록에서 가상 머신에 대한 정보가 포함된 페이지로 이동하는 방법은 150가지가 있습니다. 따라서 하나의 이벤트가 전송되었지만 사용자가 전환한 방법을 나타내는 매개변수가 포함되었습니다. 그러한 이벤트가 많았고 모든 매개 변수가 달랐습니다. 그리고 Clickhouse의 SQL 언어에는 모든 데이터 검색 논리가 있습니다. 200~XNUMX줄의 쿼리가 다소 평범해 보이기 시작했습니다. 문제가 우리를 둘러싸고 있었습니다.

영감 #2

어느 이른 아침 Danil은 슬프게도 XNUMX분 동안 요청을 스크롤하면서 나에게 "데이터 처리 파이프라인을 작성하자"고 제안했습니다. 우리는 그것에 대해 생각해보고 우리가 한다면 ETL과 같은 것이 될 것이라고 결정했습니다. 즉시 필터링하고 다른 소스에서 필요한 데이터를 가져옵니다. 이것이 본격적인 백엔드를 갖춘 최초의 분석 서비스가 탄생한 방법입니다. 이는 데이터 처리의 XNUMX가지 주요 단계를 구현합니다.

1. 원시 데이터 스토리지에서 이벤트를 언로드하고 처리를 준비합니다.
2. 설명은 이벤트를 명확하게 하는 모달 창, 이벤트 매개변수 및 기타 세부 정보의 식별자를 "압축 해제"하는 것입니다.
3. 농축(“부자가 되다”라는 단어에서 유래)은 제XNUMX자 소스의 데이터로 이벤트를 추가하는 것입니다. 당시 여기에는 결제 시스템 BILLmanager만 포함되었습니다.
4. 필터링은 분석 결과를 왜곡하는 이벤트(내부 스탠드의 이벤트, 이상값 등)를 필터링하는 프로세스입니다.
5. 수신된 이벤트를 스토리지에 업로드하는 것을 클린 데이터라고 합니다.
   이제 이벤트 또는 유사한 이벤트 그룹을 처리하기 위한 규칙을 추가하여 관련성을 유지하는 것이 가능해졌습니다. 예를 들어, 그 이후로 우리는 URL 압축 해제를 업데이트한 적이 없습니다. 하지만 이 기간 동안 몇 가지 새로운 URL 변형이 추가되었습니다. 이는 서비스에 이미 규정된 규칙을 준수하며 올바르게 처리됩니다.

실망 #3

분석을 시작하자 그래프가 왜 그렇게 일관성이 있는지 깨달았습니다. 사실 거의 모든 N-gram에는 인터페이스를 통해 수행할 수 없는 전환이 포함되어 있습니다.

작은 조사가 시작되었습니다. 하나의 개체 내에서는 불가능한 전환이 없다는 사실에 혼란스러웠습니다. 이는 이벤트 수집 시스템이나 ETL 서비스의 버그가 아님을 의미합니다. 사용자가 한 엔터티에서 다른 엔터티로 이동하지 않고 여러 엔터티에서 동시에 작업하고 있다는 느낌이 들었습니다. 이것을 달성하는 방법은 무엇입니까? 브라우저에서 다른 탭을 사용합니다.

Cartbee를 분석할 때 우리는 그 특이성 때문에 구원을 받았습니다. 이 애플리케이션은 여러 탭에서 작업하는 것이 불편한 모바일 장치에서 사용되었습니다. 여기에는 데스크탑이 있고 한 엔터티에서 작업이 수행되는 동안 이 시간을 다른 엔터티의 상태를 설정하거나 모니터링하는 데 사용하는 것이 합리적입니다. 진행 상황을 잃지 않으려면 다른 탭을 열면 됩니다.

영감 #3

프런트엔드 개발팀의 동료들은 이벤트 수집 시스템에 탭을 구별하는 방법을 가르쳤습니다. 분석이 시작될 수 있습니다. 그리고 우리는 시작했습니다. 예상대로 CJM은 실제 경로와 일치하지 않았습니다. 사용자는 가장 예상치 못한 위치에서 디렉터리 페이지, 버려진 세션 및 탭에서 많은 시간을 보냈습니다. 전환 분석을 사용하여 일부 Mozilla 빌드에서 문제를 찾을 수 있었습니다. 구현 기능으로 인해 탐색 요소가 사라지거나 반쯤 비어 있는 페이지가 표시되었으며 이는 관리자만 액세스할 수 있습니다. 페이지가 열렸지만 백엔드에서 콘텐츠가 나오지 않았습니다. 전환 계산을 통해 실제로 어떤 기능이 사용되었는지 평가할 수 있었습니다. 체인을 통해 사용자가 이 오류 또는 해당 오류를 어떻게 받았는지 이해할 수 있었습니다. 사용자 행동을 기반으로 테스트할 수 있는 데이터입니다. 그것은 성공이었고 그 아이디어는 헛되지 않았습니다.

분석 자동화

결과 데모 중 하나에서 Gephi가 그래프 분석에 어떻게 사용되는지 보여주었습니다. 이 도구에서는 전환 데이터를 표로 표시할 수 있습니다. 그리고 UX 부서장은 회사의 전체 행동 분석 방향 개발에 영향을 준 매우 중요한 생각 하나를 말했습니다. "동일하게 합시다. 하지만 Tableau와 필터를 사용하면 더 편리할 것입니다."

그러다가 Retentioneering이 모든 데이터를 pandas.DataFrame 구조에 저장하면 어떨까 하는 생각이 들었습니다. 그리고 이것은 대체로 테이블입니다. 이것이 또 다른 서비스인 데이터 공급자가 나타난 방식입니다. 그는 그래프를 바탕으로 표를 만들었을 뿐만 아니라 페이지와 페이지와 관련된 기능의 인기도, 페이지가 사용자 유지에 미치는 영향, 사용자가 페이지에 머문 시간, 사용자가 가장 자주 떠나는 페이지도 계산했습니다. 그리고 Tableau에서 시각화를 사용하면 그래프를 연구하는 비용이 너무 줄어들어 제품에서 행동 분석을 위한 반복 시간이 거의 절반으로 단축되었습니다.

Danil은 이 시각화가 어떻게 사용되는지, 그리고 어떤 결론을 도출할 수 있는지에 대해 이야기할 것입니다.

테이블 신을 위한 테이블이 더 많아졌습니다!

단순화된 형태로 작업은 다음과 같이 공식화되었습니다. Tableau에 전환 그래프를 표시하고 필터링 기능을 제공하며 최대한 명확하고 편리하게 만듭니다.

저는 Tableau에서 방향성 그래프를 그리고 싶지 않았습니다. 그리고 성공하더라도 Gephi에 비해 이득이 눈에 띄지 않는 것 같습니다. 우리는 훨씬 더 간단하고 접근하기 쉬운 것이 필요했습니다. 테이블! 결국, 그래프는 테이블 행 형태로 쉽게 표현될 수 있으며, 여기서 각 행은 "소스-대상" 유형의 모서리입니다. 또한, 우리는 이미 Retentioneering 및 데이터 제공자 도구를 사용하여 이러한 테이블을 신중하게 준비했습니다. 이제 남은 일은 Tableau에 테이블을 표시하고 보고서를 뒤지는 것뿐이었습니다.

모두가 테이블을 얼마나 좋아하는지 말하기.

그러나 여기서 우리는 또 다른 문제에 직면하게 됩니다. 데이터 소스로 무엇을 해야 할까요? pandas.DataFrame을 연결할 수 없습니다. Tableau에는 이러한 커넥터가 없습니다. 그래프를 저장하기 위한 별도의 기반을 마련하는 것은 전망이 불투명한 너무 과격한 해결책처럼 보였습니다. 그리고 지속적인 수동 작업이 필요하기 때문에 로컬 하역 옵션은 적합하지 않았습니다. 사용 가능한 커넥터 목록을 살펴보던 중 해당 항목에 시선이 집중되었습니다. 웹 데이터 커넥터, 맨 아래에 쓸쓸하게 모여 있던 사람.

Tableau에는 다양한 커넥터가 있습니다. 우리는 문제를 해결한 것을 찾았습니다

어떤 종류의 동물인가요? 브라우저에 몇 가지 새로운 열린 탭이 있으며 이 커넥터를 사용하면 URL에 액세스할 때 데이터를 수신할 수 있다는 것이 분명해졌습니다. 데이터 자체를 계산하기 위한 백엔드가 거의 준비되었으며 남은 것은 WDC와 친구가 되는 것뿐이었습니다. 며칠 동안 Denis는 문서를 연구하고 Tableau 메커니즘과 씨름한 후 연결 창에 붙여넣은 링크를 나에게 보냈습니다.

WDC에 대한 연결 양식입니다. 데니스는 앞장서서 안전을 관리했습니다.

몇 분 정도 기다린 후(요청 시 데이터가 동적으로 계산됨) 테이블이 나타납니다.

Tableau 인터페이스에서 원시 데이터 배열은 다음과 같습니다.

약속한 대로 이러한 테이블의 각 행은 그래프의 가장자리, 즉 사용자의 방향 전환을 나타냅니다. 또한 몇 가지 추가 특성도 포함되어 있습니다. 예를 들어 고유 사용자 수, 총 전환 수 등이 있습니다.

이 테이블을 그대로 보고서에 표시하고, 필터를 넉넉하게 뿌려서 도구 항해를 보내는 것이 가능할 것입니다. 논리적으로 들리네요. 테이블로 무엇을 할 수 있나요? 그러나 이것은 우리의 방식이 아닙니다. 왜냐하면 우리는 단지 표를 만드는 것이 아니라 분석과 제품 결정을 위한 도구를 만들고 있기 때문입니다.

일반적으로 데이터를 분석할 때 사람은 질문에 대한 답변을 얻고 싶어합니다. 엄청난. 그들부터 시작합시다.

• 가장 빈번한 전환은 무엇입니까?
• 특정 페이지에서 어디로 이동하나요?
• 떠나기 전에 이 페이지에서 평균 얼마나 오랜 시간을 보내시나요?
• A에서 B로 얼마나 자주 전환합니까?
• 세션은 어떤 페이지에서 끝나나요?

각 보고서 또는 보고서의 조합을 통해 사용자는 이러한 질문에 대한 답을 독립적으로 찾을 수 있어야 합니다. 여기서 핵심 전략은 스스로 수행할 수 있는 도구를 제공하는 것입니다. 이는 분석 부서의 부하를 줄이고 결정을 내리는 시간을 줄이는 데 유용합니다. 결국 더 이상 Youtrack으로 이동하여 분석가를 위한 작업을 생성할 필요가 없으며 보고서를 열기만 하면 됩니다.

우리는 무엇을 얻었나요?

사람들이 대시보드에서 가장 자주 갈라지는 곳은 어디입니까?

우리 보고서의 일부입니다. 대시보드 후 모든 사람이 VM 목록 또는 노드 목록으로 이동했습니다.

소스 페이지별로 전환 및 필터링이 포함된 일반 표를 살펴보겠습니다. 대부분의 경우 대시보드에서 가상 머신 목록으로 이동합니다. 또한 규칙성 열은 이것이 반복되는 작업임을 나타냅니다.

클러스터 목록의 출처는 어디입니까?

보고서의 필터는 양방향으로 작동합니다. 어디로 떠났는지, 어디로 갔는지 알 수 있습니다.

예제를 보면 두 개의 간단한 필터가 있고 값에 따라 행의 순위가 매겨져 있어도 정보를 빠르게 얻을 수 있다는 것이 분명합니다.

좀 더 어려운 것을 물어보자.

사용자가 세션을 가장 자주 포기하는 곳은 어디입니까?

VMmanager 사용자는 종종 별도의 탭에서 작업합니다.

이를 위해서는 추천 소스별로 데이터가 집계된 보고서가 필요합니다. 그리고 소위 중단점은 전환 체인의 끝 역할을 하는 이벤트인 할당으로 간주되었습니다.

여기서는 세션이 종료되거나 새 탭이 열릴 수 있다는 점에 유의하는 것이 중요합니다. 이 예에서는 체인이 가상 머신 목록이 있는 테이블에서 끝나는 경우가 가장 많다는 것을 보여줍니다. 이 경우 특징적인 동작은 예상 패턴과 일치하는 다른 탭으로 전환하는 것입니다.

우리는 먼저 유사한 방식으로 분석을 수행하면서 이러한 보고서의 유용성을 스스로 테스트했습니다. 벱, 우리의 또 다른 제품. 테이블과 필터의 출현으로 가설 테스트가 더 빨라졌고 눈의 피로가 덜해졌습니다.

보고서를 개발할 때 시각적 디자인도 잊지 않았습니다. 이 크기의 테이블로 작업할 때 이는 중요한 요소입니다. 예를 들어, 우리는 인지하기 쉬운 차분한 색상 범위를 사용했습니다. 고정 폭 글꼴 숫자의 경우 특성의 수치에 따라 선의 색상 강조 표시. 이러한 세부 정보는 사용자 경험을 향상시키고 도구가 회사 내에서 성공적으로 활용될 가능성을 높입니다.

테이블의 양이 상당히 많았지만 읽기가 중단되지 않았기를 바랍니다.

내부 고객인 제품 전문가와 UX 디자이너 교육에 대해서는 별도로 언급할 가치가 있습니다. 분석 예시와 필터 작업 팁이 포함된 매뉴얼이 특별히 준비되었습니다. 보고서 페이지에 직접 매뉴얼 링크를 삽입했습니다.

Google Docs에서 간단하게 프레젠테이션 형태로 매뉴얼을 만들었습니다. Tableau 도구를 사용하면 보고서 통합 문서 내에 웹 페이지를 직접 표시할 수 있습니다.

후일 대신

결론은 무엇입니까? 우리는 비교적 빠르고 저렴하게 일상생활에 필요한 도구를 얻을 수 있었습니다. 예, 이는 그래프 자체, 클릭 히트맵 또는 웹 뷰어를 대체하는 것이 아닙니다. 그러나 그러한 보고서는 나열된 도구를 상당히 보완하고 생각할 거리와 새로운 제품 및 인터페이스 가설을 제공합니다.

이 이야기는 ISP 시스템의 분석 개발의 시작일뿐입니다. 지난 XNUMX개월 동안 제품 내 사용자의 디지털 인물 사진, 유사 타겟팅을 위한 데이터베이스 생성 서비스 등 XNUMX가지 새로운 서비스가 추가로 등장했는데 이에 대해서는 다음 에피소드에서 다루겠습니다.

출처 : habr.com