互联网上有数百篇关于分析客户行为的好处的文章。 这通常涉及零售业。 从食品篮分析、ABC 和 XYZ 分析到保留营销和个人优惠。 各种技术已经使用了几十年，算法已经被深思熟虑，代码已经编写和调试——接受并使用它。 就我们而言，出现了一个根本问题——我们 ISPsystem 从事软件开发，而不是零售。
我叫 Denis，目前负责 ISPsystem 的分析系统后端。 这是我和同事的故事 - 那些负责数据可视化的人 - 试图通过这些知识的棱镜来看待我们的软件产品。 像往常一样，让我们从历史开始。
一开始有一个词，这个词是“我们要尝试一下吗？”
那时我在研发部门担任开发人员。 这一切都始于丹尼尔读到关于哈布雷的文章 — 用于分析应用程序中用户转换的工具。 我对在这里使用它的想法有些怀疑。 作为示例，库开发人员引用了对应用程序的分析，其中明确定义了目标操作 - 下订单或如何向所有者公司付款的其他变化。 我们的产品是在现场供应的。 也就是说，用户首先购买许可证，然后才开始他的应用程序之旅。 是的，我们有演示版本。 你可以尝试一下那里的产品，这样你就不会陷入困境。
但我们的大部分产品都是针对托管市场的。 这些都是大客户，业务开发部门就产品功能向他们提供建议。 它还表明，在购买时，我们的客户已经知道我们的软件将帮助他们解决哪些问题。 他们在应用程序中的路线必须与产品中嵌入的 CJM 一致，UX 解决方案将帮助他们保持在正轨上。 剧透：这并不总是发生。 图书馆的介绍被推迟了……但时间不长。
随着我们初创公司的发布，一切都发生了变化 - — 用于通过 Instagram 帐户创建在线商店的平台。 在此应用程序中，用户有两周的时间免费使用所有功能。 然后你必须决定是否订阅。 这完全符合“路线-目标行动”的概念。 我们决定：我们来试试吧！
第一个结果或从哪里获得想法
我和开发团队在一天之内就将产品连接到了事件收集系统。 我马上要说的是，ISPsystem 使用自己的系统来收集有关页面访问的事件，但没有什么可以阻止您使用 Yandex.Metrica 来实现相同的目的，它允许您免费下载原始数据。 研究了使用该库的示例，经过一周的数据收集后，我们收到了一个转换图。
过渡图。 基本功能，为了清晰起见删除了其他转换
结果就像例子中一样：平面、清晰、美丽。 从这张图中，我们能够识别出人们停留时间最长的最频繁的路线和交叉口。 这让我们明白了以下几点：
- 大型 CJM 覆盖了十几个实体，而只有两个得到积极使用。 有必要使用用户体验解决方案将用户引导到我们需要的地方。
- 有些页面由用户体验设计师设计为端到端，最终导致人们在其上花费了不合理的时间。 您需要弄清楚特定页面上的停止元素是什么并进行调整。
- 经过 10 次转换后，20% 的人开始感到疲倦并退出应用程序中的会话。 这还考虑到我们的应用程序中有多达 5 个入门页面！ 您需要识别用户经常放弃会话的页面并缩短到达这些页面的路径。 更好的是：识别任何常规路线并允许从源页面快速转换到目标页面。 您不认为这与 ABC 分析和废弃购物车分析有一些共同点吗？
在这里，我们重新考虑了我们对该工具对于本地产品的适用性的态度。 决定分析一种活跃销售和使用的产品 - 。 它要复杂得多，有更多数量级的实体。 我们兴奋地等待着看看转换图会是什么样子。
关于失望和灵感
失望#1
27 月 XNUMX 日，是工作日的结束，也是月的结束，也是年的结束。 数据已积累，查询已编写。 一切都处理完毕之前还剩几秒钟，我们可以查看我们的劳动结果，以找出下一个工作年度从哪里开始。 研发部门、产品经理、用户体验设计师、团队负责人、开发人员聚集在显示器前，看看他们的产品中的用户路径是什么样的，但是......我们看到了这一点：
由 Retentioneering 库构建的转移图
灵感#1
强连接、数十个实体、非显而易见的场景。 很明显，新的工作年不是从分析开始，而是从发明一种利用这种图表简化工作的方法开始。 但我无法摆脱这种感觉：一切都比看起来简单得多。 经过十五分钟研究 Retentioneering 源代码后，我们能够将构建的图导出为点格式。 这使得将图表上传到另一个工具 - Gephi 成为可能。 并且已经有分析图表的范围：布局、过滤器、统计——您所要做的就是在界面中配置必要的参数。 带着这样的想法，我们出发去过新年周末。
失望#2
回到工作岗位后，发现大家都在休息的时候，我们的客户却在研究产品。 是的，太难了，以至于存储中出现了以前不存在的事件。 这意味着需要更新查询。
一些背景知识可以理解这个事实的悲伤。 我们传输我们标记的事件（例如，单击某些按钮）和用户访问的页面的 URL。 就 Cartbee 而言，“一次操作 - 一页”模式发挥了作用。 但对于 VMmanager，情况完全不同：可以在一页上打开多个模式窗口。 用户可以在其中解决各种问题。 例如，网址：
/host/item/24/ip(modal:modal/host/item/ip/create)
表示用户在“IP 地址”页面添加了 IP 地址。 这里同时出现两个问题：
- URL 包含某种路径参数 - 虚拟机的 ID。 需要将其排除。
- URL 包含模式窗口 ID。 您需要以某种方式“解压”此类 URL。
另一个问题是我们标记的事件都有参数。 例如，有五种不同的方式可以访问包含列表中虚拟机信息的页面。 因此，发送了一个事件，但带有一个指示用户进行转换的方法的参数。 这样的事件有很多，而且所有的参数都不同。 我们拥有 Clickhouse 的 SQL 方言中的所有数据检索逻辑。 150-200 行的查询开始看起来很熟悉。 问题围绕着我们。
灵感#2
一天清晨，丹尼尔悲伤地浏览了第二分钟的请求，向我建议：“让我们编写数据处理管道吗？” 我们思考了一下，决定如果我们要做的话，那就是 ETL 之类的东西。 这样它就会立即过滤并从其他来源提取必要的数据。 这就是我们第一个具有成熟后端的分析服务的诞生。 它实现了数据处理的五个主要阶段：
- 从原始数据存储中卸载事件并准备进行处理。
- 澄清是对模态窗口的标识符、事件参数和其他澄清事件的细节的“解包”。
- 丰富（来自“致富”一词）是指使用第三方来源的数据添加事件。 当时，这仅包括我们的计费系统BILLmanager。
- 过滤是过滤掉扭曲分析结果的事件（来自内部站、异常值等的事件）的过程。
- 将接收到的事件上传到存储中，我们称之为干净数据。
现在可以通过添加处理事件甚至相似事件组的规则来保持相关性。 例如，从那时起我们就再也没有更新过URL解包。 尽管如此，在此期间添加了几个新的 URL 变体。 它们遵守服务中已制定的规则并得到正确处理。
失望#3
一旦我们开始分析，我们就意识到为什么图表如此连贯。 事实上，几乎每个 N 元语法都包含无法通过接口执行的转换。
一项小型调查开始了。 我很困惑，一个实体内部不存在不可能的转变。 这意味着这不是事件收集系统或我们的 ETL 服务中的错误。 有一种感觉，用户同时在多个实体中工作，而无需从一个实体移动到另一个实体。 如何实现这一目标？ 在浏览器中使用不同的选项卡。
在分析 Cartbee 时，我们被它的特殊性所拯救。 该应用程序是在移动设备上使用的，在移动设备上使用多个选项卡非常不方便。 在这里，我们有一个桌面，当在一个实体中执行任务时，希望花时间在另一个实体中设置或监视状态是合理的。 为了不丢失进度，只需打开另一个选项卡即可。
灵感#3
前端开发的同事教了事件收集系统如何区分tab。 分析可以开始了。 我们开始了。 正如预期的那样，CJM 与真实路径不匹配：用户在目录页面上花费了大量时间，在最意想不到的地方放弃了会话和选项卡。 通过转换分析，我们能够发现一些 Mozilla 构建中的问题。 其中，由于实现特性，导航元素消失或显示半空页面，这些页面应该只有管理员才能访问。 页面打开了，但后端没有任何内容。 计算转换使得评估实际使用了哪些功能成为可能。 这些链使得了解用户如何收到这个或那个错误成为可能。 这些数据允许根据用户行为进行测试。 这是成功的，这个想法没有白费。
分析自动化
在其中一项结果演示中，我们展示了如何使用 Gephi 进行图形分析。 在此工具中，转换数据可以显示在表格中。 UX 部门负责人表示，一个非常重要的想法影响了公司整个行为分析方向的发展：“让我们也这样做，但是在 Tableau 中并带有过滤器 - 会更方便。”
然后我想：为什么不呢，Retentioneering 将所有数据存储在 pandas.DataFrame 结构中。 总的来说，这是一张桌子。 这就是另一个服务的出现：Data Provider。 他不仅根据图表制作了表格，还计算了该页面及其相关功能的受欢迎程度、它如何影响用户保留、用户在该页面上停留的时间以及用户最常离开哪些页面。 而且 Tableau 中可视化的使用大大降低了研究图形的成本，以至于产品中行为分析的迭代时间几乎减半。
丹尼尔将讨论如何使用这种可视化以及它可以得出什么结论。
给桌神多几桌！
简化后的任务是：在Tableau中显示转换图，提供过滤功能，并使其尽可能清晰和方便。
我其实并不想在 Tableau 中绘制有向图。 即使成功了，与 Gephi 相比，收益似乎并不明显。 我们需要一些更简单、更容易获得的东西。 桌子！ 毕竟，图形可以轻松地以表行的形式表示，其中每一行都是“源-目标”类型的边缘。 此外，我们已经使用 Retentioneering 和 Data Provider 工具精心准备了这样一个表格。 剩下要做的就是在 Tableau 中显示表格并翻阅报告。
说到每个人都多么喜欢桌子。
然而，这里我们面临着另一个问题。 数据源要做什么？ 无法连接 pandas.DataFrame；Tableau 没有这样的连接器。 建立一个单独的基础来存储图表似乎是一个过于激进的解决方案，前景模糊。 由于需要持续的手动操作，本地卸载选项并不合适。 我们查看了可用连接器列表，然后我们的目光落在了该项目上 ，他绝望地蜷缩在最底层。
Tableau 拥有丰富的连接器选择。 我们找到了一个可以解决我们问题的方法
什么样的动物？ 浏览器中打开了一些新选项卡 - 很明显，该连接器允许您在访问 URL 时接收数据。 计算数据的后端本身已经准备就绪，剩下的就是与 WDC 成为朋友了。 Denis 花了几天时间研究文档并与 Tableau 机制进行斗争，然后向我发送了一个链接，我将其粘贴到连接窗口中。
与我们的 WDC 的连接表。 丹尼斯挺身而出并注意安全
等待几分钟后（数据根据请求动态计算），表格出现：
这就是原始数据数组在 Tableau 界面中的样子
正如所承诺的，这样的表的每一行代表图的一条边，即用户的定向转移。 它还包含几个附加特征。 例如，唯一用户数、转换总数等。
可以按原样在报告中显示此表，慷慨地撒上过滤器并发送工具航行。 听起来合乎逻辑。 你能用桌子做什么？ 但这不是我们的方式，因为我们制作的不仅仅是一张表格，而是一个分析和做出产品决策的工具。
通常，在分析数据时，人们希望获得问题的答案。 伟大的。 让我们从他们开始吧。
- 最频繁的转变是什么？
- 他们从特定页面去哪里？
- 在离开之前，您平均在该页面上花费多长时间？
- 您多久从 A 过渡到 B？
- 会话在哪些页面结束？
每个报告或它们的组合应该允许用户独立地找到这些问题的答案。 这里的关键策略是为您提供自己完成此操作的工具。 这对于减轻分析部门的负担和减少决策时间都很有用 - 毕竟，您不再需要去 Youtrack 并为分析师创建任务，您只需打开报告即可。
我们得到了什么？
人们最常在仪表板上的哪些地方产生分歧？
我们报告的片段。 在仪表板之后，每个人都转到虚拟机列表或节点列表
让我们使用一个包含转换的通用表并按源页面进行过滤。 大多数情况下，它们会从仪表板转到虚拟机列表。 此外，规律性列表明这是一个重复动作。
它们从哪里进入集群列表？
报告中的过滤器可以双向工作：您可以找出您离开的位置或前往的位置
从示例中可以清楚地看出，即使存在两个简单的过滤器并按值对行进行排名也可以让您快速获取信息。
让我们问一些更复杂的问题。
用户最常在哪里放弃会话？
VMmanager 用户经常在单独的选项卡中工作
为此，我们需要一份数据按推荐来源汇总的报告。 所谓的断点被视为任务——充当转换链末端的事件。
这里需要注意的是，这可以是会话结束，也可以是新选项卡的打开。 该示例表明，该链通常以包含虚拟机列表的表结束。 在这种情况下，特征行为是切换到另一个选项卡，这与预期模式一致。
当我们以类似的方式进行分析时，我们首先测试了这些报告对我们自己的有用性 ，我们的另一个产品。 随着表格和过滤器的出现，假设的测试速度更快，眼睛也不再那么疲劳。
在开发报告时，我们没有忘记视觉设计。 当使用这种大小的桌子时，这是一个重要因素。 例如，我们使用了一系列平静的颜色，易于感知 对于数字，线条的颜色根据特征的数值突出显示。 这些细节可以改善用户体验并增加该工具在公司内成功推广的可能性。
该表相当庞大，但我们希望它仍然具有可读性
值得一提的是我们内部客户的培训：产品专家和用户体验设计师。 专门为他们准备了包含分析示例和过滤器使用技巧的手册。 我们将手册链接直接插入到报告页面中。
我们只是将手册制作为 Google 文档中的演示文稿。 Tableau 工具允许您直接在报表工作簿内显示网页。
而不是尾声
底线是什么？ 我们能够相对快速且便宜地获得日常所需的工具。 是的，这绝对不能替代图表本身、点击热图或网络查看器。 但此类报告极大地补充了列出的工具，并提供了深思熟虑以及新产品和界面假设。
这个故事只是 ISPsystem 分析开发的开始。 在过去的六个月里，又出现了七项新服务，包括产品中用户的数字肖像以及为相似定位创建数据库的服务，但我们将在接下来的几集中讨论它们。
来源： habr.com