人们喜欢收视率。 有多少应用程序、游戏和其他东西是以一个人希望在某个列表上比其他人高几行的愿望的名义开发的。 例如，或者比竞争对手。 人们以不同的方式获得排名，这取决于他们的动机和道德品质。 有些人会努力变得更好，并诚实地从#142移动到#139，而另一些人会决定赚钱并高兴地获得#21（因为前20名带来了更多）。
公司的情况也差不多。 今天我们将讨论银行以及这些银行努力进入的评级。 在这篇文章中，我将讨论我们在国内研究中存在的普遍问题，定量和定性测试之间的实际差异，以及我们如何尝试纠正当前的情况。
而文章的最后还有一个惊喜。
这一切都始于一年前，我们开始测试五家法人银行，选择了几家时尚的青年银行（Modulbank 和 Tinkoff Bank）和三家经典银行（VTB、Raiffeisenbank 和 Promsvyazbank）。 但首先，有一点材料。
俄罗斯联邦的银行评级
市场上有不少参与者为银行业进行可用性评级。 即两个 - Markswebb 和 USABILITYLAB。
事实证明，MW 和 UL 现在已经成为一种 KPI。 一方面，这是件好事，因为至少有一些竞争性因素的存在，决定了市场的总体走势，而在这方面，市场的走势相当缓慢。 另一方面，这一切主要归结为泛函分析。 银行高层的动机不再是制作一款出色的产品，为用户带来很多好处，从而在排名中占据一席之地，而只是简单地进入排名。
您的银行处于评级中=您达到了关键绩效指标=您获得了奖金。 另外，团队似乎很喜欢你，你帮助银行进入了评级。 对于一些人来说，这确实让人感到痒痒。 一般来说，谁知道是什么，但总的来说，动力就是各种“奖金”，而不是改进产品的运动。
而在这里，就此类评级对于市场的意义而言，还需要了解一件事。 大约 98% 的银行应用程序用户根本不知道这些评级。 坦率地说，他们不在乎。 这些评级专门针对经理和管理层。 剩下的 2% 知道收视率，但将其视为卖点。 我们曾经测试过带有这些第一名标志的银行网站。
人们选择一家银行开展业务，并不是根据该银行的网站是否有带有特定评级标志的标志。 一个人更容易向朋友或 Facebook 喊出谁使用哪家银行以及他们对什么感到满意/不满意，并在社会资本方面将自己限制在这一点上。
让我们从创建评级开始。 要创建评级，您需要进行研究，而这里的一切通常仅限于研究一项特定功能，例如测试货币控制。
研究需要花钱，而且是一笔相当大的钱。 为了有效地做到这一点，你需要进行良好的投资——用于测试的企业家肖像的成本比普通用户更高。 因此，试图仅通过研究作为其主要且唯一活动来增加收入的公司会产生巨大的成本。 尽管我们的研究市场几乎是空的：大学里不教授这个，学校里也不教授。
顺便说一下，关于钱，所以数字很清楚。 假设我们的评级中有 20 家银行。 每个人需要研究前7个功能和场景，花费大约1,5小时的时间。 对一名受访者进行更长时间的测试是没有意义的，因为一个半小时是极限，之后注意力就已经消散，人们会感到疲倦并开始回答任何问题，只是为了快速去吃点零食，最后呼气。
所以就是这样。 从银行的数据库中招募人员进行此类研究既困难又耗时，因此唯一剩下的就是招募人员。 5 家银行的 7-20 个场景意味着您需要招募至少 140 名受访者。 然后，如果不止一家银行对一个人进行测试
一个这样的受访者的成本在5到10万卢布之间，这对肖像有明显的依赖性，比如说，一个个体企业家的成本相当便宜，5千卢布。但是一个有货币管制的出口企业家的肖像将花费大约13。
总共有 140 人需要付费才能参与这项研究。 让我们估算一下最简单、最便宜的情况，即每位受访者 5000 卢布，我们将得到并非虚幻的 700 卢布。 至少，是的。 通常这个数字接近 000。是时候开设自己的招聘机构了:)
这仅适用于银行的主要用例。 除了金钱之外，还有一种更宝贵的资源——时间。 上面堆这么大也浪费了。 您可以对 30 名受访者进行测试，并且不会在 2 周内变得疯狂。 如果您想保持面试质量，一个月通常需要举行约 60 次会议。 140 人 = 2,5 人月。
完成所有受访者之后，您还需要花费大约 2 个月的时间将信息转化为易于理解的形式 - 转录结果、进行分析和分组、制作精美的演示文稿，而不是最终的一堆行的 Excel 文件。
一般来说，考虑到这段时间的所有费用，大约需要4个月的工作和2-3万卢布。 我们还没有计算税金。 鉴于到目前为止还没有人能够从研究本身中赚钱，这种模式显然看起来并不是最有利可图的。 当然，如果你不从排名本身赚钱，而是通过研究而不是排名来赚钱。
定量和定性研究、功能分析
MW 演讲大约 60% 是关于功能分析，40% 是关于可用性。 此外，此类研究中的“功能分析”概念只是检查某些功能是否存在的清单。 你坐下来，写下一个功能列表 - 所以，应该有正常的付款，加上基于照片的付款，还可以从文件中检查交易对手，最新的交易对手或付款等等。 然后进行分析并检查列表中的函数是否存在。 如果有，那就太好了，打勾，再加上评级。 如果没有，那么，你明白了。
听起来合乎逻辑。 但是，遗憾的是，归根结底，此类测试中的加号和打勾只是列表中某个功能的存在，而不是其质量或用户的一般需求。 因此，移动应用程序开始滑向将所有内容塞进自身以满足评级的目的，而不是用户需要的东西。 嗯，Yandex.Phone 就是这样拥有双摄像头的。 它存在，但他们说它不起作用。 但是还有。 总的来说，无论该功能是否存在，此类评级的 60% 重要性仅在于刻度本身。 而不是它对用户来说有多方便以及有多必要。
除了功能分析之外，还有定量和定性研究。
如果您想对流程进行测试，定量可用性研究将非常有用。 您招募更多受访者，通过应用程序界面引导他们，给他们基本任务，最后简单地询问总体情况如何以及存在哪些问题。
高质量的可用性测试要困难得多 - 您需要使用该方法得出对整个流程以及流程中所有元素的感知 。 人们的所有想法和问题，所有他们无法理解的文本和元素。 所有的根本原因——为什么不清楚，你希望如何命名，以及你脑子里保留着什么词？
了解感知的根本原因后，你不只是说：
人们没有找到它——不寻常的位置。
你知道如何改变吗：
用户并不是在我们放置它的底部寻找这个元素，而是在屏幕的右上角。 通过“搜索”一词进行搜索，我们有“输入”，搜索放大镜图标，我们有一个“搜索”按钮。
总而言之，在定量可用性测试之后，您最终会得到最一般形式的问题列表。 假设“用户无法找到搜索”。 为什么你没有掌握它？ 但我只是没有掌握它——这个测试不会给出答案。
经过质量测试后，您将了解问题及其根本原因。 就搜索而言，您将有一个脚本，用户将准确地告诉您他如何搜索搜索、他期望看到哪些元素以及在哪里、当他没有找到搜索时他想到了什么词等等。
一旦找到问题的根本原因及其详细描述，您就可以修复某些问题，更改界面，使其满足用户的期望并解决他们遇到的问题。
当然，品质好的价格要贵一些。 您需要培训进行此类测试的人员，而不是任务和调查问卷。 找一个有合适背景的人，向他介绍你正在研究的领域。 这大约需要3-6个月。 市场上现成的专家很少——也就是说，几乎没有。
但即使所有这些测试都正常进行，我们也会得到以下情况——国家不知道如何处理这些研究和报告。 市场仍然将其视为某种短暂的实体；他们认为他们只是购买演示文稿，而不是问题的解决方案。
因为事实证明：银行下令进行测试，收到的回应是某种肤浅的介绍，但不清楚如何应用或“我们自己知道这一切”。 下一步是什么？ 没关系，把它放在桌子上并庆幸它的存在。 因为人们不知道如何处理这个演示文稿，如何使用它来改进产品，如何将其中描述的发现转化为不再有问题的新界面。 如果你不给出问题的深度和根本原因，那么你就不会理解如何解决问题。
一切真的都是悲伤的吗？
总的来说，这是相当令人悲伤的，是的，但这并不意味着这种情况无法得到纠正。 我们的目标是对我们已经拥有良好专业知识的事物进行良好的研究。 比如应用中的支付操作，我们有一定的统计。 我们想要了解主要场景，而不仅仅是检查它们的“是或否”，而是要准确了解人们遇到的问题、在什么阶段以及总体上为什么会出现这些问题。
法人主要场景分布
这可能是一组障碍，并不太取决于银行本身；只是某些功能的呈现对人们来说不是很清楚。
当然，我们想要进行全面的研究，而不是对几家银行进行相互比较。 我们相信我们可以出售这些详细的研究成果，同时测试对它们的普遍需求。
当然，我们的第一个煎饼出来时有几个肿块。
我们仍然尝试采用所有场景并由一名受访者进行分析。 剧透警报 - 他活了下来。 也许现在他使用银行应用程序的频率大大降低了。 但我们再次证实了这样的论点：一个半小时后，我们需要关闭所有设备并重新启动另一个设备。 因此，我们从对所有功能的深度测试转向观察人们如何找到某些功能、他们关注什么以及他们如何感知主页的结构。
个人利用平台进行分发
当您测试银行应用程序时，您不能仅在访客模式下运行它们并得出结论。 您至少必须拥有一个银行帐户才能了解那里的一切是如何运作的。 但就银行而言，企业家需要一个有历史记录的活账户，并在其中设立了公司。 如果您还想测试货币控制和其他乐趣，您将需要外币账户和一点阿福巴唑。 余额不能为空，交易历史一定比“我从我的账户转200卢布到我的账户，看看怎么样”更严重。
我们认为在我们正在研究的所有银行注册账户并将资金转移到他们将是一项相当快的任务。
有时一切都会拖上几个星期。 从银行方面来看，是的。 我们还测试了 5 家银行，但会是 20 家吗？
但我们能够亲自了解主要功能的分布以及一些孤立的和冷门的功能的数量。 因此，我们从第一次煎饼到第二次运行，采用了更精细的方法。 一位设计师也加入了该团队，这将演示本身提升到了一个新的水平。 当您提供此类信息时，这确实比看起来更重要。
这项工作的成果是 100 多张幻灯片的演示。 当我们对四家个人银行进行研究时，我们没有出售它。 但第一项关于企业家银行的研究被出售是为了看看原则上它对市场有多感兴趣。 他们从我们这里购买了 7 次（排名前 5 的银行以及几家向银行出售开发和设计的公司），除了 Facebook 上的帖子之外，我们没有提供任何广告。
- 但你自己写道，这肯定会导致亏损！
是的，如果您只是做研究，这是一个很好的方法。 我们主要通过设计和工程赚钱。
对我们来说，研究是塑造市场的机会，因为正如你所看到的，几乎没有机会。 他们经常问我们，为什么你们要免费提供这样的东西，这不值得花钱吗？ 但正因为如此，我们可以向社区展示研究实际上是什么样的。 现在，只是为了查看此类研究的样本，您就必须购买它们。 嗯，还是问问买的人吧。
我们就这样发布它们。 让市场也了解什么是研究。 这样，在其他地方订购研究的客户至少可以与其他公司销售的产品进行比较并验证其质量。 这样就形成了共识——研究可以是高质量的，您可以从中受益并了解下一步该做什么。 事实上，我们对我国研究方面的教育部分令人悲伤感到有点生气。 因此，现在我们正在尝试改变这样的情况——通过建立一种理解，你可以获得更好的结果
除了教育方面之外，此类研究及其出版也是产生潜在客户的好机会。 在这里，优势不仅在于客户来找我们。 最近，根据我们的一篇文章，他们开始从前 3 名中挑选一家银行进行原型设计。 就在几年前，我们真的会想——该死，我们舔了我们的主题，然后去做一些我们自己的事情。
现在我们认为——很酷，他们倾听我们的意见，并且真正努力让产品更好、更贴近用户。 因此，我们将继续进行此类研究，定性测试应用程序的各个语义块，而不仅仅是根据某些检查表对整个产品进行测试。
在团队内部，这为我们提供了更多的专业知识——不是在黑暗中行走，而是了解人们的主要场景和需求如何变化（想象一下，它们会在 1-2 年内发生变化）。 然后，当您研究在 3 年内为企业家开设 4-2 次银行账户时，您就会了解理想的流程，即在当前技术限制下可能会是什么样子。
而像“我想被纳入评级 - 我为评级付费 - 我进入评级”这样的情况仍然很无聊。 基于产品质量的新评级的需求已经成熟。
对于读到文章结尾的人，这里有两个链接 и
来源： habr.com