Прозрение по метрикам: как я понял, что такое метрики и в чём их главная прелесть

Метрики — это фуфло, скажите Вы, и будете правы. В чём-то.

Действительно, если речь заходит о метриках, то самая первая первая метрика, которая приходит на ум — посещаемость.

Многие любят медитировать часами глядя на график посещаемости своего сайта.

Как же это круто, наблюдать как скачет линия — туда-сюда, туда-сюда… А еще круче, когда посещаемость сайта растет непрерывно.

Тогда блаженное тепло разливается по всему телу и разум воспаряет к небесам в ожидании манны небесной.

Ах, какая радость, какое блаженство!

И даже если картина печальная…

От графика все равно не оторвать глаз, так он затягивает.

Кажется, что в графике скрыт тайный смысл. Еще немного, и картинка раскроет свои секреты и расскажет невероятно простой и эффективный способ привлечения огромного количества клиентов. И тогда-то деньги точно потекут рекой.

Но на самом деле, посещаемость — типичная “слащавая (тщеславная) метрика”, не несущая в себе полезного смысла.

И таких метрик большинство. В основном все метрики, которые Вы увидите — слащавые. И именно поэтому за метриками сложилась дурная слава бессмысленной траты времени и сил.

Но на самом деле это совсем не так. Правильные метрики дают крайне важную, а порой бесценную информацию для бизнеса и проекта.

Главный бонус и назначение метрик — это то, что они дают возможность управлять Вашим бизнесом или проектом.

Как определить, что метрика плохая?

Давайте рассмотрим очень простой пример — скорость автомобиля.

Скажите, пожалуйста, что обозначает скорость…

100 км/ч ?

Хм…

Хм…

Так что же она обозначает?

Думаю, Вы, наверное, и сами догадались, что… ничего не обозначает!

Ок. Теперь второй вопрос:

100 км/ч это хорошо или плохо?

Хм…

Ни то ни другое?

Верно!

Скорость — совершенно бесполезная и бестолковая метрика. Если, конечно, её использовать саму по себе. В купе с другими метриками она, конечно, может что-то сказать, но сама по себе — точно нет.

Посещаемость сайта — ровно та же самая скорость.

Именно поэтому зависать перед графиком посещаемость сайта нет совершенно никакого смысла. Он не раскроет Вам тайну жизни. Понимаете теперь?

А какие метрики тогда хорошие?

Например, Churn rate. Эта метрика говорит сколько клиентов ушло из компании/сайта навсегда с течением времени.

Churn rate = 1% говорит, что мы теряем всего 1% клиентов. Т.е. почти никого не теряем.

Если же Churn rate = 90%, то это означает, что мы теряем почти всех своих клиентов. Это ужасно!

Видите отличие этой метрики от скорости?

Churn rate — наполненная смыслом метрика, которая отвечает на вопрос, хорошо это или плохо. И Вам не нужно гадать, что она обозначает.

Это метрика, говорящая сама за себя!

И теперь мы готовы предпринять срочные действия, чтобы уменьшить отток клиентов.

Именно поэтому такие метрики называют действенными. Потому что они побуждают к действию.

Критерий “слащавости” метрик

Есть очень простой способ определить, что метрика “слащавая / тщеславная” (англ. vanity).

Большинство абсолютных метрик, таких, например, как посещаемость, количество скачиваний, количество ретвитов, количество email-ов/подписчиков, количество лайков и т.д. являются слащавыми.

Относительные, взвешенные, метрики часто бывают действенными. Но не все!

Что касается качественных метрик, то тут однозначности нет, т.к. качественная оценка сама по себе не может быть точной и однозначной.

Но с другой стороны, оценивать удобство программы можно и нужно именно по уровню восприятия конечных пользователей и никак иначе.

Как подступиться к метрикам в целом?

Первым делом нужно перевернуть мозг.

Без шуток.

Каждый(!) кто сталкивается с метриками, первым делом начинает искать в них причину бытия. Но они ее не покажут, к сожалению.

Метрики — это просто как обычная линейка с помощью которой мы измеряем все, что хотим.

Вы же не ищете причину бытия в обычной деревянной линейке, верно?

Поиск смысла жизни в линейке — это то, что называется “подход снизу-вверх”.

Для правильной работы с метриками нужно сменить парадигму и начать работать наоборот, сверху-вниз.

Т.е. сначала делать какое-то действие, а потом уже с помощью метрик измерять получившийся от него эффект.

Следует использовать метрики как обычный предмет для измерений и не более.

Вдумайтесь в эти слова.

Измеряйте с помощью метрик эффект от Ваших действий, а не придумывайте действия на основании показаний деревянной линейки.

Такой подход ещё называют “Гипотеза->Измерение”.

Ок, с этим понятно.

Вопрос № 2: “А что именно измерять? Как найти правильные метрики?”

Как составить свой набор метрик?

Полазив по Интернету Вы наверняка найдете десятки, а то и сотни различных метрик на одну и ту же тему.

Например, метрик качества ПО можно найти около сотни. Это и стандарты ГОСТР-ИСО, и метрики, рассчитываемые в SonarQube, и какие-то самописные варианты, и даже “качественные” метрики, основанные на отзывах пользователей.

Так какие же стоит использовать, а какие нет?

Самый лучший подход — руководствоваться “основной ценностью”.

OMTM (One Metric That Matters)

Давайте рассмотрим пример.

Понятно, что если Вы хотите улучшить качество Вашего программного продукта, то измерить это качество можно разными путями.

Качество — это не только количество ошибок. Если смотреть на качество в целом, то это:

количество инцидентов в проме,
удобство использования и простота восприятия,
быстрота работы,
полнота и своевременность реализации запланированного функционала,
безопасность.

Критериев много и работать сразу со всеми невозможно. Поступают очень просто: выбирают один, самый важный в данный текущий момент критерий, и работают только с ним.

Такой подход называется OMTM (One Metric That Matters) — Одна (Единственная) Важная Метрика.

ОМТМ качества ПО логично выбрать количество серьезных (важных и критических) инцидентов в промышленной среде.

Для интернет-магазинов над OMTM вообще думать не надо — это объем продаж или прибыль (в зависимости от Вашего решения).

Эта Одна Важная Метрика и будет основной ценностью для Вашего набора метрик. И именно от неё будет зависеть их финальный набор.

Ценность Inside

Составлять набор метрик часто начинают “от балды”, порывшись в Интернете и выбрав из найденного лучшие варианты по принципу: “О! Это нам подойдет!”

Как Вы понимаете, это не лучший способ, верно?

Но как решить, какую метрику брать, а какую нет?

Например, часто измеряют различного рода конверсии пользователей.

Но почему измеряют именно пользователей, а не что-нибудь еще? Вы не задумывались над этим вопросом?

Естественно, ответ есть.

Давайте рассмотрим интернет-магазин как самый простой для понимания пример.

Допустим, Вы хотите увеличить объем продаж. Какие метрики Вам для этого понадобятся? Как к этому подойти?

Есть один простой, логичный и работающий способ. Всё встаёт на свои места, когда Вы отвечаете на вопрос:

КТО ПРОИЗВОДИТ ЦЕННОСТЬ?

Мы ведь работаем надо объемом продаж, так? Хотим его увеличить, верно?

На кого и на что нужно повлиять, чтобы увеличить объем продаж?

Конечно,

нужно влиять на причину —
на того, кто “производит” ценность.

Кто производит деньги в интернет-магазине? Откуда появляются деньги?

Очень просто: от клиентов.

Где именно в интернет-магазине можно повлиять на клиентов?

Да где угодно!
Верно. На каждом этапе жизненного цикла клиента.

Для представления жизненного цикла удобно строить т.н. “воронку” движения клиента по процессу.

Пример воронки интернет-магазина:

Почему именно так? Потому что клиенты теряются именно при переходах с одного шага воронки на другой.

Увеличивая количество клиентов на каком-либо уровне воронки, мы автоматически увеличиваем результирующий объем продаж.

Простой пример.

Метрика “Процент брошенных корзин” по сути показывает конверсию при переходе от товарной корзины к оформленному заказу.

Допустим, при первом замере Вы обнаружили, что теряется 90% корзин, т.е. из 10 корзин делается только 1 заказ.

С товарной корзиной явно что-то не так, верно?

Для простоты будем считать, что сумма одного заказа — 100 руб. Т.о. итоговый объем продаж составит всего 100 руб.

В результате доработки корзины, процент брошенных корзин уменьшился на 10%, до 80%. Как это выглядит в цифрах?

Из 10 корзин стали оформлять 2 заказа. 100 руб * 2 = 200 руб.

Но это же увеличение объема продаж на 100%! Бинго!

Увеличив конверсию шага всего на 10% Вы увеличили объем продаж на 100%.

Фантастика!

Но именно так это и работает.

Понимаете теперь в чём прелесть правильно построенных метрик?

С их помощью можно добиться фантастического влияния на Ваши процессы.

С интернет-магазином всё довольно просто, а вот как это всё переложить, например, на качество программного продукта? Да точно также:

1. Выбираем основную ценность над которой работаем. Например, сокращаем количество инцидентов в проме.
2. Понимаем, кто и что производит эту ценность. Например, исходный код.
3. Строим воронку жизненного цикла исходного кода и расставляем метрики на каждом шаге воронки. Всё.

Вот, например, какие метрики качества могли бы получиться (на вскидку)…

Показатель ценности:

• плотность дефектов прома на 1000 строк кода

Метрики исходя из жизненного цикла исходного кода:

• доля неудачных компиляций,
• охват автотестами,
• доля неудачных автотестов,
• доля неудачных развертываний.

Метрики исходя из жизненного цикла дефектов:

• динамика обнаружения дефектов,
• динамика исправления,
• динамика переоткрытий,
• динамика отклонений дефектов,
• среднее время ожидания исправления,
• среднее время исправления.

Итоги

Как видите, тема метрик реально очень важная, нужная и интересная.

Как правильно подобрать метрики:

Выбирайте OMTM, продумывайте её основную ценность и измеряйте производителей этой ценности.

Метрики стройте на основании воронки жизненного цикла производителя.

Старайтесь не использовать абсолютные метрики.

Что ещё почитать на эту тему

Тема метрик стала популярна на волне движения Lean Startup, поэтому лучше всего начать чтение с первоисточников — книг “Lean Startup” (перевод на русский — “Бизнес с нуля. Метод Lean Startup” на Ozon) и “Lean Analytics” (перевода нет, но книга на английском продается на Ozon).

Кое-какую информацию можно найти в Интернете даже на русском языке, но всеобъемлющего учебника, к сожалению, пока найти не удалось даже в западном сегменте.

Кстати, сейчас появились даже отдельные специалисты “продуктологи”, задачей которых является построение правильной системы метрик для своего продукта и предложение путей по их улучшению.

На этом всё.

Если статья помогла Вам лучше понять суть вопроса, автор будет признателен за “лайк” и перепост.

Источник: habr.com