Метрики - це фуфло, скажіть Ви, і будете праві. В чомусь.
Справді, якщо мова заходить про метрики, то найперша перша метрика, яка спадає на думку — відвідуваність.
Багато хто любить медитувати годинами, дивлячись на графік відвідуваності свого сайту.
Як це круто, спостерігати як скаче лінія — туди-сюди, туди-сюди… А ще крутіше, коли відвідуваність сайту зростає безперервно.
Тоді блаженне тепло розливається по всьому тілу і розум здіймається до небес, чекаючи манни небесної.
Ах, яка радість, яке блаженство!
І навіть якщо картина сумна.
Від графіка все одно не відірвати очей, то він затягує.
Здається, що у графіку прихований таємний зміст. Ще трохи, і картинка розкриє свої секрети та розповість неймовірно простий та ефективний спосіб залучення величезної кількості клієнтів. І тоді гроші точно потечуть рікою.
Але насправді, відвідуваність - типова "солодка (мандрівна) метрика", не несе в собі корисного сенсу.
І таких метриків більшість. В основному всі метрики, які Ви побачите – солодкі. І саме тому за метриками склалася погана слава безглуздих витрат часу та сил.
Але насправді це зовсім негаразд. Правильні метрики дають вкрай важливу, а подекуди безцінну інформацію для бізнесу та проекту.
Головний бонус та призначення метрик – це те, що вони дають можливість керувати Вашим бізнесом чи проектом.
Як визначити, що метрика погана?
Давайте розглянемо дуже простий приклад – швидкість автомобіля.
Скажіть, будь ласка, що означає швидкість…
100 км/год?
Хм…
Хм…
То що вона позначає?
Думаю, Ви, мабуть, і самі здогадалися, що нічого не означає!
Ок. Тепер друге питання:
100 км/год це добре чи погано?
Хм…
Ні те ні інше?
Правильно!
Швидкість - абсолютно марна і безглузда метрика. Якщо, звичайно, її використати саму по собі. У поєднанні з іншими метриками вона, звичайно, може щось сказати, але сама по собі точно немає.
Відвідуваність сайту — та сама швидкість.
Саме тому зависати перед графіком відвідуваність сайту немає жодного сенсу. Він не розкриє вам таємницю життя. Чи розумієте тепер?
А які метрики тоді добрі?
Наприклад, Churn rate. Ця метрика каже скільки клієнтів пішло з компанії/сайту назавжди з часом.
Churn rate = 1% каже, що ми втрачаємо лише 1% клієнтів. Тобто. майже нікого не втрачаємо.
Якщо ж Churn rate = 90%, це означає, що ми втрачаємо майже всіх своїх клієнтів. Це жахливо!
Бачите відмінність цієї метрики від швидкості?
Churn rate - наповнена змістом метрика, яка відповідає на запитання, добре це чи погано. І Вам не потрібно гадати, що вона означає.
Це метрика, яка сама за себе говорить!
І тепер ми готові вжити термінових дій, щоб зменшити відтік клієнтів.
Саме тому такі метрики називають дієвими. Тому що вони спонукають до дії.
Критерій "солодкості" метрик
Є дуже простий спосіб визначити, що метрика "солодка / пихатої" (англ. vanity).
Більшість абсолютних метрик, таких, як відвідуваність, кількість завантажень, кількість ретвітів, кількість email-ів/передплатників, кількість лайків і т.д. є солодкими.
Відносні, виважені, метрики часто бувають дієвими. Але не все!
Що ж до якісних метрик, то тут однозначності немає, т.к. якісна оцінка як така може бути точної і однозначної.
Але з іншого боку, оцінювати зручність програми можна і потрібно саме за рівнем сприйняття кінцевих користувачів і інакше.
Як підступитися до метриків загалом?
Насамперед потрібно перевернути мозок.
Без жартів.
Кожен(!) хто стикається з метриками, насамперед починає шукати в них причину буття. Але вони її не покажуть, на жаль.
Метрики - це просто як звичайна лінійка, за допомогою якої ми вимірюємо все, що хочемо.
Ви ж не шукаєте причину буття у звичайній дерев'яній лінійці, правда?
Пошук сенсу життя в лінійці - це те, що називається "підхід знизу вгору".
Для правильної роботи з метриками потрібно змінити парадигму та почати працювати навпаки, зверху-вниз.
Тобто. спочатку робити якусь дію, а потім вже за допомогою метрик вимірювати ефект, що вийшов від нього.
Слід використовувати метрики як звичайний предмет для вимірювання і не більше.
Вдумайтесь у ці слова.
Вимірюйте за допомогою метрик ефект від ваших дій, а не вигадуйте дії на підставі показань дерев'яної лінійки.
Такий підхід ще називають “Гіпотеза->Вимірювання”.
Ок, із цим зрозуміло.
Запитання № 2: “А що саме вимірювати? Як знайти правильні метрики?
Як скласти свій набір метрик?
Полазивши по Інтернету Ви напевно знайдете десятки, а то й сотні різних метрик на ту саму тему.
Наприклад, метрик якості можна знайти близько сотні. Це і стандарти ГОСТР-ІСО, і метрики, що розраховуються в SonarQube, і якісь самописні варіанти, і навіть якісні метрики, засновані на відгуках користувачів.
Тож які ж варто використовувати, а які ні?
Найкращий підхід - керуватися "основною цінністю".
OMTM (One Metric That Matters)
Давайте розглянемо приклад.
Зрозуміло, що якщо Ви хочете покращити якість Вашого програмного продукту, то виміряти цю якість можна різними шляхами.
Якість – це не лише кількість помилок. Якщо дивитися на якість загалом, то це:
кількість інцидентів у промі,
зручність використання та простота сприйняття,
швидкість роботи,
повнота та своєчасність реалізації запланованого функціоналу,
безпеку.
Критеріїв багато і працювати одразу з усіма неможливо. Надходять дуже просто: вибирають один, найважливіший в даний момент критерій, і працюють тільки з ним.
Такий підхід називається OMTM (One Metric That Matters) – Одна (Єдина) Важлива Метрика.
ОМТМ якості ПЗ логічно вибрати кількість серйозних (важливих та критичних) інцидентів у промисловому середовищі.
Для інтернет-магазинів над OMTM взагалі думати не треба – це обсяг продажу чи прибуток (залежно від Вашого рішення).
Ця одна важлива метрика і буде основною цінністю для Вашого набору метрик. І саме від неї залежатиме їхній фінальний набір.
Цінність Inside
Складати набір метрик часто починають від балди, порившись в Інтернеті і вибравши зі знайденого найкращі варіанти за принципом: О! Це нам підійде!
Як Ви розумієте, це не найкращий спосіб, вірно?
Але як вирішити яку метрику брати, а яку ні?
Наприклад, часто вимірюють різноманітні конверсії користувачів.
Але чому вимірюють саме користувачів, а не щось ще? Ви не замислювалися над цим питанням?
Звісно, відповідь є.
Давайте розглянемо інтернет-магазин як найпростіший для розуміння приклад.
Допустимо, Ви хочете збільшити обсяг продажів. Які метрики вам знадобляться? Як до цього підійти?
Є один простий, логічний та працюючий спосіб. Все встає на свої місця, коли Ви відповідаєте на запитання:
Хто виробляє цінність?
Адже ми працюємо над обсягом продажів, так? Хочемо його збільшити, правда?
На кого і на що потрібно вплинути, щоби збільшити обсяг продажів?
Звичайно,
потрібно впливати на причину
того, хто “виробляє” цінність.
Хто робить гроші в інтернет-магазині? Звідки з'являються гроші?
Дуже просто: від клієнтів.
Де саме в інтернет-магазині можна вплинути на клієнтів?
Та де завгодно!
Правильно. На кожному з етапів життєвого циклу клієнта.
Для подання життєвого циклу зручно будувати т.зв. "воронку" руху клієнта по процесу.
Приклад вирви інтернет-магазину:
Чому так? Тому що клієнти губляться саме при переходах з одного кроку вирви на інший.
Збільшуючи кількість клієнтів на якомусь рівні вирви, ми автоматично збільшуємо результуючий обсяг продажів.
Простий приклад.
Метрика "Відсоток кинутих кошиків" по суті показує конверсію під час переходу від товарного кошика до оформленого замовлення.
Припустимо, при першому вимірі Ви виявили, що губиться 90% кошиків, тобто. з 10 кошиків робиться лише 1 замовлення.
З товарним кошиком явно щось не так, правда?
Для простоти вважатимемо, що сума одного замовлення - 100 руб. Т.о. підсумковий обсяг продажів становитиме всього 100 руб.
В результаті доопрацювання кошика відсоток кинутих кошиків зменшився на 10%, до 80%. Як це виглядає у цифрах?
З 10 кошиків стали оформляти 2 замовлення. 100 руб * 2 = 200 руб.
Але ж це збільшення обсягу продажів на 100%! Бінґо!
Збільшивши конверсію кроку лише на 10% Ви збільшили обсяг продажів на 100%.
Фантастика!
Але саме так це працює.
Розумієте тепер у чому принадність правильно побудованих метрик?
З їх допомогою можна досягти фантастичного впливу на Ваші процеси.
З інтернет-магазином все досить просто, а як це все перекласти, наприклад, на якість програмного продукту? Так само:
- Вибираємо основну цінність над якою працюємо. Наприклад, скорочуємо кількість інцидентів у промі.
- Розуміємо, хто і що справляє цю цінність. Наприклад, вихідний код.
- Будуємо вирву життєвого циклу вихідного коду і розставляємо метрики на кожному кроці вирви. Всі.
Ось, наприклад, які метрики якості могли б вийти (на знижку).
Показник цінності:
- щільність дефектів прома на 1000 рядків коду
Метрики виходячи з життєвого циклу вихідного коду:
- частка невдалих компіляцій,
- охоплення автотестами,
- частка невдалих автотестів,
- частка невдалих розгортань.
Метрики виходячи з життєвого циклу дефектів:
- динаміка виявлення дефектів,
- динаміка виправлення,
- динаміка перевідкриттів,
- динаміка відхилень дефектів,
- середній час очікування виправлення,
- середній час виправлення.
Підсумки
Як бачите, тема метрик реально дуже важлива, потрібна та цікава.
Як правильно підібрати метрики:
Вибирайте OMTM, продумуйте її основну цінність та вимірюйте виробників цієї цінності.
Метрики будуйте на підставі вирви життєвого циклу виробника.
Намагайтеся не використовувати абсолютні метрики.
Що ще почитати на цю тему
Тема метрик стала популярна на хвилі руху Lean Startup, тому найкраще почати читання з першоджерел - книг "Lean Startup" (переклад на російську - "Бізнес з нуля. Метод Lean Startup" на Ozon) і "Lean Analytics" (перекладу немає, але книга англійською продається на Ozon).
Деяку інформацію можна знайти в Інтернеті навіть російською мовою, але всеосяжного підручника, на жаль, поки що знайти не вдалося навіть у західному сегменті.
До речі, зараз з'явилися навіть окремі фахівці "продуктологи", завданням яких є побудова правильної системи метрик для свого продукту та пропозиція шляхів щодо їх поліпшення.
На цьому все.
Якщо стаття допомогла Вам краще зрозуміти суть питання, автор буде вдячний за лайк і перепост.
Джерело: habr.com