Mierniki to głupota, powiesz i będziesz miał rację. W pewnym sensie.
Rzeczywiście, gdy mowa o miernikach, pierwszą, która przychodzi na myśl, jest odwiedzalność.
Wielu lubi medytować godzinami, wpatrując się w wykres odwiedzalności swojej witryny.
To niesamowite, obserwować, jak linia skacze – tam i z powrotem, tam i z powrotem… A jeszcze lepiej, gdy odwiedzalność witryny rośnie bez przerwy.
Wtedy błogie ciepło rozlewa się po całym ciele, a umysł unosi się ku niebiosom w oczekiwaniu na manna z nieba.
Ach, jaka to radość, jakie błogosławieństwo!
A nawet jeśli obraz jest ponury…
Od wykresu nie można oderwać wzroku, tak wciąga.
Wydaje się, że w wykresie ukryty jest tajemny sens. Jeszcze chwilkę, a obrazek odkryje swoje sekrety i pokaże niesamowicie prosty i skuteczny sposób na przyciągnięcie ogromnej liczby klientów. A wtedy pieniądze z pewnością popłyną strumieniem.
Ale w rzeczywistości odwiedzalność to typowa "słodka (pyszna) metryka", która nie niesie w sobie żadnego użytecznego sensu.
A takich metryk jest większość. Przede wszystkim wszystkie metryki, które zobaczysz – są słodkie. I z tego powodu metryki zyskały złą sławę jako bezsensowna strata czasu i energii.
Ale w rzeczywistości jest zupełnie inaczej. Odpowiednie metryki dostarczają niezwykle ważnych, a czasami bezcennych informacji dla biznesu i projektu.
Główny bonus i cel metryk polega na tym, że pozwalają na zarządzanie Twoim biznesem lub projektem.
Jak określić, że metryka jest zła?
Przyjrzyjmy się bardzo prostemu przykładowi – prędkości samochodu.
Powiedz, proszę, co oznacza prędkość…
100 km/h?
Hmm…
Hmm…
Co to dokładnie oznacza?
Myślę, że sam się domyślasz, że… nic nie oznacza!
Dobrze. Teraz drugie pytanie:
Czy 100 km/h to dobrze czy źle?
Hmm…
Ani jedno, ani drugie?
Zgadza się!
Prędkość to zupełnie bezużyteczna i daremna metryka. Jeśli oczywiście używać jej samodzielnie. W połączeniu z innymi metrykami może coś powiedzieć, ale sama w sobie – z pewnością nie.
Odwiedzalność strony internetowej to dokładnie ta sama prędkość.
Dlatego wiszenie przed wykresem odwiedzalności zupełnie nie ma sensu. Nie odkryje Ci tajemnicy życia. Rozumiesz teraz?
A jakie metryki są więc dobre?
Na przykład, Churn rate. Ta metryka mówi, ile klientów opuściło firmę/stronę na stałe w czasie.
Churn rate = 1% oznacza, że tracimy tylko 1% klientów. Tzn. prawie nikogo nie tracimy.
Jeśli jednak Churn rate = 90%, to oznacza, że tracimy prawie wszystkich naszych klientów. To straszne!
Czy widzisz różnicę między tą metryką a prędkością?
Churn rate — to metryka pełna znaczenia, która odpowiada na pytanie, czy to dobrze, czy źle. I nie musisz zgadywać, co ona oznacza.
To metryka, która mówi sama za siebie!
I teraz jesteśmy gotowi podjąć pilne działania, aby zmniejszyć odpływ klientów.
To dlatego takie metryki nazywają się skutecznymi. Ponieważ skłaniają do działania.
Kryterium 'słodkości' metryk
Jest bardzo prosty sposób, aby określić, że metryka jest 'słodka / próżna' (ang. vanity).
Większość absolutnych metryk, takich jak liczba odwiedzin, liczba pobrań, liczba retweetów, liczba e-maili/subskrybentów, liczba polubień itp. są słodkie.
Metryki względne, wyważone, często bywają skuteczne. Ale nie wszystkie!
Jeśli chodzi o metryki jakościowe, to tutaj nie ma jednoznaczności, ponieważ ocena jakości sama w sobie nie może być dokładna i jednoznaczna.
Ale z drugiej strony, ocena użyteczności programu powinna opierać się na poziomie odbioru przez ostatecznych użytkowników i niczym innym.
Jak podejść do metryk w ogóle?
Na początku trzeba przewrócić myślenie.
Bez żartów.
Każdy (!) kto styka się z metrykami, najpierw zaczyna szukać w nich przyczyny bytu. Ale niestety, nie pokażą tego.
Metryki — to po prostu jak zwykła linijka, za pomocą której mierzymy wszystko, co chcemy.
Nie szukasz przyczyny bytu w zwykłej drewnianej linijce, prawda?
Szukając sensu życia w linijce, stosujesz podejście 'od dołu do góry'.
Aby prawidłowo pracować z metrykami, trzeba zmienić paradygmat i zacząć działać odwrotnie, od góry do dołu.
Tzn. najpierw podejmujesz jakieś działanie, a następnie za pomocą metryk mierzysz uzyskany efekt.
Należy używać metryk jak zwykłego narzędzia do pomiarów i nic więcej.
Zastanów się nad tymi słowami.
Mierz efekty swoich działań za pomocą metryk, a nie wymyślaj działań na podstawie wskazań drewnianej linijki.
Takie podejście nazywa się „Hipoteza->Pomiar”.
Ok, to rozumiem.
Pytanie nr 2: „Co dokładnie mierzyć? Jak znaleźć odpowiednie metryki?”
Jak stworzyć swój zestaw metryk?
Przeglądając Internet, na pewno znajdziesz dziesiątki, a nawet setki różnych metryk na ten sam temat.
Na przykład, metryk jakości oprogramowania można znaleźć około stu. To zarówno standardy GOST-R-ISO, jak i metryki obliczane w SonarQube, a także różne autorskie warianty, a nawet „jakościowe” metryki oparte na opiniach użytkowników.
Które z nich warto stosować, a które nie?
Najlepszym podejściem jest kierowanie się „podstawową wartością”.
OMTM (One Metric That Matters)
Przyjrzyjmy się przykładowi.
Jasne jest, że jeśli chcesz poprawić jakość swojego produktu oprogramowania, to można to mierzyć na różne sposoby.
Jakość to nie tylko liczba błędów. Patrząc na jakość w całości, to:
liczba incydentów w produkcji,
wygoda użytkowania i łatwość odbioru,
szybkość działania,
kompletność i terminowość realizacji zaplanowanej funkcjonalności,
bezpieczeństwo.
Jest wiele kryteriów i nie da się pracować od razu ze wszystkimi. Podejmuje się bardzo proste kroki: wybiera się jeden, najważniejszy w danym momencie kryterium i pracuje się tylko z nim.
To podejście nazywa się OMTM (One Metric That Matters) — Jedna (Jedyna) Ważna Metryka.
OMTM jakości oprogramowania logicznie wybiera liczbę poważnych (ważnych i krytycznych) incydentów w środowisku produkcyjnym.
Dla sklepów internetowych w ogóle nie trzeba myśleć o OMTM — to wartość sprzedaży lub zysk (w zależności od Twojej decyzji).
Ta Jedna Ważna Metryka będzie podstawową wartością dla Twojego zestawu metryk. To właśnie od niej będzie zależał ich ostateczny zestaw.
Wartość Inside
Zestaw metryk często tworzy się „na chybił trafił”, przeszukując Internet i wybierając najlepsze opcje według zasady: „O! To nam pasuje!”
Jak rozumiesz, to nie jest najlepszy sposób, prawda?
Ale jak zdecydować, którą metrykę wziąć, a którą odrzucić?
Na przykład, często mierzy się różnego rodzaju konwersje użytkowników.
Ale dlaczego mierzy się właśnie użytkowników, a nie coś innego? Nie zastanawiałeś się nad tym pytaniem?
Oczywiście, jest na to odpowiedź.
Przyjrzyjmy się sklepowi internetowemu jako najprostszemu do zrozumienia przykładowi.
Załóżmy, że chcesz zwiększyć sprzedaż. Jakie metryki będą ci do tego potrzebne? Jak podejść do tego zagadnienia?
Jest jeden prosty, logiczny i skuteczny sposób. Wszystko układa się w całość, gdy odpowiadasz na pytanie:
KTO PRODUKUJE WARTOŚĆ?
Pracujemy nad zwiększeniem sprzedaży, prawda? Chcemy ją zwiększyć, zgoda?
Na kogo i co należy wpłynąć, aby zwiększyć sprzedaż?
Oczywiście,
Należy wpływać na przyczynę —
na tego, kto „produkuje” wartość.
Kto generuje pieniądze w sklepie internetowym? Skąd się biorą pieniądze?
Bardzo prosto: od klientów.
Gdzie dokładnie w sklepie internetowym można wpłynąć na klientów?
Gdziekolwiek!
Dokładnie. Na każdym etapie cyklu życia klienta.
Aby przedstawić cykl życia, wygodnie jest zbudować tzw. „lejek” przemieszczania się klienta przez proces.
Przykład lejka sklepu internetowego:
Dlaczego właśnie tak? Ponieważ klienci gubią się głównie podczas przejść z jednego kroku lejka do drugiego.
Zwiększając liczbę klientów na jakimkolwiek etapie lejka, automatycznie zwiększamy wynikową sprzedaż.
Prosty przykład.
Metryka „Procent porzuconych koszyków” w zasadzie pokazuje konwersję przy przejściu od koszyka do sfinalizowanego zamówienia.
Załóżmy, że podczas pierwszego pomiaru odkryłeś, że 90% koszyków jest porzucanych, tzn. z 10 koszyków realizuje się tylko 1 zamówienie.
Coś z koszykiem jest zdecydowanie nie tak, prawda?
Dla uproszczenia przyjmijmy, że suma jednego zamówienia wynosi 100 zł. Tak więc końcowa sprzedaż wyniesie tylko 100 zł.
W wyniku optymalizacji koszyka, procent porzuconych koszyków zmniejszył się o 10%, do 80%. Jak to wygląda w liczbach?
Z 10 koszyków zaczęto realizować 2 zamówienia. 100 zł * 2 = 200 zł.
Ale to zwiększenie sprzedaży o 100%! Bingo!
Zwiększając konwersję etapu tylko o 10% zwiększyłeś sprzedaż o 100%.
Fantastyka!
Ale dokładnie tak to działa.
Rozumiesz teraz, na czym polega urok dobrze zbudowanych metryk?
Za ich pomocą można osiągnąć fantastyczny wpływ na Twoje procesy.
W przypadku sklepu internetowego jest to dość proste, ale jak przełożyć to na jakość produktu programowego? Dokładnie tak samo:
- Wybieramy podstawową wartość, nad którą pracujemy. Na przykład, zmniejszamy liczbę incydentów w produkcie.
- Rozumiemy, kto i co produkuje tę wartość. Na przykład, kod źródłowy.
- Budujemy lejek cyklu życia kodu źródłowego i ustalamy metryki na każdym kroku lejka. Wszystko.
Na przykład, jakie metryki jakości mogłyby się pojawić (tak na szybko)…
Wskaźnik wartości:
- gęstość defektów produktu na 1000 linii kodu
Metryki w oparciu o cykl życia kodu źródłowego:
- procent nieudanych kompilacji,
- zasięg testów automatycznych,
- procent nieudanych testów automatycznych,
- procent nieudanych wdrożeń.
Metryki w oparciu o cykl życia defektów:
- dynamika wykrywania defektów,
- dynamika napraw,
- dynamika ponownego otwierania,
- dynamika odchyleń defektów,
- średni czas oczekiwania na naprawę,
- średni czas naprawy.
Podsumowanie
Jak widać, temat metryk jest naprawdę bardzo ważny, potrzebny i interesujący.
Jak właściwie dobrać metryki:
Wybieraj OMTM, przemyśl jej główną wartość i mierz producentów tej wartości.
Metryki buduj na podstawie lejka cyklu życia producenta.
Staraj się nie używać metryk absolutnych.
Co jeszcze przeczytać na ten temat
Temat metryk stał się popularny na fali ruchu Lean Startup, dlatego najlepiej rozpocząć lekturę od źródeł pierwotnych – książek „Lean Startup” (przekład na polski – „Biznes od podstaw. Metoda Lean Startup” na Ozonie) i „Lean Analytics” (przekładu nie ma, ale książka po angielsku jest sprzedawana na Ozonie).
Niektóre informacje można znaleźć w Internecie nawet w języku polskim, ale niestety nie udało się znaleźć kompleksowego podręcznika, nawet w zachodnim segmencie.
A propos, pojawili się nawet oddzielni specjaliści „produktowcy”, których zadaniem jest budowanie właściwego systemu metryk dla swojego produktu i proponowanie sposobów ich poprawy.
To wszystko.
Jeśli artykuł pomógł Ci lepiej zrozumieć sedno sprawy, autor będzie wdzięczny za „lajk” i udostępnienie.
Źródło: habr.com
