Selguse saamine metrikutes: kuidas ma mõistsin, mis on metrikud ja milles on nende peamine võlu

Metrikad — see on jama, ütlete teie, ja teil on õigus. Millegagi.

Tõepoolest, kui rääkida metrikatest, siis esimene metrika, mis pähe tuleb, on külastatavus.

Paljud armastavad tundide kaupa mediteerida, jälgides oma veebisaidi külastatavuse graafikut.

Kuidas on see äge, jälgida, kuidas joon kõigub — siia-sinna, siia-sinna... Ja veel ägedam on see, kui veebisaidi külastatavus pidevalt kasvab.

Siis levib õndsus kogu kehas ja mõistus tõuseb taevasse oodates taevariiki.

Ah, milline rõõm, milline õndsus!

Ja isegi kui pilt on kurb...

Graafikust on siiski raske silmi ära pöörata, kuna see tõmbab endasse.

Tundub, et graafikus peitub salajane tähendus. Veel natuke, ja pilt avab oma saladused, paljastades uskumatult lihtsa ja tõhusa viisi, kuidas meelitada tohutut hulka kliente. Ja siis voolavad rahad kindlasti jõena.

Aga tegelikult on külastatavus tüüpiline 'magus (uhke) metrika', mis ei kanna endas kasulikku tähendust.

Ja selliseid mõõdikuid on enamiku. Peamiselt kõik mõõdikud, mida te näete, on magusad. Ja just seetõttu on mõõdikutele kujunenud halb maine mõttetu aja ja vaeva raiskamise osas.

Aga tegelikult on see täiesti vale. Õiged mõõdikud annavad äärmiselt olulist, mõnikord isegi hindamatut teavet teie ettevõtte ja projekti jaoks.

Peamine boonuse ja mõõdikute eesmärk on võimaldada teil hallata oma ettevõtet või projekti.

Kuidas määrata, et mõõdik on halb?

Vaatame väga lihtsat näidet — auto kiirus.

Palun öelge, mida tähendab kiirus…

100 km/h?

Hm…

Hm…

Mida see siis tähendab?

Arvan, et te olete ilmselt juba mõelnud, et… see ei tähenda midagi!

Selge. Nüüd teine küsimus:

Kas 100 km/h on hea või halb?

Hm…

Ei kumbagi?

Õige!

Kiirus on täiesti kasututu ja mõttetu mõõdik. Kui kasutada seda iseenesest. Koos teiste mõõdikute ka võib see midagi öelda, aga üksi — kindlasti mitte.

Veebisaidi külastatavus on täpselt sama kiirus.

Seetõttu pole veebisaidi külastatavuse statistika jälgimine üldse mõttekas. See ei avalikusta elu saladusi. Kas nüüd saate aru?

Millised näitajad siis on head?

Näiteks, Churn rate. See näitaja näitab, kui palju kliente on ettevõttest/veebisaidilt igaveseks lahkunud ajas.

Churn rate = 1% ütleb, et kaotame vaid 1% kliente. Peaaegu mitte kedagi ei kaota.

Kui aga Churn rate = 90%, siis see tähendab, et kaotame peaaegu kõik oma kliendid. See on kohutav!

Kas näete, kuidas see näitaja erineb kiirusest?

Churn rate on mõttega täidetud näitaja, mis vastab küsimusele, kas see on hea või halb. Ja te ei pea oletama, mida see tähendab.

See on näitaja, mis räägib enda eest!

Nüüd oleme valmis astuma kiireid samme, et vähendada klientide lahkumist.

Seetõttu kutsutakse selliseid näitajaid toimivaks. Sest need kutsuvad esile tegutsemist.

Näitajate „pehmuse” kriteerium

On väga lihtne määrata, kas näitaja on „pehme / edev” (ingl. vanity).

Enamik absoluutsetest näitajatest, näiteks külastatavuse, allalaadimiste, retweetide arvu, e-posti / tellijate arvu, meeldimiste arvu jne. on liiga magusad.

Relatiivsed, kaalutud mõõdud on tihti tõhusad. Aga mitte alati!

Kvaliteetsete mõõdudega on aga asi selge: kvaliteetne hindamine ei saa olla täpne ja ühemõtteline.

Teisest küljest tuleb programmi kasutusmugavust hinnata just lõppkasutajate tajumise taseme järgi ja mitte kuidagi teisiti.

Kuidas üldiselt meetrikatega alustada?

Esimeseks tuleb mõtteviisi ümber pöörata.

Ilma naljata.

Igaüks(!), kes puutub kokku meetrikatega, hakkab kõigepealt otsima neis asjade olemust. Kahjuks ei näita need seda.

Mõõdikud on lihtsalt nagu tavaline joonlaud, millega mõõdame kõike, mida soovime.

Te ju ei otsi oma tavalise puust joonlaua olemust, eks?

Elu mõtte otsimine joonlauast on see, mida nimetatakse „alt üles lähenemiseks”.

Mõõtudega õigeks töötamiseks tuleb vahetada paradigmasid ja hakata töötama vastupidiselt, ülevalt alla.

Ehk siis, esmalt soorita mingi tegevus ja seejärel mõõda selle tulemuslikkust mõõdikute abil.

Mõõdikuid tuleks kasutada nagu tavalisi mõõtmise vahendeid, mitte rohkem.

Mõtle nendele sõnadele.

Mõõda oma tegude mõju mõõdikute abil, mitte ära genereeri tegevusi vastavalt puust joonlaudu näitudele.

Seda lähenemist nimetatakse ka 'Hüpotees->Mõõtmine'.

Sellega on selge.

Küsimus nr 2: 'Mida täpselt mõõta? Kuidas leida õiged mõõdikud?'

Kuidas koostada oma mõõdikute komplekt?

Otsides internetist leiad kindlasti kümneid, kui mitte sadu erinevaid mõõdikuid sama teema kohta.

Näiteks on tarkvara kvaliteedi mõõdikuid umbes sada. Need hõlmavad nii GOST R ISO standardeid, SonarQube'is arvutatud mõõdikuid, kui ka mõningaid ise loodud variante ning isegi 'kvaliteetseid' mõõdikuid, mis põhinevad kasutajate tagasisidel.

Niisiis, milliseid tuleks kasutada ja milliseid mitte?

Parim lähenemine on lähtuda 'peamisest väärtusest'.

OMTM (Üks mõõdik, mis loeb)

Vaatame näidet.

On arusaadav, et kui soovite oma tarkvaratoote kvaliteeti parandada, saab seda kvaliteeti mõõta erinevate meetoditega.

Kvaliteet ei ole ainult vigade hulk. Kui vaadata kvaliteeti laiemalt, siis see hõlmab:

juhtumite arvu tootmises,
kasutajasõbralikkust ja selgust,
töö kiirus,
planeeritud funktsionaalsuse täielikkust ja õigeaegset teostamist,
turvalisust.

Kriteeriume on palju ja kõigiga korraga töötamine ei ole võimalik. Käitutakse väga lihtsalt: valitakse üks, kõige olulisem praegu olev kriteerium ja töötatakse vaid selle kallal.

Seda lähenemist nimetatakse OMTM (One Metric That Matters) – Üks (ainus) oluline mõõdik.

Tarkvarakvaliteedi OMTM-iks on loogiline valida tõsiste (oluliste ja kriitiliste) juhtumite arv tootmiskeskkonnas.

Internetipoed ei pea OMTM-i üle üldse mõtlema – see on müügimaht või kasum (oleneb teie otsusest).

See Üks Oluline Mõõdik on teie mõõdikute komplekti peamine väärtus. Ja just sellest sõltub nende lõplik koosseis.

Inside'i väärtus

Mõõdikute kogumist hakatakse tihti tegema „tundmatult”, otsides Internetist ja valides leitud parimad valikud, lähtudes põhimõttest: „Oo! See sobib meile!”

Kuidas te aru saite, et see ei ole parim viis, eks?

Aga kuidas otsustada, millist mõõdikut võtta ja millist mitte?

Näiteks mõõdetakse tihti erinevat tüüpi kasutaja konversioone.

Aga miks mõõdetakse just kasutajaid, mitte midagi muud? Kas te pole selle üle kunagi mõelnud?

Loomulikult on sellele küsimusele vastus.

Vaatame veebipood kui kõige lihtsamat mõistetavat näidet.

Oletame, et soovite müüki suurendada. Millised mõõdikud on teil selleks vajalikud? Kuidas sellele läheneda?

On üks lihtne, loogiline ja toimiv viis. Kõik paigutub oma kohtadele, kui vastate küsimusele:

KES TOODEB VÄÄRTUST?

Me töötame ju müügimahu nimel, eks? Soovime seda suurendada, jah?

Kellele ja millele tuleb mõju avaldada, et müügimahu suurendada?

Muidugi,

Tuleb mõjutada põhjust —
seda, kes ‘toodab’ väärtust.

Kes teenib raha veebipoes? Kust raha tuleb?

Väga lihtne: klientidelt.

Kus internetipoes saab kliente mõjutada?

Igal pool!
Täpselt. Iga kliendi elutsükli etapis.

Kliendi elutsükli esitamiseks on kasulik koostada nn "klientide liikumise funnel".

Internetipoe funnel'i näide:

Miks just nii? Sest kliendid kaotatakse just siis, kui nad liiguvad ühelt funnel'i sammult teisele.

Suurendades kliente mõnel funnel'i tasandil, suurendame automaatselt ka müügimahtu.

Lihtne näide.

Näitaja „Hülgatud ostukorvi protsent” näitab sisuliselt konversiooni ostukorvist tellimuse vormistamisele üleminekul.

Kujutage ette, et esimesel mõõtmisel leiate, et 90% ostukorvidest kaob, st 10 ostukorvist tehakse vaid 1 tellimus.

Ostukorviga on selgelt midagi valesti, eks?

Lihtsuse huvides oletame, et ühe tellimuse summa on 100 rubla. Seega kokkuvõttes müügimaht on vaid 100 rubla.

Pärast ostukorvi täiustamist vähenes hülgatud ostukorvi protsent 10%, 80%-ni. Kuidas see numbrites välja näeb?

10 ostukorvist hakati vormistama 2 tellimust. 100 rubla * 2 = 200 rubla.

Aga see on ju müügimahtude suurenemine 100%! Bingo!

Sammudes konversiooni suurendamine vaid 10% suurendab teie müügimahtu 100%.

Fantastiline!

Nii see ongi.

Kas nüüd mõistate, mis teeb õigesti ehitatud mõõdikud nii suurepäraseks?

Nende abil on võimalik saavutada fantastiline mõju teie protsessidele.

Veebipoega on kõik üsna lihtne, aga kuidas seda näiteks tarkvara kvaliteedi peale üle kanda? Täpselt sama moodi:

1. Valime peamise väärtuse, millega töötame. Näiteks vähendame tõrgete arvu tootmises.
2. Mõistame, kes ja mis loob seda väärtust. Näiteks lähtekood.
3. Ehitatud lähtekoodi elutsükli müra ning seame mõõdikud iga sammu peale. See on kõik.

Näiteks, millised kvaliteedi mõõdikud võiksid välja tulla (kiirelt)…

Väärtuse näitaja:

• tõrke tihedus 1000 koodi rea kohta

Mõõdikud lähtekoodi elutsükli põhjal:

• ebaõnnestunud kompileerimiste osakaal,
• automaattestide katvuse osakaal,
• ebaõnnestunud automaattestide osakaal,
• ebaõnnestunud juurutamiste osakaal.

Defektide elutsükli mõõdikud:

• defektide avastamise dünaamika,
• parandamise dünaamika,
• uuesti avatud defektide dünaamika,
• defektide kõrvalekalde dünaamika,
• keskmine ooteaeg parandamiseks,
• keskmine parandamise aeg.

Kokkuvõte

Nagu näete, on mõõdikute teema tõeliselt väga tähtis, vajalik ja huvitav.

Kuidas valida mõõdikuid:

Valige OMTM, mõelge välja selle põhiväärtus ja mõõtke selle väärtuse tootjat.

Mõõdikud rajage tootja elu tsükli funnelile.

Püüdke mitte kasutada absoluutseid mõõdikuid.

Mida muud sellest teemast lugeda

Mõõdikute teema muutus populaarseks Lean Startup liikumise laine harjal, nii et parim on lugemise alustamine esmastest allikatest — raamatutest “Lean Startup” (vene keeles — “Бизнес с нуля. Метод Lean Startup” Ozonis) ja “Lean Analytics” (vene keeles tõlget pole, kuid raamat inglise keeles on saadaval Ozonis).

Mõningast teavet leiab Internetist isegi vene keeles, kuid kõikehõlmavat õpikuhul pole kahjuks isegi läänes veel leidnud.

Muide, nüüd on ilmunud isegi eraldi spetsialistid “tootejuhid”, kelle ülesanne on luua oma tootele õige mõõdikute süsteem ja pakkuda lahendusi nende parendamiseks.

Sellega on kõik.

Kui artikkel aitas teil küsimuse olemust paremini mõista, oleks autor tänulik “meeldimise” ja jagamise eest.

Allikas: habr.com