Innsikt i metrikk: hvordan jeg forsto hva metrikk er og hva som er deres viktigste sjarm

Beregninger er tull, sier du, og du vil ha rett. I noe.

Faktisk, når det kommer til beregninger, er den aller første beregningen du tenker på, trafikk.

Mange mennesker liker å meditere i timevis og se på trafikkgrafen til nettstedet deres.

Innsikt i metrikk: hvordan jeg forsto hva metrikk er og hva som er deres viktigste sjarm

Så kult det er å se linjen hoppe - frem og tilbake, frem og tilbake... Og det er enda kulere når trafikken på nettstedet vokser kontinuerlig.

Så sprer salig varme seg over hele kroppen og sinnet svever til himmelen i påvente av himmelsk manna.

Ah, hvilken glede, hvilken lykke!

Innsikt i metrikk: hvordan jeg forsto hva metrikk er og hva som er deres viktigste sjarm

Og selv om bildet er trist...

Innsikt i metrikk: hvordan jeg forsto hva metrikk er og hva som er deres viktigste sjarm

Du kan fortsatt ikke fjerne øynene fra kartet, det er så vanedannende.

Innsikt i metrikk: hvordan jeg forsto hva metrikk er og hva som er deres viktigste sjarm

Det ser ut til at det er en hemmelig betydning skjult i grafikken. Litt mer, og bildet vil avsløre sine hemmeligheter og fortelle deg en utrolig enkel og effektiv måte å tiltrekke seg et stort antall kunder. Og da vil pengene definitivt renne som en elv.

Men faktisk er oppmøte en typisk "søt (forfengelighet) beregning" som ikke har noen nyttig betydning.

Og dette er flertallet av beregningene. I utgangspunktet er alle beregningene du ser sukkerholdige. Og det er grunnen til at beregninger har et dårlig rykte som en meningsløs sløsing med tid og krefter.

Men i virkeligheten er dette ikke tilfelle i det hele tatt. De riktige beregningene gir ekstremt viktig og noen ganger uvurderlig informasjon for en bedrift og et prosjekt.

Hovedbonusen og formålet med beregninger er at de gjør det mulig å administrere virksomheten eller prosjektet ditt.

Hvordan finne ut om en beregning er dårlig?

La oss se på et veldig enkelt eksempel - hastigheten til en bil.

Fortell meg hva hastighet betyr...

100 km/t?

Innsikt i metrikk: hvordan jeg forsto hva metrikk er og hva som er deres viktigste sjarm

Hmm ...

Hmm ...

Så hva betyr det?

Jeg tror du sikkert har gjettet det selv at... ikke betyr noe!

OK. Nå det andre spørsmålet:

Er 100 km/t bra eller dårlig?

Hmm ...

Verken det ene eller det andre?

Ikke sant!

Hastighet er en helt ubrukelig og dum beregning. Med mindre du selvfølgelig bruker den alene. Kombinert med andre beregninger kan det selvfølgelig si noe, men i seg selv gjør det det absolutt ikke.

Nettstedstrafikken har nøyaktig samme hastighet.

Innsikt i metrikk: hvordan jeg forsto hva metrikk er og hva som er deres viktigste sjarm

Derfor er det absolutt ingen vits i å henge foran nettstedets trafikkdiagram. Han vil ikke avsløre livets hemmelighet for deg. Forstår du nå?

Hvilke beregninger er gode da?

For eksempel Churn rate. Denne beregningen forteller deg hvor mange kunder som har forlatt selskapet/nettstedet for alltid over tid.

Churn rate = 1 % sier at vi bare mister 1 % av kundene. De. Vi mister nesten ingen.

Hvis Churn rate = 90%, betyr dette at vi mister nesten alle våre kunder. Det er forferdelig!

Ser du forskjellen mellom denne metrikken og hastigheten?

Churn rate er en meningsfull beregning som svarer på spørsmålet om noe er bra eller dårlig. Og du trenger ikke gjette hva det betyr.

Dette er en beregning som taler for seg selv!

Og nå er vi klare til å iverksette hastetiltak for å redusere kundefragang.

Innsikt i metrikk: hvordan jeg forsto hva metrikk er og hva som er deres viktigste sjarm

Det er derfor slike beregninger kalles handlingsdyktige. Fordi de oppfordrer til handling.

Kriterium for "søthet" til beregninger

Det er en veldig enkel måte å finne ut at en beregning er "forfengelighet".

Mest absolutte beregninger, for eksempel trafikk, antall nedlastinger, antall retweets, antall e-poster/abonnenter, antall likes osv. er cheesy.

Relative, vektede beregninger er ofte handlingsdyktige. Men ikke alt!

Når det gjelder kvalitetsmålinger, er det ingen sikkerhet her, fordi en kvalitativ vurdering i seg selv kan ikke være nøyaktig og entydig.

Men på den annen side kan og bør brukervennligheten til et program vurderes nøyaktig ut fra nivået på oppfatningen til sluttbrukere og ingenting annet.

Hvordan nærmer man seg beregninger generelt?

Det første du må gjøre er å snu hjernen din.

Tuller ikke.

Alle(!) som kommer over beregninger, begynner først og fremst å lete etter årsaken til å være i dem. Men de vil ikke vise det, dessverre.

Metrikk er akkurat som en vanlig linjal som vi måler alt vi ønsker med.

Innsikt i metrikk: hvordan jeg forsto hva metrikk er og hva som er deres viktigste sjarm

Du leter vel ikke etter eksistensgrunnen i en vanlig trelinjal?

Innsikt i metrikk: hvordan jeg forsto hva metrikk er og hva som er deres viktigste sjarm

Å finne meningen med livet i en linje er det som kalles en "bottom-up-tilnærming."

For å jobbe med beregninger riktig, må du endre paradigmet og begynne å jobbe omvendt, fra topp til bunn.

De. først gjør noe, og bruk deretter beregninger for å måle effekten som følge av det.

Metrikk skal brukes som et vanlig emne for måling og ikke noe mer.

Tenk på disse ordene.

Mål effekten av handlingene dine ved hjelp av beregninger, i stedet for å finne opp handlinger basert på avlesningene til en trelinjal.

Denne tilnærmingen kalles også "Hypotese->Måling".

Ok, dette er klart.

Spørsmål nr. 2: «Hva skal man egentlig måle? Hvordan finne de riktige beregningene?

Hvordan lage ditt eget sett med beregninger?

Etter å ha surfet på Internett, vil du sannsynligvis finne dusinvis, eller til og med hundrevis av forskjellige beregninger om samme emne.

For eksempel kan du finne rundt hundre programvarekvalitetsmålinger. Disse inkluderer GOSTR-ISO-standarder, beregninger beregnet i SonarQube, noen selvskrevne alternativer, og til og med "kvalitets"-målinger basert på brukeranmeldelser.

Så hvilke er verdt å bruke og hvilke er det ikke?

Den beste tilnærmingen er å la seg lede av en «kjerneverdi».

OMTM (One Metric That Matters)

La oss ta et eksempel.

Det er klart at hvis du ønsker å forbedre kvaliteten på programvareproduktet ditt, så kan du måle denne kvaliteten på forskjellige måter.

Kvalitet handler ikke bare om antall feil. Hvis du ser på kvalitet som en helhet, så er dette:

antall hendelser i bransjen,
brukervennlighet og enkel oppfatning,
hastighet på arbeidet,
fullstendighet og aktualitet i implementeringen av den planlagte funksjonaliteten,
sikkerhet.

Det er mange kriterier og det er umulig å jobbe med alle på en gang. De gjør det veldig enkelt: de velger ett, det viktigste kriteriet for øyeblikket, og jobber bare med det.

Denne tilnærmingen kalles OMTM (One Metric That Matters) - One (Single) Important Metric.

Det er logisk for programvarekvaliteten OMTM å velge antall alvorlige (viktige og kritiske) hendelser i et industrielt miljø.

For nettbutikker trenger du ikke tenke på OMTM i det hele tatt - det er salgsvolum eller fortjeneste (avhengig av avgjørelsen din).

Denne ene viktige beregningen vil være kjerneverdien for settet med beregninger. Og deres endelige sett vil avhenge av det.

Verdi på innsiden

De begynner ofte å kompilere et sett med beregninger "ut av det blå," ved å lete på Internett og velge de beste alternativene fra det de fant i henhold til prinsippet: "Oh! Dette vil passe oss!»

Som du forstår, er ikke dette den beste måten, ikke sant?

Men hvordan bestemmer du hvilken beregning du skal ta og hvilken ikke?

For eksempel måles ofte ulike typer brukerkonverteringer.

Men hvorfor måler de brukere og ikke noe annet? Har du tenkt på dette spørsmålet?

Naturligvis er det et svar.

La oss se på en nettbutikk som det enkleste eksemplet å forstå.

La oss si at du ønsker å øke salget. Hvilke beregninger trenger du for dette? Hvordan nærme seg dette?

Det er én enkel, logisk og fungerende måte. Alt faller på plass når du svarer på spørsmålet:

HVEM PRODUSERER VERDI?

Vi jobber basert på salgsvolum, ikke sant? Vi ønsker å øke den, ikke sant?

Hvem og hva må påvirkes for å øke salget?

Selvfølgelig

trenger å påvirke årsaken -
på den som «produserer» verdi.

Hvem tjener penger i en nettbutikk? Hvor kommer pengene fra?

Veldig enkelt: fra kunder.

Hvor akkurat i en nettbutikk kan du påvirke kundene?

Ja, hvor som helst!
Ikke sant. På alle stadier av kundens livssyklus.

For å representere livssyklusen er det praktisk å bygge den såkalte. "trakt" av klientens bevegelse gjennom prosessen.

Et eksempel på en nettbutikktrakt:

Innsikt i metrikk: hvordan jeg forsto hva metrikk er og hva som er deres viktigste sjarm

Hvorfor er det slik? Fordi kunder går seg vill nettopp når de går fra ett trinn i trakten til et annet.

Ved å øke antallet kunder på et hvilket som helst nivå i trakten, øker vi automatisk det resulterende salgsvolumet.

Et enkelt eksempel.

Beregningen "Abandonment rate" viser i hovedsak konverteringsfrekvensen fra en handlekurv til en fullført bestilling.

La oss si at du under den første målingen oppdaget at 90 % av kurvene er tapt, dvs. Av 10 kurver gjøres det kun 1 bestilling.

Det er tydeligvis noe galt med handlekurven, ikke sant?

For enkelhets skyld vil vi anta at mengden av en ordre er 100 rubler. At. det endelige salgsvolumet vil være bare 100 rubler.

Som et resultat av vognforbedringene sank prosentandelen av forlatte vogner med 10 % til 80 %. Hvordan ser dette ut i tall?

Av 10 kurver begynte 2 bestillinger å bli lagt inn. 100 rubler * 2 = 200 rubler.

Men dette er en økning i salgsvolum med 100 %! Bingo!

Ved å øke trinnkonverteringen med bare 10 %, har du økt salgsvolumet med 100 %.

Skjønnlitteratur!

Men det er akkurat slik det fungerer.

Forstår du nå hva som er det fine med korrekt konstruerte beregninger?

Med deres hjelp kan du oppnå en fantastisk innvirkning på prosessene dine.

Med en nettbutikk er alt ganske enkelt, men hvordan kan alt dette overføres, for eksempel til kvaliteten på programvareproduktet? Ja akkurat det samme:

  1. Vi velger kjerneverdien vi jobber med. For eksempel reduserer vi antall hendelser i bransjen.
  2. Vi forstår hvem og hva som produserer denne verdien. For eksempel kildekode.
  3. Vi bygger en kildekodelivssyklustrakt og setter beregninger på hvert trinn i trakten. Alle.

Her, for eksempel, hvilke kvalitetsmålinger kan oppnås (utenfor hodet mitt) ...

Verdiindikator:

  • Tetthet av industrielle defekter per 1000 linjer med kode

Beregninger basert på kildekodens livssyklus:

  • andel mislykkede samlinger,
  • autotest dekning,
  • prosentandel av mislykkede autotester,
  • feilfrekvens for utplasseringer.

Beregninger basert på defektens livssyklus:

  • dynamikk ved defektdeteksjon,
  • dynamikk for korreksjon,
  • dynamikken til gjenoppdagelser,
  • dynamikk av defektavvik,
  • gjennomsnittlig ventetid på en løsning,
  • gjennomsnittlig tid å fikse.

Resultater av

Som du kan se, er temaet metrikk veldig viktig, nødvendig og interessant.

Slik velger du riktige beregninger:

Velg en OMTM, tenk på kjerneverdien, og mål produsentene av den verdien.

Bygg beregninger basert på produsentens livssyklustrakt.

Unngå å bruke absolutte beregninger.

Hva annet å lese om dette emnet

Temaet metrikk ble populært i kjølvannet av Lean Startup-bevegelsen, så det er best å begynne å lese fra hovedkildene - bøkene "Lean Startup" (oversettelse til russisk - "Business from Scratch. The Lean Startup Method" på Ozon) og «Lean Analytics» (det finnes ingen oversettelse, men boken på engelsk selges på Ozon).

Noe informasjon kan bli funnet på Internett selv på russisk, men dessverre er det ennå ikke funnet en omfattende lærebok i det vestlige segmentet.

Forresten, nå er det til og med individuelle "produktspesialister" som har som oppgave å bygge det riktige systemet med beregninger for produktet deres og foreslå måter å forbedre dem på.

Det er alt.

Hvis artikkelen hjalp deg med å forstå essensen av problemet bedre, ville forfatteren være takknemlig for en "liker" og repost.

Kilde: www.habr.com

Legg til en kommentar