{"id":34958,"date":"2019-10-31T22:01:31","date_gmt":"2019-10-31T19:01:31","guid":{"rendered":"https:\/\/prohoster.info\/blog\/kogda-stoit-proveryat-gipotezu-o-ne-menshej-effektivnosti\/"},"modified":"2019-10-31T22:01:31","modified_gmt":"2019-10-31T19:01:31","slug":"kogda-stoit-proveryat-gipotezu-o-ne-menshej-effektivnosti","status":"publish","type":"post","link":"https:\/\/prohoster.info\/da\/blog\/news\/kogda-stoit-proveryat-gipotezu-o-ne-menshej-effektivnosti","title":{"rendered":"Hvorn\u00e5r b\u00f8r man teste hypotesen om ikke mindre effektivitet?","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

\"Hvorn\u00e5r
\nArtiklen fra Stitch Fix-teamet foresl\u00e5r at bruge et klinisk forskningsmetode (non-inferiority trials) i marketing- og produkt A\/B-tests. Denne metode er virkelig anvendelig, n\u00e5r vi tester en ny l\u00f8sning, der har fordele, der ikke kan m\u00e5les gennem testen.<\/p>\n

Det simpleste eksempel er at reducere omkostningerne. For eksempel automatiserer vi processen til at booke den f\u00f8rste lektion, men \u00f8nsker ikke at falde drastisk i den samlede konvertering. Eller vi tester \u00e6ndringer, der er rettet mod \u00e9n brugergruppe, mens vi holder \u00f8je med, at konverteringen i de andre grupper ikke falder for meget (n\u00e5r vi tester flere hypoteser, skal vi huske justeringer).<\/p>\n

Valget af den rigtige non-inferiority gr\u00e6nse tilf\u00f8jer ekstra sv\u00e6rhedsgrad p\u00e5 designstadiet af testen. Sp\u00f8rgsm\u00e5let om, hvordan man v\u00e6lger \u0394, bliver ikke s\u00e6rlig godt belyst i artiklen. Det virker som om, at dette valg ikke er helt gennemsigtigt i kliniske fors\u00f8g. Oversigt<\/a><\/noindex> Medicinpublikationer om non-inferiority rapporterer, at kun i halvdelen af publikationerne begrundes valg af gr\u00e6nse, og ofte er disse begrundelser uklare eller ikke detaljerede.<\/p>\n

Under alle omst\u00e6ndigheder synes denne tilgang interessant, da den kan \u00f8ge hastigheden af testningen ved at reducere den n\u00f8dvendige stikpr\u00f8vest\u00f8rrelse, og dermed ogs\u00e5 hastigheden af beslutningstagningen. Darya Mukhina, produktanalytiker for mobilappen Skyeng.<\/i>
\n<\/a><\/noindex>
\nStitch Fix-teamet elsker at teste forskellige ting. Hele teknologisamfundet elsker grundl\u00e6ggende at udf\u00f8re tests. Hvilken version af hjemmesiden tiltr\u00e6kker flere brugere \u2013 A eller B? Genererer version A af anbefalingsmodellen flere penge end version B? N\u00e6sten altid bruger vi den enkleste metode fra grundkurset i statistik til at verificere hypoteser: <\/p>\n

\"Hvorn\u00e5r
\n
\nSelvom vi sj\u00e6ldent bruger denne betegnelse, kaldes denne form for test 'hypotese-test af overlegenhed'. Ved denne tilgang antager vi, at der ikke er nogen forskel mellem de to muligheder. Vi holder fast i denne id\u00e9 og opgiver den kun, hvis de indsamlede data viser sig at v\u00e6re overbevisende nok til det - dvs. demonstrerer, at en af mulighederne (A eller B) er bedre end den anden.<\/p>\n

Hypoteseunders\u00f8gelsen om overlegenhed passer til l\u00f8sning af mange problemer. Vi udgiver B-versionen af anbefalingsmodellen kun, hvis den klart er bedre end den nuv\u00e6rende A-version. Men i nogle tilf\u00e6lde fungerer denne tilgang ikke s\u00e5 godt. Lad os overveje nogle eksempler.<\/p>\n

1) Vi bruger en tredjepartsservice<\/b>, der hj\u00e6lper med at identificere falske kreditkort. Vi har fundet en anden service, som koster betydeligt mindre. Hvis den billigere service fungerer lige s\u00e5 godt som den, vi bruger nu, vil vi v\u00e6lge den. Den beh\u00f8ver ikke n\u00f8dvendigvis at v\u00e6re bedre end den brugte service. <\/p>\n

2) Vi \u00f8nsker at opgive datakilden<\/b> A og erstatte den med datakilden B. Vi kunne uds\u00e6tte opgivelsen af A, hvis B giver meget d\u00e5rlige resultater, men det er ikke muligt at forts\u00e6tte med at bruge A. <\/p>\n

3) Vi \u00f8nsker at skifte fra tilgangen<\/b>A til tilgang B, ikke fordi vi forventer bedre resultater fra B, men fordi det giver os st\u00f8rre operationel fleksibilitet. Vi har ingen grund til at tro, at B vil v\u00e6re d\u00e5rligere, men vi vil ikke gennemf\u00f8re overgangen, hvis det er tilf\u00e6ldet.<\/p>\n

4) Vi har lavet nogle kvalitets\u00e6ndringer<\/b> i webstedets design (version B) og mener, at denne version overg\u00e5r version A. Vi forventer ikke \u00e6ndringer i konvertering eller nogen af de n\u00f8glepr\u00e6stationsindikatorer, som vi normalt vurderer webstedet p\u00e5. Men vi mener, at der er fordele i parametre, som enten er uh\u00e5ndterlige, eller som vores teknologi ikke er i stand til at m\u00e5le.<\/p>\n

I alle disse tilf\u00e6lde er unders\u00f8gelsen af overlegenhed ikke den mest passende l\u00f8sning. Men de fleste specialister bruger det som standard i s\u00e5danne situationer. Vi udf\u00f8rer grundigt eksperimentet for korrekt at bestemme effektens st\u00f8rrelse. Hvis det var korrekt, at versionerne A og B fungerer meget ens, er der en risiko for, at vi ikke vil v\u00e6re i stand til at afvise nulhypotesen. Konkluderer vi, at A og B generelt fungerer ens? Nej! At vi ikke kan afvise nulhypotesen og at acceptere nulhypotesen er ikke det samme.<\/p>\n

Beregning af stikpr\u00f8vest\u00f8rrelse (som du selvf\u00f8lgelig har udf\u00f8rt) udf\u00f8res typisk med strengere gr\u00e6nser for type I-fejl (sandsynligheden for at forkaste nulhypotesen, ofte kaldet alpha) end for type II-fejl (sandsynligheden for ikke at forkaste nulhypotesen givet, at den er forkert, ofte kaldt beta). Den typiske v\u00e6rdi for alpha er 0,05, mens den typiske v\u00e6rdi for beta er 0,20, hvilket svarer til en statistisk styrke p\u00e5 0,80. Det betyder, at vi med en sandsynlighed p\u00e5 20% ikke kan opdage den egentlige effekt af den v\u00e6rdi, vi har angivet i vores styrkeberegninger, og dette er en ret alvorlig informationsmangel. Som eksempel kan vi overveje f\u00f8lgende hypoteser:<\/p>\n

\"Hvorn\u00e5r
\n
\nH0: min rygs\u00e6k ER IKKE i mit rum (3)
\nH1: min rygs\u00e6k er i mit rum (4)<\/i><\/p>\n

Hvis jeg har gennems\u00f8gt mit rum og fundet min rygs\u00e6k \u2014 fantastically, jeg kan forkaste nulhypotesen. Men hvis jeg har kigget i rummet og ikke kunne finde min rygs\u00e6k (figur 1), hvilken konklusion skal jeg s\u00e5 drage? Er jeg sikker p\u00e5, at den ikke er der? Har jeg kigget grundigt nok? Hvad hvis jeg kun har gennems\u00f8gt 80% af rummet? At konkludere, at der bestemt ikke er nogen rygs\u00e6k i rummet, ville v\u00e6re en forhastet beslutning. Det er ikke overraskende, at vi ikke kan \"acceptere nulhypotesen\".
\n\"Hvorn\u00e5r
\nOmr\u00e5det, vi har gennems\u00f8gt
\nVi fandt ikke rygs\u00e6kken \u2014 skal vi acceptere nulhypotesen?<\/i><\/p>\n

Figur 1. At gennems\u00f8ge 80% af rummet svarer omtrent til at gennemf\u00f8re en unders\u00f8gelse med en styrke p\u00e5 80%. Hvis du ikke fandt rygs\u00e6kken ved at kigge i 80% af rummet, kan man s\u00e5 konkludere, at den ikke er der?<\/i> <\/p>\n

S\u00e5 hvad skal dataeksperten g\u00f8re i denne situation? Du kan \u00f8ge styrken af unders\u00f8gelsen betydeligt, men s\u00e5 skal du bruge en meget st\u00f8rre stikpr\u00f8ve, og resultatet vil stadig v\u00e6re utilfredsstillende.<\/p>\n

Heldigvis har lignende problemer v\u00e6ret grundigt unders\u00f8gt inden for klinisk forskning. L\u00e6gemiddel B er billigere end l\u00e6gemiddel A; l\u00e6gemiddel B forventes at have f\u00e6rre bivirkninger end l\u00e6gemiddel A; l\u00e6gemiddel B er lettere at transportere, fordi det ikke skal opbevares i k\u00f8leskab, mens l\u00e6gemiddel A skal. Lad os teste hypotesen om ikke mindre effektivitet. Dette er n\u00f8dvendigt for at vise, at version B er liges\u00e5 god som version A \u2014 i det mindste inden for en forudbestemt gr\u00e6nse for \u201cikke mindre effektivitet\u201d, \u0394. Senere vil vi se n\u00e6rmere p\u00e5, hvordan man fasts\u00e6tter denne gr\u00e6nse. Men lad os nu antage, at dette er den minimale forskel, der er praktisk betydningsfuld (i konteksten af kliniske fors\u00f8g kaldes dette typisk klinisk betydning).<\/p>\n

Hypoteser om ikke mindre effektivitet vender alt p\u00e5 hovedet:<\/p>\n

\"Hvorn\u00e5r
\n
\nNu antager vi i stedet, at version B er d\u00e5rligere end version A, og vi vil holde fast ved denne antagelse, indtil vi demonstrerer, at det ikke er tilf\u00e6ldet. Det er netop her, at det giver mening at anvende en ensidet hypotese test! I praksis kan dette g\u00f8res ved at konstruere et konfidensinterval og bestemme, om intervallet faktisk er st\u00f8rre end \u0394 (figur 2).
\n\"Hvorn\u00e5r
\n<\/p>\n

Valg af \u0394<\/h3>\n

\nHvordan v\u00e6lger man korrekt \u0394? Proces for valg af \u0394 inkluderer statistisk begrundelse og faglig vurdering. Inden for klinisk forskning findes der normative retningslinjer, der angiver, at delta b\u00f8r repr\u00e6sentere den mindste klinisk betydningsfulde forskel \u2014 en forskel der vil have betydning i praksis. Her er et citat fra det europ\u00e6iske vejledning, som du kan bruge til at tjekke dig selv: \u00abHvis forskellen er valgt korrekt, er et konfidensinterval, der helt ligger mellem \u2013\u2206 og 0\u2026, stadig tilstr\u00e6kkeligt til at demonstrere ikke mindre effektivitet. Hvis dette resultat ikke virker acceptabelt, betyder det, at \u2206 ikke er blevet valgt korrekt.\u00bb<\/p>\n

Delta m\u00e5 bestemt ikke overstige effekten af version A i forhold til den sande kontrol (placebo \/ mangel p\u00e5 behandling), da dette f\u00f8rer os til den konklusion, at version B er d\u00e5rligere end den sande kontrol, samtidig med at den viser \"ikke mindre effektivitet\". Antag, at da version A blev pr\u00e6senteret, var der p\u00e5 dens plads version 0, eller funktionen eksisterede slet ikke (se figur 3). <\/p>\n

Fra resultaterne af hypotesetestningen af overlegenhed blev st\u00f8rrelsen af effekten E identificeret (det vil sige formodentlig \u03bc^A\u2212\u03bc^0=E). Nu er A vores nye standard, og vi vil sikre os, at B ikke er ringere end A. En anden m\u00e5de at skrive \u03bcB\u2212\u03bcA\u2264\u2212\u0394 (nulhypotese) er \u03bcB\u2264\u03bcA\u2212\u0394. Hvis vi antager, at det er lig med eller overstiger E, s\u00e5 \u03bcB \u2264 \u03bcA\u2212E \u2264 placebo. Nu ser vi, at vores vurdering af \u03bcB fuldt ud overstiger \u03bcA\u2212E, hvilket dermed fuldst\u00e6ndigt afviser nulhypotesen og tillader os at konkludere, at B ikke er ringere end A, men samtidig kan \u03bcB v\u00e6re \u2264 \u03bc placebo, og det er ikke det, vi \u00f8nsker. (figur 3).<\/p>\n

\"Hvorn\u00e5r
\nFigur 3. Demonstration af risici ved at v\u00e6lge gr\u00e6nsen for ikke mindre effektivitet. Hvis gr\u00e6nsen er for h\u00f8j, kan det konkluderes, at B ikke er ringere end A, men samtidig ikke adskiller sig fra placebo. Vi vil ikke \u00e6ndre et l\u00e6gemiddel, der klart er mere effektivt end placebo (A), til et l\u00e6gemiddel, der har samme effektivitet som placebo. <\/i><\/p>\n

Valg af \u03b1 <\/h3>\n

\nLad os g\u00e5 videre til valget af \u03b1. Standardv\u00e6rdien \u03b1 = 0,05 kan anvendes, men det er ikke helt retf\u00e6rdigt. For eksempel n\u00e5r du k\u00f8ber noget online og bruger flere rabatkoder p\u00e5 \u00e9n gang, selvom de ikke burde kumuleres \u2014 det var blot en fejl fra udviklerens side, og du kom godt fra det. If\u00f8lge reglerne skal v\u00e6rdien af \u03b1 v\u00e6re halvdelen af v\u00e6rdien af \u03b1, der bruges ved hypotesetestning af overlegenhed, det vil sige 0,05 \/ 2 = 0,025.<\/p>\n

St\u00f8rrelse af stikpr\u00f8ven <\/h3>\n

\nHvordan vurderer man st\u00f8rrelsen af stikpr\u00f8ven? Hvis du mener, at den sande forskel i gennemsnit mellem A og B er lig med 0, s\u00e5 vil beregningen af stikpr\u00f8vens st\u00f8rrelse v\u00e6re den samme som ved hypotesetestning af overlegenhed, bortset fra at du erstatter effektst\u00f8rrelsen med gr\u00e6nsen for ikke mindre effektivitet, forudsat at du bruger \u03b1 ikke mindre effektivitet = 1\/2 \u03b1 overlegenhed <\/b>(\u03b1non-inferiority=1\/2\u03b1superiority). Hvis du har grund til at tro, at variant B m\u00e5ske er lidt d\u00e5rligere end variant A, men du vil bevise, at den ikke er d\u00e5rligere end \u0394, s\u00e5 har du held! Faktisk reducerer dette st\u00f8rrelsen af din stikpr\u00f8ve, fordi det er lettere at demonstrere, at B er d\u00e5rligere end A, hvis du faktisk mener, at den er lidt d\u00e5rligere, og ikke lige s\u00e5 god.<\/p>\n

Eksempel med beslutning <\/h3>\n

\nLad os antage, at du \u00f8nsker at overg\u00e5 til version B, under foruds\u00e6tning af at den er d\u00e5rligere end version A med ikke mere end 0,1 point p\u00e5 en 5-punkts skala for kundetilfredshed... Lad os n\u00e6rme os denne opgave ved hj\u00e6lp af hypotesen om overlegenhed.<\/p>\n

For at teste hypotesen om overlegenhed ville vi beregne stikpr\u00f8vest\u00f8rrelsen p\u00e5 f\u00f8lgende m\u00e5de:<\/p>\n

\"Hvorn\u00e5r
\n
\nS\u00e5 hvis du har 2103 observationer i din gruppe, kan du v\u00e6re 90 % sikker p\u00e5, at du opfanger en effekt p\u00e5 0,10 eller st\u00f8rre. Men hvis 0,10 er for stort for dig, s\u00e5 er det m\u00e5ske ikke v\u00e6rd at teste hypotesen om overlegenhed for det. M\u00e5ske beslutter du for p\u00e5lidelighedens skyld at udf\u00f8re en unders\u00f8gelse for en mindre effektst\u00f8rrelse, f.eks. 0,05. I s\u00e5 fald ville du have brug for 8407 observationer, hvilket betyder, at stikpr\u00f8ven n\u00e6sten vil stige med 4 gange. Men hvad hvis vi holder os til vores oprindelige stikpr\u00f8vest\u00f8rrelse, men \u00f8ger styrken til 0,99, s\u00e5 vi ikke er i tvivl, hvis vi f\u00e5r et positivt resultat? I s\u00e5 fald vil n for \u00e9n gruppe v\u00e6re 3676, hvilket allerede er bedre, men \u00f8ger stikpr\u00f8vest\u00f8rrelsen med mere end 50 %. Og som f\u00f8lge heraf vil vi stadig ikke kunne afvise den nulhypotese, men ikke f\u00e5 et svar p\u00e5 vores sp\u00f8rgsm\u00e5l.<\/p>\n

Hvad hvis vi i stedet tester hypotesen om ikke mindre effektivitet? <\/p>\n

\"Hvorn\u00e5r
\n
\nStikpr\u00f8vest\u00f8rrelsen vil blive beregnet med samme formel, undtagen n\u00e6vneren.
\nForskellene fra formlen, der anvendes ved test af hypotesen om overlegenhed, er som f\u00f8lger:<\/p>\n

\u2014 Z1\u2212\u03b1\/2 erstattes med Z1\u2212\u03b1, men hvis du g\u00f8r det hele korrekt, erstatter du \u03b1 = 0,05 med \u03b1 = 0,025, s\u00e5 det er det samme tal (1,96)<\/p>\n

\u2014 n\u00e6vneren f\u00e5r (\u03bcB\u2212\u03bcA)<\/p>\n

\u2014 \u03b8 (effektst\u00f8rrelse) erstattes med \u0394 (gr\u00e6nse for ikke mindre effektivitet)<\/p>\n

Hvis vi antager, at \u00b5B = \u00b5A, s\u00e5 er (\u00b5B \u2212 \u00b5A) = 0, og beregningen af stikpr\u00f8vens st\u00f8rrelse for gr\u00e6nsen for ikke mindre effektivitet er pr\u00e6cist det, vi ville f\u00e5 ved at beregne overlegenhed for en effektst\u00f8rrelse p\u00e5 0,1, perfekt! Vi kan gennemf\u00f8re en unders\u00f8gelse af samme omfang med forskellige hypoteser og en anden tilgang til konklusionerne, og vi vil f\u00e5 svar p\u00e5 det sp\u00f8rgsm\u00e5l, vi reelt \u00f8nsker at besvare.<\/p>\n

Lad os nu antage, at vi faktisk ikke mener, at \u00b5B = \u00b5A, og
\nt\u00e6nker, at \u00b5B er lidt v\u00e6rre, m\u00e5ske med 0,01 enheder. Dette \u00f8ger vores n\u00e6vner, hvilket reducerer stikpr\u00f8vest\u00f8rrelsen for gruppen til 1737.<\/p>\n

Hvad hvis version B faktisk er bedre end version A? Vi afviser nulhypotesen om, at B er v\u00e6rre end A med mere end \u0394, og accepterer den alternative hypotese om, at B, hvis v\u00e6rre, ikke er v\u00e6rre end \u0394, og muligvis er bedre. Pr\u00f8v at inkludere denne konklusion i en tv\u00e6rfaglig pr\u00e6sentation og se, hvad der sker (seri\u00f8st, pr\u00f8v). I en situation, hvor man skal tage hensyn til perspektivet, \u00f8nsker ingen at acceptere 'v\u00e6rre ikke mere end \u0394 og muligvis bedre'.<\/p>\n

I dette tilf\u00e6lde kan vi gennemf\u00f8re en unders\u00f8gelse, der meget kort kaldes 'hypotese-testning af, at en af mulighederne overg\u00e5r den anden eller er underlegen'. Den benytter to s\u00e6t hypoteser:<\/p>\n

Det f\u00f8rste s\u00e6t (det samme som ved hypotese-testning for ikke mindre effektivitet): <\/p>\n

\"Hvorn\u00e5r
\n
\nDet andet s\u00e6t (det samme som ved hypotese-testning for overlegenhed):<\/p>\n

\"Hvorn\u00e5r
\n
\nVi tester den anden hypotese kun, hvis den f\u00f8rste er afvist. Ved sekventiel testning bevarer vi den samlede fejltype I-niveau (\u03b1). I praksis kan dette opn\u00e5s ved at skabe et 95 % konfidensinterval for forskellen mellem gennemsnittene og teste for at bestemme, om hele intervallet overstiger -\u0394. Hvis intervallet ikke overstiger -\u0394, kan vi ikke afvise nulhypotesen og stopper. Hvis hele intervallet faktisk overstiger -\u0394, forts\u00e6tter vi og ser, om intervallet indeholder 0. <\/p>\n

Der er en anden type unders\u00f8gelser, som vi ikke har diskuteret \u2013 \u00e6kvivalensunders\u00f8gelser. <\/p>\n

Denne type forskning kan erstattes af forskning til at teste hypotesen om, at der ikke er nogen ringere effektivitet, og omvendt, men de har en vigtig forskel. Et fors\u00f8g p\u00e5 at teste hypotesen om, at der ikke er nogen ringere effektivitet, er designet til at vise, at variant B i det mindste er liges\u00e5 god som A. Forskning om \u00e6kvivalens har til form\u00e5l at vise, at variant B i det mindste er liges\u00e5 god som A, og at variant A er liges\u00e5 god som B, hvilket er mere komplekst. I det v\u00e6sentlige fors\u00f8ger vi at bestemme, om hele konfidensintervallet for forskellen mellem gennemsnittene ligger mellem \u2212\u0394 og \u0394. S\u00e5danne studier kr\u00e6ver en st\u00f8rre stikpr\u00f8vest\u00f8rrelse og udf\u00f8res sj\u00e6ldnere. Derfor, n\u00e6ste gang du laver et studie, hvor din hovedopgave er at sikre, at den nye version ikke er v\u00e6rre, s\u00e5 accepter ikke
\n
Kilde: habr.com<\/a><\/p>","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"excerpt":{"rendered":"

\u0421\u0442\u0430\u0442\u044c\u044f \u043e\u0442 \u043a\u043e\u043c\u0430\u043d\u0434\u044b Stitch Fix \u043f\u0440\u0435\u0434\u043b\u0430\u0433\u0430\u0435\u0442 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u043f\u043e\u0434\u0445\u043e\u0434 \u043a\u043b\u0438\u043d\u0438\u0447\u0435\u0441\u043a\u0438\u0445 \u0438\u0441\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u043d\u0438\u0439 \u043d\u0435 \u043c\u0435\u043d\u044c\u0448\u0435\u0439 \u044d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u043d\u043e\u0441\u0442\u0438 (non-inferiority trials) \u0432 \u043c\u0430\u0440\u043a\u0435\u0442\u0438\u043d\u0433\u043e\u0432\u044b\u0445 \u0438 \u043f\u0440\u043e\u0434\u0443\u043a\u0442\u043e\u0432\u044b\u0445 A\/B \u0442\u0435\u0441\u0442\u0430\u0445. \u0422\u0430\u043a\u043e\u0439 \u043f\u043e\u0434\u0445\u043e\u0434 \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u043f\u0440\u0438\u043c\u0435\u043d\u0438\u043c, \u043a\u043e\u0433\u0434\u0430 \u043c\u044b \u0442\u0435\u0441\u0442\u0438\u0440\u0443\u0435\u043c \u043d\u043e\u0432\u043e\u0435 \u0440\u0435\u0448\u0435\u043d\u0438\u0435, \u0438\u043c\u0435\u044e\u0449\u0435\u0435 \u043f\u0440\u0435\u0438\u043c\u0443\u0449\u0435\u0441\u0442\u0432\u0430, \u043d\u0435\u0438\u0437\u043c\u0435\u0440\u044f\u0435\u043c\u044b\u0435 \u0442\u0435\u0441\u0442\u0430\u043c\u0438. \u0421\u0430\u043c\u044b\u0439 \u043f\u0440\u043e\u0441\u0442\u043e\u0439 \u043f\u0440\u0438\u043c\u0435\u0440 \u2014 \u0441\u043d\u0438\u0436\u0435\u043d\u0438\u0435 \u043a\u043e\u0441\u0442\u043e\u0432. \u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0430\u0432\u0442\u043e\u043c\u0430\u0442\u0438\u0437\u0438\u0440\u0443\u0435\u043c \u043f\u0440\u043e\u0446\u0435\u0441\u0441 \u043d\u0430\u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f \u043f\u0435\u0440\u0432\u043e\u0433\u043e \u0443\u0440\u043e\u043a\u0430, \u043d\u043e \u043d\u0435 \u0445\u043e\u0442\u0438\u043c \u0441\u0438\u043b\u044c\u043d\u043e \u0443\u0440\u043e\u043d\u0438\u0442\u044c \u0441\u043a\u0432\u043e\u0437\u043d\u0443\u044e \u043a\u043e\u043d\u0432\u0435\u0440\u0441\u0438\u044e. \u0418\u043b\u0438 \u0442\u0435\u0441\u0442\u0438\u0440\u0443\u0435\u043c […]<\/p>\n","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"author":1,"featured_media":26311,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[702],"tags":[],"class_list":["post-34958","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-news"],"aioseo_notices":[],"aioseo_head":"\n\t\t\n\t\n\t\n\t\n\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\n","aioseo_head_json":{"title":"\ud83e\udd47Hvorn\u00e5r skal man teste hypotesen om ikke ringere effektivitet? | ProHoster","description":"Artikel fra Stitch Fix-teamet.","canonical_url":"https:\/\/prohoster.info\/da\/blog\/news\/kogda-stoit-proveryat-gipotezu-o-ne-menshej-effektivnosti","robots":"max-image-preview:large","keywords":"","webmasterTools":{"miscellaneous":""},"schema":null,"og:locale":"da_DK","og:site_name":"ProHoster | \u041a\u0443\u043f\u0438\u0442\u044c \u043d\u0430\u0434\u0435\u0436\u043d\u044b\u0439 \u0445\u043e\u0441\u0442\u0438\u043d\u0433 \u0434\u043b\u044f \u0441\u0430\u0439\u0442\u043e\u0432 \u0441 \u0437\u0430\u0449\u0438\u0442\u043e\u0439 \u043e\u0442 DDoS, VPS VDS \u0441\u0435\u0440\u0432\u0435\u0440\u044b","og:type":"article","og:title":"\ud83e\udd47\u041a\u043e\u0433\u0434\u0430 \u0441\u0442\u043e\u0438\u0442 \u043f\u0440\u043e\u0432\u0435\u0440\u044f\u0442\u044c \u0433\u0438\u043f\u043e\u0442\u0435\u0437\u0443 \u043e \u043d\u0435 \u043c\u0435\u043d\u044c\u0448\u0435\u0439 \u044d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u043d\u043e\u0441\u0442\u0438? | ProHoster","og:description":"\u0421\u0442\u0430\u0442\u044c\u044f \u043e\u0442 \u043a\u043e\u043c\u0430\u043d\u0434\u044b Stitch Fix.","og:url":"https:\/\/prohoster.info\/da\/blog\/news\/kogda-stoit-proveryat-gipotezu-o-ne-menshej-effektivnosti","og:image":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:secure_url":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:width":350,"og:image:height":350,"article:published_time":"2019-10-31T19:01:31+00:00","article:modified_time":"2019-10-31T19:01:31+00:00","article:publisher":"https:\/\/www.facebook.com\/prohoster","article:author":"https:\/\/www.facebook.com\/prohoster"},"aioseo_meta_data":{"post_id":"34958","title":null,"description":null,"keywords":null,"keyphrases":null,"primary_term":null,"canonical_url":null,"og_title":null,"og_description":null,"og_object_type":"default","og_image_type":"default","og_image_url":null,"og_image_width":null,"og_image_height":null,"og_image_custom_url":null,"og_image_custom_fields":null,"og_video":null,"og_custom_url":null,"og_article_section":null,"og_article_tags":null,"twitter_use_og":false,"twitter_card":"default","twitter_image_type":"default","twitter_image_url":null,"twitter_image_custom_url":null,"twitter_image_custom_fields":null,"twitter_title":null,"twitter_description":null,"schema":{"blockGraphs":[],"customGraphs":[],"default":{"data":{"Article":[],"Course":[],"Dataset":[],"FAQPage":[],"Movie":[],"Person":[],"Product":[],"ProductReview":[],"Car":[],"Recipe":[],"Service":[],"SoftwareApplication":[],"WebPage":[]},"graphName":"","isEnabled":true},"graphs":[]},"schema_type":null,"schema_type_options":null,"pillar_content":false,"robots_default":true,"robots_noindex":false,"robots_noarchive":false,"robots_nosnippet":false,"robots_nofollow":false,"robots_noimageindex":false,"robots_noodp":false,"robots_notranslate":false,"robots_max_snippet":null,"robots_max_videopreview":null,"robots_max_imagepreview":"large","priority":null,"frequency":null,"local_seo":null,"seo_analyzer_scan_date":"2026-01-21 21:15:19","breadcrumb_settings":null,"limit_modified_date":false,"reviewed_by":null,"ai":null,"created":"2021-03-01 02:12:27","updated":"2026-01-21 21:15:19","focus_keyword":null,"additional_keywords":null,"truseo_locale":null},"gt_translate_keys":[{"key":"link","format":"url"}],"_links":{"self":[{"href":"https:\/\/prohoster.info\/da\/wp-json\/wp\/v2\/posts\/34958","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/prohoster.info\/da\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/prohoster.info\/da\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/prohoster.info\/da\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/prohoster.info\/da\/wp-json\/wp\/v2\/comments?post=34958"}],"version-history":[{"count":0,"href":"https:\/\/prohoster.info\/da\/wp-json\/wp\/v2\/posts\/34958\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/prohoster.info\/da\/wp-json\/wp\/v2\/media\/26311"}],"wp:attachment":[{"href":"https:\/\/prohoster.info\/da\/wp-json\/wp\/v2\/media?parent=34958"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/prohoster.info\/da\/wp-json\/wp\/v2\/categories?post=34958"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/prohoster.info\/da\/wp-json\/wp\/v2\/tags?post=34958"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}