非劣性仮説をいつテストすべきでしょうか?

Stitch Fix チームの記事では、マーケティングや製品の A/B テストで非劣性試験のアプローチを使用することを提案しています。 このアプローチは、テストでは測定できない利点がある新しいソリューションをテストするときに実際に当てはまります。

最も単純な例はコスト削減です。 たとえば、最初のレッスンを割り当てるプロセスは自動化しますが、エンドツーエンドの変換を大幅に削減することは望んでいません。 または、ユーザーの特定のセグメントを対象とした変更をテストし、他のセグメントのコンバージョンが大幅に低下しないことを確認します (複数の仮説をテストする場合は、修正を忘れないでください)。

正しい非劣性マージンを選択すると、テスト設計段階でさらなる課題が追加されます。 Δ をどのように選択するかという問題については、この記事ではあまり詳しく説明されていません。 この選択は臨床試験でも完全に透明ではないようです。 Обзор 非劣性に関する医学出版物は、境界線の選択を正当化する出版物は半分しかないと報告しており、多くの場合、これらの正当化は曖昧であるか、詳細が不明です。

いずれにせよ、このアプローチは興味深いように思えます。 必要なサンプル サイズを減らすことで、テストの速度が向上し、意思決定の速度も向上します。 — Skyeng モバイル アプリケーションの製品アナリスト、Daria Mukina 氏は次のように述べています。

Stitch Fix チームはさまざまなことをテストするのが大好きです。 テクノロジー コミュニティ全体が原則としてテストを実行するのが大好きです。 A と B のどちらのバージョンのサイトがより多くのユーザーを惹きつけていますか? 推奨モデルのバージョン A はバージョン B よりも収益が高くなりますか? 仮説を検証するには、ほとんどの場合、基本統計コースの最も単純なアプローチを使用します。

この用語はほとんど使用されませんが、この形式のテストは「優位性仮説テスト」と呼ばれます。 このアプローチでは、XNUMX つのオプションの間に違いがないことを前提としています。 私たちはこの考え方に固執し、データがそうするのに十分な説得力がある場合にのみ放棄します。つまり、選択肢の一方 (A または B) が他方よりも優れていることが実証されている場合に限ります。

優位性仮説のテストは、さまざまな問題に適しています。 すでに使用されているバージョン A よりも明らかに優れている場合にのみ、推奨モデルのバージョン B をリリースしますが、場合によっては、このアプローチがあまりうまく機能しないことがあります。 いくつかの例を見てみましょう。

1) サードパーティのサービスを利用します、偽造銀行カードを識別するのに役立ちます。 費用が大幅に安い別のサービスを見つけました。 より安価なサービスが現在使用しているサービスと同様に機能する場合は、それを選択します。 使用しているサービスよりも優れている必要はありません。

2) データソースを放棄したい A を作成し、データ ソース B に置き換えます。B で非常に悪い結果が得られた場合、A の破棄を遅らせることはできますが、A を使用し続けることはできません。

3) モデリングアプローチから移行したいA から B へのアプローチは、B からのより良い結果を期待しているからではなく、運用上の柔軟性が向上するからです。 B の方が悪化すると考える理由はありませんが、その場合は移行しません。

4) いくつかの質的変更を加えました Web サイトのデザイン (バージョン B) に組み込まれており、このバージョンがバージョン A よりも優れていると考えられています。当社では、通常 Web サイトを評価する際に使用するコンバージョンや主要業績評価指標の変更は期待していません。 しかし、私たちは、測定不可能なパラメーターや、私たちのテクノロジーが測定するには不十分なパラメーターにも利点があると信じています。

これらすべてのケースにおいて、優位性調査は最適な解決策ではありません。 しかし、そのような状況にあるほとんどの専門家は、デフォルトでこれを使用します。 効果の大きさを正確に判断するために、慎重に実験を実施します。 バージョン A と B が非常によく似た方法で機能することが真実である場合、帰無仮説を棄却できない可能性があります。 A と B のパフォーマンスは基本的に同じであると結論付けることができますか? いいえ！ 帰無仮説を棄却できないことと帰無仮説を受け入れることは同じではありません。

標本サイズの計算 (もちろん、あなたはそれを行っています) は、通常、タイプ II 過誤 (帰無仮説を棄却できない確率、アルファと呼ばれることが多い) よりもタイプ I 過誤 (帰無仮説を棄却できない確率) の境界を厳しくして行われます。帰無仮説。帰無仮説が偽であるという条件が与えられ、しばしばベータと呼ばれます)。 アルファの一般的な値は 0,05 ですが、ベータの一般的な値は 0,20 で、統計検出力 0,80 に相当します。 これは、検出力の計算で指定した量の真の効果を見逃してしまう可能性が 20% あることを意味しており、これはかなり深刻な情報のギャップです。 例として、次の仮説を考えてみましょう。

H0: 私のバックパックは私の部屋にありません (3)
H1: 私のバックパックは私の部屋にあります (4)

自分の部屋を探してバックパックを見つけた場合は、帰無仮説を棄却できます。 しかし、部屋を見回してもバックパックが見つからなかった場合 (図 1)、どのような結論を導き出すべきでしょうか? 確かにないでしょうか？ 私は十分に真剣に見ましたか？ 部屋の 80% だけを捜索したらどうなるでしょうか? バックパックが間違いなく部屋にないと結論付けるのは性急な決定です。 「帰無仮説を受け入れる」ことができないのも不思議ではありません。

私たちが探したエリア
バックパックは見つかりませんでした - 帰無仮説を受け入れるべきでしょうか?

図 1: 部屋の 80% を検索することは、80% の電力で検索することとほぼ同じです。 部屋の 80% を探してもバックパックが見つからなかった場合、バックパックはそこにないと結論付けることができますか?

では、この状況でデータサイエンティストは何をすべきでしょうか? 研究の検出力を大幅に高めることはできますが、その場合はさらに大きなサンプルサイズが必要になり、結果は依然として満足のいくものではなくなります。

幸いなことに、このような問題は臨床研究の世界で長年研究されてきました。 薬剤 B は薬剤 A よりも安価です。 薬剤 B は薬剤 A よりも副作用が少ないと予想されます。 薬剤 B は冷蔵する必要がないため輸送が容易ですが、薬剤 A は冷蔵する必要があります。 非劣性の仮説を検証してみましょう。 これは、バージョン B がバージョン A と同等に優れていること、少なくとも事前に定義された非劣性マージン Δ の範囲内であることを示しています。 この制限を設定する方法については、後ほど詳しく説明します。 しかし今のところ、これが実際に意味のある最小の差であると仮定しましょう (臨床試験の文脈では、これは通常臨床的意義と呼ばれます)。

非劣性仮説はすべてをひっくり返します。

ここで、差がないと仮定する代わりに、バージョン B がバージョン A よりも悪いと仮定します。これが当てはまらないことを実証するまで、この仮定に固執します。 これはまさに、一方的な仮説検定を使用することが理にかなっている瞬間です。 実際には、これは信頼区間を構築し、その区間が実際に Δ よりも大きいかどうかを判断することで実行できます (図 2)。

Δを選択してください

正しい Δ を選択するにはどうすればよいですか? Δ 選択プロセスには、統計的正当化と実質的な評価が含まれます。 臨床研究の世界では、デルタは臨床的に有意な最小の差、つまり実際に違いを生む差を表す必要があると規定する規制ガイドラインがあります。 以下は、自分自身をテストするためのヨーロッパのガイドラインからの引用です。「差が正しく選択されている場合、完全に –Δ と 0… の間にある信頼区間は、非劣性を証明するのに十分です。 この結果が受け入れられない場合は、Δが適切に選択されていないことを意味します。」

デルタは、真の対照 (プラセボ/無治療) に対するバージョン A の効果量を絶対に超えてはなりません。これは、バージョン B が真の対照よりも悪いと言えると同時に、「非劣性」を実証することになるからです。 」 バージョン A が導入されたときに、バージョン 0 に置き換えられたか、その機能がまったく存在しなかったと仮定します (図 3 を参照)。

優位性仮説の検証結果に基づいて、効果量 E (つまり、μ^A −μ^0=E と推定される) が明らかになりました。 ここで、A が新しい標準となり、B が A と同じくらい優れていることを確認したいと思います。μB−μA≤−Δ (帰無仮説) を記述する別の方法は、μB≤μA−Δ です。 do が E 以上であると仮定すると、μB ≤ μA−E ≤ プラセボになります。 ここで、μB の推定値が μA-E を完全に上回っていることがわかります。これにより帰無仮説が完全に棄却され、B は A と同等であると結論付けることができますが、同時に μB が μB ≤ μ プラセボである可能性があり、これは理想的なものではありません。場合、何が必要ですか。 (図3)。

図 3. 非劣性マージンを選択するリスクの実証。 カットオフが高すぎる場合、B は A よりも劣っていないが、同時にプラセボと区別できないと結論付けることができます。 プラセボ (A) よりも明らかに効果がある薬剤を、プラセボと同等の効果がある薬剤と交換することはありません。

αの選択

αの選択に移りましょう。 標準値 α = 0,05 を使用できますが、これは完全に公平ではありません。 たとえば、インターネットで何かを購入し、複数の割引コードを組み合わせて使用​​すべきではないにもかかわらず、一度に使用した場合のように、開発者が単に間違いを犯しただけで、あなたはそれで済んだのです。 ルールによれば、α の値は、優位性仮説を検定するときに使用される α の値の半分、つまり 0,05 / 2 = 0,025 に等しくなければなりません。

サンプルサイズ

サンプルサイズを推定するにはどうすればよいですか? A と B の真の平均差が 0 であると信じる場合、サンプル サイズの計算は、効果サイズを非劣性マージンで置き換えることを除いて、優位性仮説を検定するときと同じになります。 α非劣性効率 = 1/2α優位性 (α非劣性=1/2α優位性)。 選択肢 B が選択肢 A よりわずかに悪いかもしれないと信じる理由があるが、それが Δ よりも悪くないことを証明したい場合、あなたは幸運です。 実際に、B が A よりも劣っていると考えると、B が A よりも劣っていることを証明するのが簡単になるため、実際にはサンプル サイズが減少します。

解決策を含む例

0,1 段階の顧客満足度スケールでバージョン A よりも 5 ポイント以上悪くないという条件で、バージョン B にアップグレードするとします。優位性仮説を使用して、この問題にアプローチしてみましょう。

優位性仮説を検証するには、次のようにサンプル サイズを計算します。

つまり、グループ内に 2103 個の観測値がある場合、90% の確率で 0,10 以上の効果サイズが見つかると考えられます。 ただし、0,10 が高すぎる場合は、優越性仮説をテストする価値がない可能性があります。 安全を期すために、0,05 などのより小さい効果量で研究を実行することを決定することもできます。 この場合、8407 個の観測値が必要になります。つまり、サンプルはほぼ 4 倍に増加します。 しかし、元のサンプル サイズにこだわり、陽性結果が得られた場合でも安全であるように検出力を 0,99 に増やした場合はどうなるでしょうか? この場合、3676 つのグループの n は 50 となり、すでに良好ですが、サンプル サイズが XNUMX% 以上増加します。 その結果、帰無仮説を反駁することはできず、質問に対する答えも得られません。

代わりに非劣性仮説を検証したらどうなるでしょうか?

サンプル サイズは、分母を除いて同じ式を使用して計算されます。
優位性仮説の検定に使用した式との違いは次のとおりです。

— Z1−α/2 は Z1−α に置き換えられますが、ルールに従ってすべてを行うと、α = 0,05 を α = 0,025 に置き換えることになります。つまり、同じ数 (1,96) になります。

— 分母に（μB−μA）が入ります

— θ (効果の大きさ) は Δ (非劣性のマージン) に置き換えられます。

μB = μA と仮定すると、(μB − μA) = 0 となり、非劣性マージンのサンプル サイズの計算は、効果サイズ 0,1 の優位性を計算した場合に得られるものとまったく同じになります。 異なる仮説と異なる結論へのアプローチを使用して同じ規模の研究を行うことができ、本当に答えたい質問に対する答えが得られます。

ここで、実際には µB = µA であると考えていないとしましょう。
μB は少し悪い、おそらく 0,01 単位程度悪いと考えられます。 これにより分母が増加し、グループあたりのサンプル サイズが 1737 に減少します。

実際にバージョン B がバージョン A よりも優れている場合はどうなりますか? B が A より Δ 以上悪いという帰無仮説を棄却し、B は、たとえ悪くても A よりも Δ 悪くなく、より良い可能性があるという対立仮説を受け入れます。 この結論を部門横断的なプレゼンテーションに落とし込んで、何が起こるか見てみましょう (真剣に、試してみてください)。 将来を見据えた状況では、誰も「Δ以上悪くならず、もしかしたら良くなるかもしれない」で妥協したくありません。

この場合、非常に簡単に言うと「選択肢の XNUMX つが他の選択肢よりも優れている、または劣っているという仮説をテストする」と呼ばれる研究を行うことができます。 XNUMX つの仮説セットを使用します。

最初のセット (非劣性仮説の検定と同じ):

XNUMX 番目のセット (優位性仮説をテストするときと同じ):

最初の仮説が拒否された場合にのみ、95 番目の仮説をテストします。 順次テストする場合、全体的なタイプ I エラー率 (α) を維持します。 実際には、これは、平均値の差の 0% 信頼区間を作成し、区間全体が -Δ より大きいかどうかを判定する検定を行うことで達成できます。 間隔が -Δ を超えない場合、null 値を拒否して停止することはできません。 区間全体が確かに −Δ より大きい場合は、続行して区間に XNUMX が含まれるかどうかを確認します。

私たちが議論していない別のタイプの研究があります - 同等性研究です。

この種の研究は非劣性研究に置き換えることも、その逆も可能ですが、実際には重要な違いがあります。 非劣性トライアルは、オプション B が少なくとも A と同じくらい優れていることを示すことを目的としています。同等性トライアルは、オプション B が少なくとも A と同じくらい優れていることを示すことを目的としています。オプション A は B と同じくらい優れていますが、これはより困難です。 基本的に、平均値の差の信頼区間全体が -Δ と Δ の間にあるかどうかを判断しようとしています。 このような研究はより大きなサンプルサイズを必要とし、実施頻度は低くなります。 したがって、次回、新しいバージョンが悪くないことを確認することを主な目標とする研究を実施するときは、「帰無仮説の棄却に失敗した」ということで満足しないでください。 本当に重要な仮説をテストしたい場合は、さまざまなオプションを検討してください。

出所： habr.com