מתי עלינו לבדוק את השערת אי-נחיתות?

מאמר מצוות Stitch Fix מציע להשתמש בגישת ניסויי אי-נחיתות בשיווק ובבדיקות A/B למוצרים. גישה זו באמת חלה כאשר אנו בודקים פתרון חדש שיש לו יתרונות שאינם נמדדים בבדיקות.

הדוגמה הפשוטה ביותר היא הפחתת עלויות. לדוגמה, אנו הופכים את תהליך הקצאת השיעור הראשון לאוטומטי, אך איננו רוצים להפחית משמעותית את ההמרה מקצה לקצה. לחלופין, אנו בודקים שינויים שמכוונים לפלח אחד של משתמשים, תוך הקפדה שההמרות עבור פלחים אחרים לא יורדות הרבה (כאשר בודקים מספר השערות, אל תשכח את התיקונים).

בחירת מרווח אי-נחיתות נכון מוסיפה אתגרים נוספים בשלב תכנון הבדיקה. השאלה כיצד לבחור Δ אינה מכוסה היטב במאמר. נראה שגם בניסויים קליניים בחירה זו אינה שקופה לחלוטין. סקירה פרסומים רפואיים על אי-נחיתות מדווחים כי רק מחצית מהפרסומים מצדיקים את בחירת הגבול, ולעיתים הצדקות אלו אינן חד-משמעיות או אינן מפורטים.

בכל מקרה, גישה זו נראית מעניינת כי... על ידי הקטנת גודל המדגם הנדרש, זה יכול להגביר את מהירות הבדיקה, ולפיכך, את מהירות קבלת ההחלטות. — דריה מוחינה, אנליסטית מוצר עבור האפליקציה לנייד Skyeng.

צוות Stitch Fix אוהב לבדוק דברים שונים. כל קהילת הטכנולוגיה אוהבת להפעיל בדיקות באופן עקרוני. איזו גרסה של האתר מושכת יותר משתמשים - א' או ב'? האם גרסה א' של מודל ההמלצה מכניסה יותר כסף מגרסה ב'? כדי לבחון השערות, אנו כמעט תמיד משתמשים בגישה הפשוטה ביותר מתוך קורס הסטטיסטיקה הבסיסי:

למרות שאנו ממעטים להשתמש במונח, צורת בדיקה זו נקראת "בדיקת היפותזת עליונות". בגישה זו, אנו מניחים שאין הבדל בין שתי האפשרויות. אנחנו דבקים ברעיון הזה ונוטשים אותו רק אם הנתונים משכנעים מספיק לעשות זאת - כלומר, הם מוכיחים שאחת האפשרויות (A או B) עדיפה על השנייה.

בדיקת השערת העליונות מתאימה למגוון בעיות. אנו משחררים גרסה B של מודל המלצה רק אם היא בבירור טובה יותר מגרסה A שכבר נמצאת בשימוש. אבל במקרים מסוימים, גישה זו לא כל כך עובדת. בואו נסתכל על כמה דוגמאות.

1) אנו משתמשים בשירות של צד שלישי, שעוזר לזהות כרטיסי בנק מזויפים. מצאנו שירות אחר שעולה פחות משמעותית. אם שירות זול יותר עובד כמו זה שאנו משתמשים בו כעת, אנו נבחר בו. זה לא חייב להיות טוב יותר מהשירות שבו אתה משתמש.

2) אנו רוצים לנטוש את מקור הנתונים A והחליפו אותו במקור נתונים B. נוכל לעכב את נטישת A אם B יביא לתוצאות רעות מאוד, אך לא ניתן להמשיך להשתמש ב-A.

3) נרצה לעבור מגישה של דוגמנותהגישה של א' ל-ב' לא בגלל שאנחנו מצפים מ-B לתוצאות טובות יותר, אלא בגלל שהיא מעניקה לנו גמישות תפעולית גדולה יותר. אין לנו סיבה להאמין ש-B יהיה גרוע יותר, אבל לא נעשה את המעבר אם זה המצב.

4) ביצענו מספר שינויים איכותיים לתוך עיצוב האתר (גרסה B) ומאמינים שגרסה זו עדיפה על גרסה A. אנו לא מצפים לשינויים בהמרה או לאף אחד ממדדי הביצועים העיקריים שלפיהם אנו מעריכים אתר אינטרנט בדרך כלל. אבל אנחנו מאמינים שיש יתרונות בפרמטרים שהם או בלתי מדידים או שהטכנולוגיה שלנו לא מספיקה למדידה.

בכל המקרים הללו, מחקר עליונות אינו הפתרון המתאים ביותר. אבל רוב המומחים במצבים כאלה משתמשים בו כברירת מחדל. אנו עורכים את הניסוי בקפידה כדי לקבוע נכון את גודל ההשפעה. אם זה היה נכון שגרסאות A ו-B פועלות באופנים דומים מאוד, יש סיכוי שלא היינו מצליחים לדחות את השערת האפס. האם אנו מסיקים ש-A ו-B פועלים בעצם אותו הדבר? לא! אי דחיית השערת האפס וקבלת השערת האפס אינם אותו דבר.

חישובי גודל מדגם (שכמובן עשית) נעשים בדרך כלל עם גבולות מחמירים יותר עבור שגיאה מסוג I (ההסתברות לאי דחיית השערת האפס, המכונה לעתים קרובות אלפא) מאשר עבור שגיאה מסוג II (ההסתברות להיכשל בדחייה השערת האפס, בהינתן תנאי שהשערת האפס שקרית, הנקראת לעתים קרובות בטא). הערך הטיפוסי לאלפא הוא 0,05, בעוד שהערך הטיפוסי לבטא הוא 0,20, המתאים לעוצמה סטטיסטית של 0,80. זה אומר שיש סיכוי של 20% שנפספס את ההשפעה האמיתית של הכמות שציינו בחישובי ההספק שלנו, וזה פער רציני למדי במידע. כדוגמה, הבה נבחן את ההשערות הבאות:

H0: התרמיל שלי לא בחדר שלי (3)
H1: התרמיל שלי בחדר שלי (4)

אם חיפשתי בחדר שלי ומצאתי את התרמיל שלי, נהדר, אני יכול לדחות את השערת האפס. אבל אם הסתכלתי סביב החדר ולא מצאתי את התרמיל שלי (איור 1), איזו מסקנה עלי להסיק? אני בטוח שזה לא שם? הסתכלתי מספיק חזק? מה אם אחפש רק 80% מהחדר? מסקנה שהתרמיל בהחלט לא בחדר תהיה החלטה נמהרת. לא פלא שאנחנו לא יכולים "לקבל את השערת האפס".

האזור שחיפשנו
לא מצאנו את התרמיל - האם לקבל את השערת האפס?

איור 1: חיפוש ב-80% מחדר זהה בערך לחיפוש בעוצמה של 80%. אם לא מצאתם את התרמיל לאחר שבדקתם 80% מהחדר, האם תוכלו להסיק שהוא לא שם?

אז מה צריך מדען נתונים לעשות במצב הזה? אתה יכול להגדיל מאוד את כוחו של המחקר, אבל אז תצטרך גודל מדגם גדול בהרבה והתוצאה עדיין תהיה לא מספקת.

למרבה המזל, בעיות כאלה נחקרות זה מכבר בעולם המחקר הקליני. תרופה B זולה יותר מתרופה A; תרופה B צפויה לגרום לפחות תופעות לוואי מתרופה A; תרופה B קלה יותר להובלה כי אין צורך בקירור, אבל תרופה A כן. בואו נבדוק את השערת אי-נחיתות. זה כדי להראות שגרסה B טובה בדיוק כמו גרסה A - לפחות בתוך מרווח אי-נחיתות מוגדר מראש, Δ. נדבר יותר על איך להגדיר מגבלה זו מעט מאוחר יותר. אבל לעת עתה נניח שזהו ההבדל הקטן ביותר שיש לו משמעות מעשית (בהקשר של ניסויים קליניים, זה נקרא בדרך כלל משמעות קלינית).

השערות אי-נחיתות הופכות הכל על ראשו:

כעת, במקום להניח שאין הבדל, נניח שגרסה ב' גרועה מגרסה א', ונעמוד בהנחה זו עד שנוכיח שזה לא המצב. זה בדיוק הרגע שבו הגיוני להשתמש בבדיקת השערות חד צדדית! בפועל, ניתן לעשות זאת על ידי בניית רווח סמך וקביעה האם המרווח אכן גדול מ-Δ (איור 2).

בחר Δ

איך לבחור את ה-Δ הנכון? תהליך בחירת Δ כולל הצדקה סטטיסטית והערכה מהותית. בעולם המחקר הקליני, ישנן הנחיות רגולטוריות המכתיבות שדלתא צריכה לייצג את ההבדל הקטן ביותר מבחינה קלינית - כזה שיעשה את ההבדל בפועל. הנה ציטוט מההנחיות האירופיות כדי לבחון את עצמכם איתו: "אם ההבדל נבחר נכון, רווח סמך שכולו בין -∆ ל-0... עדיין מספיק כדי להפגין אי-נחיתות. אם תוצאה זו לא נראית מקובלת, זה אומר ש-∆ לא נבחרה כראוי."

הדלתא בהחלט לא צריכה לחרוג מגודל ההשפעה של גרסה A ביחס לבקרה האמיתית (פלצבו/ללא טיפול), שכן זה מוביל אותנו לומר שגרסה B גרועה מהשליטה האמיתית, ובו בזמן מדגימה "אי-נחיתות ." הבה נניח שכאשר הוצגה גרסה A, היא הוחלפה בגרסה 0 או שהתכונה לא הייתה קיימת כלל (ראה איור 3).

בהתבסס על תוצאות בדיקת השערת העליונות, התגלה גודל ההשפעה E (כלומר, ככל הנראה μ^A−μ^0=E). כעת A הוא התקן החדש שלנו, ואנחנו רוצים לוודא ש-B טוב כמו A. דרך נוספת לכתוב μB−μA≤−Δ (השערת אפס) היא μB≤μA−Δ. אם נניח ש-do שווה ל-E או גדול מ-E, אז μB ≤ μA−E ≤ פלצבו. כעת אנו רואים שהאומדן שלנו עבור μB עולה לחלוטין על μA−E, ובכך דוחה לחלוטין את השערת האפס ומאפשר לנו להגיע למסקנה ש-B טוב כמו A, אך באותו זמן μB עשוי להיות ≤ μ פלצבו, וזה לא מקרה מה אנחנו צריכים. (איור 3).

איור 3. הדגמה של הסיכונים בבחירת מרווח אי-נחיתות. אם החתך גבוה מדי, ניתן להסיק ש-B אינו נחות מ-A, אך יחד עם זאת לא ניתן להבחין בפלסבו. לא נחליף תרופה יעילה יותר מפלצבו (A) בתרופה יעילה כמו פלצבו.

בחירה של α

נעבור לבחירת α. אתה יכול להשתמש בערך הסטנדרטי α = 0,05, אבל זה לא לגמרי הוגן. כמו למשל, כשאתם קונים משהו באינטרנט ומשתמשים בכמה קודי הנחה בו-זמנית, למרות שאסור לשלב ביניהם - המפתח פשוט עשה טעות, ויצאתם מזה. על פי הכללים, הערך של α צריך להיות שווה למחצית מערכו של α המשמש בעת בדיקת השערת העליונות, כלומר 0,05 / 2 = 0,025.

גודל המדגם

כיצד להעריך את גודל המדגם? אם אתה מאמין שההבדל הממוצע האמיתי בין A ל-B הוא 0, אזי חישוב גודל המדגם זהה לבחינת השערת העליונות, אלא שאתה מחליף את גודל האפקט בשולי אי-נחיתות, בתנאי שאתה משתמש יעילות αnon-inferior = 1/2α עליונות (αnon-inferiority=1/2α superiority). אם יש לך סיבה להאמין שאופציה B עשויה להיות מעט יותר גרועה מאופציה A, אבל אתה רוצה להוכיח שהיא גרועה בלא יותר מ-Δ, אז יש לך מזל! זה למעשה מקטין את גודל המדגם שלך מכיוון שקל יותר להוכיח ש-B גרוע מ-A אם אתה באמת חושב שהוא קצת יותר גרוע מאשר שווה.

דוגמה עם פתרון

נניח שאתה רוצה לשדרג לגרסה B, בתנאי שהיא לא יותר מ-0,1 נקודה גרועה מגרסה A בסולם שביעות רצון לקוחות של 5 נקודות... בואו ניגש לבעיה זו באמצעות השערת העליונות.

כדי לבדוק את השערת העליונות, נחשב את גודל המדגם באופן הבא:

כלומר, אם יש לך 2103 תצפיות בקבוצה שלך, אתה יכול להיות בטוח ב-90% שתמצא גודל אפקט של 0,10 ומעלה. אבל אם 0,10 גבוה מדי עבורך, אולי לא כדאי לבדוק את השערת העליונות עבורו. ליתר ביטחון, ייתכן שתחליט להפעיל את המחקר עבור גודל אפקט קטן יותר, כגון 0,05. במקרה זה, תצטרך 8407 תצפיות, כלומר, המדגם יגדל כמעט פי 4. אבל מה אם נצמד לגודל המדגם המקורי שלנו, אבל נגדיל את ההספק ל-0,99 כדי שנהיה בטוחים אם נקבל תוצאה חיובית? במקרה זה, n עבור קבוצה אחת יהיה 3676, וזה כבר טוב יותר, אבל מגדיל את גודל המדגם ביותר מ-50%. וכתוצאה מכך, עדיין פשוט לא נוכל להפריך את השערת האפס, ולא נקבל תשובה לשאלתנו.

מה אם נבדוק את השערת אי-נחיתות במקום זאת?

גודל המדגם יחושב באמצעות אותה נוסחה למעט המכנה.
ההבדלים מהנוסחה המשמשת לבדיקת השערת העליונות הם כדלקמן:

— Z1−α/2 מוחלף ב-Z1−α, אבל אם אתה עושה הכל לפי הכללים, אתה מחליף את α = 0,05 ב-α = 0,025, כלומר, זה אותו מספר (1,96)

— (μB−μA) מופיע במכנה

- θ (גודל אפקט) מוחלף ב- Δ (מרווח של אי-נחיתות)

אם נניח ש-µB = µA, אז (µB − µA) = 0 וחישוב גודל המדגם עבור מרווח אי-הנחיתות הוא בדיוק מה שהיינו מקבלים אילו מחשבים עליונות עבור גודל אפקט של 0,1, מעולה! אנחנו יכולים לעשות מחקר באותו גודל עם השערות שונות וגישה שונה למסקנות, ונקבל את התשובה לשאלה שאנחנו באמת רוצים לענות עליה.

עכשיו נניח שאנחנו לא באמת חושבים ש-µB = µA ו
אנחנו חושבים ש-µB קצת יותר גרוע, אולי ב-0,01 יחידות. זה מגדיל את המכנה שלנו, ומקטין את גודל המדגם לקבוצה ל-1737.

מה קורה אם גרסה B באמת טובה יותר מגרסה A? אנו דוחים את השערת האפס ש-B גרוע מ-A ביותר מ-Δ ומקבלים את ההשערה האלטרנטיבית ש-B, אם גרועה יותר, אינה גרועה מ-A ב-Δ ועשויה להיות טובה יותר. נסה להכניס את המסקנה הזו למצגת צולבת וראה מה קורה (ברצינות, נסה זאת). במצב צופה פני עתיד, אף אחד לא רוצה להסתפק ב"לא יותר מאשר Δ גרוע יותר ואולי טוב יותר."

במקרה זה, אנו יכולים לערוך מחקר, שנקרא בקצרה מאוד "בדיקת ההשערה שאחת האפשרויות עדיפה או נחותה מהאחרת". הוא משתמש בשתי קבוצות של השערות:

קבוצה ראשונה (זהה כמו בדיקת השערת אי-נחיתות):

סט שני (זהה כמו בעת בדיקת השערת העליונות):

אנו בודקים את ההשערה השנייה רק ​​אם הראשונה נדחית. כאשר בודקים ברצף, אנו שומרים על שיעור השגיאה הכולל מסוג I (α). בפועל, ניתן להשיג זאת על ידי יצירת רווח סמך של 95% להפרש בין האמצעים ובדיקה כדי לקבוע אם המרווח כולו גדול מ-Δ. אם המרווח אינו חורג -Δ, לא נוכל לדחות את הערך האפס ולהפסיק. אם המרווח כולו אכן גדול מ-Δ, נמשיך ונראה אם ​​המרווח מכיל 0.

יש עוד סוג של מחקר שלא דנו בו - מחקרי שקילות.

ניתן להחליף את סוגי המחקרים הללו במחקרי אי-נחיתות ולהיפך, אך למעשה יש להם הבדל חשוב. ניסוי אי-נחיתות נועד להראות שאופציה ב' טובה לפחות כמו א'. ניסוי שקילות נועד להראות שאופציה ב' טובה לפחות כמו א'. אפשרות א' טובה כמו ב', וזה יותר קשה. בעיקרו של דבר, אנו מנסים לקבוע אם כל רווח הסמך להפרש האמצעים נמצא בין −Δ ל-Δ. מחקרים כאלה דורשים גודל מדגם גדול יותר והם נערכים בתדירות נמוכה יותר. אז בפעם הבאה שתערכו מחקר שבו המטרה העיקרית שלכם היא להבטיח שהגרסה החדשה לא תהיה גרועה יותר, אל תסתפקו ב"כישלון בדחיית השערת האפס". אם אתה רוצה לבדוק השערה חשובה באמת, שקול אפשרויות שונות.

מקור: www.habr.com