אולי שמעתם על אנליסטים, מומחי למידת מכונה ובינה מלאכותית, אבל האם שמעתם על אלו שמקבלים שכר יתר בצורה לא הוגנת? הכירו אותנו. שרלטן נתוניםאנשים ערמומיים אלה, הנמשכים לעבודה רווחית, יוצרים שם רע למומחי עיבוד נתונים אמיתיים. במאמר זה, נגלה כיצד לחשוף אנשים כאלה.
שרלטנים של נתונים נמצאים בכל מקום
שרלטני נתונים כל כך טובים בלהסתתר במקום גלוי, שאפשר תהיה אחד מהם, מבלי אפילו להבין זאת. סביר להניח שהארגון שלך מחסה את הנוכלים האלה במשך שנים, אבל החדשות הטובות הן שקל לזהות אותם אם אתה יודע מה לחפש.
סימן האזהרה הראשון הוא חוסר הבנה של אנליטיקה וסטטיסטיקה הן תחומים שונים מאודאסביר זאת בהמשך.
דיסציפלינות שונות
סטטיסטיקאים מאומנים להסיק מסקנות לגבי מה שמעבר לנתונים שלהם, אנליסטים מאומנים לבחון את תוכן מערך הנתונים. במילים אחרות, אנליסטים מסיקים מסקנות לגבי מה שנמצא בנתונים שלהם, וסטטיסטיקאים מסיקים מסקנות לגבי מה שאינו נמצא בנתונים. אנליסטים עוזרים לשאול שאלות טובות (לייצר השערות), וסטטיסטיקאים עוזרים לקבל תשובות טובות (לבדוק השערות).
ישנם גם תפקידים היברידיים מוזרים שבהם אדם מנסה לשבת על שני כיסאות... למה לא? העיקרון הבסיסי של מדעי הנתונים: אם אתה מתמודד עם אי ודאות, אתה לא יכול להשתמש... אחד ואותו הדבר נקודת נתונים לבדיקת השערות. כאשר הנתונים מוגבלים, אי הוודאות מאלצת בחירה בין סטטיסטיקה או אנליטיקה. הסבר .
בלי סטטיסטיקה, אתם תקועים ולא מסוגלים לדעת האם השיפוט שזה עתה קבעתם עומד, ובלי ניתוח, אתם נעים בעיוורון, עם סיכוי קלוש לאלף את הלא נודע. זו בחירה קשה.
דרכו של השרלטן לצאת מהבלאגן הזה היא להתעלם ממנו, ואז להעמיד פנים שהוא מופתע ממה שהוא מגלה פתאום. ההיגיון של בדיקת השערות סטטיסטית מסתכם בשאלה: האם הנתונים מפתיעים מספיק כדי לשנות את דעתנו? כיצד נוכל להיות מופתעים מנתונים אם ראינו אותם בעבר?
בכל פעם ששרלטנים מוצאים דפוס, הם מקבלים השראה, ואז בודקים אותו אותם נתונים עבור אותו דפוסלפרסם תוצאה עם ערך p לגיטימי או שניים, לצד התיאוריה שלהם. בכך הם משקרים לך (ואולי גם לעצמם). ערך p כזה לא משנה אם אינך דבק בהשערה שלך. до לאחר שבחנו את הנתונים שלהם. שרלטנים מחקים את פעולותיהם של אנליסטים וסטטיסטיקאים מבלי להבין מדוע. כתוצאה מכך, כל תחום מדעי הנתונים מקבל שם רע.
סטטיסטיקאים אמיתיים תמיד מסיקים את המסקנות שלהם בעצמם
הודות למוניטין הכמעט מיסטי של סטטיסטיקאים על נימוקים קפדניים, כמות החדשות המזויפות במדעי הנתונים נמצאת בשיא של כל הזמנים. קל להתבלבל ולא להיתפס, במיוחד אם הקורבן התמים חושב שמדובר רק במשוואות ובנתונים. מערך נתונים הוא מערך נתונים, נכון? לא. מה שחשוב הוא איך משתמשים בו.
למרבה המזל, צריך רק רמז אחד כדי לתפוס שרלטנים: הם "מגלים את אמריקה רטרואקטיבית". מגלים מחדש תופעות שהם כבר יודעים שקיימות בנתונים.
בניגוד לשרלטנים, אנליסטים טובים הם בעלי ראש פתוח ומבינים שלרעיונות מעוררי השראה יכולים להיות הסברים רבים ושונים. יחד עם זאת, סטטיסטיקאים טובים מסיימים בקפידה את מסקנותיהם לפני שהם מסיקים אותן.
אנליסטים פטורים מאחריות... כל עוד הם נשארים במסגרת הנתונים שלהם. אם הם מתפתים לטעון משהו שלא ראו, זו עבודה אחרת לגמרי. עליהם "להוריד את נעלי האנליסט" ו"לנעול את נעלי הסטטיסטיקה". אחרי הכל, לא משנה מהי תואר התפקיד הרשמי, אין כלל שאומר שאי אפשר ללמוד את שני המקצועות אם רוצים. רק אל תבלבלו ביניהם.
להיות טוב בסטטיסטיקה לא אומר שאתה טוב באנליטיקה, ולהיפך. אם מישהו מנסה לומר לך אחרת, עליך להיזהר. אם אותו אדם אומר לך שמותר לך להסיק מסקנות סטטיסטיות על סמך נתונים שכבר למדת, עליך להיזהר כפליים.
הסברים מוזרים
כשאתם צופים בשרלטנים של נתונים בטבע, תשימו לב שהם אוהבים לטוות סיפורים פנטסטיים כדי "להסביר" את הנתונים שהם צופים בהם. ככל שהם אקדמיים יותר, כך ייטב. לא משנה שהסיפורים האלה עוברים שינויים לאחר מעשה.
כששרלטנים עושים זאת - הרשו לי להבהיר - הם משקרים. שום כמות של משוואות או מושגים מפוארים לא יכולה לפצות על העובדה שהם לא הציעו שום ראיות לטענותיהם. אל תתפלאו עד כמה ההסברים שלהם מוזרים.
זה כמו להדגים את הכוחות ה"מדיים" שלך על ידי התבוננות ראשונה בקלפים שבידך, ואז חיזוי שאתה מחזיק... את מה שאתה מחזיק. זוהי הטיה של ראייה לאחור, ומקצוע מדעני הנתונים עמוס בה.
אנליסטים אומרים, "הרגע בחרת במלכת היהלומים". סטטיסטיקאים אומרים, "רשמתי את ההשערות שלי על פיסת הנייר הזאת לפני שהתחלנו. בואו נשחק, נסתכל על כמה נתונים ונראה אם אני צודק". שרלטנים אומרים, "ידעתי שתבחר במלכת היהלומים כי..."
חלוקת נתונים היא הפתרון המהיר שכולם צריכים.
כשאין הרבה נתונים, צריך לבחור בין סטטיסטיקה לאנליטיקה, אבל כשיש יותר ממספיק נתונים, יש הזדמנות מצוינת להשתמש באנליטיקה בלי לרמות. и סטטיסטיקה. יש לך את ההגנה המושלמת מפני שרלטנים - זהו חלוקת נתונים, ולדעתי, זה הרעיון החזק ביותר במדעי הנתונים.
כדי להגן על עצמכם מפני שרלטנים, כל שעליכם לעשות הוא לוודא שאתם שומרים חלק מנתוני הבדיקה הרחק מעיניהם הסקרניות, ולאחר מכן מתייחסים לשאר כאל אנליטיקה. כשאתם נתקלים בתיאוריה שאתם נמצאים בסיכון לקבל, השתמשו בה כדי להעריך את המצב, ולאחר מכן פתחו את נתוני הבדיקה הסודיים שלכם כדי לוודא שהתיאוריה אינה שטויות. זה כל כך פשוט!
ודאו שאף אחד לא רשאי לצפות בנתוני הבדיקה במהלך שלב המחקר. לשם כך, היצמדו לנתוני המחקר. אין להשתמש בנתוני הבדיקה לניתוח.
זהו קפיצת מדרגה גדולה לעומת מה שהיו רגילים אליו בעידן "הנתונים הקטנים", שבו היית צריך להסביר איך אתה יודע את מה שאתה יודע כדי סוף סוף לשכנע אנשים שאתה באמת יודע משהו.
יש להחיל את אותם הכללים על ML/AI
קל גם לזהות כמה שרלטנים שמתחזים למומחי ML/AI. תתפסו אותם באותה צורה שתתפסו כל מהנדס גרוע אחר: ה"פתרונות" שהם מנסים לבנות באופן עקבי נכשלים. סימן אזהרה מוקדם הוא חוסר ניסיון עם שפות תכנות וספריות סטנדרטיות בתעשייה.
אבל מה לגבי האנשים שיוצרים מערכות שנראות עובדות? איך יודעים אם משהו חשוד קורה? אותו כלל חל! שרלטן הוא דמות מרושעת שמראה לך כמה טוב מודל עבד... על אותם נתונים שבהם השתמשו כדי ליצור את המודל.
אם בונים מערכת למידת מכונה מורכבת בטירוף, איך יודעים כמה היא טובה? לא תדעו עד שתראו שהיא עובדת על נתונים חדשים שלא נראו בעבר.
כשראית את הנתונים לפני התחזית, זה לא סביר לפניתִנוּי.
כאשר יש לך מספיק נתונים לחלוקה, אינך צריך להסתמך על היופי של הנוסחאות שלך כדי להצדיק את הפרויקט (הרגל מיושן שאני רואה בכל מקום, לא רק במדע). אתה יכול לומר: "אני יודע שזה עובד כי אני יכול לקחת מערך נתונים שמעולם לא ראיתי קודם ולחזות בדיוק מה יקרה... ולצדק. שוב ושוב."
בחינת המודל/תיאוריה שלך על נתונים חדשים היא הבסיס הטוב ביותר לאמון.
אין לי סבלנות לשרלטנים של נתונים. לא אכפת לי אם הדעה שלך מבוססת על דברים מפוארים. אני לא מתרשם מיופיו של ההסבר. תראה לי שהתיאוריה/מודל שלך עובד (וממשיך לעבוד) על סט נתונים חדש לגמרי שמעולם לא ראית קודם לכן. זה המבחן האמיתי של כוח העמידות של הדעה שלך.
קריאה למומחי מדעי הנתונים
אם אתם רוצים שיתייחסו אליכם ברצינות מכל מי שמבין את ההומור, תפסיקו להסתתר מאחורי משוואות מפוארות כדי לתמוך בדעות הקדומות האישיות שלכם. הראו מה יש לכם. אם אתם רוצים שאלה ש"מבינים" יראו את התיאוריה/מודל שלכם כיותר משירה מעוררת השראה, אזרו את האומץ להציג הופעה מפוארת של כמה טוב זה עובד על מערך נתונים חדש לגמרי... מול עדים!
פנייה למנהיגים
לסרב להתייחס ברצינות לכל "רעיון" בנוגע לנתונים עד שיבחנו אותו מולם. חדש נתונים. לא בא לכם להשקיע מאמץ? הישארו עם אנליטיקה, אבל אל תסמכו על הרעיונות האלה - הם לא אמינים ולא נבדקו לאמינותם. כמו כן, כאשר לארגון יש נתונים בשפע, אין שום חסרון בהפיכת ההפרדה לחלק מהותי מהמדע ותחזוקה ברמת התשתית, תוך שליטה בגישה לנתוני בדיקה למטרות סטטיסטיקה. זוהי דרך מצוינת למנוע מאנשים לנסות לדפוק אתכם!
אם אתם רוצים לראות עוד דוגמאות לשרלטנים שזוממים למטרות רעות - .
תוצאות של
כאשר הנתונים דלילים מכדי להבחין בינם לבין עצמם, רק שרלטן מנסה ללכת לפי ההשראה בקפדנות, לגלות את אמריקה רטרוספקטיבית, לגלות מחדש מתמטית תופעות שכבר ידועות כקיימות בנתונים, ולכנות את ההפתעה מובהקת סטטיסטית. זה מבדיל אותם מהאנליסט הפתוח שעוסק בהשראה, ומהסטטיסטיקאי הקפדן שמציע ראיות בעת חיזוי.
כאשר יש לכם הרבה נתונים, התרגלו לפצל את הנתונים כדי שתוכלו ליהנות משני העולמות! הקפידו לבצע ניתוחים וסטטיסטיקות בנפרד על תת-קבוצות נפרדות של מערך הנתונים המקורי.
- אנליסטים להציע לך השראה ופרספקטיבה רחבה.
- סטָטִיסטִיקָה מציעים לך בדיקות קפדניות.
- שרלטנים מציעים לכם מבט רטרוספקטיבי מעוות שמתיימר להיות אנליטיקה בתוספת סטטיסטיקה.
אולי, לאחר קריאת המאמר, תעלה בכם מחשבה "האם אני שרלטן?". זה נורמלי. אתם יכולים לגרש את המחשבה הזו בשתי דרכים: ראשית, להסתכל אחורה, לראות מה עשיתם, האם העבודה שלכם עם נתונים הביאה תועלת מעשית. ושנית, אתם יכולים לעבוד על הכישורים שלכם (שבהחלט לא יהיו מיותרים), במיוחד מכיוון שאנו מעניקים לתלמידים שלנו מיומנויות וידע מעשיים המאפשרים להם להפוך למדעני נתונים אמיתיים.
קורסים נוספים
קרא עוד
מקור: www.habr.com
