🥇איך לזהות שרלטן Data Science?

אולי שמעתם על אנליסטים, מומחי למידת מכונה ואינטליגנציה מלאכותית, אבל האם שמעתם על אלה שמקבלים שכר לא הוגן? לִפְגוֹשׁ שרלטן נתונים! הטריקים האלה, שמושכים משרות רווחיות, מוציאים שם רע למדעני נתונים אמיתיים. בחומר אנחנו מבינים איך להביא אנשים כאלה למים נקיים.

שרלטני נתונים נמצאים בכל מקום

שרלטני נתונים כל כך טובים בלהסתתר לעין כל כך שאתה יכול להיות אחד מהםאפילו בלי להבין את זה. רוב הסיכויים שהארגון שלך אוגר את הרמאים האלה כבר שנים, אבל החדשות הטובות הן שקל לזהות אותם אם אתה יודע מה לחפש.
סימן האזהרה הראשון הוא לא להבין מה אנליטיקה וסטטיסטיקה הן דיסציפלינות שונות מאוד. אסביר זאת בהמשך.

דיסציפלינות שונות

סטטיסטיקאים מאומנים להסיק מסקנות לגבי מה שמעבר לנתונים שלהם, אנליסטים מאומנים לבחון את התוכן של מערך נתונים. במילים אחרות, אנליסטים מסיקים מסקנות לגבי מה שיש בנתונים שלהם, וסטטיסטיקאים מסיקים מסקנות לגבי מה שאין בנתונים. אנליסטים עוזרים לך לשאול שאלות טובות (להעלות השערות), וסטטיסטיקאים עוזרים לך לקבל תשובות טובות (בדוק את ההשערות שלך).

יש גם תפקידים היברידיים מוזרים שבהם אדם מנסה לשבת על שני כיסאות... למה לא? עיקרון בסיסי של מדעי הנתונים: אם אתה מתמודד עם אי ודאות, אל תשתמש אותו דבר נקודת נתונים עבור השערות ובדיקות. כאשר הנתונים מוגבלים, אי הוודאות מאלצת לבחור בין סטטיסטיקה או ניתוח. הסבר כאן.

ללא סטטיסטיקה, אתה תהיה תקוע ולא תוכל להבין אם השיפוט שזה עתה ניסחת מחזיק מעמד, וללא ניתוח, אתה נע בצורה עיוור, עם סיכוי קטן לאלף את הלא נודע. זו בחירה קשה.

הדרך של השרלטן לצאת מהבלגן הזה היא להתעלם ממנו ואז להעמיד פנים שהוא מופתע ממה שהוא חושף פתאום. ההיגיון מאחורי בדיקת השערות סטטיסטיות מסתכם בשאלה האם הנתונים מפתיעים אותנו מספיק כדי לשנות את דעתנו. איך נוכל להיות מופתעים מהנתונים אם כבר ראינו אותם?

בכל פעם שרלטנים מוצאים דפוס, הם מקבלים השראה, ואז בודקים אותם נתונים עבור אותה תבניתלפרסם את התוצאה, עם ערך p לגיטימי או שניים, לצד התיאוריה שלהם. בכך הם משקרים לך (ואולי גם לעצמם). ערך ה-p הזה לא משנה אם אתה לא דבק בהשערה שלך. до איך ראית את הנתונים שלך. שרלטנים מחקים את פעולותיהם של אנליסטים וסטטיסטיקאים מבלי להבין את הסיבות. כתוצאה מכך, כל תחום מדעי הנתונים מקבל מוניטין רע.

סטטיסטיקאים אמיתיים תמיד מסיקים את המסקנות שלהם

הודות למוניטין הכמעט מיסטי של סטטיסטיקאים על נימוקיהם הקפדניים, כמות המידע המזויף ב-Data Science נמצאת בשיא של כל הזמנים. קל לרמות ולא להיתפס, במיוחד אם הקורבן התמים חושב שהכל עניין של משוואות ונתונים. מערך נתונים הוא מערך נתונים, נכון? לא. זה משנה איך אתה משתמש בו.

למרבה המזל, צריך רק רמז אחד כדי לתפוס את השרלטנים: הם "מגלים מחדש את אמריקה לאחר מעשה". גילוי מחדש של תופעות שהם כבר יודעים שיש בנתונים.

בניגוד לשרלטנים, אנליסטים טובים הם בעלי ראש פתוח ומבינים שלרעיונות מעוררי השראה יכולים להיות הסברים רבים ושונים. יחד עם זאת, סטטיסטיקאים טובים מגדירים בקפידה את מסקנותיהם לפני שהם מסיקים אותן.

אנליסטים פטורים מאחריות... כל עוד הם נשארים בטווח הנתונים שלהם. אם הם מתפתים לטעון משהו שהם לא ראו, זו עבודה אחרת לגמרי. הם צריכים לחלוץ את נעליו של האנליסט ולנעול את נעליו של הסטטיסטיקאי. הרי לא משנה מהי שם התפקיד הרשמי, אין כלל שאומר שאי אפשר ללמוד את שני המקצועות אם רוצים. רק אל תבלבל אותם.

זה שאתה טוב בסטטיסטיקה לא אומר שאתה טוב באנליטיקה, ולהיפך. אם מישהו מנסה לומר לך אחרת, אתה צריך להיות על המשמר. אם האדם הזה אומר לך שמותר לך להסיק מסקנות סטטיסטיות על הנתונים שכבר למדת, זו סיבה להיזהר כפליים.

הסברים מוזרים

כאשר תצפו בשרלטני נתונים בטבע, תשימו לב שהם אוהבים להמציא סיפורי פנטזיה כדי "להסביר" נתונים שנצפו. כמה שיותר אקדמי יותר טוב. זה לא משנה שהסיפורים האלה מונעים רטרואקטיבית.

כששרלטנים עושים זאת - הרשו לי להיות נדיב במילים - הם משקרים. שום כמות של משוואות או מושגים יפים לא מפצה על העובדה שהם הציעו אפס הוכחה לגרסאות שלהם. אל תתפלאו עד כמה יוצאי דופן ההסברים שלהם.

זה זהה להפגנת היכולות ה"נפשיות" שלך על ידי התבוננות תחילה בקלפים שבידייך, ולאחר מכן חיזוי מה אתה מחזיק... מה אתה מחזיק. זו הטיה בדיעבד, ומקצוע מדעני הנתונים עמוס בזה.

אנליסטים אומרים: "הרגע הלכת עם מלכת היהלומים". סטטיסטיקאים אומרים, "רשמתי את ההשערות שלי על פיסת הנייר הזו לפני שהתחלנו. בוא נשחק, נסתכל על כמה נתונים ונראה אם אני צודק". השרלטנים אומרים, "ידעתי שאת הולכת להיות מלכת היהלומים כי..."

חלוקת נתונים היא התיקון המהיר שכולם צריכים.

כשאין הרבה נתונים, צריך לבחור בין סטטיסטיקה לניתוח, אבל כשיש די והותר נתונים, יש הזדמנות מצוינת להשתמש באנליטיקה בלי לרמות и סטָטִיסטִיקָה. יש לך את ההגנה המושלמת נגד שרלטנים - הפרדת נתונים ולדעתי זה הרעיון הכי חזק ב-Data Science.

כדי להגן על עצמך מפני שרלטנים, כל מה שאתה צריך לעשות הוא לוודא שאתה מרחיק כמה נתוני בדיקה מעיניהם הסקרניות ואז להתייחס לכל השאר כאל ניתוח. כאשר אתה נתקל בתיאוריה שאתה מסתכן בקבלה, השתמש בה כדי להעריך את המצב ולאחר מכן חשף את נתוני המבחן הסודיים שלך כדי לוודא שהתיאוריה אינה שטות. זה כל כך פשוט!

ודא שאף אחד לא מורשה לצפות בנתוני הבדיקה במהלך שלב החקירה. כדי לעשות זאת, היצמד לנתוני מחקר. אין להשתמש בנתוני הבדיקה לניתוח.

זוהי עליית מדרגה גדולה ממה שאנשים רגילים אליו בעידן ה"סמול דאטה", שבו אתה צריך להסביר איך אתה יודע מה אתה יודע כדי לשכנע סוף סוף אנשים שאתה באמת יודע משהו.

החלת אותם כללים על ML/AI

קל לזהות גם כמה שרלטנים שמתחזות כמומחי ML/AI. אתה תתפוס אותם באותו אופן שאתה תופס כל מהנדס גרוע אחר: ה"פתרונות" שהם מנסים לבנות נכשלים ללא הרף. סימן אזהרה מוקדם הוא חוסר ניסיון עם שפות תכנות וספריות סטנדרטיות בתעשייה.

אבל מה לגבי אנשים שבונים מערכות שנראה שעובדות? איך יודעים אם קורה משהו חשוד? אותו כלל חל! השרלטן הוא דמות מרושעת שמראה לך כמה טוב המודל ביצע ... על אותם נתונים שהם השתמשו בהם כדי ליצור את המודל.

אם בניתם מערכת למידת מכונה מורכבת בטירוף, איך תדעו כמה היא טובה? לא תדע עד שתראה לה שהיא עובדת עם נתונים חדשים שהיא לא ראתה בעבר.

כשראית את הנתונים לפני החיזוי, זה לא סביר לפניפִּתגָם.

כשיש לך מספיק נתונים לפצל, אתה לא צריך להפעיל את היופי של הנוסחאות שלך כדי להצדיק פרויקט (הרגל אופנתי ישן שאני רואה בכל מקום, לא רק במדע). אתה יכול להגיד: "אני יודע שזה עובד כי אני יכול לקחת סט נתונים שלא ראיתי בעבר ולחזות בדיוק מה יקרה שם... ואני צודק. שוב ושוב".

בדיקת המודל/תיאוריה שלך מול נתונים חדשים היא הבסיס הטוב ביותר לאמון.

אני לא סובל שרלטני נתונים. לא אכפת לי אם הדעה שלך מבוססת על צ'יפים שונים. אני לא מתרשם מהיופי שבהסברים. הראה לי שהתיאוריה/מודל שלך עובד (וממשיך לעבוד) על מגוון נתונים חדשים שלא ראית מעולם. זהו המבחן האמיתי לעוצמת דעתך.

יצירת קשר עם מדעני נתונים

אם אתה רוצה שייקח אותך ברצינות על ידי כל מי שמבין את ההומור הזה, תפסיק להסתתר מאחורי משוואות מפוארות כדי לשמור על ההטיה האישית שלך בחיים. תראה מה יש לך. אם אתה רוצה שאלו ש"מבינים את זה" יראו בתיאוריה/מודל שלך יותר מסתם שירה מעוררת השראה, אזרו את האומץ להציג תצוגה מפוארת של הביצועים שלו במערך נתונים חדש לגמרי... מול עדים!

פנייה למנהיגים

סרבו להתייחס ברצינות לכל "רעיונות" לגבי הנתונים עד שהם נבדקו חדש נתונים. לא רוצה להתאמץ? היצמד לניתוח, אבל אל תסתמך על הרעיונות האלה - הם לא אמינים ולא נבדקו לגבי אמינות. כמו כן, כאשר לארגון יש נתונים בשפע, אין שום חיסרון בהפיכת ההפרדה לבסיס המדע ותחזוקתה ברמת התשתית על ידי שליטה בגישה לנתוני בדיקה לסטטיסטיקה. זו דרך מצוינת לעצור ניסיונות להטעות אותך!

אם אתה רוצה לראות עוד דוגמאות של שרלטנים זוממים משהו רע - זה שרשור טוויטר נהדר.

תוצאות של

כשיש מעט מדי נתונים להפריד, רק שרלטן מנסה לעקוב אחר ההשראה בקפדנות על ידי גילוי אמריקה בדיעבד, גילוי מחדש מתמטי של תופעות שכבר ידועות בנתונים, וקורא להפתעה מובהקת סטטיסטית. זה מבדיל אותם מהאנליטיקאי הפתוח, העוסק בהשראה, ומהסטטיסטיקאי המוקפד, שמציע ראיות בעת ניבוי.

כאשר יש הרבה נתונים, הכנס להרגל לשתף נתונים כדי שתוכל לקבל את הטוב משני העולמות! הקפד לבצע ניתוחים וסטטיסטיקות בנפרד עבור תת-קבוצות נפרדות של ערימת הנתונים המקורית.

אנליסטים להציע לך השראה ופרספקטיבה.
סטָטִיסטִיקָה להציע לך בדיקות קפדניות.
שרלטנים להציע לך מבט לאחור מעוות שמתיימר להיות אנליטיקה פלוס סטטיסטיקה.

אולי, לאחר קריאת המאמר, תעלה לך המחשבה "האם אני שרלטן"? זה בסדר. ישנן שתי דרכים להיפטר מהמחשבה הזו: ראשית, הסתכל אחורה, ראה מה עשית, האם העבודה שלך עם נתונים הביאה יתרונות מעשיים. ושנית, אתה עדיין יכול לעבוד על הכישורים שלך (שבוודאי לא יהיו מיותרים), במיוחד מכיוון שאנו מעניקים לתלמידים שלנו כישורים וידע מעשיים המאפשרים להם להיות מדעני נתונים אמיתיים.

קורסים נוספים

קרא עוד

מקור: www.habr.com

איך לזהות שרלטן מ-Data Science?