מדוע צוותי Data Science זקוקים לגנרליסטים, לא מומחים

HIROSHI WATANABE/GETTY IMAGES

ב"עושר האומות", אדם סמית' מראה כיצד חלוקת העבודה הופכת למקור העיקרי להגברת הפריון. דוגמה לכך היא פס הייצור של מפעל סיכות: "עובד אחד מושך את החוט, אחר מיישר אותו, שלישי חותך אותו, רביעי מחדד את הקצה, חמישי טוחן את הקצה השני כך שיתאים לראש". הודות להתמחות הממוקדת בפונקציות ספציפיות, כל עובד הופך למומחה מוסמך ביותר במשימתו המצומצמת, מה שמוביל ליעילות מוגברת של התהליך. התפוקה לעובד גדלה פי כמה, והמפעל מתייעל בייצור פינים.

חלוקת העבודה הזו לפי פונקציונליות כל כך מושרשת במוחנו גם היום עד שארגנו במהירות את הצוותים שלנו בהתאם. Data Science אינו יוצא מן הכלל. יכולות עסקיות אלגוריתמיות מורכבות דורשות פונקציות עבודה מרובות, ולכן חברות בדרך כלל יוצרות צוותים של מומחים: חוקרים, מהנדסי נתונים, מהנדסי למידת מכונה, מדעני סיבה ותוצאה וכן הלאה. עבודת המומחים מתואמת על ידי מנהל המוצר עם העברת הפונקציות באופן הדומה למפעל סיכות: "אדם אחד מקבל את הנתונים, אחר מדגמן אותם, שלישי מבצע אותם, רביעי מודד" וכן הלאה,

למרבה הצער, אל לנו לבצע אופטימיזציה של צוותי מדעי הנתונים שלנו כדי לשפר את הפרודוקטיביות. עם זאת, אתה עושה זאת כאשר אתה מבין מה אתה מייצר: סיכות או משהו אחר, ופשוט שואפים להגביר את היעילות. מטרת פסי הייצור היא להשלים משימה. אנחנו יודעים בדיוק מה אנחנו רוצים – סיכות (כמו בדוגמה של סמית), אך ניתן לציין כל מוצר או שירות בו הדרישות מתארות במלואן את כל ההיבטים של המוצר והתנהגותו. תפקיד העובדים הוא למלא את הדרישות הללו בצורה יעילה ככל האפשר.

אבל המטרה של Data Science היא לא להשלים משימות. במקום זאת, המטרה היא לחקור ולפתח הזדמנויות עסקיות חדשות חזקות. לא ניתן לפתח מראש מוצרים ושירותים אלגוריתמיים כגון מערכות המלצות, אינטראקציות עם לקוחות, סיווג העדפות סגנון, מידות, עיצוב בגדים, אופטימיזציה לוגיסטית, איתור מגמות עונתיות ועוד. יש ללמוד אותם. אין שרטוטים לשכפל, אלו הן אפשרויות חדשות עם אי ודאות אינהרנטית. יש ללמוד מקדמים, מודלים, סוגי מודלים, היפרפרמטרים, כל האלמנטים הדרושים באמצעות ניסויים, ניסוי וטעייה וחזרה. בעזרת סיכות, ההדרכה והעיצוב נעשים לפני הייצור. עם Data Science, אתה לומד כמו שאתה לומד, לא לפני כן.

במפעל סיכות, כשההכשרה באה במקום הראשון, אנחנו לא מצפים ולא רוצים שהעובדים יאלתרו על שום תכונה של המוצר מלבד שיפור יעילות הייצור. משימות התמחות הגיוניות מכיוון שהיא מובילה ליעילות תהליכים ועקביות ייצור (ללא שינויים במוצר הסופי).

אבל כשהמוצר עדיין מתפתח והמטרה היא הכשרה, ההתמחות מפריעה למטרות שלנו במקרים הבאים:

1. זה מגדיל את עלויות התיאום.

כלומר, אותן עלויות המצטברות במהלך הזמן המושקע בתקשורת, דיון, הצדקה ותעדוף העבודה שצריך לעשות. עלויות אלו מתרחבות בצורה סופר-לינארית עם מספר האנשים המעורבים. (כפי שג'יי ריצ'רד הקמן לימד אותנו, מספר הקשרים r גדל בדומה לפונקציה של מספר האיברים n לפי משוואה זו: r = (n^2-n)/2. וכל קשר חושף כמות מסוימת של יחסי עלות.) כאשר מדעני נתונים מאורגנים לפי תפקידים, בכל שלב, בכל שינוי, כל מסירה וכו', נדרשים מומחים רבים, מה שמגדיל את עלויות התיאום. לדוגמה, מעצבי מודלים סטטיסטיים שרוצים להתנסות בתכונות חדשות יצטרכו לתאם עם מהנדסי נתונים שיוסיפו למערכות הנתונים בכל פעם שהם רוצים לנסות משהו חדש. באופן דומה, כל דגם חדש שהוכשר אומר שמפתח המודל יזדקק למישהו לתאם איתו כדי להכניס אותו לייצור. עלויות התיאום פועלות כמחיר לאיטרציה, מה שהופך אותן לקשות ויקרות יותר ובסבירות גבוהה יותר לגרום לנטישת המחקר. זה עלול להפריע ללמידה.

2. זה מקשה על זמני ההמתנה.

אפילו יותר מרתיע מעלויות התיאום הוא הזמן שאבד בין משמרות העבודה. בעוד שעלויות התיאום נמדדות בדרך כלל בשעות - הזמן שלוקח לקיים פגישות, דיונים, ביקורות עיצוביות - זמן ההמתנה נמדד בדרך כלל בימים, שבועות או אפילו חודשים! קשה לאזן את לוחות הזמנים של מומחים פונקציונליים מכיוון שכל מומחה חייב להיות מופץ על פני מספר פרויקטים. פגישה של שעה אחת לדיון בשינויים יכולה לקחת שבועות כדי להחליק את זרימת העבודה. ולאחר הסכמה על השינויים, יש צורך לתכנן את העבודה עצמה בהקשר של פרויקטים רבים אחרים שתופסים את זמן העבודה של מומחים. עבודה הכוללת תיקוני קוד או מחקר שלוקח רק כמה שעות או ימים להשלמתם עשויה לקחת הרבה יותר זמן עד שהמשאבים יהיו זמינים. עד אז, איטרציה ולמידה מושעים.

3. זה מצמצם את ההקשר.

חלוקת העבודה יכולה להגביל באופן מלאכותי את הלמידה על ידי תגמול אנשים על הישארותם במומחיות שלהם. לדוגמה, מדען מחקר שחייב להישאר בטווח הפונקציונליות שלו ימקד את האנרגיה שלו בניסויים בסוגים שונים של אלגוריתמים: רגרסיה, רשתות עצביות, יער אקראי וכו'. כמובן, בחירות אלגוריתמים טובות יכולות להוביל לשיפורים מצטברים, אבל בדרך כלל יש הרבה יותר מה להרוויח מפעילויות אחרות, כמו שילוב מקורות נתונים חדשים. באופן דומה, זה יעזור לפתח מודל שמנצל כל פיסת כוח הסבר הגלום בנתונים. עם זאת, כוחו עשוי להיות בשינוי התפקוד האובייקטיבי או בהרגעת אילוצים מסוימים. קשה לראות או לעשות זאת כאשר עבודתה מוגבלת. מכיוון שמדען טכני מתמחה באופטימיזציה של אלגוריתמים, יש לו הרבה פחות סיכוי לעשות משהו אחר, גם אם זה מביא יתרונות משמעותיים.

למנות את הסימנים המופיעים כאשר צוותי מדעי הנתונים פועלים כמפעלי סיכות (לדוגמה, בעדכוני סטטוס פשוטים): "מחכה לשינויים בצנרת הנתונים" ו"מחכה למשאבי ML Eng" הם חוסמים נפוצים. עם זאת, אני מאמין שההשפעה המסוכנת יותר היא מה שאתה לא שם לב, כי אתה לא יכול להתחרט על מה שאתה לא יודע כבר. ביצוע ללא רבב והשאננות המושגת מהשגת יעילות תהליכים יכולים להסוות את האמת שארגונים אינם מודעים ליתרונות הלמידה שהם מפספסים.

הפתרון לבעיה זו, כמובן, הוא להיפטר משיטת סיכת המפעל. כדי לעודד למידה ואיטרציה, תפקידים של מדעני נתונים צריכים להיות כלליים אך עם אחריות רחבה ללא תלות בפונקציה הטכנית, כלומר לארגן מדעני נתונים כך שהם יהיו מותאמים ללמידה. משמעות הדבר היא שכירת "מומחי מחסנית מלאה" - מומחים כלליים שיכולים לבצע מגוון פונקציות, החל מרעיון ועד מודלים, יישום ועד מדידה. חשוב לציין שאני לא מציע שגיוס טאלנטים מלאים צריך להפחית את מספר העובדים. במקום זאת, פשוט אניח שכאשר הם מאורגנים אחרת, התמריצים שלהם מתאימים יותר ליתרונות הלמידה והביצועים. לדוגמה, נניח שיש לך צוות של שלושה אנשים עם שלושה כישורים עסקיים. במפעל סיכות, כל טכנאי יקדיש שליש מזמנו לכל משימת עבודה, שכן אף אחד אחר לא יכול לעשות את עבודתו. בערימה מלאה, כל גנרליסט מוקדש במלואו לכל התהליך העסקי, הגדלה והדרכה.

עם פחות אנשים שתומכים במחזור הייצור, התיאום מצטמצם. הגנרליסט עובר בצורה זורמת בין תכונות, מרחיב את צינור הנתונים כדי להוסיף עוד נתונים, מנסה תכונות חדשות במודלים, פריסת גרסאות חדשות לייצור למדידות סיבתיות וחוזר על שלבים ברגע שעולים רעיונות חדשים. כמובן, הסטיישן מבצעת פונקציות שונות ברצף ולא במקביל. אחרי הכל, זה רק אדם אחד. עם זאת, השלמת משימה לוקחת בדרך כלל רק חלק מהזמן הדרוש לגישה למשאב מיוחד אחר. לכן, זמן האיטרציה פוחת.

הגנרליסט שלנו אולי לא מיומן כמו מומחה בתפקיד מסוים בעבודה, אבל אנחנו לא שואפים לשלמות תפקודית או לשיפורים מצטברים קטנים. במקום זאת, אנו שואפים ללמוד ולגלות עוד ועוד אתגרים מקצועיים עם השפעה הדרגתית. עם הקשר הוליסטי לפתרון מלא, הוא רואה הזדמנויות שמומחה יחמיץ. יש לו עוד רעיונות ועוד אפשרויות. גם הוא נכשל. עם זאת, עלות הכישלון נמוכה והתועלת בלמידה גבוהה. אסימטריה זו מקדמת איטרציה מהירה ומתגמלת למידה.

חשוב לציין שכמות האוטונומיה וגיוון המיומנויות הניתנים למדענים מלאים תלויה במידה רבה בחוסנה של פלטפורמת הנתונים עליה ניתן לעבוד. פלטפורמת נתונים מעוצבת היטב מפשטת מדעני נתונים מהמורכבות של קונטיינריזציה, עיבוד מבוזר, כשל אוטומטי ומושגי מחשוב מתקדמים אחרים. בנוסף להפשטה, פלטפורמת נתונים איתנה יכולה לספק קישוריות חלקה לתשתית ניסיונית, להפוך ניטור והתרעות לאוטומטי, לאפשר קנה מידה והדמיה אוטומטית של תוצאות אלגוריתמיות וניפוי באגים. רכיבים אלו מתוכננים ונבנים על ידי מהנדסי פלטפורמת הנתונים, כלומר אינם מועברים ממדען הנתונים לצוות הפיתוח של פלטפורמת הנתונים. זה המומחה למדעי הנתונים שאחראי לכל הקוד המשמש להפעלת הפלטפורמה.

גם אני התעניינתי פעם בחלוקת העבודה הפונקציונלית באמצעות יעילות תהליכית, אבל באמצעות ניסוי וטעייה (אין דרך טובה יותר ללמוד), גיליתי שתפקידים טיפוסיים מקלים טוב יותר על למידה וחדשנות ומספקים את המדדים הנכונים: גילוי ו בניית הזדמנויות עסקיות רבות יותר מאשר גישה מיוחדת. (דרך יעילה יותר ללמוד על גישה זו להתארגנות מאשר הניסוי והטעייה שעברתי היא לקרוא את ספרה של איימי אדמונדסון צוות שיתוף פעולה: כיצד ארגונים לומדים, מתחדשים ומתחרים בכלכלת הידע).

יש כמה הנחות חשובות שעשויות להפוך את הגישה הזו להתארגנות לאמינה יותר או פחות בחברות מסוימות. תהליך האיטרציה מפחית את העלות של ניסוי וטעייה. אם עלות הטעות גבוהה, אולי כדאי להפחית אותן (אך זה לא מומלץ ליישומים רפואיים או לייצור). בנוסף, אם אתה מתמודד עם פטה-בייט או אקס-בייט של נתונים, ייתכן שתידרש התמחות בהנדסת נתונים. כמו כן, אם שמירה על יכולות עסקיות מקוונות וזמינותן חשובה יותר מאשר שיפורן, מצוינות תפקודית עשויה לנצח את הלמידה. לבסוף, המודל המלא מסתמך על דעותיהם של אנשים שיודעים עליו. הם לא חדי קרן; אתה יכול למצוא אותם או להכין אותם בעצמך. עם זאת, יש להם ביקוש גבוה ומשיכתם ושימורם ידרשו תגמול תחרותי, ערכי תאגיד חזקים ועבודה מאתגרת. ודא שתרבות החברה שלך יכולה לתמוך בכך.

אפילו עם כל האמור, אני מאמין שמודל ה-Full stack מספק את תנאי ההתחלה הטובים ביותר. התחל איתם, ולאחר מכן התקדם במודע לעבר חלוקת עבודה פונקציונלית רק כאשר יש צורך מוחלט.

ישנם חסרונות נוספים של התמחות תפקודית. זה יכול להוביל לאובדן אחריות ופסיביות מצד העובדים. סמית' עצמו מבקר את חלוקת העבודה, ומציע שהיא מובילה להקהות הכישרון, כלומר. עובדים הופכים בורים ומסוגרים מאחר שתפקידיהם מוגבלים למספר משימות שחוזרות על עצמן. למרות שהתמחות עשויה לספק יעילות תהליכית, סביר להניח שהיא תעניק השראה לעובדים.

בתורו, תפקידים מגוונים מספקים את כל הדברים שמניעים את שביעות הרצון בעבודה: אוטונומיה, שליטה ומטרה. האוטונומיה היא שהם לא תלויים בכלום כדי להשיג הצלחה. השליטה טמונה ביתרונות תחרותיים חזקים. ותחושת המטרה טמונה בהזדמנות להשפיע על העסק שהם יוצרים. אם נוכל לגרום לאנשים להתרגש מהעבודה שלהם ולהשפיע רבות על החברה, אז כל השאר יבוא על מקומו.

מקור: www.habr.com