על הטיית בינה מלאכותית

br you

• למידת מכונה מחפשת דפוסים בנתונים. אבל בינה מלאכותית יכולה להיות "משוחדת" - כלומר למצוא דפוסים שאינם נכונים. לדוגמה, מערכת לזיהוי סרטן עור המבוססת על תמונות עשויה להקדיש תשומת לב מיוחדת לתמונות שצולמו במשרדו של רופא. למידת מכונה לא יכולה כדי להבין: האלגוריתמים שלו מזהים רק דפוסים במספרים, ואם הנתונים אינם מייצגים, כך תהיה התוצאה של העיבוד שלו. ותפיסת באגים כאלה יכולה להיות קשה בגלל המכניקה של למידת מכונה.
• תחום הבעיה הברור והמרתיע ביותר הוא הגיוון האנושי. ישנן סיבות רבות מדוע נתונים על אנשים עלולים לאבד אובייקטיביות אפילו בשלב האיסוף. אבל אל תחשבו שהבעיה הזו משפיעה רק על אנשים: בדיוק אותם קשיים מתעוררים כשמנסים לזהות שיטפון במחסן או טורבינת גז כושלת. מערכות מסוימות עשויות להיות מוטות כלפי צבע העור, אחרות יהיו מוטות כלפי חיישני סימנס.
• בעיות כאלה אינן חדשות בלמידת מכונה, והן רחוקות מלהיות ייחודיות לה. מניחים הנחות שגויות בכל מבנה מורכב, וההבנה מדוע התקבלה החלטה מסוימת היא תמיד קשה. אנחנו צריכים להילחם בזה בצורה מקיפה: ליצור כלים ותהליכים לאימות - ולחנך את המשתמשים כך שלא יפעלו באופן עיוור אחר המלצות AI. למידת מכונה אכן עושה חלק מהדברים הרבה יותר טוב מאיתנו - אבל כלבים, למשל, יעילים הרבה יותר מבני אדם באיתור סמים, וזו לא סיבה להשתמש בהם כעדים ולעשות שיפוט על סמך עדותם. וכלבים, אגב, הם הרבה יותר חכמים מכל מערכת למידת מכונה.

למידת מכונה היא אחת המגמות הטכנולוגיות הבסיסיות החשובות ביותר כיום. זוהי אחת הדרכים העיקריות שבהן הטכנולוגיה תשנה את העולם סביבנו בעשור הקרוב. חלק מההיבטים של שינויים אלה מעוררים דאגה. לדוגמה, ההשפעה הפוטנציאלית של למידת מכונה על שוק העבודה, או השימוש בה למטרות לא אתיות (למשל, על ידי משטרים אוטוריטריים). יש בעיה נוספת שהפוסט הזה מטפל בה: הטיית בינה מלאכותית.

זה לא סיפור קל.

ה-AI של גוגל יכול למצוא חתולים. החדשות האלה מ-2012 היו אז משהו מיוחד.

מהי "הטיית AI"?

"נתונים גולמיים" הם גם אוקסימורון וגם רעיון רע; הנתונים חייבים להיות מוכנים היטב ובזהירות. -ג'פרי בוקר

אי שם לפני 2013, כדי ליצור מערכת שמזהה, נניח, חתולים בתצלומים, היית צריך לתאר שלבים הגיוניים. איך למצוא פינות בתמונה, לזהות עיניים, לנתח טקסטורות לפרווה, לספור כפות וכו'. לאחר מכן חברו את כל הרכיבים יחדיו וגלו שזה לא באמת עובד. בדומה לסוס מכני - תיאורטית אפשר להכין אותו, אבל בפועל הוא מורכב מכדי לתאר אותו. התוצאה הסופית היא מאות (או אפילו אלפי) כללים בכתב יד. ואף לא דגם עובד אחד.

עם כניסתה של למידת מכונה, הפסקנו להשתמש בכללים "ידניים" לזיהוי אובייקט מסוים. במקום זאת, אנו לוקחים אלף דגימות של "זה", X, אלף דגימות של "אחר", Y, ונותנים למחשב לבנות מודל המבוסס על הניתוח הסטטיסטי שלהם. לאחר מכן אנו נותנים למודל הזה כמה נתונים לדוגמה והוא קובע בדייקנות מסוימת אם הוא מתאים לאחת הקבוצות. למידת מכונה מייצרת מודל מנתונים ולא מאדם שכותב אותם. התוצאות מרשימות, במיוחד בתחום זיהוי תמונה ותבניות, וזו הסיבה שכל תעשיית הטכנולוגיה עוברת כעת ללמידת מכונה (ML).

אבל זה לא כל כך פשוט. בעולם האמיתי, אלפי הדוגמאות שלך של X או Y מכילות גם A, B, J, L, O, R ואפילו L. ייתכן שהן לא מפוזרות באופן שווה, וחלקן עשויות להתרחש בתדירות כה גבוהה שהמערכת תשלם יותר תשומת לב אליהם מאשר לחפצים שמעניינים אותך.

מה זה אומר בפועל? הדוגמה האהובה עלי היא כאשר מערכות זיהוי תמונות תסתכל על גבעת דשא ותגיד "כבשה". ברור למה: רוב הצילומים לדוגמה של "כבשים" צולמו בכרי הדשא שבהם הם חיים, ובתמונות האלה הדשא תופס הרבה יותר מקום מהמוכים הלבנים הקטנים, וזה הדשא שהמערכת רואה בו הכי חשוב. .

יש דוגמאות רציניות יותר. אחד אחרון פרויקט לאיתור סרטן העור בצילומים. התברר שרופאי עור מרבים לצלם את הסרגל יחד עם גילויי סרטן העור כדי לתעד את גודל התצורות. אין סרגלים בתצלומים לדוגמה של עור בריא. עבור מערכת AI, סרגלים כאלה (ליתר דיוק, הפיקסלים שאנו מגדירים כ"סרגל") הפכו לאחד ההבדלים בין סטים של דוגמאות, ולפעמים חשובים יותר מפריחה קטנה על העור. אז מערכת שנוצרה לזיהוי סרטן העור זיהתה לפעמים שליטים במקום.

נקודת המפתח כאן היא שלמערכת אין הבנה סמנטית על מה היא מסתכלת. אנחנו מסתכלים על סט של פיקסלים ורואים בהם כבשה, עור או סרגלים, אבל המערכת היא רק קו מספרים. היא לא רואה מרחב תלת מימדי, לא רואה חפצים, מרקמים או כבשים. היא פשוט רואה דפוסים בנתונים.

הקושי באבחון בעיות כאלה הוא שהרשת העצבית (המודל שנוצר על ידי מערכת למידת המכונה שלך) מורכבת מאלפי מאות אלפי צמתים. אין דרך קלה להסתכל על מודל ולראות איך הוא מקבל החלטה. דרך כזו משמעה שהתהליך פשוט מספיק כדי לתאר את כל הכללים באופן ידני, מבלי להשתמש בלמידת מכונה. אנשים חוששים שלמידת מכונה הפכה למשהו כמו קופסה שחורה. (אני אסביר מעט מאוחר יותר מדוע ההשוואה הזו עדיין מוגזמת).

זו, במונחים כלליים, הבעיה של הטיה בבינה מלאכותית או למידת מכונה: מערכת לאיתור דפוסים בנתונים עשויה למצוא את הדפוסים הלא נכונים, וייתכן שלא תשים לב אליה. זהו מאפיין בסיסי של הטכנולוגיה, וזה ברור לכל מי שעובד איתה באקדמיה ובחברות טכנולוגיה גדולות. אבל ההשלכות שלו מורכבות, וכך גם הפתרונות האפשריים שלנו להשלכות האלה.

בוא נדבר קודם על ההשלכות.

בינה מלאכותית יכולה, באופן מרומז עבורנו, לבחור לטובת קטגוריות מסוימות של אנשים, בהתבסס על מספר רב של אותות בלתי מורגשים

תרחישי הטיית AI

הכי ברור ומפחיד, בעיה זו יכולה לבוא לידי ביטוי בכל הנוגע למגוון האנושי. לאחרונה הייתה שמועהשאמזון ניסתה לבנות מערכת למידת מכונה לסינון ראשוני של מועמדים לעבודה. מכיוון שיש יותר גברים בקרב עובדי אמזון, דוגמאות ל"גיוס מוצלח" הן לעתים קרובות יותר גם גברים, והיו יותר גברים בבחירת קורות החיים שהציעה המערכת. אמזון הבחינה בכך ולא שחררה את המערכת לייצור.

הדבר החשוב ביותר בדוגמה זו הוא שעל פי השמועות המערכת מעדיפה מועמדים גברים, למרות העובדה שהמין לא צוין בקורות החיים. המערכת ראתה דפוסים אחרים בדוגמאות של "עובדים טובים": למשל, נשים עשויות להשתמש במילים מיוחדות כדי לתאר הישגים, או להיות להן תחביבים מיוחדים. כמובן, המערכת לא ידעה מה זה "הוקי", או מי הם "אנשים" או מהי "הצלחה" - היא פשוט ביצעה ניתוח סטטיסטי של הטקסט. אבל סביר להניח שהדפוסים שראתה ייעלמו מבני אדם, וחלקם (למשל, העובדה שאנשים ממינים שונים מתארים הצלחה בצורה שונה) כנראה יהיה לנו קשה לראות גם אם נסתכל עליהם.

עוד - גרוע יותר. מערכת למידת מכונה שטובה מאוד במציאת סרטן על עור חיוור עשויה שלא לתפקד באותה מידה על עור כהה, או להיפך. לא בהכרח בגלל הטיה, אלא בגלל שאתה כנראה צריך לבנות דגם נפרד לצבע עור שונה, לבחור מאפיינים שונים. מערכות למידת מכונה אינן ניתנות להחלפה אפילו באזור צר כמו זיהוי תמונה. אתה צריך להתאים את המערכת, לפעמים רק באמצעות ניסוי וטעייה, כדי לקבל שליטה טובה על התכונות בנתונים שאתה מעוניין בהם עד שתשיג את הדיוק הרצוי. אבל מה שאתה אולי לא שם לב הוא שהמערכת מדויקת ב-98% מהמקרים עם קבוצה אחת, ורק 91% (אפילו יותר מדויק מניתוח אנושי) עם השנייה.

עד כה השתמשתי בעיקר בדוגמאות הנוגעות לאנשים ולמאפיינים שלהם. הדיון סביב בעיה זו מתמקד בעיקר בנושא זה. אבל חשוב להבין שהטיה כלפי אנשים היא רק חלק מהבעיה. אנו נשתמש בלמידה חישובית עבור הרבה דברים, ושגיאות דגימה יהיו רלוונטיות לכולם. מצד שני, אם אתה עובד עם אנשים, ייתכן שההטיה בנתונים לא קשורה אליהם.

כדי להבין זאת, נחזור לדוגמה של סרטן העור ונבחן שלוש אפשרויות היפותטיות לכשל במערכת.

1. חלוקה הטרוגנית של אנשים: מספר לא מאוזן של תצלומים של גווני עור שונים, מה שמוביל לתוצאות חיוביות שגויות או שליליות שגויות עקב פיגמנטציה.
2. הנתונים שעליהם מאומנת המערכת מכילים תכונה שכיחה ומפוזרת בצורה הטרוגנית שאינה קשורה לאנשים ואין לה ערך אבחנתי: סרגל בצילומי סרטן העור או דשא בצילומי כבשים. במקרה זה, התוצאה תהיה שונה אם המערכת תמצא פיקסלים בתמונה של משהו שהעין האנושית מזהה כ"סרגל".
3. הנתונים מכילים מאפיין צד שלישי שאדם אינו יכול לראות גם אם הוא מחפש אותו.

מה זה אומר? אנו יודעים מראש שהנתונים עשויים לייצג קבוצות שונות של אנשים בצורה שונה, ולכל הפחות נוכל לתכנן לחפש חריגים כאלה. במילים אחרות, יש הרבה סיבות חברתיות להניח שהנתונים על קבוצות של אנשים כבר מכילים הטיה מסוימת. אם נסתכל על הצילום עם הסרגל, נראה את הסרגל הזה – פשוט התעלמנו ממנו קודם, בידיעה שזה לא משנה, ושוכחים שהמערכת לא יודעת כלום.

אבל מה אם כל התמונות שלך של עור לא בריא צולמו במשרד תחת אור ליבון, והעור הבריא שלך צולם באור פלורסנט? מה אם, אחרי שסיימתם לצלם עור בריא, לפני צילום עור לא בריא, עדכנתם את מערכת ההפעלה בטלפון, ואפל או גוגל שינו מעט את האלגוריתם להפחתת הרעש? אדם לא יכול לשים לב לזה, לא משנה כמה הוא מחפש תכונות כאלה. אבל מערכת השימוש במכונה תראה ותשתמש בזה מיד. היא לא יודעת כלום.

עד כה דיברנו על מתאמים מזויפים, אבל יכול להיות גם שהנתונים מדויקים והתוצאות נכונות, אבל אתה לא רוצה להשתמש בהם מסיבות אתיות, משפטיות או ניהוליות. חלק מתחומי השיפוט, למשל, אינם מאפשרים לנשים לקבל הנחה על הביטוח שלהן, למרות שנשים עשויות להיות נהגות בטוחות יותר. אנו יכולים בקלות לדמיין מערכת שכאשר מנתחים נתונים היסטוריים, תקצה גורם סיכון נמוך יותר לשמות נשיים. אוקיי, בוא נסיר שמות מהבחירה. אבל זכרו את הדוגמה של אמזון: המערכת יכולה לקבוע מגדר על סמך גורמים אחרים (למרות שהיא לא יודעת מה זה מגדר, או אפילו מה זה מכונית), ולא תשימו לב לזה עד שהרגולטור ינתח רטרואקטיבית את התעריפים שאתם להציע ומחייב אותך תקנס.

לבסוף, לעתים קרובות מניחים שנשתמש רק במערכות כאלה עבור פרויקטים הכוללים אנשים ואינטראקציות חברתיות. זה לא נכון. אם אתה מייצר טורבינות גז, סביר להניח שתרצה ליישם למידת מכונה על הטלמטריה המשודרת על ידי עשרות או מאות חיישנים במוצר שלך (שמע, וידאו, טמפרטורה וכל חיישנים אחרים מייצרים נתונים שניתן להתאים בקלות רבה ליצירת מכונה מודל למידה). באופן היפותטי, אפשר לומר, "הנה נתונים מאלף טורבינות שנכשלו לפני שנכשלו, והנה נתונים מאלף טורבינות שלא נכשלו. בנה מודל שיספר מה ההבדל ביניהם". ובכן, עכשיו תארו לעצמכם שחיישני סימנס מותקנים על 75% מהטורבינות הרעות, ורק 12% מהטובות (אין קשר לכשלים). המערכת תבנה מודל למציאת טורבינות עם חיישני סימנס. אופס!

תמונה - מוריץ הארדט, אוניברסיטת ברקלי

ניהול הטיית AI

מה אנחנו יכולים לעשות לגבי זה? ניתן לגשת לנושא משלוש זוויות:

1. הקפדה מתודולוגית באיסוף וניהול נתונים להכשרת המערכת.
2. כלים טכניים לניתוח ואבחון התנהגות מודל.
3. אימון, השכלה והיזהר בעת יישום למידת מכונה במוצרים.

יש בדיחה בספרו של מולייר "הבורגנים באצולה": לאדם אחד נאמר שהספרות מחולקת לפרוזה ושירה, והוא שמח לגלות שהוא דיבר בפרוזה כל חייו, מבלי שידע זאת. כך כנראה מרגישים היום סטטיסטיקאים: בלי לשים לב, הם הקדישו את הקריירה שלהם לבינה מלאכותית ושגיאות דגימה. חיפוש שגיאת דגימה ודאגה לגביה זו לא בעיה חדשה, אנחנו רק צריכים לגשת באופן שיטתי לפתרון שלה. כפי שצוין לעיל, במקרים מסוימים קל יותר לעשות זאת על ידי לימוד בעיות הקשורות לנתוני אנשים. אנו מניחים מראש שאולי יש לנו דעות קדומות לגבי קבוצות שונות של אנשים, אבל קשה לנו אפילו לדמיין דעה קדומה לגבי חיישני סימנס.

מה שחדש בכל זה, כמובן, הוא שאנשים כבר לא עושים ניתוח סטטיסטי ישירות. הוא מתבצע על ידי מכונות היוצרות מודלים גדולים ומורכבים שקשה להבין. נושא השקיפות הוא אחד ההיבטים המרכזיים של בעיית ההטיה. אנו חוששים שהמערכת לא רק מוטה, אלא שאין דרך לזהות את ההטיה שלה, ושלמידה של מכונה שונה מצורות אחרות של אוטומציה, שאמורות להיות מורכבות משלבים לוגיים ברורים שניתן לבדוק.

יש כאן שתי בעיות. ייתכן שעדיין נוכל לבצע איזשהו ביקורת של מערכות למידת מכונה. וביקורת בכל מערכת אחרת היא למעשה לא קלה יותר.

ראשית, אחד הכיוונים של המחקר המודרני בתחום למידת מכונה הוא החיפוש אחר שיטות לזיהוי פונקציונליות חשובה של מערכות למידת מכונה. עם זאת, למידת מכונה (במצבה הנוכחי) היא תחום מדע חדש לחלוטין שמשתנה במהירות, אז אל תחשוב שדברים בלתי אפשריים היום לא יכולים להפוך בקרוב לממשיים. פּרוֹיֶקט OpenAI - דוגמה מעניינת לכך.

שנית, הרעיון שניתן לבדוק ולהבין את תהליך קבלת ההחלטות של מערכות או ארגונים קיימים הוא טוב בתיאוריה, אבל כך וכך בפועל. ההבנה כיצד מתקבלות החלטות בארגון גדול אינה קלה. גם אם יש תהליך רשמי של קבלת החלטות, הוא אינו משקף את האופן שבו אנשים מקיימים אינטראקציה בפועל, ולעתים קרובות אין להם גישה הגיונית ושיטתית לקבלת החלטותיהם. כמו שעמיתי אמר ויג'אי פנדה, אנשים הם גם קופסאות שחורות.

קחו אלף אנשים בכמה חברות ומוסדות חופפים, והבעיה הופכת מורכבת עוד יותר. אנחנו יודעים לאחר העובדה שמעבורת החלל הייתה מיועדת להתפרק עם החזרה, ולאנשים בתוך נאס"א היה מידע שנתן להם סיבה לחשוב שמשהו רע עלול לקרות, אבל המערכת באופן כללי לא ידעתי את זה. נאס"א אפילו עברה ביקורת דומה לאחר שאיבדה את המעבורת הקודמת שלה, ובכל זאת היא איבדה עוד אחת מסיבה דומה מאוד. קל לטעון שארגונים ואנשים פועלים לפי כללים ברורים והגיוניים שניתן לבדוק, להבין ולשנות - אבל הניסיון מוכיח אחרת. זה"אשליה של גוספלן".

אני מרבה להשוות למידת מכונה למאגרי מידע, במיוחד אלה יחסיים – טכנולוגיה בסיסית חדשה ששינתה את יכולות מדעי המחשב והעולם הסובב אותו, שהפכה לחלק מהכל, שאנו משתמשים בו ללא הרף מבלי שנבין זאת. גם למאגרי מידע יש בעיות, והן בעלות אופי דומה: המערכת אולי בנויה על הנחות רעות או נתונים גרועים, אבל יהיה קשה להבחין בה, והאנשים שמשתמשים במערכת יעשו מה שהיא אומרת להם בלי לשאול שאלות. יש הרבה בדיחות ישנות על אנשי מס שפעם אייתו את שמך לא נכון, ולשכנע אותם לתקן את הטעות זה הרבה יותר קשה מאשר לשנות את שמך בפועל. יש הרבה דרכים לחשוב על זה, אבל לא ברור מה עדיף: כבעיה טכנית ב-SQL, או בתור באג במהדורה של אורקל, או ככשל של מוסדות בירוקרטיים? כמה קשה למצוא באג בתהליך שהוביל לכך שלמערכת אין תכונה לתיקון שגיאות הקלדה? האם ניתן היה להבין זאת לפני שאנשים התחילו להתלונן?

בעיה זו מומחשת ביתר קלות על ידי סיפורים כאשר נהגים נוסעים לתוך נהרות עקב נתונים מיושנים בנווט. אוקיי, יש לעדכן מפות כל הזמן. אבל עד כמה TomTom אשם בכך שהמכונית שלך התפוצצה לים?

הסיבה שאני אומר את זה היא שכן, הטיית למידת מכונה תיצור בעיות. אבל הבעיות האלה יהיו דומות לאלו שהתמודדנו איתנו בעבר, וניתן להבחין בהן ולפתור אותן (או לא) בערך כמו שהצלחנו בעבר. לכן, תרחיש שבו הטיית בינה מלאכותית גורמת נזק לא סביר שיקרה לחוקרים בכירים העובדים בארגון גדול. סביר להניח, איזה קבלן טכנולוגיה חסר חשיבות או ספק תוכנה יכתוב משהו על הברכיים, תוך שימוש ברכיבי קוד פתוח, ספריות וכלים שהם לא מבינים. והלקוח חסר המזל יקנה את הביטוי "בינה מלאכותית" בתיאור המוצר, ובלי לשאול שאלות, יפיץ אותו לעובדיו בשכר נמוך, ויורה להם לעשות את מה שה-AI אומר. זה בדיוק מה שקרה עם מסדי נתונים. זו אינה בעיית בינה מלאכותית, או אפילו בעיית תוכנה. זה הגורם האנושי.

מסקנה

למידת מכונה יכולה לעשות כל דבר שאתה יכול ללמד כלב - אבל אתה אף פעם לא יכול להיות בטוח מה בדיוק לימדת את הכלב.

לעתים קרובות אני מרגיש שהמונח "בינה מלאכותית" רק מפריע לשיחות כאלה. המונח הזה נותן רושם שווא שבאמת יצרנו אותו - האינטליגנציה הזו. שאנחנו בדרך ל-HAL9000 או Skynet - משהו שבעצם מבין. אבל לא. אלו רק מכונות, והרבה יותר מדויק להשוות אותן למשל למכונת כביסה. היא מכבסת הרבה יותר טוב מאדם, אבל אם תשים בה כלים במקום כביסה, היא... תשטוף אותם. הכלים אפילו יהפכו נקיים. אבל זה לא יהיה מה שציפיתם, וזה לא יקרה כי למערכת יש דעות קדומות לגבי מנות. מכונת הכביסה לא יודעת מה זה כלים או מה זה בגדים - היא רק דוגמה לאוטומציה, מבחינה רעיונית לא שונה מהאופן שבו תהליכים היו אוטומטיים בעבר.

בין אם אנחנו מדברים על מכוניות, מטוסים או מאגרי מידע, המערכות הללו יהיו חזקות מאוד וגם מוגבלות מאוד. הם יהיו תלויים לחלוטין באופן שבו אנשים משתמשים במערכות הללו, האם הכוונות שלהם טובות או רעות, ועד כמה הם מבינים איך הם פועלים.

לכן, לומר ש"בינה מלאכותית היא מתמטיקה, ולכן לא יכולות להיות לה הטיות" זה שקר לחלוטין. אבל זה שקר באותה מידה לומר שלמידת מכונה היא "סובייקטיבית במהותה". למידת מכונה מוצאת דפוסים בנתונים, ואילו דפוסים היא מוצאת תלוי בנתונים, והנתונים תלויים בנו. בדיוק כמו מה שאנחנו עושים איתם. למידת מכונה אכן עושה חלק מהדברים הרבה יותר טוב מאיתנו - אבל כלבים, למשל, יעילים הרבה יותר מבני אדם באיתור סמים, וזו לא סיבה להשתמש בהם כעדים ולעשות שיפוט על סמך עדותם. וכלבים, אגב, הם הרבה יותר חכמים מכל מערכת למידת מכונה.

תרגום: דיאנה לצקאיה.
עֲרִיכָה: אלכסי איבנוב.
קהילה: @PonchikNews.

מקור: www.habr.com