OpenAI מלמד עבודת צוות בינה מלאכותית במשחק מחבואים

משחק מחבואים מיושן וטוב יכול להיות מבחן נהדר עבור בוטים של בינה מלאכותית (AI) כדי להדגים כיצד הם מקבלים החלטות ומקיימים אינטראקציה זה עם זה ועם אובייקטים שונים סביבם.

בשלו מאמר חדש, שפורסם על ידי חוקרים מ-OpenAI, ארגון מחקר בבינה מלאכותית ללא מטרות רווח שהתפרסם ניצחון על אלופי העולם במשחק המחשב Dota 2, מדענים מתארים כיצד סוכנים הנשלטים על ידי בינה מלאכותית אומנו להיות מתוחכמים יותר בחיפוש והסתרה זה מזה בסביבה וירטואלית. תוצאות המחקר הוכיחו שצוות של שני בוטים לומד בצורה יעילה ומהירה יותר מכל סוכן בודד ללא בעלי ברית.

מדענים השתמשו בשיטה שזכתה לתהילתה מזמן למידת מכונה עם חיזוק, שבה בינה מלאכותית מוצבת בסביבה לא מוכרת לה, תוך כדי אינטראקציה מסויימת עמה, וכן מערכת של תגמולים וקנסות על תוצאה כזו או אחרת של מעשיה. שיטה זו יעילה למדי הודות ליכולת של AI לבצע פעולות שונות בסביבה וירטואלית במהירות עצומה, מהירה פי מיליוני ממה שאדם יכול לדמיין. זה מאפשר ניסוי וטעייה למצוא את האסטרטגיות היעילות ביותר לפתרון בעיה נתונה. אבל לגישה זו יש גם מגבלות מסוימות, למשל, יצירת סביבה וביצוע מחזורי אימון רבים דורשים משאבי מחשוב עצומים, והתהליך עצמו מצריך מערכת מדויקת להשוואת התוצאות של פעולות בינה מלאכותית עם מטרתו. בנוסף, המיומנויות שרכש הסוכן בדרך זו מוגבלות למשימה המתוארת, וברגע שה-AI לומד להתמודד איתה, לא יהיו שיפורים נוספים.

כדי לאמן בינה מלאכותית לשחק מחבואים, מדענים השתמשו בגישה שנקראת "חקירה בלתי מכוונת", שבה לסוכנים יש חופש מוחלט לפתח את ההבנה שלהם בעולם המשחק ולפתח אסטרטגיות מנצחות. זה דומה לגישת הלמידה מרובת הסוכנים שבה השתמשו חוקרים ב-DeepMind כאשר מערכות בינה מלאכותית מרובות אומנו לשחק ללכוד את מצב הדגל בזירה Quake III. כמו במקרה הזה, סוכני הבינה המלאכותית לא הוכשרו בעבר בכללי המשחק, אבל עם הזמן הם למדו אסטרטגיות בסיסיות ואף הצליחו להפתיע חוקרים עם פתרונות לא טריוויאליים.

במשחק מחבואים, כמה סוכנים שתפקידם היה להסתיר נדרשו להתחמק מטווח הראייה של יריביהם לאחר פתיחה קלה בזמן שצוות הסוכנים המחפשים היה משותק. יתרה מכך, "קו הראייה" בהקשר זה הוא קונוס של 135 מעלות מול בוט בודד. סוכנים לא יכלו להרחיק מדי מחוץ לאזור המשחקים ונאלצו לנווט בחדרים שנוצרו באקראי עם יכולת להשתמש בכמה חפצים חיצוניים (קופסאות, קירות ניתנים להזזה, רמפות מיוחדות) הפזורים מסביב, שיכולים לשמש הן ליצירת כיסוי והן לחדור לתוכם. .

בתהליך למידה ממושך, סוכני ה-AI למדו שש אסטרטגיות ייחודיות, שכל אחת מהן עזרה להם להתקדם לשלב הבא של המשחק. בהתחלה צוותי המחפשים והמחבואים פשוט ברחו ורדפו זה אחר זה, אך לאחר כ-25 מיליון משחקים, צוות המסתתר למד לחסום מעברים בקופסאות ולבנות מהם מקלטים. לאחר עוד 75 מיליון משחקים, הצוות גילה דרכים להשתמש ברמפות כדי להיכנס למקומות המסתור הללו. לאחר עוד 10 מיליון סיבובים, מסתירים למדו לגרור רמפות לקצה אזור המשחק ולנעול אותן במקומן כדי למנוע מיריבים להשתמש בהן.

לאחר 388 מיליון גפרורים, המחפשים למדו להשתמש ברמפות חסומות כדי לטפס על ארגזים שהובאו אליהם, ולאחר מכן, תוך תנועה ישירה אליהם, לחדור למחבואים של האויב שנוצרו מקירות ניידים. ולבסוף, לאחר 458 מיליון משחקים, הצוות המסתתר הגיע למסקנה שהם צריכים לחסום את כל החפצים ואז לבנות מקלט, מה שככל הנראה הוביל לניצחון הסופי שלהם.

מה שמרשים במיוחד הוא שאחרי 22 מיליון משחקים, הסוכנים למדו לתאם את פעולותיהם ויעילות שיתוף הפעולה שלהם רק גדלה בעתיד, לדוגמה, כל אחד הביא את הקופסה שלו או הקיר שלו כדי ליצור מחסה ובחר את חלקו בחפצים. לחסום, כדי לסבך את משחק הקושי ליריבים.

מדענים ציינו גם נקודה חשובה הקשורה להשפעה של מספר אובייקטי האימון (כמות הנתונים שעברה ברשת העצבית - "גודל אצווה") על מהירות הלמידה. מודל ברירת המחדל דרש 132,3 מיליון התאמות במשך 34 שעות אימון כדי להגיע לנקודה שבה הצוות המסתתר למד לחסום רמפות, בעוד נתונים נוספים הביאו להפחתה ניכרת בזמן האימון. לדוגמה, הגדלת מספר הפרמטרים (חלק מהנתונים שהתקבלו במהלך כל תהליך האימון) מ-0,5 מיליון ל-5,8 מיליון הגדילה את יעילות הדגימה פי 2,2, והגדלת גודל נתוני הקלט מ-64 KB ל-128 KB הפחיתה את האימון זמן כמעט פעם וחצי.

בתום עבודתם, החוקרים החליטו לבדוק כמה אימון במשחק יכול לעזור לסוכנים להתמודד עם משימות דומות מחוץ למשחק. היו חמישה מבחנים בסך הכל: מודעות למספר החפצים (הבנה שחפץ ממשיך להתקיים גם אם הוא מחוץ לטווח הראייה ואינו בשימוש); "נעול והחזרה" - היכולת לזכור את המיקום המקורי של האדם ולחזור אליו לאחר השלמת משימה נוספת; "חסימה ברצף" - 4 קופסאות אותרו באופן אקראי בשלושה חדרים ללא דלתות, אך עם רמפות להיכנס פנימה, סוכנים היו צריכים למצוא ולחסום את כולם; הצבת קופסאות באתרים שנקבעו מראש; יצירת מחסה סביב חפץ בצורת גליל.

כתוצאה מכך, בשלוש מתוך חמש משימות, בוטים שעברו הכשרה מקדימה במשחק למדו מהר יותר והראו תוצאות טובות יותר מבינה מלאכותית שאומנה לפתור בעיות מאפס. הם ביצעו מעט טוב יותר בביצוע המשימה ובחזרה לעמדת ההתחלה, חסימת קופסאות בחדרים סגורים ברצף והצבת קופסאות באזורים נתונים, אך ביצעו מעט חלשים יותר בזיהוי מספר החפצים ויצירת כיסוי סביב חפץ אחר.

חוקרים מייחסים תוצאות מעורבות לאופן שבו AI לומד וזוכר מיומנויות מסוימות. "אנו חושבים שהמשימות שבהן אימון מקדים במשחק בוצע בצורה הטובה ביותר כללו שימוש חוזר במיומנויות שנלמדו בעבר בצורה מוכרת, בעוד שביצוע המשימות הנותרות טוב יותר מה-AI שאומן מאפס ידרוש שימוש בהן בצורה שונה, מה שהרבה קשה יותר", כותבים השותפים ליצירה. "תוצאה זו מדגישה את הצורך בפיתוח שיטות לשימוש חוזר יעיל במיומנויות שנרכשו באמצעות אימון בעת ​​העברתם מסביבה אחת לאחרת."

העבודה שנעשתה באמת מרשימה, שכן הסיכוי להשתמש בשיטת לימוד זו נמצא הרבה מעבר לגבולות של כל משחק. החוקרים אומרים שעבודתם היא צעד משמעותי לקראת יצירת בינה מלאכותית עם התנהגות "מבוססת פיזיקה" ו"דמויה אנושית" שיכולה לאבחן מחלות, לחזות את המבנים של מולקולות חלבון מורכבות ולנתח סריקות CT.

בסרטון למטה תוכלו לראות בבירור כיצד התרחש תהליך הלמידה כולו, כיצד ה-AI למד עבודת צוות, והאסטרטגיות שלו הפכו יותר ויותר ערמומיות ומורכבות.

מקור: 3dnews.ru