DeepMind הציגה מערכת למידת מכונה להפקת קוד מתיאור טקסט של משימה

חברת DeepMind, הידועה בפיתוחיה בתחום הבינה המלאכותית ובניית רשתות עצביות המסוגלות לשחק משחקי מחשב ולוח ברמה האנושית, הציגה את פרויקט AlphaCode, המפתח מערכת למידת מכונה להפקת קוד שיכול להשתתף. בתחרויות תכנות בפלטפורמת Codeforces ולהפגין תוצאה ממוצעת. תכונה מרכזית של הפיתוח היא היכולת ליצור קוד ב-Python או C++, תוך קבלת כקלט טקסט עם הצהרת בעיה באנגלית.

כדי לבחון את המערכת, נבחרו 10 תחרויות Codeforces חדשות עם יותר מ-5000 משתתפים, שנערכו לאחר השלמת הכשרת מודל למידת המכונה. תוצאות השלמת המשימות אפשרו למערכת AlphaCode להיכנס בערך באמצע הדירוג של תחרויות אלו (54.3%). הדירוג הכללי החזוי של AlphaСode היה 1238 נקודות, מה שמבטיח כניסה ל-28% המובילים מבין כל משתתפי Codeforces שהשתתפו בתחרויות לפחות פעם אחת במהלך 6 החודשים האחרונים. יצוין כי הפרויקט נמצא עדיין בשלב הפיתוח הראשוני ובעתיד מתוכנן לשפר את איכות הקוד שנוצר, וכן לפתח את AlphaCode לקראת מערכות המסייעות בכתיבת קוד, או כלי פיתוח אפליקציות שניתן בשימוש על ידי אנשים ללא כישורי תכנות.

הפרויקט משתמש בארכיטקטורת הרשת העצבית של Transformer בשילוב עם טכניקות דגימה וסינון כדי ליצור גרסאות קוד שונות בלתי צפויות המתאימות לטקסט בשפה טבעית. לאחר סינון, אשכול ודירוג, קוד העבודה האופטימלי ביותר מסולק מזרם האפשרויות שנוצר, ולאחר מכן נבדק כדי לוודא שהתוצאה הנכונה מתקבלת (כל משימת תחרות מציינת דוגמה של נתוני קלט והתוצאה התואמת לדוגמה זו , שאמור להתקבל לאחר הפעלת התוכנית).

כדי לאמן באופן גס את מערכת למידת המכונה, השתמשנו בבסיס קוד זמין במאגרי GitHub הציבוריים. לאחר הכנת המודל הראשוני, בוצע שלב אופטימיזציה, המבוסס על אוסף קוד עם דוגמאות לבעיות ופתרונות שהוצעו על ידי המשתתפים בתחרויות Codeforces, CodeChef, HackerEarth, AtCoder ו-Aizu. בסך הכל, נעשה שימוש ב-715 GB של קוד מ-GitHub ויותר ממיליון דוגמאות של פתרונות לבעיות תחרות טיפוסיות לאימונים. לפני המעבר ליצירת קוד, טקסט המשימה עבר שלב נורמליזציה, שבמהלכו בוטל כל מיותר ונשארו רק חלקים משמעותיים.

מקור: OpenNet.ru