GitHub פתחה פיתוחים בשימוש בלמידת מכונה לחיפוש וניתוח קוד

GitHub הגישו פרויקט CodeSearchNet, שהכינה מודלים של למידת מכונה ומערכי נתונים הדרושים לניתוח, סיווג וניתוח קוד בשפות תכנות שונות. CodeSearchNet, בדומה ל אימג'נט, כולל אוסף גדול של קטעי קוד עם הערות המעצבות את מה שהקוד עושה. רכיבים למודלים לאימון ודוגמאות לשימוש ב-CodeSearchNet נכתבים ב-Python באמצעות מסגרת Tensorflow ו- מופץ על ידי תחת רישיון MIT.

בעת יצירת CodeSearchNet, נעשה שימוש בטכנולוגיות ניתוח טקסט בשפה טבעית, המאפשרות למערכות למידת מכונה לקחת בחשבון לא רק תכונות תחביריות, אלא גם את המשמעות של הפעולות שבוצעו על ידי הקוד. מערכת GitHub חל בניסויים על ארגון חיפוש קוד סמנטי באמצעות שאילתות על שפה טבעית (לדוגמה, כאשר מבקשים "למיין רשימה של מחרוזות", מוצג קוד עם יישום האלגוריתמים המתאימים).

מערך הנתונים המוצע כולל יותר מ-2 מיליון קישורי קוד הערות, שהוכנו על סמך טקסטי המקור של ספריות פתוחות קיימות. הקוד מכסה את טקסט המקור המלא של פונקציות או שיטות בודדות, וההערה מתארת ​​את הפעולות שמבצעות הפונקציה (תיעוד מפורט מסופק). נכון לעכשיו, ערכות נתונים מוכנות עבור Python, JavaScript, Ruby, Go, Java ו-PHP. ניתנות דוגמאות לשימוש במערך הנתונים המוצעים לאימון סוגים שונים של רשתות עצביות, כולל עצבי-שק-של-מילים, RNN, תשומת לב עצמית (BERT) ו 1D-CNN+תשומת לב היברידית.

כדי לפתח מנגנוני חיפוש בשפה טבעית, הוכנה בנוסף סט של CodeSearchNet Challenge, כולל
99 טיפוסי שאילתות עם כ-4 הערות מומחים המתארות את כריכות הקוד הסבירות ביותר במערך הנתונים CodeSearchNet Corpus, המכסה כ-6 מיליון שיטות ופונקציות (להגדיר גודל בערך 20 GB). אתגר CodeSearchNet יכול לשמש אמות מידה להערכת היעילות של שיטות מסוימות לחיפוש קוד שפה טבעית. שימוש בכלים קובפלו מוּכָן
דוגמה מנוע חיפוש קוד.

מקור: OpenNet.ru