מודלים זדוניים של בינה מלאכותית המבצעים קוד זוהו במאגר Hugging Face

חוקרים מ-JFrog זיהו מודלים זדוניים של למידת מכונה במאגר Hugging Face. התקנת מודלים אלה עלולה להוביל להרצת קוד תוקף כדי להשתלט על מערכת המשתמש. הבעיה נובעת מכך שחלק מפורמטי הפצת המודלים מאפשרים הטמעה של קוד הרצה. לדוגמה, מודלים המשתמשים בפורמט "pickle" יכולים לכלול אובייקטים סדרתיים של Python וקוד המבוצעים בעת הורדת הקובץ, בעוד שמודלי Tensorflow Keras יכולים לבצע קוד דרך שכבת Lambda.

כדי למנוע את התפשטותם של מודלים זדוניים כאלה, Hugging Face משתמש בסריקת הוספת קוד סדרתית, אך המודלים הזדוניים שזוהו מראים שניתן לעקוף את הבדיקות הללו. יתר על כן, ברוב המקרים, Hugging Face מסמן מודלים כמסוכנים בלבד מבלי לחסום את הגישה אליהם. בסך הכל זוהו כ-100 מודלים זדוניים פוטנציאליים, 95% מהם תוכננו לשימוש עם מסגרת PyTorch, ו-5% עם Tensorflow. השינויים הזדוניים הנפוצים ביותר היו חטיפת אובייקטים, הפחתה הפוכה, הפעלת יישומים וכתיבת קבצים.

יצוין כי, אם לשפוט לפי מעשיהם, רוב המודלים הזדוניים שזוהו נוצרו על ידי חוקרי אבטחה שביקשו לזכות בפרסים על גילוי פגיעויות ושיטות לעקוף את ההגנה של Hugging Face (לדוגמה, במקום לשגר מתקפה אמיתית, מודלים כאלה מנסים להפעיל מחשבון או לשלוח בקשת רשת עם מידע על הצלחת המתקפה). ישנם גם מקרים בהם משיקים מעטפת הפוכה כדי לחבר את התוקף למערכת.

לדוגמה, המודלים "baller423/goober2" ו-"star23/baller13" נועדו לתקוף מערכות שטוענות את קובץ המודל לתוך PyTorch באמצעות הפונקציה torch.load(). שיטת "__reduce__" ממודול pickle משמשת לתזמור ביצוע קוד, ומאפשרת הכנסת קוד Python שרירותי לתהליך ביטול הסידור המתרחש בעת טעינת המודל.

מקור: OpenNet.ru