אמת מידה חדשה - שיא ​​חדש: NVIDIA אישרה את עמדת המנהיגות שלה ב-MLPerf Inference

NVIDIA פרסמה תוצאות חדשות, מרשימות עוד יותר, בתחום העבודה עם מודלים של שפה גדולה (LLM) במבחן MLPerf Inference 4.0. במהלך ששת החודשים האחרונים, התוצאות הגבוהות ממילא שהדגימה ארכיטקטורת הופר בתרחישי היסק שופרו כמעט פי שלושה. תוצאה מרשימה שכזו הושגה הודות לשיפורי החומרה במאיצי ה-H200 וגם הודות לאופטימיזציות של תוכנה. AI גנרטיבי ממש פוצץ את התעשייה: במהלך עשר השנים האחרונות, כוח המחשוב שהושקע באימון רשתות עצביות גדל בשישה סדרי גודל, ו-LLMs עם טריליון פרמטרים כבר לא יוצאי דופן. עם זאת, ההסקה של מודלים כאלה היא גם משימה קשה, ש-NVIDIA ניגשת אליה באופן מקיף, תוך שימוש במילים שלה, "אופטימיזציה רב-ממדית".
מקור: 3dnews.ru