5.8 מיליון IOPS: למה כל כך הרבה?

שלום הבר! מערכי נתונים עבור Big Data ולמידת מכונה צומחים באופן אקספוננציאלי ואנחנו צריכים לעמוד בקצב שלהם. הפוסט שלנו על טכנולוגיה חדשנית נוספת בתחום מחשוב ביצועים גבוהים (HPC, High Performance Computing), מוצג בדוכן קינגסטון בכתובת מחשוב-על-2019. זהו השימוש במערכות אחסון נתונים Hi-End (SDS) בשרתים עם יחידות עיבוד גרפיות (GPU) וטכנולוגיית GPUDirect Storage bus. הודות לחילופי נתונים ישירים בין מערכת האחסון ל-GPU, עקיפת ה-CPU, טעינת נתונים לתוך מאיצי GPU מואצת בסדר גודל, כך שיישומי Big Data פועלים בביצועים המקסימליים שמספקים GPUs. בתורם, מפתחי מערכות HPC מעוניינים בהתקדמות במערכות אחסון עם מהירויות ה-I/O הגבוהות ביותר, כמו אלו המיוצרות על ידי קינגסטון.

ביצועי GPU עולים על טעינת הנתונים

מאז CUDA, ארכיטקטורת מחשוב מקבילה מבוססת חומרה ותוכנה לפיתוח יישומים למטרות כלליות, נוצרה ב-2007, יכולות החומרה של מעבדי ה-GPU עצמם גדלו בצורה מדהימה. כיום, משתמשים במעבדי GPU יותר ויותר ביישומי HPC כגון Big Data, למידת מכונה (ML) ולמידה עמוקה (DL).

שימו לב שלמרות הדמיון במונחים, שתי האחרונות הן משימות שונות מבחינה אלגוריתמית. ML מאמן את המחשב על סמך נתונים מובנים, בעוד ש-DL מאמן את המחשב על סמך משוב מרשת עצבית. דוגמה שתעזור להבין את ההבדלים היא די פשוטה. נניח שהמחשב חייב להבחין בין תמונות של חתולים וכלבים שנטענים ממערכת האחסון. עבור ML, עליך לשלוח סט תמונות עם תגים רבים, שכל אחד מהם מגדיר תכונה מסוימת של בעל החיים. עבור DL, מספיק להעלות מספר גדול בהרבה של תמונות, אבל עם תג אחד בלבד "זה חתול" או "זה כלב". DL דומה מאוד לאופן שבו מלמדים ילדים צעירים - פשוט מראים להם תמונות של כלבים וחתולים בספרים ובחיים (לרוב, בלי אפילו להסביר את ההבדל המפורט), והמוח של הילד עצמו מתחיל לקבוע את סוג החיה לאחר מספר קריטי מסוים של תמונות להשוואה (לפי ההערכות, אנחנו מדברים על רק מאה או שתיים מופעים במהלך הילדות המוקדמת). אלגוריתמי DL עדיין לא כל כך מושלמים: כדי שרשת עצבית תעבוד בהצלחה גם על זיהוי תמונות, יש צורך להזין ולעבד מיליוני תמונות לתוך ה-GPU.

תקציר ההקדמה: על בסיס GPUs ניתן לבנות אפליקציות HPC בתחום ה-Big Data, ML ו-DL, אך ישנה בעיה - מערכי הנתונים כה גדולים עד שמשך הזמן המושקע בטעינת הנתונים ממערכת האחסון ל-GPU מתחיל להפחית את הביצועים הכוללים של היישום. במילים אחרות, מעבדי GPU מהירים נותרים לא מנוצלים עקב נתוני I/O איטיים המגיעים מתת-מערכות אחרות. ההבדל במהירות ה-I/O של ה-GPU והאוטובוס ל-CPU/מערכת אחסון יכול להיות בסדר גודל.

כיצד פועלת טכנולוגיית האחסון של GPUDirect?

תהליך ה-I/O נשלט על ידי ה-CPU, וכך גם תהליך טעינת הנתונים מהאחסון ל-GPUs לעיבוד נוסף. זה הוביל לבקשה לטכנולוגיה שתספק גישה ישירה בין כונני GPU וכונני NVMe כדי לתקשר במהירות זה עם זה. NVIDIA הייתה הראשונה שהציעה טכנולוגיה כזו וקראה לה GPUDirect Storage. למעשה, זוהי וריאציה של טכנולוגיית GPUDirect RDMA (Remote Direct Memory Address) שהם פיתחו בעבר.

Jensen Huang, מנכ"ל NVIDIA, יציג את GPUDirect Storage כגרסה של GPUDirect RDMA ב-SC-19. מקור: NVIDIA

ההבדל בין GPUDirect RDMA ל-GPUDirect Storage הוא במכשירים שביניהם מתבצעת הכתובת. טכנולוגיית GPUDirect RDMA מיועדת להעביר נתונים ישירות בין כרטיס ממשק הרשת הקדמי (NIC) וזיכרון GPU, ו-GPUDirect Storage מספק נתיב נתונים ישיר בין אחסון מקומי או מרוחק כגון NVMe או NVMe over Fabric (NVMe-oF) ו זיכרון GPU.

גם GPUDirect RDMA וגם GPUDirect Storage מונעים תנועות נתונים מיותרות דרך מאגר בזיכרון ה-CPU ומאפשרים למנגנון הגישה הישירה לזיכרון (DMA) להעביר נתונים מכרטיס הרשת או האחסון ישירות לזיכרון ה-GPU או ממנו - הכל ללא עומס על המעבד המרכזי. עבור אחסון GPUDirect, המיקום של האחסון אינו משנה: זה יכול להיות דיסק NVME בתוך יחידת GPU, בתוך מתלה, או מחובר דרך הרשת כ-NVMe-oF.

תכנית הפעולה של אחסון GPUDirect. מקור: NVIDIA

מערכות אחסון Hi-End ב-NVMe מבוקשות בשוק יישומי HPC

מתוך הבנה שעם כניסתו של GPUDirect Storage, העניין של לקוחות גדולים יימשך להציע מערכות אחסון עם מהירויות קלט/פלט המתאימות לתפוקה של ה-GPU, בתערוכת SC-19 קינגסטון הראתה הדגמה של מערכת המורכבת מ-GPU. מערכת אחסון המבוססת על דיסקים NVMe ויחידה עם GPU, שניתחה אלפי תמונות לוויין בשנייה. כבר כתבנו על מערכת אחסון כזו המבוססת על 10 כונני DC1000M U.2 NVMe בדוח מתערוכת מחשבי העל.

מערכת אחסון המבוססת על 10 כונני DC1000M U.2 NVMe משלימה בצורה נאותה שרת עם מאיצים גרפיים. מקור: קינגסטון

מערכת אחסון זו מתוכננת כיחידת מתלה בגודל 1U או יותר וניתנת להרחבה בהתאם למספר כונני DC1000M U.2 NVMe, כל אחד בקיבולת של 3.84-7.68 TB. ה-DC1000M הוא הדגם הראשון של NVMe SSD בפורמט U.2 בסדרת כונני מרכזי הנתונים של קינגסטון. יש לו דירוג סיבולת (DWPD, Drive כותב ליום), המאפשר לו לשכתב נתונים לקיבולת מלאה פעם ביום למשך חייו המובטחים של הכונן.

במבחן fio v3.13 במערכת ההפעלה Ubuntu 18.04.3 LTS, ליבת לינוקס 5.0.0-31-גנרית, דגימת האחסון של התערוכה הראתה מהירות קריאה (קריאה מתמשכת) של 5.8 מיליון IOPS עם תפוקה ברת קיימא (רוחב פס מתמשך ) של 23.8 Gbit/s.

אריאל פרז, מנהל עסקי SSD בקינגסטון, אמר על מערכות האחסון החדשות: "אנו מוכנים לצייד את הדור הבא של השרתים בפתרונות U.2 NVMe SSD כדי לחסל רבים מצווארי הבקבוק של העברת הנתונים שהיו קשורים באופן מסורתי לאחסון. השילוב של כונני NVMe SSD וה-Premium Server Premier DRAM שלנו הופך את קינגסטון לאחד מספקי פתרונות הנתונים מקצה לקצה המקיפים ביותר בתעשייה."

בדיקת gfio v3.13 הראתה תפוקה של 23.8 Gbps עבור מערכת אחסון ההדגמה בכונני DC1000M U.2 NVMe. מקור: קינגסטון

איך תיראה מערכת טיפוסית ליישומי HPC המשתמשת ב-GPUDirect Storage או טכנולוגיה דומה? זוהי ארכיטקטורה עם הפרדה פיזית של יחידות פונקציונליות בתוך מתלה: יחידה אחת או שתיים עבור זיכרון RAM, מספר נוספות עבור צמתי מחשוב GPU ו-CPU, ויחידה אחת או יותר עבור מערכות אחסון.

עם ההכרזה על GPUDirect Storage וההופעה האפשרית של טכנולוגיות דומות מיצרני GPU אחרים, מתרחבת הדרישה של קינגסטון למערכות אחסון המיועדות לשימוש במחשוב בעל ביצועים גבוהים. הסמן יהיה מהירות קריאת הנתונים ממערכת האחסון, השווה לתפוקה של כרטיסי רשת של 40 או 100 ג'יגה-ביט בכניסה ליחידת מחשוב עם GPU. לפיכך, מערכות אחסון מהירות במיוחד, כולל NVMe חיצוני דרך Fabric, יעברו מלהיות אקזוטיות למיינסטרים עבור יישומי HPC. בנוסף למדע וחישובים פיננסיים, הם ימצאו יישום בתחומים מעשיים רבים אחרים, כגון מערכות אבטחה ברמת המטרופולין של העיר בטוחה או מרכזי מעקב תחבורה, שבהם נדרשות מהירויות זיהוי וזיהוי של מיליוני תמונות HD בשנייה", מתואר. נישת השוק של מערכת האחסון המובילה

מידע נוסף על מוצרי Kingston ניתן למצוא בכתובת האתר הרשמי חברה.

מקור: www.habr.com