Cloudflare בוחרת במעבדים מבית AMD עבור שרתי קצה מהדור העשירי

יותר ממיליארד כתובות IP ייחודיות עוברות ברשת Cloudflare מדי יום; הוא משרת יותר מ-11 מיליון בקשות HTTP בשנייה; היא נמצאת בטווח של 100 אלפיות השנייה מ-95% מאוכלוסיית האינטרנט. הרשת שלנו משתרעת על 200 ערים בלמעלה מ-90 מדינות, וצוות המהנדסים שלנו בנה תשתית מהירה ואמינה במיוחד.

אנו גאים מאוד בעבודה שלנו ומחויבים לעזור להפוך את האינטרנט למקום טוב ובטוח יותר. למהנדסי החומרה של Cloudflare יש הבנה עמוקה של השרתים והרכיבים שלהם כדי להבין ולבחור את החומרה הטובה ביותר כדי למקסם את הביצועים שלה.

מחסנית התוכנה שלנו מטפלת במחשוב בעומס גבוה ותלויה מאוד במעבד, מה שמחייב את המהנדסים שלנו לייעל ללא הרף את היעילות והאמינות של Cloudflare בכל רמה של הערימה. בצד השרת, הדרך הקלה ביותר להגדיל את כוח העיבוד היא על ידי הוספת ליבות CPU. ככל ששרת יכול להתאים ליותר ליבות, כך הוא יכול לעבד יותר נתונים. זה חשוב לנו מכיוון שמגוון המוצרים והלקוחות שלנו גדל עם הזמן, וצמיחת הבקשות דורשת ביצועים מוגברים מהשרתים. כדי להגביר את הביצועים שלהם, היינו צריכים להגדיל את הצפיפות של הליבות – וזה בדיוק מה שהשגנו. להלן אנו מספקים נתונים מפורטים על מעבדים עבור שרתים שאנו פרסנו מאז 2015, כולל מספר הליבות:

-
Gen 6
Gen 7
Gen 8
Gen 9

תחילת העבודה
2015
2016
2017
2018

CPU
Intel Xeon E5-2630 v3
Intel Xeon E5-2630 v4
אינטל Xeon כסף 4116
Intel Xeon Platinum 6162

ליבות פיזיות
X 2 8
X 2 10
X 2 12
X 2 24

TDP
2 x 85W
2 x 85W
2 x 85W
2 x 150W

TDP לכל ליבה
10.65W
8.50W
7.08W
6.25W

בשנת 2018 עשינו קפיצת מדרגה גדולה במספר הליבות הכולל לשרת עם Gen 9. ההשפעה הסביבתית הצטמצמה ב-33% בהשוואה לדור ה-8, מה שנותן לנו את ההזדמנות להגדיל את הנפח ואת כוח המחשוב לכל מתלה. דרישות תכנון לפיזור חום (כוח עיצוב תרמי, TDP) מוזכרים כדי להדגיש שגם יעילות האנרגיה שלנו גדלה עם הזמן. מדד זה חשוב לנו: ראשית, אנו רוצים לפלוט פחות פחמן לאטמוספירה; שנית, אנחנו רוצים לנצל בצורה הטובה ביותר את האנרגיה ממרכזי הנתונים. אבל אנחנו יודעים שיש לנו למה לשאוף.

המדד המגדיר העיקרי שלנו הוא מספר הבקשות לוואט. אנחנו יכולים להגדיל את מספר הבקשות לשנייה על ידי הוספת ליבות, אבל אנחנו צריכים להישאר בתקציב הכוח שלנו. אנו מוגבלים על ידי תשתית החשמל של מרכז הנתונים, אשר יחד עם מודולי חלוקת החשמל שנבחרו, נותנת לנו גבול עליון מסוים עבור כל מדף שרת. הוספת שרתים למתלה מגדילה את צריכת החשמל. עלויות התפעול יגדלו באופן משמעותי אם נחרוג ממגבלת האנרגיה לכל מתלה ונצטרך להוסיף מתלים חדשים. אנחנו צריכים להגדיל את כוח העיבוד תוך הישארות באותו טווח צריכת חשמל, מה שיגדיל את הבקשות לוואט, מדד המפתח שלנו.

כפי שאולי ניחשתם, למדנו בקפידה את צריכת האנרגיה בשלב התכנון. הטבלה למעלה מראה שלא כדאי לנו לבזבז זמן בפריסת מעבדים זוללים יותר אנרגיה אם ה-TDP לליבה גבוה מהדור הנוכחי - זה ישפיע לרעה על המדד שלנו, בקשות לוואט. למדנו בקפידה את המערכות המוכנות להפעלה עבור דור ה-X שלנו בשוק וקיבלנו החלטה. אנו עוברים מעיצוב 48 ליבות Intel Xeon Platinum 6162 עם שקעים כפולים לעיצוב 48 ליבות AMD EPYC 7642 עם שקע יחיד.

-
אינטל
AMD

CPU
Xeon פלטינום 6162
EPYC 7642

מיקרו ארכיטקטורה
"סקיילייק"
"זן 2"

שם קוד
"סקייליק SP"
"רומא"

טכנולוגיית תהליך
14nm
7nm

ליבות
X 2 24
48

תדיר
1.9 GHz
2.4 GHz

מטמון/שקע L3
24 x 1.375MiB
16 x 16MiB

זיכרון/שקע
6 ערוצים, עד DDR4-2400
8 ערוצים, עד DDR4-3200

TDP
2 x 150W
225W

PCIe/שקע
48 נתיבים
128 נתיבים

הוא
x86-64
x86-64

מהמפרט ברור שהשבב מבית AMD יאפשר לנו לשמור על אותו מספר ליבות תוך הורדת ה-TDP. לדור ה-9 היה TDP לליבה של 6,25 W, ולדור ה-X הוא יהיה 4,69 W. ירד ב-25%. הודות לתדר המוגבר, ואולי עיצוב פשוט יותר עם שקע אחד, ניתן להניח ששבב AMD יתפקד טוב יותר בפועל. כרגע אנחנו מריצים בדיקות וסימולציות שונות כדי לראות עד כמה AMD תצליח יותר.

לעת עתה, נציין כי TDP הוא מדד פשוט ממפרט היצרן, בו השתמשנו בשלבים המוקדמים של עיצוב השרת ובחירת המעבד. חיפוש מהיר בגוגל מגלה כי ל-AMD ולאינטל יש גישות שונות להגדרת TDP, מה שהופך את המפרט לבלתי אמין. צריכת חשמל אמיתית של מעבד, וחשוב מכך צריכת חשמל של שרת, היא מה שאנחנו באמת משתמשים בו בעת קבלת ההחלטה הסופית שלנו.

מוכנות של מערכת אקולוגית

כדי להתחיל את המסע שלנו לבחירת המעבד הבא שלנו, בדקנו מגוון רחב של מעבדים מיצרנים שונים שהתאימו היטב לערימת התוכנה והשירותים שלנו (כתובים ב-C, LuaJIT ו-Go). כבר תיארנו בפירוט סט כלים למדידת מהירות באחד ממאמרי הבלוג שלנו. במקרה זה, השתמשנו באותו סט - זה מאפשר לנו להעריך את היעילות של המעבד בזמן סביר, שלאחריו המהנדסים שלנו יכולים להתחיל להתאים את התוכניות שלנו למעבד ספציפי.

בדקנו מגוון מעבדים עם מגוון ספירות ליבות, ספירת שקעים ותדרים. מכיוון שמאמר זה עוסק בסיבה מדוע התפשרנו על AMD EPYC 7642, כל התרשימים בבלוג זה מתמקדים בביצועים של מעבדי AMD בהשוואה ל-Intel Xeon Platinum 6162 מ- הדור ה-9 שלנו.

התוצאות מתאימות למדידות של שרת בודד עם כל וריאנט מעבד - כלומר עם שני מעבדים 24 ליבות מבית אינטל, או עם מעבד אחד 48 ליבות מבית AMD (שרת לאינטל עם שני שקעים ושרת עבור AMD EPYC עם אחד) . ב-BIOS אנו מגדירים את הפרמטרים המתאימים לשרתים הפועלים. זה 3,03 גיגה-הרץ עבור AMD ו-2,5 גיגה-הרץ עבור אינטל. בפשטות רבה, אנו מצפים שעם אותו מספר ליבות, AMD תבצע ביצועים טובים יותר ב-21% מאינטל.

קריפטוגרפיה

נראה מבטיח עבור AMD. הוא מציג ביצועים טובים יותר ב-18% בהצפנת מפתח ציבורי. עם מפתח סימטרי, הוא מאבד עבור אפשרויות ההצפנה AES-128-GCM, אך בסך הכל ביצועים דומים.

דחיסה

בשרתי קצה, אנו דוחסים הרבה נתונים כדי לחסוך ברוחב הפס ולהגביר את מהירות אספקת התוכן. אנו מעבירים את הנתונים דרך ספריות C zlib ו-brotli. כל הבדיקות בוצעו על קובץ ה-HTML blog.cloudflare.com בזיכרון.

AMD ניצחה בממוצע של 29% בשימוש ב-gzip. במקרה של ברוטלי, התוצאות אפילו טובות יותר, בבדיקות עם איכות 7, שבה אנו משתמשים לדחיסה דינמית. בבדיקת brotli-9 יש ירידה חדה - אנו מסבירים זאת בכך שברוטלי צורך הרבה זיכרון ומציף את המטמון. עם זאת, AMD מנצחת בהפרש גדול.

רבים מהשירותים שלנו כתובים ב-Go. בגרפים הבאים, אנו בודקים פעמיים את מהירות ההצפנה והדחיסה ב-Go עם RegExp על קווים של 32 KB באמצעות ספריית המחרוזות.

לך לקריפטוגרפיה

לך דחיסה

עבור ל-Regexp

Go Strings

AMD מציגה ביצועים טובים יותר בכל הבדיקות עם Go למעט ECDSA P256 Sign, שם היא הייתה בפיגור של 38% - וזה מוזר, בהתחשב בכך שהיא ביצעה 24% טוב יותר ב-C. שווה להבין מה קורה שם. בסך הכל, AMD לא מנצחת הרבה, אבל עדיין מציגה את התוצאות הטובות ביותר.

LuaJIT

לעתים קרובות אנו משתמשים ב-LuaJIT על הערימה. זהו הדבק שמחזיק את כל החלקים של Cloudflare יחד. ואנחנו שמחים שגם כאן AMD ניצחה.

בסך הכל, הבדיקות מראות שה-EPYC 7642 מתפקד טוב יותר משני Xeon Platinum 6162. AMD מפסידה בכמה בדיקות - למשל, AES-128-GCM ו-Go OpenSSL ECDSA-P256 Sign - אבל מנצחת על כל השאר, בממוצע של 25%.

סימולציית עומס עבודה

לאחר הבדיקות המהירות שלנו, הרצנו את השרתים בסט נוסף של סימולציות שבהן מופעל עומס סינתטי על ערימת הקצה של התוכנה. כאן אנו מדמים עומס תרחיש עם סוגים שונים של בקשות שניתן להיתקל בהן בעבודה אמיתית. הבקשות משתנות בנפח הנתונים, פרוטוקולי HTTP או HTTPS, מקורות WAF, עובדים ומשתנים רבים אחרים. להלן השוואה של התפוקה של שני המעבדים לסוגי הבקשות שאנו נתקלים בהן לרוב.

התוצאות בתרשים נמדדות מול קו הבסיס של מכונות מבוססות אינטל מהדור ה-9, מנורמל לערך של 1,0 על ציר ה-x. לדוגמה, אם לוקחים בקשות פשוטות של 10 KiB דרך HTTPS, אנו יכולים לראות ש-AMD מצליחה פי 1,5 יותר מאשר אינטל מבחינת בקשות לשנייה. בממוצע, AMD ביצעה 34% טוב יותר מאשר אינטל עבור הבדיקות הללו. בהתחשב בכך שה-TDP עבור AMD EPYC 7642 בודד הוא 225 W, ולשני מעבדי אינטל הוא 300 W, מסתבר שמבחינת "בקשות לוואט" AMD מציגה תוצאות טובות פי 2 מאינטל!

בשלב זה, כבר נטנו בבירור לאפשרות השקע הבודד עבור AMD EPYC 7642 כמעבדי ה-Gen X העתידיים שלנו. היינו מאוד מעוניינים לראות כיצד יפעלו שרתי AMD EPYC בעבודה בעולם האמיתי, ומיד שלחנו כמה שרתים לחלקם ממרכזי נתונים.

עבודה אמיתית

השלב הראשון, כמובן, היה להכין את השרתים לעבודה בתנאים אמיתיים. כל המכונות בצי שלנו עובדות עם אותם תהליכים ושירותים, מה שמספק הזדמנות מצוינת להשוות נכון את הביצועים. כמו רוב מרכזי הנתונים, יש לנו כמה דורות של שרתים פרוסים, ואנו אוספים את השרתים שלנו לאשכולות כך שכל מחלקה מכילה שרתים של אותם דורות בערך. במקרים מסוימים, הדבר עלול לגרום לעקומות מיחזור השונות בין אשכולות. אבל לא איתנו. המהנדסים שלנו ביצעו אופטימיזציה של ניצול ה-CPU עבור כל הדורות, כך שלא משנה אם ל-CPU של מכונה מסוימת יש 8 ליבות או 24, ניצול ה-CPU בדרך כלל זהה לשאר.

הגרף ממחיש את הערתנו על הדמיון בניצול - אין הבדל משמעותי בין השימוש במעבדי AMD בשרתי דור X לבין השימוש במעבדי אינטל בשרתי דור 9. המשמעות היא ששרתי הבדיקה והבסיס נטענים באופן שווה. . גדול. זה בדיוק מה שאנחנו שואפים אליו בשרתים שלנו, ואנחנו צריכים את זה בשביל השוואה הוגנת. שני הגרפים שלהלן מציגים את מספר הבקשות שעובדו על ידי ליבת מעבד אחת וכל הליבות ברמת השרת.

בקשות לכל ליבה

בקשות לשרת

ניתן לראות שבממוצע AMD מעבדת 23% יותר בקשות. לא רע בכלל! לא פעם כתבנו בבלוג שלנו על דרכים להגביר את הביצועים של Gen 9. ועכשיו יש לנו את אותו מספר ליבות, אבל AMD עושה יותר עבודה עם פחות כוח. ברור מיד מהמפרטים של מספר הליבות וה-TDP ש-AMD מספקת מהירות גבוהה יותר עם יעילות אנרגטית גבוהה יותר.

אבל כפי שכבר הזכרנו, TDP אינו מפרט סטנדרטי והוא אינו זהה עבור כל היצרנים, אז בואו נסתכל על השימוש באנרגיה בפועל. על ידי מדידת צריכת האנרגיה של השרת במקביל למספר הבקשות בשנייה, השגנו את הגרף הבא:

בהתבסס על בקשות לשנייה לוואט שהושקע, שרתי Gen X הפועלים על מעבדי AMD יעילים יותר ב-28%. אפשר לצפות ליותר, בהתחשב בכך שה-TDP של AMD נמוך ב-25%, אבל צריך לזכור ש-TDP הוא מאפיין מעורפל. ראינו שצריכת החשמל בפועל של AMD כמעט זהה ל-TDP המוצהר בתדרים גבוהים בהרבה מהבסיס; לאינטל אין את זה. זו סיבה נוספת לכך ש-TDP אינו אומדן אמין של צריכת האנרגיה. מעבדים של אינטל בשרתי ה-Gen 9 שלנו משולבים במערכת מרובת צמתים, בעוד שמעבדים מבית AMD פועלים בשרתי 1U סטנדרטיים. זה לא לטובת AMD, מכיוון ששרתי multinode צריכים לספק צפיפות גדולה יותר עם פחות צריכת חשמל לצומת, אבל AMD עדיין עקפה את אינטל מבחינת צריכת חשמל לצומת.

ברוב ההשוואות בין מפרטים, סימולציות בדיקה וביצועים בעולם האמיתי, תצורת 1P AMD EPYC 7642 פעלה בצורה משמעותית יותר מאשר 2P Intel Xeon 6162. בתנאים מסוימים, AMD יכולה לבצע עד 36% טוב יותר, ואנו מאמינים כי על ידי אופטימיזציה חומרה ותוכנה, אנחנו יכולים להשיג שיפור זה על בסיס מתמשך.

מסתבר ש-AMD ניצחה.

גרפים נוספים מציגים זמן חביון ממוצע ו-p99 הפעלת NGINX על פני תקופה של 24 שעות. בממוצע, תהליכים ב-AMD רצו ב-25% מהר יותר. ב-p99 הוא פועל מהר יותר ב-20-50% בהתאם לשעה ביום.

מסקנה

מהנדסי החומרה והביצועים של Cloudflare עושים כמות משמעותית של בדיקות ומחקר כדי לקבוע את תצורת השרת הטובה ביותר עבור הלקוחות שלנו. אנחנו אוהבים לעבוד כאן כי אנחנו יכולים לפתור בעיות גדולות כמו אלה, ואנחנו יכולים לעזור לך לפתור את הבעיות שלך עם שירותים כמו מחשוב קצה ללא שרת ומערך פתרונות אבטחה כמו Magic Transit, Argo Tunnel והגנה על DDoS. . כל השרתים ברשת Cloudflare מוגדרים לביצועים מהימנים, ואנחנו תמיד מנסים להפוך כל דור הבא של שרתים טוב יותר מהקודם. אנו מאמינים שה-AMD EPYC 7642 הוא התשובה בכל הנוגע למעבדי Gen X.

באמצעות Cloudflare Workers, מפתחים פורסים את האפליקציות שלהם ברשת המתרחבת שלנו ברחבי העולם. אנו גאים לתת ללקוחותינו להתמקד בכתיבת קוד בזמן שאנו מתמקדים באבטחה ובאמינות בענן. והיום אנחנו אפילו יותר שמחים להכריז שהעבודה שלהם תיפרס על שרתי דור ה-X שלנו המריצים מעבדי AMD EPYC מהדור השני.

מעבדי EPYC 7642, שם הקוד "רומא" [רומא]

על ידי שימוש ב-EPYC 7642 של AMD, הצלחנו להגביר את הביצועים שלנו ולהקל על הרחבת הרשת שלנו לערים חדשות. רומא לא נבנתה ביום אחד, אבל בקרוב היא תהיה קרובה יותר לרבים מכם.

בשנתיים האחרונות עשינו ניסויים עם שבבי x86 רבים של אינטל ו-AMD, כמו גם מעבדים של ARM. אנו מצפים שיצרניות המעבד הללו ימשיכו לעבוד איתנו בעתיד כדי שכולנו נוכל לבנות יחד אינטרנט טוב יותר.

מקור: www.habr.com