Amazon Shift Redshift Parallel Scaling מדריך ותוצאות בדיקה

ב-Skyeng אנו משתמשים באמזון Redshift, כולל קנה מידה מקביל, אז מצאנו את המאמר הזה של Stefan Gromoll, מייסד dotgo.com, עבור intermix.io מעניין. לאחר התרגום, קצת מהניסיון שלנו ממהנדס הנתונים Daniyar Belkhodzhaev.

ארכיטקטורת אמזון לאדום מאפשר שינוי קנה מידה על ידי הוספת צמתים חדשים לאשכול. הצורך להתמודד עם מספר שיא של בקשות יכול להוביל לאספקת יתר של צמתים. קנה המידה של מקביליות, בניגוד להוספת צמתים חדשים, מגדיל את כוח המחשוב לפי הצורך.

קנה מידה מקביל של אמזון Redshift נותן לאשכולות Redshift קיבולת נוספת להתמודד עם נפחי בקשות שיא. זה עובד על ידי העברת בקשות לאשכולות "מקבילים" חדשים ברקע. בקשות מנותבות על סמך תצורה וחוקים של WLM.

תמחור בקנה מידה מקביל מבוסס על מודל אשראי עם שכבה חופשית. מעל הזיכויים החינמיים, התשלום מבוסס על הזמן שבו אשכול קנה המידה המקביל מעבד בקשות.

המחבר בדק קנה מידה מקביל על אחד האשכולות הפנימיים. בפוסט זה הוא ידבר על תוצאות הבדיקה וייתן טיפים איך להתחיל.

דרישות אשכול

כדי להשתמש בקנה מידה מקביל, אשכול האמזון האדום שלך חייב לעמוד בדרישות הבאות:

- פלטפורמה: EC2-VPC;
- סוג צומת: dc2.8xlarge, ds2.8xlarge, dc2.large או ds2.xlarge;
- מספר צמתים: מ-2 עד 32 (אשכולות צומת בודדים אינם נתמכים).

סוגי בקשות מקובלים

קנה מידה מקביל אינו מתאים לכל סוגי השאילתות. בגרסה הראשונה, הוא מעבד רק בקשות קריאה העומדות בשלושה תנאים:

— שאילתות SELECT הן לקריאה בלבד (למרות שמתוכננים סוגים נוספים);
- השאילתה אינה מתייחסת לטבלה עם סגנון המיון INTERLEAVED;
- השאילתה אינה משתמשת ב-Amazon Redshift Spectrum כדי להפנות לטבלאות חיצוניות.

כדי להיות מנותב לאשכול קנה המידה המקביל, הבקשה חייבת להיות בתור. בנוסף, שאילתות הכשירות לתור SQA (האצת שאילתות קצרה), לא יפעל על אשכולות בקנה מידה מקביל.

תורים ו-SQA דורשים תצורה נכונה ניהול עומסי עבודה באדום (WLM). אנו ממליצים לבצע אופטימיזציה של WLM תחילה - זה יקטין את הצורך בקנה מידה מקביל. וזה חשוב כי קנה מידה מקביל הוא בחינם רק למספר מסוים של שעות. AWS טוענת כי קנה מידה מקביל יהיה בחינם עבור 97% מהלקוחות, מה שמביא אותנו לסוגיית התמחור.

עלות קנה מידה מקביל

AWS מציעה מודל אשראי עבור קנה מידה מקביל. כל אשכול פעיל האדום של אמזון צובר זיכויים מדי שעה, עד שעה אחת של זיכויים של קנה מידה מקביל בחינם ליום.

אתה משלם רק כאשר השימוש שלך באשכולות קנה מידה מקבילים עולה על כמות הזיכויים שקיבלת.

העלות מחושבת לפי תעריף לפי דרישה לשנייה עבור אשכול מקביל המשמש מעל התעריף החופשי. אתה מחויב רק עבור משך הבקשות שלך, עם חיוב מינימלי של דקה אחת בכל פעם ש-Pallel Scaling Cluster מופעל. התעריף לשנייה לפי דרישה מחושב על סמך עקרונות תמחור כלליים האדום של אמזון, כלומר, זה תלוי בסוג הצומת ובמספר הצמתים באשכול שלך.

השקת קנה מידה מקביל

קנה מידה מקביל מופעל עבור כל תור WLM. עבור אל מסוף AWS Shift ובחר ניהול עומסי עבודה מתפריט הניווט השמאלי. בחר את קבוצת הפרמטרים של ה-WLM של האשכול שלך מהתפריט הנפתח הבא.

תראה עמודה חדשה בשם "מצב קנה מידה מקביל" ליד כל תור. ברירת המחדל היא "מושבת". לחץ על "ערוך" ותוכל לשנות את ההגדרות עבור כל תור.

תְצוּרָה

קנה מידה מקביל עובד על ידי העברת בקשות מתאימות לאשכולות ייעודיים חדשים. לאשכולות חדשים יש אותו גודל (סוג ומספר צמתים) כמו האשכול הראשי.

מספר ברירת המחדל של אשכולות המשמשים לשינוי קנה מידה מקביל הוא אחד (1), עם היכולת להגדיר עד סך של עשרה (10) אשכולות.
ניתן להגדיר את המספר הכולל של אשכולות עבור קנה מידה מקביל על ידי הפרמטר max_concurrency_scaling_clusters. הגדלת הערך של פרמטר זה מספקת אשכולות מיותרים נוספים.

ניטור

ישנם מספר גרפים נוספים זמינים בקונסולת AWS Redshift. התרשים Max Configured Scaleing Concurrency Scaling Clusters מציג את הערך של max_concurrency_scaling_clusters לאורך זמן.

מספר אשכולות קנה המידה הפעילים מוצג בממשק המשתמש בקטע "פעילות קנה מידה מקביל":

בלשונית שאילתות, יש עמודה המציינת אם השאילתה בוצעה באשכול הראשי או באשכול קנה המידה המקביל:

ללא קשר לשאלה אם שאילתה מסוימת בוצעה באשכול הראשי או באמצעות אשכול קנה מידה מקביל, היא מאוחסנת ב-stl_query.concurrency_scaling_status.

ערך 1 מציין שהשאילתה בוצעה באשכול קנה המידה המקביל, בעוד שערכים אחרים מציינים שהיא בוצעה באשכול הראשי.

לדוגמה:

מידע קנה המידה של מקביליות מאוחסן גם בטבלאות ובתצוגות אחרות, כגון SVCS_CONCURRENCY_SCALING_USAGE. בנוסף, ישנן מספר טבלאות קטלוג המאחסנות מידע על קנה מידה מקביל.

ממצאים

המחברים החלו בקנה מידה מקביל עבור תור אחד באשכול הפנימי בערך בשעה 18:30:00 GMT ב-29.03.2019/3/20. שינו את הפרמטר max_concurrency_scaling_clusters ל-30 בערך בשעה 00:29.03.2019:XNUMX ב-XNUMX/XNUMX/XNUMX.

כדי לדמות תור בקשות, צמצמנו את מספר המשבצות עבור תור זה מ-15 ל-5.

להלן תרשים של לוח המחוונים של intermix.io המציג את מספר הבקשות הפועלות ועומדות בתור לאחר הפחתת מספר המשבצות.

אנו רואים שזמן ההמתנה לבקשות בתור גדל, כאשר הזמן המקסימלי הוא יותר מ-5 דקות.

להלן המידע הרלוונטי ממסוף AWS על מה שקרה בתקופה זו:

Redshift השיקה שלושה (3) אשכולות קנה מידה מקבילים כפי שהוגדרו. נראה שהאשכולות האלה לא נוצלו, למרות שבקשות רבות באשכול שלנו היו בתור.

גרף השימוש מתאם עם גרף פעילות קנה המידה:

לאחר מספר שעות, המחברים בדקו את התור ונראה היה ש-6 בקשות פועלות בקנה מידה מקביל. כמו כן, בדקנו באופן אקראי שתי בקשות דרך ממשק המשתמש. לא בדקנו כיצד להשתמש בערכים אלה כאשר מספר אשכולות מקבילים פעילים בבת אחת.

ממצאים

קנה מידה מקביל יכול לצמצם את הזמן שהבקשות שוהות בתור בזמן עומסי שיא.

על סמך תוצאות הבדיקה הבסיסית, התברר שהמצב עם בקשות הטעינה השתפר חלקית. עם זאת, קנה מידה מקביל לבדו לא פתר את כל בעיות במקביל.

זה נובע מהגבלות על סוגי השאילתות שיכולות להשתמש בקנה מידה מקביל. לדוגמה, לכותבים יש טבלאות רבות עם מפתחות מיון משולבים, ורוב עומס העבודה שלנו הוא כתיבה.

למרות שקנה ​​מידה מקביל אינו פתרון אוניברסלי להגדרת WLM, השימוש בתכונה זו הוא פשוט ופשוט.

לכן, המחבר ממליץ להשתמש בו עבור תורי ה-WLM שלך. התחל עם אשכול מקביל אחד ועקוב אחר עומס שיא דרך המסוף כדי לקבוע אם האשכולות החדשים נמצאים בשימוש מלא.

מכיוון ש-AWS מוסיפה תמיכה בסוגי שאילתות וטבלאות נוספים, קנה מידה מקביל אמור להיות יעיל יותר ויותר בהדרגה.

הערה מאת Daniyar Belkhodzhaev, Skyeng Data Engineer

גם אנחנו ב-Skyeng שמנו לב מיד לאפשרות המתגבשת של קנה מידה מקביל.
הפונקציונליות מאוד אטרקטיבית, במיוחד בהתחשב בעובדה ש-AWS מעריכה שרוב המשתמשים אפילו לא יצטרכו לשלם עבורה תשלום נוסף.

כך קרה שבאמצע אפריל היה לנו שטף חריג של בקשות לאשכול ההיסט לאדום. במהלך תקופה זו, נקטנו לעתים קרובות ב-Concurrency Scaling; לפעמים אשכול נוסף עבד 24 שעות ביממה ללא הפסקה.

זה איפשר, אם לא לפתור לחלוטין את הבעיה עם תורים, אז לפחות להפוך את המצב למקובל.

התצפיות שלנו תואמות במידה רבה את ההתרשמות של החבר'ה מ-intermix.io.

כמו כן, שמנו לב שלמרות שהמתינו בקשות בתור, לא כל הבקשות הועברו מיד לאשכול המקביל. כנראה שזה קורה בגלל העובדה שהאשכול המקביל עדיין דורש זמן להתחיל. כתוצאה מכך, במהלך עומסי שיא קצרי טווח עדיין יש לנו תורים קטנים, ולאזעקות המתאימות יש זמן להפעיל.

לאחר שנפטרנו מעומסים חריגים באפריל, נכנסנו, כצפוי של AWS, למצב שימוש מזדמן - במסגרת הנורמה החופשית.
אתה יכול לעקוב אחר עלויות ההרחבה המקבילות שלך ב-AWS Cost Explorer. עליך לבחור שירות - הסטה לאדום, סוג שימוש - CS, למשל USW2-CS:dc2.large.

אתה יכול לקרוא עוד על מחירים ברוסית כאן.

מקור: www.habr.com