הגדרת Spark על YARN

האבר, שלום! אתמול על מפגש המוקדש ל- Apache Spark, מהחבר'ה מ- Rambler&Co, היו די הרבה שאלות של משתתפים הקשורות להגדרת הכלי הזה. החלטנו ללכת בעקבותיו ולשתף בחוויה שלנו. הנושא לא פשוט - אז אנחנו מזמינים אתכם לשתף את החוויה שלכם בתגובות, אולי גם אנחנו מבינים ומשתמשים במשהו לא נכון.

הקדמה קטנה כיצד אנו משתמשים בספארק. יש לנו תוכנית לשלושה חודשים "מומחה ביג דאטה", ולאורך המודול השני המשתתפים שלנו עובדים על המכשיר הזה. בהתאם לכך, המשימה שלנו, כמארגנים, היא להכין את האשכול לשימוש בתוך מקרה כזה.

המוזרות של השימוש שלנו היא שמספר האנשים שעובדים בו זמנית על Spark יכול להיות שווה לכל הקבוצה. למשל, בסמינר, כשכולם מנסים משהו בו זמנית וחוזרים אחרי המורה שלנו. וזה לא הרבה - לפעמים עד 40 איש. כנראה שאין הרבה חברות בעולם שעומדות בפני מקרה שימוש כזה.

לאחר מכן, אספר לך כיצד ומדוע בחרנו פרמטרים מסוימים של תצורה.

בואו נתחיל מההתחלה. ל-Spark יש 3 אפשרויות לרוץ על אשכול: עצמאי, באמצעות Mesos ושימוש ב-YARN. החלטנו לבחור באפשרות השלישית כי זה נראה לנו הגיוני. כבר יש לנו אשכול Hadoop. המשתתפים שלנו כבר מכירים היטב את הארכיטקטורה שלו. בואו נשתמש ב-YARN.

spark.master=yarn

עוד יותר מעניין. לכל אחת מ-3 אפשרויות הפריסה הללו יש 2 אפשרויות פריסה: לקוח ואשכול. מבוסס תיעוד וקישורים שונים באינטרנט, אנו יכולים להסיק שהלקוח מתאים לעבודה אינטראקטיבית - למשל באמצעות מחברת jupyter, ו-cluster מתאים יותר לפתרונות ייצור. במקרה שלנו, היינו מעוניינים בעבודה אינטראקטיבית, לכן:

spark.deploy-mode=client

באופן כללי, מעכשיו Spark איכשהו יעבוד על YARN, אבל זה לא הספיק לנו. מכיוון שיש לנו תוכנית על ביג דאטה, לפעמים המשתתפים לא הספיקו ממה שהושג במסגרת של חיתוך שווה של משאבים. ואז מצאנו דבר מעניין - הקצאת משאבים דינמית. בקיצור, הנקודה היא כזו: אם יש לך משימה קשה והאשכול פנוי (לדוגמה, בבוקר), אז השימוש באפשרות הזו Spark יכול לתת לך משאבים נוספים. נחיצות מחושב שם לפי נוסחה ערמומית. לא ניכנס לפרטים - זה עובד טוב.

spark.dynamicAllocation.enabled=true

הגדרנו את הפרמטר הזה, ועם ההפעלה Spark קרס ולא התחיל. זה נכון, כי הייתי חייב לקרוא את זה תיעוד יותר בזהירות. הוא קובע שכדי שהכל יהיה בסדר, צריך להפעיל גם פרמטר נוסף.

spark.shuffle.service.enabled=true

למה זה נחוץ? כשהעבודה שלנו כבר לא דורשת כל כך הרבה משאבים, ספארק צריך להחזיר אותם לבריכה המשותפת. השלב שלוקח את הזמן כמעט בכל משימה של MapReduce הוא שלב Shuffle. פרמטר זה מאפשר לשמור את הנתונים שנוצרים בשלב זה ולשחרר את המבצעים בהתאם. והמוציא לפועל הוא התהליך שמחשב הכל על העובד. יש לו מספר מסוים של ליבות מעבד וכמות מסוימת של זיכרון.

פרמטר זה נוסף. נראה היה שהכל עובד. התברר שלמעשה ניתנו למשתתפים יותר משאבים כשהם זקוקים להם. אבל צצה בעיה נוספת - בשלב מסוים משתתפים אחרים התעוררו ורצו גם הם להשתמש בספארק, אבל הכל היה תפוס שם, והם לא היו מרוצים. אפשר להבין אותם. התחלנו לעיין בתיעוד. התברר שיש עוד מספר פרמטרים שניתן להשתמש בהם כדי להשפיע על התהליך. לדוגמה, אם המבצע נמצא במצב המתנה, לאחר איזה זמן ניתן לקחת ממנו משאבים?

spark.dynamicAllocation.executorIdleTimeout=120s

במקרה שלנו, אם המוציאים לפועל שלך לא עושים כלום במשך שתי דקות, אז בבקשה החזר אותם לבריכה המשותפת. אבל הפרמטר הזה לא תמיד הספיק. היה ברור שהאדם לא עשה דבר במשך זמן רב, ומשאבים לא התפנו. התברר שיש גם פרמטר מיוחד - אחרי איזה שעה לבחור executors המכילים נתונים במטמון. כברירת מחדל, הפרמטר הזה היה אינסוף! תיקנו את זה.

spark.dynamicAllocation.cachedExecutorIdleTimeout=600s

כלומר, אם המוציאים לפועל שלכם לא עושים כלום במשך 5 דקות, תנו אותם לבריכה המשותפת. במצב זה, מהירות השחרור והנפקת משאבים עבור מספר רב של משתמשים הפכה הגונה. כמות אי שביעות הרצון ירדה. אבל החלטנו ללכת רחוק יותר ולהגביל את המספר המרבי של מבצעים לכל אפליקציה - בעצם לכל משתתף בתוכנית.

spark.dynamicAllocation.maxExecutors=19

עכשיו, כמובן, יש אנשים לא מרוצים בצד השני - "האשכול בטל, ויש לי רק 19 מבצעים", אבל מה אתה יכול לעשות? אנחנו צריכים איזשהו איזון נכון. אי אפשר לשמח את כולם.

ועוד סיפור קטן שקשור לפרטי המקרה שלנו. איכשהו, כמה אנשים איחרו לשיעור מעשי, ומשום מה ספארק לא התחיל בשבילם. בדקנו את כמות המשאבים הפנויים - נראה שיש. ניצוץ צריך להתחיל. למרבה המזל, באותו זמן התיעוד כבר התווסף לתת-קליפת המוח איפשהו, ונזכרנו שעם ההשקה, Spark מחפש יציאה שאפשר להתחיל בה. אם היציאה הראשונה בטווח תפוסה, היא עוברת ליציאה הבאה לפי הסדר. אם זה בחינם, זה לוכד. ויש פרמטר שמציין את מספר הניסיונות המקסימלי לכך. ברירת המחדל היא 16. המספר קטן ממספר האנשים בקבוצה שלנו בכיתה. בהתאם, לאחר 16 ניסיונות, ספארק ויתר ואמר שאני לא יכול להתחיל. תיקנו את הפרמטר הזה.

spark.port.maxRetries=50

בשלב הבא אספר לכם על כמה הגדרות שאינן קשורות במיוחד לפרטי המקרה שלנו.

כדי להפעיל את Spark מהר יותר, מומלץ לאחסן את תיקיית ה-jars שנמצאת בספריית הבית של SPARK_HOME ולהעלות אותה על HDFS. אז הוא לא יבזבז זמן להעמיס את הג'רניקים האלה על ידי עובדים.

spark.yarn.archive=hdfs:///tmp/spark-archive.zip

כמו כן, מומלץ להשתמש ב-kryo כחומר סדרה לפעולה מהירה יותר. זה מותאם יותר מאשר ברירת המחדל.

spark.serializer=org.apache.spark.serializer.KryoSerializer

ויש גם בעיה ארוכת שנים עם Spark שלעתים קרובות הוא קורס מהזיכרון. לעתים קרובות זה קורה ברגע שבו העובדים חישבו הכל ושולחים את התוצאה לנהג. הפכנו את הפרמטר הזה לגדול יותר עבור עצמנו. כברירת מחדל, הוא 1GB, הפכנו אותו ל-3.

spark.driver.maxResultSize=3072

ולבסוף, כקינוח. כיצד לעדכן את Spark לגרסה 2.1 בהפצת HortonWorks - HDP 2.5.3.0. גרסה זו של HDP מכילה גרסה 2.0 מותקנת מראש, אבל פעם החלטנו בעצמנו ש-Spark מפתחת די פעיל, וכל גרסה חדשה מתקנת כמה באגים פלוס מספקת תכונות נוספות, כולל עבור ה-API של python, אז החלטנו, מה צריך לעשות הוא עדכון.

הורד את הגרסה מהאתר הרשמי של Hadoop 2.7. פתח אותו והכנס לתיקיית HDP. התקנו את הסמלים לפי הצורך. אנחנו משיקים את זה - זה לא מתחיל. כותב שגיאה מאוד לא ברורה.

java.lang.NoClassDefFoundError: com/sun/jersey/api/client/config/ClientConfig

לאחר חיפושים בגוגל, גילינו שספארק החליטה לא לחכות עד שהאדוופ תיוולד, והחליטה להשתמש בגרסה החדשה של ג'רזי. הם עצמם מתווכחים זה עם זה על הנושא הזה ב-JIRA. הפתרון היה להוריד גרסת ג'רזי 1.17.1. מקם את זה בתיקיית jars ב-SPARK_HOME, דחס אותו שוב והעלה אותו ל-HDFS.

עקפנו את השגיאה הזו, אבל נוצרה אחת חדשה ודי יעילה.

org.apache.spark.SparkException: Yarn application has already ended! It might have been killed or unable to launch application master

במקביל, אנו מנסים להריץ את גרסה 2.0 - הכל בסדר. נסה לנחש מה קורה. בדקנו ביומנים של יישום זה וראינו משהו כזה:

/usr/hdp/${hdp.version}/hadoop/lib/hadoop-lzo-0.6.0.${hdp.version}.jar

באופן כללי, מסיבה כלשהי hdp.version לא נפתרה. לאחר חיפוש בגוגל מצאנו פתרון. אתה צריך ללכת להגדרות YARN באמבארי ולהוסיף שם פרמטר לאתר חוט מותאם אישית:

hdp.version=2.5.3.0-37

הקסם הזה עזר, וספארק המריא. בדקנו כמה מהמחשבים הניידים שלנו Jupyter. הכל עובד. אנחנו מוכנים לשיעור ניצוץ ראשון בשבת (מחר)!

UPD. במהלך השיעור התגלתה בעיה נוספת. בשלב מסוים, YARN הפסיקה לספק מכולות עבור ספארק. ב-YARN היה צורך לתקן את הפרמטר, אשר כברירת מחדל היה 0.2:

yarn.scheduler.capacity.maximum-am-resource-percent=0.8

כלומר, רק 20% מהמשאבים השתתפו בחלוקת המשאבים. לאחר שינוי הפרמטרים, טען מחדש את YARN. הבעיה נפתרה ושאר המשתתפים הצליחו גם להריץ את הקשר.

מקור: www.habr.com