מה מיוחד בCloudera ואיך מכינים אותה

שוק המחשוב המבוזר והביג דאטה, לפי נתונים סטטיסטיים, גדל ב-18-19% בשנה. המשמעות היא שנושא בחירת התוכנה למטרות אלו נותר רלוונטי. בפוסט זה, נתחיל מדוע יש צורך במחשוב מבוזר, נפרט יותר על בחירת תוכנה, נדבר על שימוש ב-Hadoop באמצעות Cloudera, ולבסוף נדבר על בחירת החומרה וכיצד היא משפיעה על הביצועים בדרכים שונות.

מדוע יש צורך במחשוב מבוזר בעסקים רגילים? הכל כאן פשוט ומסובך בו זמנית. פשוט – כי ברוב המקרים אנו מבצעים חישובים פשוטים יחסית ליחידת מידע. זה קשה כי יש הרבה מידע כזה. כל כך הרבה. כתוצאה מכך, זה הכרחי לעבד טרה-בייט של נתונים ב-1000 שרשורים. לפיכך, מקרי השימוש הם אוניברסליים למדי: ניתן להשתמש בחישובים בכל מקום בו יש צורך לקחת בחשבון מספר רב של מדדים על מערך נתונים גדול עוד יותר.

אחת הדוגמאות האחרונות: רשת הפיצריות דודו פיצה מוּגדָר בהתבסס על ניתוח מאגר ההזמנות של הלקוחות, שכאשר בוחרים פיצה עם תוספת אקראית, משתמשים בדרך כלל פועלים עם שישה סטים בסיסיים של מרכיבים ועוד כמה אקראיים. בהתאם לכך התאימה הפיצריה את קניותיה. בנוסף, היא הצליחה להמליץ ​​טוב יותר על מוצרים נוספים שהוצעו למשתמשים בשלב ההזמנה, מה שהגדיל את הרווחים.

דוגמה נוספת: анализ פריטי המוצר אפשרו לחנות H&M לצמצם את המבחר בחנויות בודדות ב-40%, תוך שמירה על רמות מכירות. זה הושג על ידי אי הכללת פריטים שנמכרו בצורה גרועה, והעונתיות נלקחה בחשבון בחישובים.

בחירת כלי

התקן התעשייה עבור סוג זה של מחשוב הוא Hadoop. למה? כי Hadoop היא מסגרת מצוינת ומתועדת היטב (אותו Habr מספק מאמרים מפורטים רבים בנושא זה), המלווה במערך שלם של כלי שירות וספריות. אתה יכול להזין סטים עצומים של נתונים מובנים וגם לא מובנים, והמערכת עצמה תפיץ אותם בין כוח המחשוב. יתר על כן, ניתן להגדיל או להשבית את אותן יכולות בכל עת - אותה מדרגיות אופקית בפעולה.

בשנת 2017, חברת הייעוץ המשפיעה גרטנר סיכםש-Hadoop תתיישן בקרוב. הסיבה בנאלית למדי: אנליסטים מאמינים שחברות יעברו בהמוניהם לענן, שכן שם יוכלו לשלם תוך שימוש בכוח מחשוב. הגורם החשוב השני שיכול כביכול "לקבור" את Hadoop הוא המהירות שלו. מכיוון שאפשרויות כמו Apache Spark או Google Cloud DataFlow מהירות יותר מ- MapReduce, שעומד בבסיס Hadoop.

Hadoop נשענת על כמה עמודים, כשהבולטים שבהם הם טכנולוגיות MapReduce (מערכת להפצת נתונים לחישובים בין שרתים) ומערכת הקבצים HDFS. האחרון תוכנן במיוחד לאחסון מידע המופץ בין צמתים של אשכולות: כל בלוק בגודל קבוע יכול להיות ממוקם על מספר צמתים, ובזכות שכפול, המערכת עמידה בפני כשלים של צמתים בודדים. במקום טבלת קבצים, נעשה שימוש בשרת מיוחד בשם NameNode.

האיור שלהלן מראה כיצד MapReduce פועל. בשלב הראשון מחלקים את הנתונים לפי קריטריון מסוים, בשלב השני מחולקים לפי כוח מחשוב ובשלב השלישי מתבצע החישוב.

MapReduce נוצר במקור על ידי גוגל לצרכי החיפוש שלה. לאחר מכן, MapReduce עבר קוד חינם, ו- Apache השתלט על הפרויקט. ובכן, גוגל עברה בהדרגה לפתרונות אחרים. מידע מעניין: לגוגל יש כרגע פרויקט בשם Google Cloud Dataflow, המוצב כשלב הבא אחרי Hadoop, כתחליף מהיר עבורו.

מבט מקרוב מראה ש-Google Cloud Dataflow מבוסס על וריאציה של Apache Beam, בעוד Apache Beam כולל את המסגרת המתועדת היטב של Apache Spark, המאפשרת לנו לדבר על אותה מהירות ביצוע כמעט של פתרונות. ובכן, Apache Spark עובד בצורה מושלמת על מערכת הקבצים HDFS, המאפשרת לפרוס אותה על שרתי Hadoop.

הוסף כאן את נפח התיעוד והפתרונות המוכנים עבור Hadoop ו-Spark מול Google Cloud Dataflow, והבחירה בכלי הופכת ברורה. יתרה מכך, מהנדסים יכולים להחליט בעצמם איזה קוד - עבור Hadoop או Spark - עליהם להפעיל, תוך התמקדות במשימה, הניסיון והכישורים.

ענן או שרת מקומי

המגמה למעבר כללי לענן אף הולידה מונח מעניין כמו Hadoop-as-a-service. בתרחיש כזה, הניהול של שרתים מחוברים הפך חשוב מאוד. כי, למרבה הצער, למרות הפופולריות שלו, Hadoop טהור הוא כלי קשה למדי להגדרה, מכיוון שצריך לעשות הרבה ידנית. לדוגמה, להגדיר שרתים בנפרד, לפקח על הביצועים שלהם ולהגדיר בקפידה פרמטרים רבים. באופן כללי, העבודה מיועדת לחובבן ויש סיכוי גדול להתבלבל איפשהו או לפספס משהו.

לכן, ערכות הפצה שונות, אשר מצוידות בתחילה בכלי פריסה וניהול נוחים, הפכו פופולריות מאוד. אחת ההפצות הפופולריות ביותר שתומכות בספארק ומקלות על הכל היא Cloudera. יש לו גם גרסאות בתשלום וגם חינמיות - ובאחרון כל הפונקציונליות הבסיסית זמינה, מבלי להגביל את מספר הצמתים.

במהלך ההגדרה, Cloudera Manager יתחבר באמצעות SSH לשרתים שלך. נקודה מעניינת: בעת ההתקנה, עדיף לציין שזה יבוצע על ידי מה שנקרא פטריות: חבילות מיוחדות, שכל אחת מהן מכילה את כל הרכיבים הדרושים המוגדרים לעבוד זה עם זה. בעיקרון זוהי גרסה משופרת של מנהל החבילות.

לאחר ההתקנה, אנו מקבלים מסוף ניהול אשכולות, שבו אתה יכול לראות טלמטריית אשכולות, שירותים מותקנים, בנוסף תוכל להוסיף/להסיר משאבים ולערוך את תצורת האשכולות.

כתוצאה מכך, תא הטיל שייקח אתכם לעתיד הזוהר של BigData מופיע לפניכם. אבל לפני שנאמר "בוא נלך", בואו נעבור מתחת למכסה המנוע.

דרישות חומרה

באתר האינטרנט שלה, Cloudera מזכירה תצורות אפשריות שונות. העקרונות הכלליים שלפיהם הם בנויים מוצגים באיור:

MapReduce יכול לטשטש את התמונה האופטימית הזו. אם מסתכלים שוב על הדיאגרמה מהסעיף הקודם, מתברר שכמעט בכל המקרים, עבודת MapReduce יכולה להיתקל בצוואר בקבוק בעת קריאת נתונים מהדיסק או מהרשת. זה מצוין גם בבלוג Cloudera. כתוצאה מכך, עבור כל חישוב מהיר, כולל דרך Spark, המשמשת לעתים קרובות לחישובים בזמן אמת, מהירות הקלט/פלט חשובה מאוד. לכן, בשימוש ב-Hadoop, חשוב מאוד שהאשכול יכלול מכונות מאוזנות ומהירות, שבלשון המעטה, לא תמיד מובטח בתשתית הענן.

איזון בחלוקת העומס מושג באמצעות שימוש בווירטואליזציה של Openstack בשרתים עם מעבדים רבי-ליבות רבי עוצמה. לצמתי נתונים מוקצים משאבי מעבד משלהם ודיסקים ספציפיים. בהחלטה שלנו Atos Codex Data Lake Engine מושגת וירטואליזציה רחבה, וזו הסיבה שאנו מרוויחים הן מבחינת ביצועים (השפעת תשתית הרשת ממוזערת) והן ב-TCO (מתבטלים שרתים פיזיים נוספים).

בעת שימוש בשרתי BullSequana S200, אנו מקבלים עומס אחיד מאוד, נטול כמה צווארי בקבוק. התצורה המינימלית כוללת 3 שרתי BullSequana S200, כל אחד עם שני JBODs, בתוספת S200s נוספים המכילים ארבעה צמתי נתונים מחוברים באופן אופציונלי. הנה דוגמה לעומס במבחן TeraGen:

בדיקות עם נפחי נתונים וערכי שכפול שונים מציגות את אותן תוצאות במונחים של חלוקת עומסים בין צמתי אשכול. להלן גרף של התפלגות הגישה לדיסק לפי מבחני ביצועים.

חישובים בוצעו על סמך תצורה מינימלית של 3 שרתי BullSequana S200. הוא כולל 9 צמתי נתונים ו-3 צמתים מאסטר, כמו גם מכונות וירטואליות שמורות במקרה של פריסת הגנה המבוססת על OpenStack Virtualization. תוצאת בדיקת TeraSort: גודל בלוק 512 MB מקדם שכפול שווה לשלוש עם הצפנה הוא 23,1 דקות.

כיצד ניתן להרחיב את המערכת? ישנם סוגים שונים של הרחבות זמינות עבור Data Lake Engine:

• צמתי נתונים: עבור כל 40 TB של שטח שמיש
• צמתים אנליטיים עם יכולת להתקין GPU
• אפשרויות אחרות בהתאם לצרכים העסקיים (לדוגמה, אם אתה צריך קפקא וכדומה)

Atos Codex Data Lake Engine כולל גם את השרתים עצמם וגם תוכנות מותקנות מראש, כולל ערכת Cloudera מורשית; Hadoop עצמה, OpenStack עם מכונות וירטואליות המבוססות על ליבת RedHat Enterprise Linux, מערכות שכפול וגיבוי נתונים (כולל שימוש בצומת גיבוי ו-Cloudera BDR - Backup and Disaster Recovery). Atos Codex Data Lake Engine הפך לפתרון הוירטואליזציה הראשון שקיבל הסמכה קלודרה.

אם אתם מעוניינים בפרטים, נשמח לענות על שאלותינו בתגובות.

מקור: www.habr.com