שחרור הפלטפורמה לעיבוד נתונים מבוזר Apache Hadoop 3.3

לאחר שנה וחצי של פיתוח, קרן תוכנת אפאצ'י опубликовала שחרור Apache Hadoop 3.3.0, פלטפורמה חינמית לארגון עיבוד מבוזר של כמויות גדולות של נתונים באמצעות הפרדיגמה מפה/הקטנה, שבו המשימה מחולקת למקטעים נפרדים רבים יותר, שכל אחד מהם יכול להיות מופעל על צומת אשכול נפרד. אחסון מבוסס Hadoop יכול להשתרע על פני אלפי צמתים ולהכיל אקסבייטים של נתונים.

Hadoop כוללת יישום של Hadoop Distributed FileSystem (HDFS), המספקת גיבוי נתונים באופן אוטומטי ומותאמת ליישומי MapReduce. כדי לפשט את הגישה לנתונים באחסון Hadoop פותחו מסד הנתונים HBase והשפה דמוית ה-SQL Pig, שהיא מעין SQL עבור MapReduce, שאת השאילתות שלהן ניתן לבצע מקבילות ועיבוד על ידי מספר פלטפורמות Hadoop. הפרויקט מוערך כיציב לחלוטין ומוכן לתפעול תעשייתי. Hadoop נמצא בשימוש פעיל בפרויקטים תעשייתיים גדולים, ומספק יכולות דומות לפלטפורמת Google Bigtable/GFS/MapReduce, בעוד שגוגל רשמית האצלה ל-hadoop ולפרויקטים אחרים של Apache יש את הזכות להשתמש בטכנולוגיות המכוסות בפטנטים הקשורים לשיטת MapReduce.

Hadoop מדורגת במקום הראשון בין מאגרי Apache מבחינת מספר השינויים שבוצעו ובמקום החמישי מבחינת גודל בסיס הקוד (כ-4 מיליון שורות קוד). ההטמעות העיקריות של Hadoop כוללות את נטפליקס (מאוחסנים יותר מ-500 מיליארד אירועים ביום), טוויטר (אשכול של 10 צמתים מאחסן יותר מ-zettabyte של נתונים בזמן אמת ומעבד יותר מ-5 מיליארד הפעלות ביום), פייסבוק (אשכול מתוך 4 צמתים מאחסנים יותר מ-300 פטה-בייט ועולה מדי יום ב-4 PB ליום).

העיקרי שינויים ב- Apache Hadoop 3.3:

• נוספה תמיכה בפלטפורמות המבוססות על ארכיטקטורת ARM.
• יישום הפורמט פרוטובוף (מאגרי פרוטוקול), המשמשים להסדרת נתונים מובנים, עודכן לגרסה 3.7.1 עקב סיום מחזור החיים של ענף protobuf-2.5.0.
• היכולות של מחבר S3A הורחבו: נוספה תמיכה באימות באמצעות אסימונים (אסימון משלחת), תמיכה משופרת באחסון תגובות במטמון עם קוד 404, הגברת ביצועי S3guard והגברת האמינות התפעולית.
• בעיות עם כוונון אוטומטי נפתרו במערכת הקבצים ABFS.
• נוספה תמיכה מקורית עבור מערכת הקבצים Tencent Cloud COS לגישה לאחסון אובייקטים של COS.
• נוספה תמיכה מלאה עבור Java 11.
• היישום של HDFS RBF (פדרציה מבוססת נתבים) יוצב. בקרות אבטחה נוספו לנתב HDFS.
• נוסף שירות DNS Resolution עבור הלקוח כדי לקבוע שרתים באמצעות DNS לפי שמות מארחים, מה שמאפשר לך לעשות בלי לרשום את כל המארחים בהגדרות.
• נוספה תמיכה בתזמון השקה מיכלים אופורטוניסטיים באמצעות מנהל משאבים מרכזי (ResourceManager), כולל היכולת להפיץ קונטיינרים תוך התחשבות בעומס של כל צומת.
• נוספה ספריית יישומי YARN (Yet Another Resource Negotiator) הניתנת לחיפוש.

מקור: OpenNet.ru