פורמטים של קבצים בביג דאטה: תוכנית חינוכית קצרה

אלוהות מזג האוויר מאת רמרין

קבוצה פתרונות ענן של Mail.ru מציע תרגום מאמר המהנדס Rahul Bhatia מ-Clairvoyant על אילו תבניות קבצים יש בביג דאטה, מהן התכונות הנפוצות ביותר של פורמטים של Hadoop ובאיזה פורמט עדיף להשתמש.

מדוע יש צורך בפורמטים שונים של קבצים?

צוואר בקבוק מרכזי בביצועים עבור יישומים התומכים ב-HDFS כגון MapReduce ו-Spark הוא הזמן שלוקח לחיפוש, קריאה וכתיבה של נתונים. הבעיות הללו מורכבות מהקושי בניהול מערכי נתונים גדולים אם יש לנו סכימה מתפתחת ולא קבועה, או אם יש אילוצי אחסון מסוימים.

עיבוד ביג דאטה מגביר את העומס על תת-מערכת האחסון - Hadoop אוגרת נתונים באופן מיותר כדי להשיג סובלנות לתקלות. בנוסף לדיסקים, נטענים המעבד, הרשת, מערכת הקלט/פלט וכן הלאה. ככל שנפח הנתונים גדל, כך עולה גם עלות העיבוד והאחסון שלהם.

פורמטים שונים של קבצים ב Hadoop הומצא כדי לפתור בדיוק את הבעיות הללו. בחירת פורמט הקובץ המתאים יכולה לספק כמה יתרונות משמעותיים:

1. זמן קריאה מהיר יותר.
2. זמן הקלטה מהיר יותר.
3. קבצים משותפים.
4. תמיכה בהתפתחות סכימה.
5. תמיכת דחיסה מורחבת.

פורמטים מסוימים של קבצים מיועדים לשימוש כללי, אחרים לשימושים ספציפיים יותר, וחלקם נועדו לענות על מאפייני נתונים ספציפיים. אז המבחר הוא באמת די גדול.

פורמט קובץ Avro

עבור הסדרת נתונים אברו נמצא בשימוש נרחב - זה מבוסס מחרוזת, כלומר, פורמט אחסון נתונים של מחרוזת ב-Hadoop. הוא מאחסן את הסכימה בפורמט JSON, מה שמקל על הקריאה והפירוש של כל תוכנית. הנתונים עצמם הם בפורמט בינארי, קומפקטי ויעיל.

מערכת הסריאליזציה של אברו היא ניטרלית בשפה. ניתן לעבד קבצים במגוון שפות, כיום C, C++, C#, Java, Python ו-Ruby.

תכונה מרכזית של Avro היא התמיכה החזקה שלה בסכימות נתונים המשתנות עם הזמן, כלומר מתפתחות. אברו מבינה שינויים בסכימה - מחיקה, הוספה או שינוי של שדות.

Avro תומכת במגוון מבני נתונים. לדוגמה, ניתן ליצור רשומה המכילה מערך, סוג ממוספר ותת-רשומה.

פורמט זה אידיאלי לכתיבה לאזור הנחיתה (המעבר) של אגם נתונים (אגם נתונים, או data lake - אוסף של מופעים לאחסון סוגים שונים של נתונים בנוסף למקורות נתונים ישירות).

אז, פורמט זה מתאים ביותר לכתיבה לאזור הנחיתה של אגם נתונים מהסיבות הבאות:

1. נתונים מאזור זה נקראים בדרך כלל בשלמותם לצורך עיבוד נוסף על ידי מערכות במורד הזרם - ופורמט מבוסס שורות יעיל יותר במקרה זה.
2. מערכות מטה יכולות לאחזר בקלות טבלאות סכמות מקבצים - אין צורך לאחסן סכמות בנפרד באחסון מטא חיצוני.
3. כל שינוי בסכימה המקורית מעובד בקלות (התפתחות סכמה).

פורמט קובץ פרקט

פרקט הוא פורמט קובץ קוד פתוח עבור Hadoop המאחסן מבני נתונים מקוננים בפורמט עמודי שטוח.

בהשוואה לגישת השורות המסורתית, פרקט יעיל יותר מבחינת אחסון וביצועים.

זה שימושי במיוחד עבור שאילתות הקוראות עמודות ספציפיות מטבלה רחבה (רבות עמודות). הודות לפורמט הקובץ, רק העמודות הדרושות נקראות, כך שה-I/O נשמר למינימום.

סטייה קטנה והסבר: כדי להבין טוב יותר את פורמט הקובץ Parquet ב-Hadoop, בואו נראה מהו פורמט מבוסס עמודות - כלומר עמודות -. פורמט זה מאחסן ערכים דומים עבור כל עמודה יחד.

למשל, הרשומה כוללת את השדות מזהה, שם ומחלקה. במקרה זה, כל ערכי עמודת המזהה יאוחסנו יחד, כמו גם ערכי העמודה שם וכן הלאה. הטבלה תיראה בערך כך:

ID
שם
מַחלָקָה

1
emp1
d1

2
emp2
d2

3
emp3
d3

בפורמט מחרוזת, הנתונים יישמרו באופן הבא:

1
emp1
d1
2
emp2
d2
3
emp3
d3

בתבנית קובץ עמודה, אותם נתונים יישמרו כך:

1
2
3
emp1
emp2
emp3
d1
d2
d3

הפורמט העמודות יעיל יותר כאשר אתה צריך לבצע שאילתות על מספר עמודות מטבלה. זה יקרא רק את העמודות הנדרשות מכיוון שהן צמודות. באופן זה, פעולות I/O נשמרות למינימום.

לדוגמה, אתה צריך רק את העמודה NAME. IN פורמט מחרוזת יש לטעון כל רשומה במערך הנתונים, לנתח לפי שדה ולאחר מכן לחלץ את נתוני NAME. פורמט העמודה מאפשר לך להתעמק ישירות לעמודת השם מכיוון שכל הערכים של העמודה הזו מאוחסנים יחד. אתה לא צריך לסרוק את כל ההקלטה.

לפיכך, הפורמט העמודות משפר את ביצועי השאילתה מכיוון שהוא דורש פחות זמן חיפוש כדי להגיע לעמודות הנדרשות ומפחית את מספר פעולות ה-I/O מכיוון שרק העמודות הרצויות נקראות.

אחת התכונות הייחודיות פרקט זה שבפורמט הזה זה יכול לאחסן נתונים עם מבנים מקוננים. המשמעות היא שבקובץ Parquet ניתן לקרוא אפילו שדות מקוננים בנפרד ללא צורך לקרוא את כל השדות במבנה המקונן. פרקט משתמש באלגוריתם גריסה והרכבה לאחסון מבנים מקוננים.

כדי להבין את פורמט הקובץ של Parquet ב-Hadoop, עליך להכיר את המונחים הבאים:

1. קבוצת מיתרים (קבוצת שורות): חלוקה אופקית הגיונית של נתונים לשורות. קבוצת שורות מורכבת מחלק מכל עמודה במערך הנתונים.
2. שבר עמודה (נתח עמודה): קטע של עמודה מסוימת. קטעי עמודות אלה חיים בקבוצה מסוימת של שורות ומובטח שהם יהיו רציפים בקובץ.
3. עמוד (עמוד): שברי עמודות מחולקים לדפים הכתובים בזה אחר זה. לדפים יש כותרת משותפת, כך שניתן לדלג על מיותרות בעת הקריאה.

כאן הכותרת מכילה רק את מספר הקסם PAR1 (4 בתים) המזהה את הקובץ כקובץ פרקט.

הכותרת התחתונה אומרת את הדברים הבאים:

1. מטא נתונים של קובץ המכילים את קואורדינטות ההתחלה של המטא נתונים של כל עמודה. בעת הקריאה, עליך לקרוא תחילה את המטא נתונים של הקובץ כדי למצוא את כל קטעי העמודות המעניינים. לאחר מכן יש לקרוא את חלקי העמודה ברצף. מטא נתונים אחרים כוללים את גרסת הפורמט, הסכימה וכל צמדי מפתח-ערך נוספים.
2. אורך מטא נתונים (4 בתים).
3. מספר קסם PAR1 (4 בתים).

פורמט קובץ ORC

פורמט קובץ שורה-עמודה אופטימלי (עמודת שורה אופטימלית, CRO) מציע דרך יעילה מאוד לאחסן נתונים ונועד להתגבר על המגבלות של פורמטים אחרים. מאחסן נתונים בצורה קומפקטית לחלוטין, המאפשר לך לדלג על פרטים מיותרים - מבלי להידרש לבניית אינדקסים גדולים, מורכבים או מתוחזקים ידנית.

היתרונות של פורמט ORC:

1. קובץ אחד הוא הפלט של כל משימה, מה שמפחית את העומס על ה-NameNode (צומת שם).
2. תמיכה בסוגי נתונים של Hive, כולל DateTime, סוגי נתונים עשרוניים ומורכבים (מבנה, רשימה, מפה ואיחוד).
3. קריאה בו-זמנית של אותו קובץ על ידי תהליכים שונים של RecordReader.
4. יכולת לפצל קבצים ללא סריקה לאיתור סמנים.
5. הערכה של הקצאת זיכרון הערימה המקסימלית האפשרית לתהליכי קריאה/כתיבה בהתבסס על מידע בכותרת התחתונה של הקובץ.
6. מטא נתונים מאוחסנים בפורמט פרוטוקול Buffers בינארי סריאליזציה, המאפשר הוספה והסרה של שדות.

ORC מאחסן אוספים של מחרוזות בקובץ בודד, ובתוך האוסף, נתוני מחרוזת מאוחסנים בפורמט עמודה.

קובץ ORC מאחסן קבוצות של שורות הנקראות פסים ומידע תומך בכותרת התחתונה של הקובץ. ה-Postscript בסוף הקובץ מכיל פרמטרים של דחיסה וגודל הכותרת התחתונה הדחוסה.

גודל הפס המוגדר כברירת מחדל הוא 250 MB. בשל פסים גדולים כל כך, הקריאה מ-HDFS מתבצעת בצורה יעילה יותר: בבלוקים רציפים גדולים.

הכותרת התחתונה של הקובץ מתעדת את רשימת הנתיבים בקובץ, את מספר השורות בכל נתיב ואת סוג הנתונים של כל עמודה. הערך המתקבל של ספירה, min, max וסכום עבור כל עמודה נכתב גם שם.

הכותרת התחתונה של הרצועה מכילה ספרייה של מיקומי זרמים.

נעשה שימוש בנתוני שורות בעת סריקת טבלאות.

נתוני האינדקס כוללים את ערכי המינימום והמקסימום עבור כל עמודה ואת מיקום השורות בכל עמודה. אינדקסי ORC משמשים רק לבחירת פסים וקבוצות שורות, לא למענה לשאילתות.

השוואה בין פורמטים שונים של קבצים

אברו לעומת פרקט

1. Avro הוא פורמט אחסון שורה, בעוד פרקט מאחסן נתונים בעמודות.
2. פרקט מתאים יותר לשאילתות אנליטיות, כלומר פעולות קריאה ושאילתת נתונים יעילים הרבה יותר מאשר כתיבה.
3. פעולות הכתיבה באברו מתבצעות בצורה יעילה יותר מאשר בפרקט.
4. אברו עוסק בהתפתחות מעגלים בצורה בוגרת יותר. פרקט תומך רק בהוספה של סכימה, בעוד שאברו תומכת באבולוציה רב תכליתית, כלומר, הוספה או שינוי של עמודות.
5. פרקט אידיאלי לשאילתה של תת-קבוצה של עמודות בטבלה מרובת עמודות. Avro מתאימה לפעולות ETL שבהן אנו מבצעים שאילתות בכל העמודות.

ORC נגד פרקט

1. פרקט מאחסן נתונים מקוננים טוב יותר.
2. ORC מתאים יותר ל-Phoddown.
3. ORC תומך במאפייני ACID.
4. ORC דוחס נתונים טוב יותר.

מה עוד לקרוא בנושא:

1. ניתוח ביג דאטה בענן: איך חברה יכולה להיות מוכוונת נתונים.
2. מדריך צנוע לסכימות מסדי נתונים.
3. ערוץ הטלגרם שלנו על טרנספורמציה דיגיטלית.

מקור: www.habr.com