היום נדבר על הדרך הטובה ביותר לאחסן נתונים בעולם שבו רשתות דור חמישי, סורקי גנום ומכוניות בנהיגה עצמית מייצרים יותר נתונים ביום מאשר כל האנושות יצרה לפני המהפכה התעשייתית.
העולם שלנו מייצר עוד ועוד מידע. חלק ממנו חולף ואובד באותה מהירות שהוא נאסף. את השני יש לאחסן זמן רב יותר, והשני מעוצב לחלוטין "במשך מאות שנים" – כך לפחות אנו רואים זאת מההווה. זרימות המידע מתיישבות במרכזי הנתונים במהירות כזו שכל גישה חדשה, כל טכנולוגיה שנועדה לענות על ה"ביקוש" האינסופי הזה מתיישנת במהירות.
40 שנה של פיתוח אחסון מבוזר
מחסני הרשת הראשונים בצורה המוכרת לנו הופיעו בשנות ה-1980. רבים מכם נתקלו ב-NFS (Network File System), AFS (Andrew File System) או Coda. עשור מאוחר יותר, האופנה והטכנולוגיה השתנו, ומערכות קבצים מבוזרות פינו את מקומן למערכות אחסון מקובצות המבוססות על GPFS (מערכת קבצים מקבילה כללית), CFS (מערכות קבצים מקובצות) ו-StorNext. כבסיס, נעשה שימוש באחסון בלוקים של ארכיטקטורה קלאסית, שעליהם נוצרה מערכת קבצים בודדת באמצעות שכבת התוכנה. פתרונות אלה ודומים עדיין נמצאים בשימוש, תופסים את הנישה שלהם ודי מבוקשים.
בתחילת המילניום, פרדיגמת האחסון המבוזר השתנתה במקצת, ומערכות עם ארכיטקטורת SN (Shared-Nothing) הובילו. היה מעבר מאחסון אשכול לאחסון בצמתים נפרדים, שבדרך כלל היו שרתים קלאסיים עם תוכנה המספקת אחסון אמין; עקרונות כאלה בנויים, למשל, HDFS (Hadoop Distributed File System) ו-GFS (Global File System).
קרוב יותר לשנת 2010, המושגים העומדים בבסיס מערכות אחסון מבוזרות החלו לבוא לידי ביטוי יותר ויותר במוצרים מסחריים מן המניין, כגון VMware vSAN, Dell EMC Isilon והמוצרים שלנו . מאחורי הפלטפורמות המוזכרות לא עומדת עוד קהילה של חובבים, אלא ספקים ספציפיים שאחראים על הפונקציונליות, התמיכה, תחזוקת השירות של המוצר ומבטיחים את המשך פיתוחו. פתרונות כאלה הם המבוקשים ביותר במספר תחומים.
מפעילי טלקום
אולי אחד הצרכנים הוותיקים ביותר של מערכות אחסון מבוזרות הם מפעילי טלקום. התרשים מראה אילו קבוצות של יישומים מייצרות את עיקר הנתונים. OSS (Operations Support Systems), MSS (Management Support Services) ו-BSS (Business Support Systems) הן שלוש שכבות תוכנה משלימות הנדרשות למתן שירות למנויים, דיווח כספי לספק ותמיכה תפעולית למהנדסי המפעיל.
לרוב, הנתונים של השכבות הללו מעורבבים מאוד אחד בשני, וכדי למנוע הצטברות של עותקים מיותרים, נעשה שימוש באחסון מבוזר שצובר את כל כמות המידע המגיע מרשת עובדת. המחסנים משולבים לבריכה משותפת, אליה מגיעים כל השירותים.
החישובים שלנו מראים כי המעבר ממערכות אחסון קלאסיות לבלוק מאפשר לך לחסוך עד 70% מהתקציב רק על ידי נטישת מערכות אחסון היי-אנד ייעודיות ושימוש בשרתי ארכיטקטורה קלאסית קונבנציונלית (בדרך כלל x86), בעבודה בשילוב עם תוכנות מיוחדות. מפעילי סלולר רוכשים פתרונות כאלה בהיקפים משמעותיים כבר די הרבה זמן. בפרט, מפעילים רוסים משתמשים במוצרים כאלה של Huawei כבר יותר משש שנים.
כן, לא ניתן לבצע מספר משימות באמצעות מערכות מבוזרות. לדוגמה, עם דרישות ביצועים מוגברות או תאימות לפרוטוקולים ישנים יותר. אבל לפחות 70% מהנתונים שהמפעיל מעבד יכולים להיות ממוקמים במאגר מבוזר.
בַּנקָאוּת
בכל בנק קיימות מערכות IT מגוונות רבות, החל מעיבוד ועד למערכת בנקאית אוטומטית. תשתית זו עובדת גם עם כמות עצומה של מידע, כאשר רוב המשימות אינן מצריכות ביצועים ואמינות מוגברת של מערכות אחסון, כגון פיתוח, בדיקות, אוטומציה של תהליכים משרדיים ועוד. כאן מתאפשר שימוש במערכות אחסון קלאסיות , אבל כל שנה זה פחות ופחות משתלם. בנוסף, במקרה זה, אין גמישות בהוצאת משאבי אחסון, שביצועיהם מחושבים לפי עומס השיא.
בעת שימוש במערכות אחסון מבוזרות, ניתן להמיר את הצמתים שלהם, שהם למעשה שרתים רגילים, בכל עת, למשל, לחוות שרתים ולהשתמש בהם כפלטפורמת מחשוב.
אגמי נתונים
התרשים שלמעלה מציג רשימה של צרכני שירות טיפוסיים. . אלה יכולים להיות שירותי ממשל אלקטרוני (לדוגמה, "גוסולוגי"), ארגונים שעברו דיגיטליזציה, מבנים פיננסיים וכו'. כולם צריכים לעבוד עם כמויות גדולות של מידע הטרוגני.
הפעולה של מערכות אחסון קלאסיות לפתרון בעיות כאלה אינה יעילה, שכן נדרשת גם גישה בעלת ביצועים גבוהים לבסיסי נתונים חסומים וגם גישה קבועה לספריות של מסמכים סרוקים המאוחסנים כאובייקטים. כאן, למשל, ניתן לקשור מערכת הזמנות דרך פורטל אינטרנט. כדי ליישם את כל זה על פלטפורמת אחסון קלאסית, תזדקק לסט גדול של ציוד למשימות שונות. מערכת אחסון אוניברסלית אופקית אחת יכולה לכסות בקלות את כל המשימות המפורטות קודם לכן: אתה רק צריך ליצור בה מספר בריכות עם מאפייני אחסון שונים.
מחוללים של מידע חדש
כמות המידע המאוחסנת בעולם גדלה בכ-30% בשנה. אלו חדשות טובות עבור ספקי אחסון, אבל מה הוא ויהיה המקור העיקרי לנתונים אלו?
לפני עשר שנים הפכו הרשתות החברתיות למחוללות כאלה, מה שדרש יצירת מספר רב של אלגוריתמים חדשים, פתרונות חומרה וכו'. כעת ישנם שלושה מניעים עיקריים לצמיחת האחסון. הראשון הוא מחשוב ענן. נכון להיום, כ-70% מהחברות משתמשות בשירותי ענן בדרך זו או אחרת. אלה יכולים להיות מערכות דואר אלקטרוני, גיבויים וישויות וירטואליות אחרות.
רשתות הדור החמישי הופכות לנהג השני. אלו מהירויות חדשות ונפחים חדשים של העברת נתונים. לפי התחזיות שלנו, האימוץ הנרחב של 5G יוביל לירידה בביקוש לכרטיסי זיכרון פלאש. לא משנה כמה זיכרון יש בטלפון, הוא עדיין מסתיים, ואם לגאדג'ט יש ערוץ של 100 מגה-ביט, אין צורך לאחסן תמונות מקומית.
קבוצת הסיבות השלישית לכך שהביקוש למערכות אחסון גדל כוללות את ההתפתחות המהירה של בינה מלאכותית, המעבר לניתוח ביג דאטה ומגמה לאוטומציה אוניברסלית של כל מה שאפשר.
תכונה של "תנועה חדשה" היא שלה . אנחנו צריכים לאחסן את הנתונים האלה מבלי להגדיר את הפורמט שלהם בשום צורה. זה נדרש רק לקריאה שלאחר מכן. לדוגמה, מערכת ניקוד בנקאית לקביעת גודל ההלוואה הזמין תבחן את התמונות שפרסמת ברשתות החברתיות, תקבע באיזו תדירות אתה הולך לים ולמסעדות, ובמקביל תלמד תמציות מהמסמכים הרפואיים שלך העומדים לרשותה. הנתונים הללו, מצד אחד, הם מקיפים, ומצד שני, הם חסרי הומוגניות.
אוקיינוס של נתונים לא מובנים
מהן הבעיות שגוררת הופעת "נתונים חדשים"? הראשון ביניהם, כמובן, הוא כמות המידע עצמו ותקופת האחסון המשוערת שלו. מכונית אוטונומית מודרנית ללא נהג לבדה מייצרת עד 60TB של נתונים בכל יום מכל החיישנים והמנגנונים שלה. כדי לפתח אלגוריתמי תנועה חדשים, יש לעבד מידע זה באותו היום, אחרת הוא יתחיל להצטבר. יחד עם זאת, יש לאחסן אותו במשך זמן רב מאוד - עשרות שנים. רק כך ניתן יהיה להסיק מסקנות על בסיס מדגמים אנליטיים גדולים בעתיד.
מכשיר אחד לפענוח רצפים גנטיים מייצר כ-6 טרה-בייט ביום. והנתונים שנאספו בעזרתו אינם מרמזים כלל על מחיקה, כלומר, באופן היפותטי, הם צריכים להישמר לנצח.
לבסוף, כל אותן רשתות של הדור החמישי. בנוסף למידע עצמו המועבר, רשת כזו היא בעצמה מחולל נתונים עצום: יומני פעילות, רשומות שיחות, תוצאות ביניים של אינטראקציות בין מכונה למכונה וכו'.
כל זה מצריך פיתוח גישות ואלגוריתמים חדשים לאחסון ועיבוד מידע. וגישות כאלה צצות.
טכנולוגיות של העידן החדש
ניתן להבחין בשלוש קבוצות של פתרונות שנועדו להתמודד עם דרישות חדשות למערכות אחסון מידע: הכנסת בינה מלאכותית, האבולוציה הטכנית של אמצעי האחסון וחידושים בתחום ארכיטקטורת המערכת. בואו נתחיל עם AI.
בפתרונות Huawei החדשים כבר נעשה שימוש בבינה מלאכותית ברמת האחסון עצמו, המצויד במעבד AI המאפשר למערכת לנתח באופן עצמאי את מצבה ולחזות כשלים. אם מערכת האחסון מחוברת לענן שירות בעל יכולות מחשוב משמעותיות, בינה מלאכותית יכולה לעבד מידע נוסף ולשפר את דיוק ההשערות שלה.
בנוסף לכשלים, AI כזה מסוגל לחזות את עומס השיא העתידי ואת הזמן שנותר עד למיצוי הקיבולת. זה מאפשר לך לייעל את הביצועים ולהרחיב את המערכת לפני שאירועים לא רצויים מתרחשים.
עכשיו על האבולוציה של נושאי נתונים. כונני הבזק הראשונים נוצרו באמצעות טכנולוגיית SLC (Single-Level Cell). המכשירים שהתבססו עליו היו מהירים, אמינים, יציבים, אך בעלי קיבולת קטנה והיו יקרים מאוד. הגידול בנפח והירידה במחיר הושגו באמצעות ויתורים טכניים מסוימים, שבגללם הופחתו המהירות, האמינות וחיי הכוננים. עם זאת, המגמה לא השפיעה על מערכות האחסון עצמן, שבגלל טריקים אדריכליים שונים, באופן כללי, הפכו פרודוקטיביות יותר ואמינות יותר.
אבל למה היית צריך מערכות אחסון מסוג All-Flash? האם לא הספיק רק להחליף כונני HDD ישנים במערכת שכבר פועלת בכונני SSD חדשים מאותו גורם צורה? זה היה נדרש על מנת להשתמש ביעילות בכל המשאבים של כונני SSD חדשים, מה שפשוט היה בלתי אפשרי במערכות ישנות יותר.
Huawei, למשל, פיתחה מספר טכנולוגיות כדי לפתור את הבעיה הזו, אחת מהן היא , מה שאיפשר לייעל את אינטראקציות הדיסק-בקר ככל האפשר.
זיהוי מושכל איפשר לפרק נתונים למספר זרמים ולהתמודד עם מספר תופעות לא רצויות כמו למשל (כתוב הגברה). במקביל, אלגוריתמי שחזור חדשים, בפרט , הגדיל את מהירות הבנייה מחדש, והפחית את זמנה לערכים חסרי משמעות לחלוטין.
כשל, צפיפות, איסוף אשפה - גם גורמים אלו אינם משפיעים יותר על ביצועי מערכת האחסון הודות לשכלול מיוחד של הבקרים.
ומאגרי נתונים בלוקים מתכוננים להיפגש . נזכיר שהסכימה הקלאסית לארגון גישה לנתונים עבדה כך: המעבד ניגש לבקר RAID דרך אפיק ה-PCI Express. זה, בתורו, קיים אינטראקציה עם דיסקים מכניים באמצעות SCSI או SAS. השימוש ב-NVMe בקצה האחורי האיץ באופן משמעותי את כל התהליך, אך נשא חסרון אחד: הכוננים היו צריכים להיות מחוברים ישירות למעבד כדי לספק לו גישה ישירה לזיכרון.
השלב הבא של פיתוח טכנולוגי שאנו רואים כעת הוא השימוש ב-NVMe-oF (NVMe over Fabrics). באשר לטכנולוגיות הבלוק של Huawei, הן כבר תומכות ב-FC-NVMe (NVMe over Fibre Channel), ו-NVMe over RoCE (RDMA over Converged Ethernet) בדרך. דגמי המבחן פונקציונליים למדי, נותרו מספר חודשים לפני הצגתם הרשמית. שימו לב שכל זה יופיע גם במערכות מבוזרות, בהן "אתרנט ללא הפסד" יהיה מבוקש מאוד.
דרך נוספת לייעל את העבודה של אחסון מבוזר הייתה דחייה מוחלטת של שיקוף נתונים. פתרונות Huawei כבר לא משתמשים ב-n עותקים, כמו ב-RAID 1 הרגיל, ועוברים לחלוטין למנגנון (קידוד מחיקת). חבילה מתמטית מיוחדת מחשבת בלוקי בקרה בתדירות מסוימת, המאפשרים לך לשחזר נתוני ביניים במקרה של אובדן.
מנגנוני מניעת כפילות ודחיסה הופכים לחובה. אם במערכות אחסון קלאסיות אנו מוגבלים במספר המעבדים המותקנים בבקרים, הרי שבמערכות אחסון ניתנות להרחבה אופקית, כל צומת מכיל את כל מה שאתה צריך: דיסקים, זיכרון, מעבדים וחיבורים. משאבים אלה מספיקים למניעת כפילויות ודחיסה כדי להשפיע באופן מינימלי על הביצועים.
ולגבי שיטות אופטימיזציה של החומרה. כאן ניתן היה להפחית את העומס על המעבדים המרכזיים בעזרת מיקרו-מעגלים ייעודיים נוספים (או בלוקים ייעודיים במעבד עצמו), הממלאים את התפקיד (TCP/IP Offload Engine) או לקיחת על עצמן את המשימות המתמטיות של EC, ביטול כפילויות ודחיסה.
גישות חדשות לאחסון נתונים מגולמות בארכיטקטורה מפורקת (מבוזרת). במערכות אחסון מרכזיות, קיים מפעל שרת המחובר באמצעות Fibre Channel אליו עם הרבה מערכים. החסרונות של גישה זו הם קשיים בקנה מידה ומתן רמת שירות מובטחת (מבחינת ביצועים או חביון). מערכות Hyperconverged משתמשות באותם מארחים הן לאחסון והן לעיבוד מידע. זה נותן היקף כמעט בלתי מוגבל לקנה מידה, אך כרוך בעלויות גבוהות לשמירה על שלמות הנתונים.
בניגוד לשני האמור לעיל, ארכיטקטורה מפורקת מרמזת חלוקת המערכת למפעל מחשוב ומערכת אחסון אופקית. זה מספק את היתרונות של שתי הארכיטקטורות ומאפשר קנה מידה כמעט בלתי מוגבל של רק האלמנט שהביצועים שלו אינם מספיקים.
מאינטגרציה להתכנסות
משימה קלאסית, שהרלוונטיות שלה רק הולכת וגדלה במהלך 15 השנים האחרונות, היא הצורך לספק בו זמנית אחסון בלוק, גישה לקבצים, גישה לחפצים, תפעול חווה לביג דאטה וכו'. הדובדבן שבקצפת יכול גם להיות, למשל, מערכת גיבוי לסרט מגנטי.
בשלב הראשון ניתן היה לאחד רק את ניהול השירותים הללו. מערכות אחסון נתונים הטרוגניות נסגרו לכמה תוכנות מיוחדות, שדרכן הפיץ המנהל משאבים מהמאגרים הזמינים. אבל מכיוון שהבריכות הללו היו שונות בחומרה, העברת העומס ביניהן הייתה בלתי אפשרית. ברמת אינטגרציה גבוהה יותר, האיחוד התרחש ברמת השער. אם הייתה גישה לקובץ משותפת, היא יכולה להינתן באמצעות פרוטוקולים שונים.
שיטת ההתכנסות המתקדמת ביותר העומדת לרשותנו כעת כוללת יצירת מערכת היברידית אוניברסלית. בדיוק כמו שלנו צריך להיות . גישה אוניברסלית משתמשת באותם משאבי חומרה, מחולקים באופן הגיוני למאגרים שונים, אך מאפשרת העברת עומסים. כל זה יכול להיעשות באמצעות קונסולת ניהול אחת. כך הצלחנו ליישם את הרעיון של "מרכז נתונים אחד - מערכת אחסון אחת".
עלות אחסון המידע קובעת כיום החלטות אדריכליות רבות. ולמרות שניתן לשים אותו בבטחה בחזית, אנחנו דנים באחסון "חי" עם גישה פעילה היום, אז יש לקחת בחשבון גם ביצועים. מאפיין חשוב נוסף של מערכות מבוזרות מהדור הבא הוא איחוד. אחרי הכל, אף אחד לא רוצה לנהל כמה מערכות שונות מקונסולות שונות. כל התכונות הללו מגולמות בסדרה החדשה של מוצרי Huawei. .
הדור הבא של אחסון המוני
OceanStor Pacific עונה על שש תשע (99,9999%) דרישות אמינות וניתן להשתמש בו כדי ליצור מרכז נתונים בכיתה HyperMetro. עם מרחק בין שני מרכזי נתונים של עד 100 ק"מ, המערכות מדגימות עיכוב נוסף של 2 ms, המאפשר לבנות על בסיסן כל פתרון חסין אסונות, כולל כאלה עם שרתי קוורום.
מוצרי הסדרה החדשה מפגינים ורסטיליות מבחינת פרוטוקולים. כבר עכשיו, OceanStor 100D תומך בגישה לחסימה, גישה לאובייקטים וגישה ל-hadoop. גישה לקבצים תיושם בעתיד הקרוב. אין צורך לשמור עותקים מרובים של הנתונים אם ניתן להנפיק אותם באמצעות פרוטוקולים שונים.
נראה, מה הקשר של המושג "רשת ללא הפסדים" לאחסון? העובדה היא שמערכות אחסון מבוזרות בנויות על בסיס רשת מהירה התומכת באלגוריתמים המתאימים ובמנגנון RoCE. מערכת הבינה המלאכותית הנתמכת על ידי המתגים שלנו עוזרת להגביר עוד יותר את מהירות הרשת ולהפחית את זמן האחזור. . רווח הביצועים של מערכות אחסון כאשר AI Fabric מופעל יכול להגיע ל-20%.
מהו צומת האחסון המבוזר החדש של OceanStor Pacific? פתרון הפורמט 5U כולל 120 כוננים ויכול להחליף שלושה צמתים קלאסיים, יותר מהכפלת שטח המתלה. בשל הסירוב לאחסן עותקים, יעילות הכוננים עולה באופן משמעותי (עד +92%).
אנחנו רגילים לעובדה שאחסון מוגדר בתוכנה הוא תוכנה מיוחדת המותקנת על שרת קלאסי. אבל כעת, על מנת להשיג פרמטרים אופטימליים, הפתרון האדריכלי הזה דורש גם צמתים מיוחדים. הוא מורכב משני שרתים המבוססים על מעבדי ARM המנהלים מערך של כוננים בגודל שלושה אינץ'.
שרתים אלה אינם מתאימים היטב לפתרונות היפר-קונברזציה. ראשית, יש מעט יישומים עבור ARM, ושנית, קשה לשמור על איזון עומסים. אנו מציעים לעבור לאחסון נפרד: אשכול מחשוב, המיוצג על ידי שרתי קלאסי או מתלה, פועל בנפרד, אך מחובר לצמתי אחסון OceanStor Pacific, המבצעים גם את המשימות הישירות שלהם. וזה מצדיק את עצמו.
לדוגמה, הבה ניקח פתרון אחסון ביג דאטה היפר-קונברגי קלאסי שתופס 15 מדפי שרתים. אם תחלק את העומס בין שרתי מחשוב בודדים של OceanStor Pacific וצמתי אחסון, תוך הפרדה ביניהם, מספר המתלים הנדרשים יקטן בחצי! זה מפחית את עלות תפעול מרכז הנתונים ומוריד את עלות הבעלות הכוללת. בעולם שבו נפח המידע המאוחסן גדל ב-30% בשנה, הטבות כאלה אינן מפוזרות.
***
למידע נוסף על פתרונות Huawei ותרחישי היישומים שלהם, בקר באתר שלנו או באמצעות פנייה ישירה לנציגי החברה.
מקור: www.habr.com
