מערכת מחשוב מבוזרת Apache Storm 2.0 זמינה

ראה את האור שחרור משמעותי של מערכת עיבוד אירועים מבוזרת Apache Storm 2.0, בולט במעבר שלו לארכיטקטורה חדשה המיושמת ב-Java, במקום שפת Clojure שהייתה בעבר.

הפרויקט מאפשר לארגן עיבוד מובטח של אירועים שונים בזמן אמת. לדוגמה, ניתן להשתמש ב-Storm לניתוח זרמי נתונים בזמן אמת, הפעלת משימות למידת מכונה, ארגון מחשוב רציף, הטמעת RPC, ETL וכו'. המערכת תומכת באשכולות, יצירת תצורות סבילות לתקלות, מצב עיבוד נתונים מובטח ובעלת ביצועים גבוהים, המספיקים לעיבוד יותר ממיליון בקשות בשנייה בצומת אשכול אחד.

אינטגרציה עם מערכות שונות לעיבוד תורים וטכנולוגיות מסד נתונים נתמכת. ארכיטקטורת ה-Storm כוללת קבלה ועיבוד של זרמי נתונים לא מובנים ומתעדכנים כל הזמן באמצעות מעבדים מורכבים שרירותיים עם יכולת חלוקה בין שלבי חישובים שונים. הפרויקט הועבר לקהילת אפאצ'י לאחר שטוויטר רכשה את BackType, החברה שפיתחה את המסגרת במקור. בפועל, נעשה שימוש ב-Storm ב-BackType כדי לנתח את השתקפות האירועים במיקרובלוגים, על ידי השוואה תוך כדי תנועה של ציוצים חדשים והקישורים שבהם נעשה שימוש (לדוגמה, הוערך כיצד קישורים חיצוניים או הודעות שפורסמו בטוויטר שודרו מחדש על ידי משתתפים אחרים ).

הפונקציונליות של Storm מושווה לפלטפורמת Hadoop, כאשר ההבדל העיקרי הוא שהנתונים אינם מאוחסנים במחסן, אלא נקלטים חיצונית ומעובדים בזמן אמת. ל-Storm אין שכבת אחסון מובנית והשאילתה האנליטית מתחילה להיות מיושמת על נתונים נכנסים עד שהיא מבוטלת (בעוד ש-Hadoop משתמשת בעבודות MapReduce בזמן סופי, סטורם משתמשת ברעיון של הפעלת "טופולוגיות" באופן רציף). הביצוע של מטפלים יכול להיות מופץ על פני מספר שרתים - Storm מקביל אוטומטית עבודה עם שרשורים בצמתי אשכולות שונים.

המערכת נכתבה במקור ב- Clojure ופועלת בתוך המכונה הוירטואלית JVM. קרן Apache השיקה יוזמה להעברת Storm לגרעין חדש שנכתב ב-Java, שתוצאותיו מוצעות במהדורה של Apache Storm 2.0. כל הרכיבים הבסיסיים של הפלטפורמה נכתבים מחדש ב-Java. התמיכה במטפלי כתיבה ב- Clojure נשמרה, אך מוצעת כעת בצורה של כריכות. Storm 2.0.0 דורש Java 8. מודל העיבוד מרובי ההליכים עוצב מחדש לחלוטין, המאפשר כדי להשיג עלייה ניכרת בביצועים (עבור חלק מהטופולוגיות, העיכובים הופחתו ב-50-80%).

הגרסה החדשה מציעה גם API חדש מודפס של Streams המאפשר לך להגדיר מטפלים באמצעות פעולות בסגנון תכנות פונקציונלי. ה-API החדש מיושם על גבי ה-API הבסיסי הסטנדרטי ותומך במיזוג אוטומטי של פעולות כדי לייעל את העיבוד שלהן. ה-API של Windowing לפעולות חלון הוסיפה תמיכה לשמירה ושחזור מצב ב-backend.

תמיכה בהתחשבות במשאבים נוספים בעת קבלת החלטות שאינן מוגבלות ל
מעבד וזיכרון, כגון הגדרות רשת ו-GPU. בוצעו מספר רב של שיפורים כדי להבטיח אינטגרציה עם הפלטפורמה קפקא. מערכת בקרת הגישה הורחבה כך שתכלול את היכולת ליצור קבוצות מנהלים ולהאציל אסימונים. נוספו שיפורים הקשורים לתמיכה ב-SQL ובמדדים. פקודות חדשות הופיעו בממשק המנהל לאיתור באגים במצב האשכול.

תחומי יישום של Storm:

• עיבוד זרמי נתונים חדשים או עדכוני מסד נתונים בזמן אמת;
• מחשוב רציף: Storm יכולה להריץ שאילתות רציפות ולעבד זרמים רציפים, ולספק תוצאות עיבוד ללקוח בזמן אמת.
• Call Remote Procedure Distributed (RPC): ניתן להשתמש ב-Storm כדי לספק ביצוע מקביל של שאילתות עתירות משאבים. עבודה ("טופולוגיה") ב-Storm היא פונקציה המופצת על פני צמתים שמחכה להגעת הודעות שצריך לעבד. לאחר קבלת הודעה, הפונקציה מעבדת אותה בהקשר המקומי ומחזירה את התוצאה. דוגמה לשימוש ב-RPC מבוזר תהיה עיבוד שאילתות חיפוש במקביל או ביצוע פעולות על סט גדול של סטים.

תכונות סערה:

• מודל תכנות פשוט המפשט מאוד את עיבוד הנתונים בזמן אמת;
• תמיכה בכל שפות תכנות. מודולים זמינים עבור Java, Ruby ו- Python, ההתאמה לשפות אחרות קלה הודות לפרוטוקול תקשורת פשוט מאוד שדורש כ-100 שורות קוד לתמיכה;
• סובלנות תקלות: כדי להפעיל עבודת עיבוד נתונים, עליך ליצור קובץ jar עם קוד. Storm תפיץ באופן עצמאי קובץ jar זה על פני צמתי האשכול, תחבר את המטפלים המשויכים אליו ותארגן ניטור. בסיום העבודה, הקוד יושבת אוטומטית בכל הצמתים;
• מדרגיות אופקית. כל החישובים מבוצעים במצב מקביל; ככל שהעומס גדל, מספיק פשוט לחבר צמתים חדשים לאשכול;
• מהימנות. Storm מבטיחה שכל הודעה נכנסת מעובדת במלואה לפחות פעם אחת. ההודעה תעובד פעם אחת רק אם אין שגיאות בעת מעבר דרך כל המטפלים; אם יתעוררו בעיות, ניסיונות עיבוד לא מוצלחים יחזרו על עצמם.
• מְהִירוּת. הקוד של Storm נכתב מתוך מחשבה על ביצועים גבוהים ומשתמש במערכת להעברת הודעות אסינכרוניות מהירה ZeroMQ.

מקור: OpenNet.ru