19 ראשי הידרה. סקירה נהדרת של התוכנית

בתאריכים 11-12 ביולי יתקיים כנס בסנט פטרבורג הדרתימוקדש לפיתוח מערכות מקבילות ומפוזרות. העניין בהידרה הוא שהיא משלבת מדענים מובילים (שמוצאים בדרך כלל רק בכנסים מדעיים זרים) ומהנדסים מתרגלים ידועים לתוכנית אחת גדולה בצומת של מדע ופרקטיקה.

הידרה הוא אחד הכנסים החשובים ביותר שלנו בשנים האחרונות. קדמה לו הכנה רצינית מאוד, בחירת דוברים ודוחות. על זה בשבוע שעבר הברוראיון יצא עם מנהל קבוצת JUG.ru, אלכסיי פדורוב (23derevo).

אנחנו כבר אמרו על שלושה משתתפים חשובים, מייסדי תורת המערכות המבוזרות - לסלי למפורט, מוריס הרליהי ומייקל סקוט. הגיע הזמן לדבר יותר על כל התוכנית!

מוטיבציה

אם אתם מתכנתים, אז כך או אחרת אתם עוסקים בריבוי הליכי מחשוב ובמחשוב מבוזר. מומחים בתחומים הרלוונטיים עובדים איתם באופן ישיר, אבל באופן מרומז, ההפצה מסתכלת עלינו מכל מקום: בכל מחשב מרובה ליבות או שירות מבוזר, יש משהו שמבצע חישובים במקביל.

ישנם כנסים רבים המכסים היבטים מסוימים של תכנות יישומים. בצד השני של הספקטרום, יש לנו בתי ספר מדעיים מיוחדים, במתכונת של הרצאות, החושפות כמויות אדירות של תיאוריה מורכבת. לדוגמה, במקביל להידרה בסנט פטרסבורג, בית ספר SPTDC. בכנס הידרה ניסינו להפגיש בין הפרקטיקה הקשה, המדע, וכל מה שנמצא בצומת שלהם.

חשבו על זה: אנחנו חיים בתקופה מדהימה בה תוכלו לפגוש את מייסדי תחום המדעים וההנדסה שאנו עוסקים בו בשידור חי. פיזיקאים לא יפגשו לא את ניוטון ולא את איינשטיין - הרכבת יצאה. אבל אלה שיצרו את היסודות של תורת המערכות המבוזרות, המציאו שפות תכנות פופולריות, ולראשונה גילמו את כל זה באבות טיפוס עובדים עדיין חיים לידנו. אנשים אלה לא עזבו את עבודתם באמצע הדרך, הם מבצעים כיום משימות בעולם האמיתי באוניברסיטאות ובחברות בעל שם עולמי, ומהווים את מקורות הידע והניסיון הגדולים ביותר של ימינו.

מצד שני, ההזדמנות לפגוש אותם נשארת בדרך כלל תיאורטית בלבד: מעטים מאיתנו יכולים לעקוב כל הזמן אחר אירועים פומביים באיזו אוניברסיטת רוצ'סטר כדי למהר לאחר מכן לארה"ב ולחזור להרצאה של מייקל סקוט. לבקר את כל חברי הידרה באופן כללי יהיה הון קטן, מלבד תהום הזמן המושקע (למרות שזה נשמע כמו מסע מעניין).

מצד שני, יש לנו הרבה מהנדסים מובילים שעובדים על הבעיות האמיתיות של מערכות מבוזרות כרגע, ובהחלט יש להם מה לספר. אבל כאן הבעיה - הם הם עובדיםוזמנם יקר. כן, אם אתם עובדים של מיקרוסופט, גוגל או JetBrains, ההסתברות לפגוש את אחד הדוברים המוכרים באירוע פנימי עולה באופן דרמטי, אבל באופן כללי – לא, זה לא קורה כל יום.

בדרך זו, כנס הידרה מגשים משימה חשובה שרובנו לא יכולים לעשות בעצמנו - במקום אחד ובזמן אחד, מפגיש אנשים שהרעיונות או התקשורת איתם יכולים לשנות את חייכם. אני מודה שלא כולם צריכים מערכות מבוזרות, כמה דברים בסיסיים מורכבים. אתה יכול לתכנת CRUDs ב-PHP למשך שארית חייך ולהיות מאושר לחלוטין. אבל מי צריך את זה - זו ההזדמנות שלך.

די הרבה זמן עבר מאז ההכרזה הראשונה על כנס הידרה על Habré. במהלך תקופה זו, נעשתה עבודה רבה - וכעת, יש לנו רשימה של כמעט כל הדוחות. אין אלגוריתמים איטיים עם חוטים בודדים, רק הארדקור מבוזר טהור! נסיים במילים כלליות, ונראה מה יש לנו בהישג יד עכשיו.

הערות מרכזיות

נושאים מרכזיים מתחילים ומסיימים את ימי הכנס. בדרך כלל מטרת ההרצאה המרכזית היא לקבוע את הרוח והכיוון הכללי של הכנס. ההרצאה הסיום מותרת קו ומסבירה כיצד אנו יכולים לחיות עם הידע והמיומנויות שנרכשו במהלך ימי הכנס. התחלה וסוף: למה שזוכרים הכי טוב, ובכלל, יש ערך מוגבר.

קליף קליק- אלגוריתם K/V מבוזר H2O

קליף הוא אגדה בעולם ג'אווה. בסוף שנות ה-90, לצורך עבודת דוקטורט, הוא כתב מאמר בשם "שילוב ניתוחים, שילוב אופטימיזציות", שהפך לאחר זמן מה לבסיס ל- HotSpot JVM Server Compiler. שנתיים לאחר מכן, הוא כבר עבד בסאן מיקרוסיסטמס על ה-JVM והראה לכל העולם של-JIT יש זכות קיום. כל הסיפור הזה ש-Java היא אחת מזמני הריצה המודרניים המהירים ביותר עם האופטימיזציות החכמות והמהירות ביותר הגיע מ-Cliff Click. כבר בהתחלה, האמינו שאם משהו זמין למהדר סטטי, אתה אפילו לא יכול לנסות להרוס אותו. הודות לעבודה של קליף והצוות, כל השפות החדשות החלו להיווצר עם הרעיון של קומפילציה של JIT כברירת מחדל. כמובן, זו לא הייתה עבודתו של אדם אחד, אבל קליף שיחק בה תפקיד חשוב מאוד.

בהרצאת הפתיחה, קליף ידבר על התחייבותו האחרת - H20, פלטפורמה בזיכרון ללמידת מכונה מבוזרת וניתנת להרחבה עבור יישומים תעשייתיים. ליתר דיוק, על האחסון המבוזר של צמדי מפתח-ערך בתוכו. זהו אחסון מהיר מאוד עם הרבה מאפיינים מעניינים (הרשימה המדויקת נמצאת תיאור) המאפשרים שימוש בפתרונות דומים במתמטיקה של הזרמת נתונים גדולים.

הרצאה נוספת שקליף ייתן היא חווית Azul Hardware Memory Transactional Memory. חלק נוסף מהביוגרפיה שלו - עשר שנים עובד באזול, שם הוא עדכן ושיפר הרבה דברים בערימת החומרה והטכנולוגיה של Azul: מהדרים של JIT, זמן ריצה, מודל שרשור, טיפול בשגיאות, מניפולציה של מחסנית, הפסקות חומרה, טעינת מחלקות, וכן הלאה וכן הלאה - ובכן, אתה מקבל את רַעְיוֹן.

החלק המעניין ביותר התחיל כשהם יצרו חומרה לעסקים גדולים - מחשב-על להפעלת ג'אווה. זה היה דבר חדשני למדי, מותאם במיוחד לג'אווה, שיש לה דרישות מיוחדות - מחסומי זיכרון לקריאה לאיסוף אשפה בהפסקה נמוכה, מערכים עם בדיקת גבולות, שיחות וירטואליות... אחת הטכנולוגיות המגניבות ביותר היא זיכרון טרנזקציות בחומרה. כל ה-L1 של כל אחת מ-864 הליבות יכול להשתתף בכתיבת טרנזקציות, מה שחשוב במיוחד לעבודה עם מנעולים ב-Java (בלוקים מסונכרנים יכולים לעבוד במקביל, כל עוד אין התנגשות זיכרון אמיתית). אבל הרעיון היפה התרסק מול המציאות הקשה - ובדו"ח זה Cliff יספר לכם מדוע HTM ו-STM לא מתאימות היטב לצרכים המעשיים של מחשוב מרובה-פתיל.

מייקל סקוט- מבני נתונים כפולים

מייקל סקוט - פרופסור למדעי המחשב באוניברסיטת רוצ'סטר, שהגורל קשר אותו איתו כבר 34 שנים, ובאוניברסיטת מולדתו של ויסקונסין-מדיסון, היה דיקן במשך חמש שנים. הוא עוסק במחקר בתחום התכנות המקביל והמבוזר ועיצוב השפה ומלמד זאת לסטודנטים.

כל העולם מכיר את מייקל בזכות ספר הלימוד "פרגמטיקה של שפת תכנות", שהמהדורה האחרונה שלו פורסמה לאחרונה יחסית - ב-2015. העבודה שלו "אלגוריתמים לסינכרון ניתן להרחבה על מעבדי זיכרון משותף" קיבל פרס דיקסטרה כאחד המפורסמים בתחום המחשוב המבוזר ו משקר בגלוי בספרייה המקוונת של אוניברסיטת רוצ'סטר. אולי אתה גם מכיר אותו כמחבר של אותו אלגוריתם מייקל-סקוט "פשוט, מהיר ומעשי ללא חסימה וחסימת אלגוריתמים של תורים במקביל".

לגבי עולם הג'אווה, זהו מקרה מיוחד: יחד עם דאג ליאה, הוא פיתח את האלגוריתמים הלא חוסמים והתורים הסינכרוניים שספריות ג'אווה פועלות עליהם. על זה יעסוק ההרצאה המרכזית של "מבני נתונים כפולים" - הצגת המבנים הללו ב-Java SE 6 אפשרה לנו לשפר את הביצועים פי 10 java.util.concurrent.ThreadPoolExecutor. אם אתה מעוניין מראש מה הם "מבני הנתונים הכפולים", אז יש עבודה קשורה.

מוריס הרלי- Blockchains ועתיד המחשוב המבוזר

מוריס הרליהי - זוכה בשני פרסי דיקסטרה. הראשון הוא לעבודה "סנכרון ללא המתנה" (אוניברסיטת בראון), והשנייה, העדכנית יותר - "זיכרון עסקה: תמיכה ארכיטקטונית עבור מבני נתונים ללא נעילה" (אוניברסיטת וירג'יניה טק). פרס דיקסטרה מוענק על יצירות שמשמעותן והשפעתן ניכרות כבר עשר שנים לפחות, וברור שמוריס הוא אחד המומחים המפורסמים בתחום. כיום הוא פרופסור באוניברסיטת בראון ויש לו רקורד ארוך של פסקה של הישגים.

בהרצאת הסיום הזו, מוריס ידבר על התיאוריה והפרקטיקה של מערכות מבוזרות בלוקצ'יין מנקודת המבט של הקלאסיקה של מחשוב מבוזר וכיצד היא מפשטת בעיות קשורות רבות. הדו"ח הזה עוסק אך ורק בנושא הכנס - בכלל לא על ההייפ של הכרייה, אלא על האופן שבו הידע שלנו יכול לשמש בצורה מדהימה בצורה יעילה והולם ביחס למגוון משימות.

ביולי 2017, מוריס כבר הגיע לרוסיה לבית הספר SPTDC, השתתף במפגש JUG.ru, וניתן לצפות בהקלטה ביוטיוב:

תוכנה ראשית

לאחר מכן תהיה סקירה קצרה של הדוחות הכלולים בתוכנית. חלק מהדוחות מתוארים כאן בפירוט, חלקם בקצרה יותר. תיאורים ארוכים הגיעו בעיקר לדוחות באנגלית הדורשים קישורים למאמרים מדעיים, מונחים בוויקיפדיה וכו'. רשימה מלאה יכולה להיות ראה באתר הכנס. הרשימה באתר תתעדכן ותתוסף.

לסלי למפורט- שאלות ותשובות

לסלי למפורט היא מחברת חלוצית של מחשוב מבוזר. שרף גומי מייצג "Lamport TeX". זה היה זה שלראשונה, עוד ב-1979, הציג את המושג עקביות עקבית, והמאמר שלו "כיצד ליצור מחשב רב-מעבד שמבצע נכון תוכניות ריבוי תהליכים" קיבל את פרס דיקסטרה.

זה החלק הכי חריג בתוכנית מבחינת פורמט, כי זה אפילו לא דוח, אלא מפגש שאלות ותשובות. כאשר חלק ניכר מהקהל כבר מכיר (או יכול להכיר) כל מיני עבודות המבוססות על התיאוריה של למפורט, מאמרים ודוחות משלו, חשוב יותר להקדיש את כל הזמן הפנוי לתקשורת ישירה.

הרעיון פשוט - אתה צופה בשני דיווחים ביוטיוב: "תכנות צריך להיות יותר מקידוד" и "אם אתה לא כותב תוכנית, אל תשתמש בשפת תכנות" ולהכין לפחות שאלה אחת, ולסלי עונה.

את הראשון מבין שני הסרטונים האלה כבר יש לנו הפך לשטויות. אם אין לך שעה של זמן לצפות בסרטון, תוכל לקרוא הכל במהירות בצורת טקסט.

הערה: ישנם סרטונים רבים נוספים ב-YouTube עם לסלי למפורט. למשל, יש מצוין קורס TLA+. גרסה לא מקוונת של הקורס כולו זמינה ב- דף הבית של המחבר, וב-YouTube הוא שפך את זה לצפייה נוחה יותר במכשירים ניידים.

מרטין קלפמן - סנכרון נתונים בין מכשירי משתמש לשיתוף פעולה מבוזר

מרטין קלפמן הוא חוקר באוניברסיטת קיימברידג' שעובד על CRDT ואימות אלגוריתם רשמי. הספר של מרטין "עיצוב יישומים עתירי נתונים", שפורסם ב-2017, הוכיח את עצמו כמוצלח מאוד והגיע לרשימות רבי המכר בתחום אחסון ועיבוד הנתונים. קווין סקוט, CTO במיקרוסופט פעם נאמר: "ספר זה צריך להיות חובה למהנדסי עיצוב. זהו משאב נדיר שמגשר בין תיאוריה ופרקטיקה כדי לעזור למפתחים לתכנן וליישם תשתית נתונים ומערכות בצורה חכמה יותר". משהו דומה נאמר על ידי היוצר של קפקא ו-CTO Confluent, ג'יי קרפס.

לפני שעבר למחקר אקדמי, מרטין עבד בתעשייה והקים שני סטארטאפים מצליחים:

• Rapportive, המוקדש להצגת הפרופיל החברתי של אנשי הקשר שלך באימייל, שקנתה לינקדאין ב-2012;
• Go Test It, בודק אתרים אוטומטי מרובה דפדפנים ש-RedGate קנתה ב-2009.

באופן כללי, למרות שמרטין פחות מוכר מהנושאים המרכזיים שלנו, הוא כבר הצליח לתרום תרומה מסוימת הן לפיתוח המחשוב המבוזר והן לתעשייה.

בהרצאה זו, מרטין ידבר על נושא הקרוב יותר למחקרו האקדמי. בגוגל דוקס ובספה דומה לכתיבה משותפת של מסמכים, "עריכה משותפת" פירושה משימת שכפול: לכל משתמש יש העתק משלו של מסמך משותף, שאותו הוא משנה, וכל השינויים נשלחים דרך הרשת לשאר של המשתתפים. שינויים לא מקוונים במסמכים מביאים לאי-עקביות זמנית של מסמכים ביחס למשתתפים אחרים, וסנכרון מחדש מצריך טיפול בקונפליקט. בדיוק בשביל זה יש סוגי נתונים משוכפלים ללא עימותים (CRDT), למעשה, הוא דבר חדש למדי, שמהותו גובשה רק ב-2011. הרצאה זו דנה במה שקרה מאז בעולם ה-CRDT, מהן ההתפתחויות האחרונות, דנה בגישה לבניית יישומים מקומיים-ראשונים בכלל, ובשימוש בספריית קוד פתוח מיזוג אוטומטי באופן מיוחד.

בשבוע הבא נפרסם ראיון גדול עם מרטין על Habré, זה יהיה מעניין.

פדרו רמלהטה - מבני נתונים ללא המתנה ועסקאות ללא המתנה

פדרו עובד בסיסקו ומפתח אלגוריתמים מקבילים בעשר השנים האחרונות, כולל מנגנוני סנכרון, מבני נתונים ללא נעילה וללא המתנה, וכל מה שאתה יכול לחשוב עליו בנושא זה. תחומי המחקר וההנדסה הנוכחיים שלו מתמקדים בקונסטרוקציות אוניברסליות, זיכרון טרנזקציוני תוכנה, זיכרון מתמשך וטכנולוגיות דומות כדי לאפשר יישומים נכונים, ניתנים להרחבה וסובלני תקלות. והוא גם מחברו של בלוג ידוע במעגלים צרים פריקים של מקבילות.

רוב היישומים מרובי ההליכים פועלים כעת על מבני נתונים מקבילים, החל משימוש בתורי הודעות בין שחקנים ועד למבני נתונים שנוספו לאינדקס במאגרי מפתח-ערך. הם עובדים בהצלחה ב-Java JDK כבר שנים רבות, והם מתווספים לאט לאט ל-C++.

הדרך הפשוטה ביותר ליישם מבנה נתונים מקביל היא יישום סדרתי (חד-פתיל) שבו השיטות מוגנות על ידי מוטקסים. זה זמין לכל יוני, אבל יש לו בעיות קנה מידה וביצועים ברורים. יחד עם זאת, מבני נתונים ללא נעילה וללא המתנה לא רק מטפלים בשגיאות בצורה טובה יותר, אלא גם בעלי פרופיל ביצועים טוב יותר – עם זאת, הפיתוח שלהם דורש מומחיות עמוקה והתאמה למקרה שימוש ספציפי. מספיקה שורת קוד אחת שגויה כדי לשבור הכל.

איך לוודא שגם מי שאינו מומחה יכול לתכנן וליישם מבני נתונים כאלה? ידוע שכל אלגוריתם רציף יכול להיעשות בטוח בשרשור על ידי אחד מהם עיצוב אוניברסלי, או זיכרון עסקה. ראשית, הם יכולים להוריד את סף הכניסה לפתרון בעיה זו. עם זאת, שני הפתרונות נוטים להוביל למימושים לא יעילים. פדרו ידבר על איך הם הצליחו להפוך את הקונסטרוקציות הללו ליעילות יותר וכיצד ניתן להשתמש בהן עבור האלגוריתמים שלהן.

היידי הווארד- משחרר קונצנזוס מבוזר

היידי הווארד היא, כמו מרטין, חוקרת מערכות מבוזרות באוניברסיטת קיימברידג'. ההתמחות שלה היא עקביות, סובלנות לתקלות, ביצועים וקונצנזוס מבוזר. היא ידועה בעיקר בשל ההכללה שלה של אלגוריתם פאקסוס שנקרא פאקסוס גמיש.

תזכיר כי Paxos - משפחה של פרוטוקולים לפתרון בעיית הקונצנזוס ברשת של מחשבים לא אמינים, שהתבססו על עבודתה של לסלי למפורט. לפיכך, חלק מהדוברים שלנו עובדים על משימות שהוצעו במקור על ידי הדוברים האחרים שלנו - וזה נפלא.

היכולת למצוא הסכמה בין מארחים מרובים - לטיפול, בחירת מנהיגים, חסימה או תיאום - היא סוגיה בסיסית במערכות המבוזרות של ימינו. Paxos היא כיום הדרך העיקרית לפתור בעיות קונצנזוס, ויש הרבה מחקר סביב זה על מנת להרחיב ולייעל את האלגוריתם לצרכים מעשיים שונים.

בדוח זה, נבדוק מחדש את הבסיס התיאורטי של Paxos, נרגע את הדרישות הראשוניות והכללה של האלגוריתם. אנו נראה כי Paxos היא למעשה רק אחת מהאפשרויות מבין מגוון עצום של גישות לקונצנזוס, ושנקודות אחרות על הספקטרום גם הן שימושיות למדי לבניית מערכות מבוזרות טובות.

אלכס פטרוב - הפחת את עלויות האחסון שלך עם שכפול חולף ומניינים זולים

אלכס הוא מומחה למסד נתונים ואחסון, וחשוב מכך, מתחייב ב קסנדרה. כרגע הוא עובד עם אוריילי על הספר פנימי של מסד נתונים.

למערכות עם עקביות בסופו של דבר (במינוח רוסי - "עקביות בסופו של דבר"), לאחר נפילת צומת או פיצול רשת, יש לפתור את הדילמה הבאה: או להמשיך למלא בקשות, להקריב עקביות, או לסרב לבצע אותן ולהקריב זמינות. במערכת כזו, קוורום, קבוצות משנה חופפות של צמתים והבטחה שלפחות צומת אחד מכיל את הערך העדכני ביותר, יכולים להיות פתרון קצה טוב. אפשר לשרוד כשלים ואובדן חיבור לצמתים מסוימים תוך המשך תגובה עם הערכים העדכניים ביותר.

עם זאת, לכל דבר יש את המחיר שלו. סכמת שכפול קוורום פירושה עלות מוגברת של אחסון: עליך לאחסן נתונים מיותרים במספר צמתים בו-זמנית כדי להבטיח שדי עותקים זמינים כאשר מתרחשת בעיה. מסתבר שלא ניתן לאחסן את כל הנתונים בכל ההעתקים. אתה יכול להפחית את העומס על האחסון אם אתה שומר נתונים רק על חלק מהצמתים, ותשתמש בצמתים מיוחדים (Replica Transient) לתרחישי טיפול בכשלים.

במהלך הדו"ח נשקול העתקים של עדים, סכימת השכפול המשמשת ב מַפתֵחַ בְּרָגִים и מגסטור, ויישום המושג הזה ב- Apache Cassandra תחת השמות שכפול חולף ומניינים זולים.

דמיטרי ויקוב - גורוטיינות חשופות

דמיטרי הוא מפתח בגוגל שעובד על C/C++ ו-Go בדיקות דינמיות - Address/Memory/ThreadSanitizer וכלים דומים עבור ליבת לינוקס. הוא תרם ל-Go מתזמן גורוטיינים שניתן להרחבה, מסקר רשת ואוסף אשפה במקביל. הוא מומחה בריבוי שרשורים, מחברם של תריסר אלגוריתמים חדשים שאינם חוסמים והוא הבעלים של חגורה שחורה אינטל

עכשיו קצת על הדו"ח עצמו. לשפת Go יש תמיכה מקומית בריבוי הליכי שרשור בצורה של גורוטינים (חוטים קלים) וערוצים (תורי FIFO). הודות למנגנונים הללו, קל ונעים מאוד למשתמשים לכתוב אפליקציות מודרניות עם ריבוי הליכות, וזה נראה כמו קסם. כפי שאנו מבינים, אין כאן קסם. בדוח זה, דמיטרי יתעמק בנבכי מתזמן ה-Go ויראה את סודות יישום ה"קסם" הזה. ראשית, הוא ייתן סקירה כללית של המרכיבים העיקריים של המתזמן, איך הוא עובד. לאחר מכן, נסתכל מקרוב על היבטים מסוימים, כגון אסטרטגיית החניה/ביטול החניה וטיפול בקריאות מערכת חסימה. לבסוף, דמיטרי ידבר מעט על שיפורים אפשריים בלוח הזמנים.

דמיטרי בוגאיצ'נקו - האצת ניתוח גרפים מבוזר עם סקיצות הסתברותיות ועוד

דמיטרי עבד במיקור חוץ כמעט 9 שנים, מבלי לאבד קשר עם האוניברסיטה והקהילה המדעית. ניתוח ביג דאטה באודנוקלאסניקי היה הזדמנות ייחודית עבורו לשלב הכשרה תיאורטית ובסיס מדעי עם פיתוח מוצרים אמיתיים מבוקשים.

ניתוח גרפים מבוזר היה ונשאר משימה קשה: כאשר יש צורך להשיג מידע על החיבורים של קודקוד שכן, לעתים קרובות יש להעביר את הנתונים בין מכונות, מה שמוביל להגדלת זמן הביצוע ולעומס על הרשת. תַשׁתִית. בהרצאה זו נראה כיצד ניתן להשיג מהירות משמעותית של עיבוד באמצעות מבני נתונים הסתברותיים או עובדות כמו הסימטריה של גרף החברות ברשת חברתית. כל זה מומחש בעזרת דוגמאות קוד Apache Spark.

דניס ריסטסוב - הפחת את עלויות האחסון שלך עם שכפול חולף ומניינים זולים

דניס - מפתח קוסמוס DB, מומחה לאימות מודל עקביות, אלגוריתמי קונצנזוס ועסקאות מבוזרות. כעת הוא עובד במיקרוסופט, ולפני כן עסק במערכות מבוזרות באמזון וב-Yandex.

בדוח זה נכיר את פרוטוקולי העסקאות המבוזרים שהומצאו במהלך השנים האחרונות, הניתנים ליישום בצד הלקוח על גבי כל מאגר נתונים התומך בעדכון מותנה (השוואה והגדר). השורה התחתונה היא שהחיים לא מסתיימים ב-commit דו-שלבי, ניתן להוסיף עסקאות על גבי כל מסדי נתונים - ברמת האפליקציה, אבל לפרוטוקולים שונים (2PC, Percolator, RAMP) יש פשרות שונות ואינם ניתנים לנו בחינם.

אלכסיי זינובייב - לא כל אלגוריתמי ה-ML מגיעים לגן עדן מבוזר

אלכסיי (זלסלב) הוא הדובר הוותיק שלנו וחבר בוועדות התוכנית בכנסים אחרים. מאמן מתאמן ב-EPAM Systems, והיה מיודד עם Hadoop/Spark וביג-דאטה אחרים מאז 2012.

בהרצאה זו, אלכסיי ידבר על הבעיות בהתאמת אלגוריתמים קלאסיים של למידת מכונה לביצוע מבוזר בהתבסס על הניסיון שלו עם Apache Spark ML, Apache Mahout, Apache Flink ML והניסיון ביצירת Apache Ignite ML. אלכסיי ידבר גם על הטמעת אלגוריתמי ML מבוזרים במסגרות אלו.

ולסיכום, שני דוחות של Yandex על Yandex Database.

ולדיסלב קוזנצוב - מסד נתונים של Yandex - כיצד אנו מספקים סובלנות לתקלות

ולדיסלב הוא מפתח ב-Yandex בקבוצת הפלטפורמות המבוזרות. Yandex Database הוא DBMS ניתן להרחבה אופקית, מופץ גיאוגרפי, סובלני לתקלות, שיכול לעמוד בכשלים של דיסקים, שרתים, מתלים ומרכזי נתונים מבלי להתפשר על עקביות. כדי להבטיח סובלנות לתקלות, נעשה שימוש באלגוריתם קונצנזוס מבוזר קנייני, כמו גם במספר פתרונות טכניים, הנדונים בפירוט בדוח. הדוח עשוי לעניין גם מפתחי DBMS וגם מפתחי פתרונות יישומיים המבוססים על DBMS.

סמיון צ'צ'רינדה - עסקאות מבוזרות ב-YDB

סמיון היא מפתחת בקבוצת הפלטפורמות המבוזרות ב-Yandex, שעובדת על האפשרות של שימוש מרובה דיירים בהתקנת YDB.

מסד הנתונים של Yandex מיועד לשאילתות OLTP ועומד בדרישות ה-ACID עבור מערכת עסקאות. בדוח, נשקול את אלגוריתם תזמון העסקאות העומד בבסיס מערכת העסקאות YDB. בואו ננתח אילו גופים משתתפים בעסקאות, מי מקצה הזמנה גלובלית לעסקאות, כיצד מושגות אטומיות עסקה, מהימנות ורמת בידוד קפדנית. בעזרת הדוגמה של משימה משותפת, הבה נבחן את יישום עסקאות תוך שימוש ב-commit דו-שלבי ועסקאות דטרמיניסטיות. בואו נדון בהבדלים ביניהם.

מה הלאה?

תוכנית הכנס ממשיכה להתמלא בדיווחים חדשים. בפרט, אנו מצפים לדיווח מ ניקיטה קובל (ndkoval) מ-JetBrains ו אולג אנסטאסב (מוח) מ- Odnoklassniki. ניקיטה עובדת על אלגוריתמים לקורוטינים בצוות Kotlin, ואולג מפתחת ארכיטקטורה ופתרונות למערכות עומס גבוה בפלטפורמת Odnoklassniki. בנוסף, יש עוד משבצת אחת ריקה מותנית, עם מועמדים שוועדת התכנית פועלת עבורם כרגע.

כנס הידרה יתקיים ב-11-12 ביולי בסנט פטרסבורג. כרטיסים יכולים להיות לקנות באתר הרשמי. שימו לב לזמינות של כרטיסים מקוונים - אם מסיבה כלשהי אינכם יכולים להגיע לסנט פטרסבורג בשידור חי בימים אלה.

נתראה בהידרה!

מקור: www.habr.com