מוריס הרליהי - בעלים של שניים פרסי דיקסטרה. הראשון מיועד לעבודה "סנכרון ללא המתנה" (אוניברסיטת בראון) והשנייה, העדכנית יותר, - "זיכרון עסקה: תמיכה ארכיטקטונית עבור מבני נתונים ללא נעילה" (אוניברסיטת וירג'יניה טק). פרס דיקסטרה מוענק על עבודה שמשמעותה והשפעתה גלויה במשך עשר שנים לפחות ומוריס הוא ללא ספק אחד המומחים המפורסמים ביותר בתחום. כיום הוא עובד כפרופסור באוניברסיטת בראון ויש לו הישגים רבים באורך פסקה. כיום הוא חוקר בלוקצ'יין בהקשר של מחשוב מבוזר קלאסי.

בעבר, מוריס כבר הגיע לרוסיה עבור SPTCC (קַלֶטֶת וִידֵיאוֹ) וערך פגישה מצוינת של קהילת המפתחים JUG.ru Java בסנט פטרסבורג (קַלֶטֶת וִידֵיאוֹ).

ההבראפוסט הזה הוא ראיון נהדר עם מוריס הרליהי. הוא דן בנושאים הבאים:

• אינטראקציה בין האקדמיה לתעשייה;
• הקרן לחקר בלוקצ'יין;
• מאיפה מגיעים רעיונות פורצי דרך? השפעת הפופולריות;
• דוקטורט בהנחייתה של ברברה ליסקוב;
• העולם מחכה לרב ליבות;
• עולם חדש מביא בעיות חדשות. פריצת NVM, NUMA וארכיטקטורה;
• מהדרים לעומת מעבדים, RISC לעומת CISC, זיכרון משותף לעומת העברת הודעות;
• אומנות כתיבת קוד שביר מרובה חוטים;
• כיצד ללמד תלמידים לכתוב קוד מורכב מרובה הליכי;
• מהדורה חדשה של הספר "אמנות התכנות מרובה מעבדים";
• כיצד הומצא זיכרון עסקה;   
• מדוע כדאי לערוך מחקר בתחום המחשוב המבוזר;
• האם התפתחות האלגוריתמים נעצרה, וכיצד להמשיך הלאה;
• עבודה באוניברסיטת בראון;
• ההבדל בין מחקר באוניברסיטה ובין תאגיד;
• הידרה ו-SPTDC.

הראיון נערך על ידי:

ויטלי אקסנוב - כיום, פוסט דוקטורט ב-IST אוסטריה ועובד במחלקה לטכנולוגיות מחשב באוניברסיטת ITMO. עורך מחקר בתחום התיאוריה והפרקטיקה של מבני נתונים תחרותיים. לפני שעבד ב-IST, הוא קיבל את הדוקטורט שלו מאוניברסיטת פריז דידרו ואוניברסיטת ITMO בהנחייתו של פרופסור פיטר קוזנצוב.

אלכסיי פדורוב - מפיק בחברת JUG Ru Group, חברה רוסית המארגנת כנסים למפתחים. אלכסיי השתתף בהכנת יותר מ-50 כנסים, והרזומה שלו כולל הכל מתפקיד מהנדס פיתוח ב-Oracle (JCK, Java Platform Group) ועד לתפקיד מפתח ב-Odnoklassniki.

ולדימיר סיטניקוב - מהנדס ב-Netcracker. עשר שנים של עבודה על הביצועים והמדרגיות של מערכת ההפעלה NetCracker, תוכנה המשמשת מפעילי טלקום לאוטומציה של תהליכי ניהול ציוד רשת ורשת. מתעניין בבעיות ביצועים של Java ו-Oracle Database. מחבר של יותר מתריסר שיפורי ביצועים במנהל ההתקן הרשמי של PostgreSQL JDBC.

אינטראקציה בין האקדמיה לתעשייה

אלכסיי: מוריס, עבדת בסביבה אקדמית הרבה מאוד זמן והשאלה הראשונה היא האינטראקציה בין התחום האקדמי והתעשייתי. האם תוכל לדבר על איך השתנו האינטראקציות ביניהם לאחרונה? מה קרה לפני 20-30 שנה ומה קורה עכשיו? 

מוריס: תמיד ניסיתי לעבוד בשיתוף פעולה הדוק עם חברות מסחריות כי יש להן בעיות מעניינות. הם, ככלל, אינם מעוניינים במיוחד לא בפרסום תוצאותיהם או בהסברים מפורטים על בעיותיהם לקהילה העולמית. הם מעוניינים רק לפתור את הבעיות הללו. עבדתי זמן מה בחברות כאלה. עבדתי חמש שנים במשרה מלאה במעבדת מחקר בחברת Digital Equipment Corporation, שהייתה בעבר חברת מחשבים גדולה. עבדתי יום אחד בשבוע בסאן, במיקרוסופט, באורקל, ועבדתי קצת בפייסבוק. עכשיו אני הולך לצאת לחופשת שבתון (לפרופסור באוניברסיטה אמריקאית מותר לקחת חופשה כזו למשך שנה בערך פעם בשש שנים) ולעבוד ב אלגורנד, זוהי חברת מטבעות קריפטוגרפיים בבוסטון. עבודה צמודה עם חברות תמיד הייתה תענוג כי כך לומדים על דברים חדשים ומעניינים. אתה יכול אפילו להיות האדם הראשון או השני שמפרסם מאמר על נושא נבחר, במקום לעבוד על שיפור הדרגתי של פתרונות לבעיות שכולם כבר עובדים עליהן.

אלכסיי: אתה יכול לספר לנו ביתר פירוט איך זה קורה?

מוריס: כמובן. אתה יודע, כשעבדתי בתאגיד הציוד הדיגיטלי, אני ואליוט מוס, המצאנו זיכרון עסקה. זו הייתה תקופה מאוד פורייה שבה כולם התחילו להתעניין בטכנולוגיית מידע. מקביליות, כולל, למרות שמערכות מרובות ליבות עדיין לא היו קיימות. במהלך ימי השמש והאורקל, עבדתי הרבה על מבני נתונים מקבילים. בפייסבוק עבדתי על פרויקט הבלוקצ'יין שלהם, שאני לא יכול לדבר עליו, אבל אני מקווה שהוא יפורסם בקרוב. בשנה הבאה, באלגוראנד, אעבוד בקבוצת מחקר שתחקור חוזים חכמים.

אלכסיי: בלוקצ'יין הפך לנושא פופולרי מאוד בשנים האחרונות. האם זה יעזור למחקר שלך? אולי זה יקל על קבלת מענקים או גישה למשאבים מחברות הפועלות בתעשייה?

מוריס: כבר קיבלתי מענק קטן מקרן Ethereum. הפופולריות של בלוקצ'יין עוזרת מאוד לעורר השראה לסטודנטים לעבוד בתחום זה. הם מאוד מתעניינים בזה ומתרגשים להיות מעורבים, אבל לפעמים הם לא מבינים שהמחקר שנשמע מבחוץ מרגש מסתבר ככרוך בעבודה קשה מאוד. עם זאת, אני ממש נרגש להשתמש בכל המיסטיקה הזו סביב בלוקצ'יין כדי לעזור למשוך תלמידים. 

אבל זה לא הכל. אני במועצה המייעצת של כמה סטארט-אפים בלוקצ'יין. חלקם אולי יצליחו, חלקם אולי לא, אבל תמיד מעניין מאוד לראות את הרעיונות שלהם, ללמוד אותם ולייעץ לאנשים. הדבר הכי מרגש הוא כשאתה מזהיר אנשים לא לעשות משהו. דברים רבים נראים כמו רעיון טוב בהתחלה, אבל האם הם באמת?

הקרן לחקר בלוקצ'יין

ויטלי: יש אנשים שחושבים שהעתיד טמון בבלוקצ'יין ובאלגוריתמים שלו. ואנשים אחרים אומרים שזו רק עוד בועה. האם תוכל לחלוק את דעתך בעניין זה?

מוריס: הרבה ממה שקורה בעולם הבלוקצ'יין שגוי, חלק זה רק הונאה, הרבה מוערך יתר על המידה. עם זאת, אני חושב שיש בסיס מדעי מוצק למחקרים האלה. העובדה שעולם הבלוקצ'יין מלא בהבדלים אידיאולוגיים מראה על רמת ההתרגשות והמסירות. מצד שני, זה לא מועיל במיוחד למחקר מדעי. עכשיו, אם אתה מפרסם מאמר שמדבר על החסרונות של אלגוריתם מסוים, התגובה המתקבלת היא לא תמיד מדעית מלאה. לעתים קרובות אנשים זורקים את הרגשות שלהם. אני חושב שסוג כזה של התרגשות בתחום הזה אולי נראה אטרקטיבי עבור חלקם, אבל בסופו של יום, יש בעיות מדעיות והנדסיות אמיתיות שצריך לטפל בהן. יש כאן הרבה מדעי המחשב.

ויטלי: אז אתה מנסה להניח את הבסיס למחקר בלוקצ'יין, נכון?

מוריס: אני מנסה להניח את הבסיס לדיסציפלינה מוצקה, מבוססת מדעית ומתמטית. וחלק מהבעיה היא שלפעמים צריך לסתור כמה מהעמדות הקשות מדי של אנשים אחרים ולהתעלם מהן. לפעמים אנשים שואלים למה אני עובד באזור שמתעניינים בו רק מחבלים וסוחרי סמים. תגובה כזו חסרת משמעות כמו התנהגותם של עוקבים שחוזרים בעיוורון על דבריך. אני חושב שהאמת נמצאת איפשהו באמצע. לבלוקצ'יין תהיה השפעה עמוקה על החברה והכלכלה העולמית. אבל זה כנראה לא יקרה הודות לטכנולוגיה המודרנית. טכנולוגיות מודרניות יתפתחו ומה שייקרא בלוקצ'יין בעתיד יהפוך חשוב מאוד. אולי זה אפילו לא נראה כמו בלוקצ'יין מודרני, זו שאלה פתוחה.

אם אנשים ימציאו טכנולוגיות חדשות, הם ימשיכו לקרוא לזה בלוקצ'יין. כלומר, בדיוק כמו של Fortran של היום אין שום קשר לשפת Fortran משנות ה-1960, אבל כולם ממשיכים לקרוא לזה Fortran. אותו דבר עבור UNIX. מה שנקרא "בלוקצ'יין" עדיין יעשה את המהפכה שלו. אבל אני בספק אם הבלוקצ'יין החדש הזה יהיה דומה למה שכולם נהנים להשתמש בו היום.

מאיפה מגיעים רעיונות פורצי דרך? השפעת הפופולריות

אלכסיי: האם הפופולריות של הבלוקצ'יין הובילה לתוצאות חדשות מנקודת מבט מדעית? יותר אינטראקציה, יותר סטודנטים, יותר חברות באזור. האם יש כבר תוצאות מהעלייה הזו בפופולריות?

מוריס: התעניינתי בזה כשמישהו הגיש לי עלון רשמי של חברה שזה עתה גייסה די הרבה כסף. זה כתב על משימת הגנרלים הביזנטים, שאני יותר ממכיר. מה שנכתב בעלון היה ברור שגוי מבחינה טכנית. האנשים שכתבו את כל זה לא ממש הבינו את המודל מאחורי הבעיה... ובכל זאת החברה הזו גייסה הרבה כסף. בהמשך, החברה החליפה בשקט את העלון הזה בגרסה הרבה יותר נכונה - ולא אגיד מה היה שמה של החברה הזו. הם עדיין בסביבה ומצליחים מאוד. התקרית הזו שכנעה אותי שראשית, בלוקצ'יין הוא פשוט סוג של מחשוב מבוזר. שנית, סף הכניסה (לפחות אז, לפני ארבע שנים) היה נמוך למדי. האנשים שעבדו בתחום זה היו מאוד אנרגטיים ואינטליגנטיים, אבל הם לא קראו מאמרים מדעיים. הם ניסו להמציא מחדש דברים ידועים ועשו את זה לא נכון. היום הדרמה פחתה.

אלכסיי: זה מאוד מעניין, כי לפני כמה שנים הייתה לנו מגמה אחרת. זה קצת כמו פיתוח חזיתי, כאשר מפתחי קצה מבוססי דפדפן המציאו מחדש טכנולוגיות שלמות שכבר היו פופולריות בקצה האחורי: בניית מערכות, אינטגרציה מתמשכת, דברים כאלה. 

מוריס: אני מסכים. אבל זה לא מפתיע, כי רעיונות פורצי דרך באמת מגיעים תמיד מחוץ לקהילה המבוססת. חוקרים מבוססים, במיוחד אקדמאים מבוססים, לא צפויים לעשות משהו פורץ דרך באמת. קל לכתוב מאמר לכנס הבא על האופן שבו שיפרת מעט את התוצאות של עבודתך בעבר. ללכת לכנס, להיפגש עם חברים, לדבר על אותם דברים. והאנשים שמתפרצים עם רעיונות פורצי דרך מגיעים כמעט תמיד מבחוץ. הם לא יודעים את החוקים, הם לא יודעים את השפה, אבל בכל זאת... אם אתה בתוך קהילה מבוססת, אני ממליץ לך לשים לב לדברים חדשים, למשהו שלא מתאים לתמונה הכוללת. במובן מסוים, אפשר לנסות לשלב פיתוחים חיצוניים וזורמים יותר עם שיטות שאנחנו כבר מבינים. כצעד ראשון, נסה לבסס בסיס מדעי, ולאחר מכן שנה אותו כך שניתן יהיה ליישם אותו על רעיונות פורצי דרך חדשים. אני חושב שבלוקצ'יין זה נהדר בתור רעיון חדש ומפריע.

אלכסיי: למה אתה חושב שזה קורה? כי לאנשים "בחוץ" אין מחסומים ספציפיים הגלומים בקהילה?

מוריס: יש כאן דפוס. אם אתה קורא את ההיסטוריה של האימפרסיוניסטים בציור ובאמנות בכלל, אז פעם אמנים מפורסמים דחו את האימפרסיוניזם. הם אמרו שזה סוג של ילדותי. דור לאחר מכן, צורת האמנות שנדחתה בעבר הפכה לסטנדרט. מה שאני רואה בתחום שלי: ממציאי הבלוקצ'יין לא התעניינו בכוח, בהגדלת הפרסומים ואינדקס הציטוטים, הם רק רצו לעשות משהו טוב. וכך הם התיישבו והתחילו לעשות את זה. היה חסר להם מידה מסוימת של עומק טכני, אבל זה בר תיקון. הרבה יותר קשה להעלות רעיונות יצירתיים חדשים מאשר לתקן ולחזק רעיונות לא בוגרים מספיק. הודות לממציאים האלה, עכשיו יש לי מה לעשות!

אלכסיי: זה דומה להבדל בין סטארט-אפים לפרויקטים מדור קודם. אנו יורשים מגבלות רבות של חשיבה, חסמים, דרישות מיוחדות וכו'.

מוריס: אנלוגיה טובה היא מחשוב מבוזר. תחשוב על בלוקצ'יין כאילו היה סטארטאפ ומחשוב מבוזר כחברה גדולה ומבוססת. מחשוב מבוזר נמצא בתהליך רכישה ומיזוג עם בלוקצ'יין.

דוקטורט בהנחיית ברברה ליסקוב

ויטלי: עדיין יש לנו הרבה שאלות! בדקנו את הרקע שלך ונתקלנו בעובדה מעניינת על הדוקטורט שלך. כן, זה היה מזמן, אבל נראה שזה נושא חשוב. קיבלת את הדוקטורט שלך בהדרכתך ברברה ליסקוב! ברברה ידועה מאוד בקהילת שפות התכנות, ואדם ידוע מאוד באופן כללי. זה הגיוני שהמחקר שלך היה בתחום שפות התכנות. איך עברת למחשוב מקביל? למה החלטת לשנות נושא?

מוריס: באותו זמן, ברברה והקבוצה שלה רק הסתכלו על מחשוב מבוזר, וזה היה רעיון חדש מאוד. היו גם כאלה שאמרו שמחשוב מבוזר זה שטויות ושמחשבים שמתקשרים זה עם זה חסר טעם. אחת הסוגיות המטופלות במחשוב מבוזר שמבדילה אותו ממחשוב ריכוזי היא סובלנות לתקלות. לאחר מחקר רב, החלטנו ששפת תכנות מחשוב מבוזרת צריכה להיות משהו כמו טרנזקציות אטומיות, כי לעולם לא תוכל להיות בטוח ששיחה מרחוק תצליח. ברגע שיש לך עסקאות, מתעוררת הבעיה של ניהול מקביליות. לאחר מכן הייתה עבודה רבה על השגת מבני נתונים עסקאות מקבילים ביותר. ואז, כשסיימתי את הלימודים, הלכתי ל קרנגי מלון והתחיל לחפש נושא לעבוד עליו. עלה בדעתי שהמחשוב עבר ממחשבים בודדים לרשתות של מחשבים. ריבוי מעבדים יהיו המשך טבעי של התקדמות - המילה "רב ליבות" עדיין לא הייתה קיימת. חשבתי: מה המקבילה לטרנזקציות אטומיות למערכת מרובת ליבות? בהחלט לא עסקאות רגילות כי הן גדולות וכבדות מדי. וכך עלה לי הרעיון יכולת ליניאריזציה וככה הגעתי לכל הסנכרון ללא המתנה. זה היה ניסיון לענות על השאלה מהו האנלוג של טרנזקציות אטומיות למערכת מרובת מעבדים עם זיכרון משותף. במבט ראשון, העבודה הזו אולי נראית אחרת לגמרי, אבל למעשה היא המשך של אותו נושא.

העולם מחכה לרב ליבות

ויטלי: הזכרת שבאותה תקופה היו מעט מאוד מחשבים מרובי ליבות, נכון?

מוריס: הם פשוט לא היו שם. היו כמה מה שנקרא ריבוי מעבדים סימטריים, שהיו מחוברים בעצם לאותו אוטובוס. זה לא עבד כל כך טוב כי בכל פעם שחברה חדשה יצרה משהו דומה, אינטל תשחרר מעבד בודד שהיה עדיף על המעבד הרב-מעבד.

אלכסיי: האם זה לא אומר שבתקופות קדומות זה היה יותר מחקר תיאורטי?

מוריס: זה לא היה מחקר תיאורטי, אלא מחקר ספקולטיבי. כל זה לא היה על עבודה עם משפטים רבים, אלא העלינו השערות לגבי ארכיטקטורה שלא הייתה קיימת באותה תקופה. בשביל זה יש מחקר! אף חברה לא הייתה עושה דבר כזה; הכל היה משהו מהעתיד הרחוק. למעשה, זה היה המקרה עד 2004, אז הופיעו מעבדים מרובים ליבות אמיתיים. מכיוון שהמעבדים מתחממים יתר על המידה, אתה יכול להקטין את המעבד אפילו יותר, אבל אתה לא יכול לעשות אותו מהיר יותר. בגלל זה, היה מעבר לארכיטקטורות מרובות ליבות. ואז זה אומר שפתאום היה שימוש בכל המושגים שפיתחנו בעבר.

אלכסיי: למה אתה חושב שמעבדים מרובי ליבות הופיעו רק בשנות ה-XNUMX? אז למה זה כל כך מאוחר?

מוריס: זה נובע ממגבלות חומרה. אינטל, AMD וחברות אחרות טובות מאוד בהגברת מהירות המעבד. כאשר בשלב מסוים המעבדים הפכו קטנים מספיק כדי שהם לא יכלו עוד להגביר את מהירות השעון כי המעבדים יתחילו להישרף. אתה יכול לעשות אותם קטנים יותר, אבל לא מהר יותר. מה בכוחם - במקום מעבד קטן מאוד, הם יכולים להתאים שמונה, שישה עשר או שלושים ושניים מעבדים לאותו נפח של המארז, שבו בעבר רק אחד יכול היה להתאים. עכשיו יש לך ריבוי שרשורים ותקשורת מהירה ביניהם כי הם חולקים מטמונים. אבל אתה לא יכול להכריח אותם לרוץ מהר יותר - יש מגבלת מהירות מאוד ספציפית. הם ממשיכים להשתפר לאט לאט, אבל כבר לא כל כך. חוקי הפיזיקה עמדו בדרכם של שיפורים.

עולם חדש מביא בעיות חדשות. פריצת NUMA, NVM וארכיטקטורה

אלכסיי: נשמע הגיוני מאוד. עם מעבדים מרובי ליבות חדשים הגיעו בעיות חדשות. האם אתה ועמיתיך ציפית לבעיות האלה? אולי למדת אותם מראש? במחקרים תיאורטיים לרוב לא קל מאוד לחזות דברים כאלה. כשהבעיות אכן התרחשו, איך הן עמדו בציפיות שלך ושל עמיתיך? או שהם היו חדשים לגמרי, ואתה והקולגות שלך נאלצתם להשקיע זמן רב בפתרון בעיות כפי שהופיעו?

ויטלי: אוסיף לשאלתו של אלכסיי: האם ניבאת נכון את ארכיטקטורת המעבד בזמן שלמדת את התיאוריה?

מוריס: לא 100%. אבל אני חושב שעמיתיי ואני עשינו עבודה טובה בחיזוי ריבוי ליבות עם זיכרון משותף. אני חושב שחיזינו נכון את הקשיים בפיתוח מבני נתונים מקבילים הפועלים ללא מנעולים. מבני נתונים כאלה היו חשובים עבור יישומים רבים, אם כי לא כולם, אבל לעתים קרובות מה שאתה באמת צריך הוא מבנה נתונים לא ננעל. כשהמצאנו אותם, רבים טענו שזו שטות, שהכל עובד בסדר עם מנעולים. חזינו היטב שיהיו פתרונות מוכנים לבעיות תכנות רבות ובעיות מבנה נתונים. היו גם בעיות מורכבות יותר, כגון NUMA - גישה לא אחידה לזיכרון. למעשה, הם אפילו לא נחשבו עד שהמציאו מעבדים מרובי ליבות כי הם היו ספציפיים מדי. קהילת המחקר עבדה על שאלות שהיו ניתנות לחיזוי בדרך כלל. כמה בעיות חומרה הקשורות לארכיטקטורות ספציפיות נאלצו לחכות בכנפיים - למעשה, המראה של ארכיטקטורות אלה. לדוגמה, אף אחד לא באמת עבד על מבני נתונים ספציפיים ל-GPU מכיוון ש-GPUs לא היו קיימים אז. למרות שנעשתה עבודה רבה על SIMD, אלגוריתמים אלו היו מוכנים לשימוש ברגע שהחומרה המתאימה הייתה זמינה. עם זאת, אי אפשר לצפות הכל.

אלכסיי: אם אני מבין נכון, NUMA היא סוג של פשרה בין עלות, ביצועים ועוד כמה דברים. יש לך רעיונות למה NUMA יצא כל כך מאוחר?

מוריס: אני חושב ש-NUMA קיימת בגלל בעיות בחומרה המשמשת לייצור זיכרון: ככל שהרכיבים רחוקים יותר, כך איטי יותר לגשת אליהם. מצד שני, הערך השני של הפשטה זו הוא אחידות הזיכרון. אז אחד המאפיינים של מחשוב מקביל הוא שכל ההפשטות שבורות מעט. אם הגישה הייתה אחידה לחלוטין, כל הזיכרון היה נמצא במרחק שווה, אבל זה בלתי אפשרי מבחינה כלכלית, ואולי אפילו פיזית. לכן נוצר קונפליקט זה. אם תכתוב את התוכנית שלך כאילו הזיכרון אחיד, סביר להניח שהיא תהיה נכונה. במובן שהוא לא ייתן תשובות שגויות. אבל גם ההופעה שלה לא תתפוס את הכוכבים מהשמיים. כך גם אם אתה כותב ספינלוק בלי להבין את היררכיית המטמון, החסימה עצמה תהיה נכונה, אבל אתה יכול לשכוח מהביצועים. במובן מסוים, אתה צריך לכתוב תוכניות שחיות על גבי הפשטה מאוד פשוטה, אבל אתה צריך להערים על האנשים שנתנו לך את ההפשטה הזו: אתה צריך לדעת שמתחת להפשטה יש איזו היררכיה של זיכרון, שיש אוטובוס בינך לבין הזיכרון הזה, וכן הלאה. לפיכך, יש קונפליקט מסוים בין הפשטות שימושיות בנפרד, מה שמוביל אותנו לבעיות מאוד קונקרטיות ופרגמטיות.

ויטלי: מה לגבי העתיד? האם אתה יכול לחזות כיצד המעבדים יתפתחו בשלב הבא? יש רעיון שאחת התשובות היא זיכרון עסקה. כנראה שיש לך משהו אחר במלאי.

מוריס: יש כמה אתגרים גדולים לפנינו. האחת היא שזיכרון קוהרנטי הוא הפשטה נפלאה, אבל הוא מתחיל להתקלקל במקרים מיוחדים. אז, למשל, NUMA היא דוגמה חיה למשהו שבו אתה יכול להמשיך להעמיד פנים שקיים זיכרון אחיד. למעשה לא, פרודוקטיביות תגרום לך לבכות. בשלב מסוים, אדריכלים יצטרכו לנטוש את הרעיון של ארכיטקטורת זיכרון יחידה; אתה לא יכול להעמיד פנים לנצח. יהיה צורך בדגמי תכנות חדשים שיהיו קלים מספיק לשימוש וחזקים מספיק כדי להפוך את החומרה הבסיסית ליעילה. זו פשרה מאוד קשה, כי אם תראה למתכנתים את הארכיטקטורה שבה נעשה שימוש בפועל בחומרה, הם ישתגעו. זה מסובך מדי ולא נייד. אם תציגו ממשק פשוט מדי, הביצועים יהיו גרועים. לפיכך, יצטרכו לעשות פשרות קשות מאוד כדי לספק מודלים שימושיים לתכנות החלים על מעבדים מרובי ליבות גדולים באמת. אני לא בטוח שמישהו מלבד מומחה מסוגל לתכנת במחשב בעל 2000 ליבות. אלא אם כן אתה עושה מחשוב מאוד מיוחד או מדעי או קריפטוגרפיה או משהו כזה - עדיין לא ברור בכלל איך לעשות את זה נכון. 

תחום דומה נוסף הוא ארכיטקטורות מיוחדות. מאיצים גרפיים קיימים כבר זמן רב, אבל הם הפכו לדוגמא קלאסית לאופן שבו אפשר לקחת סוג מיוחד של מחשוב ולהפעיל אותו על שבב ייעודי. זה מוסיף אתגרים משלו: איך אתה מתקשר עם מכשיר כזה, איך אתה מתכנת אותו. לאחרונה עבדתי על בעיות באזור מחשוב ליד זיכרון. אתה לוקח מעבד קטן ומדביק אותו לחלק עצום של זיכרון כך שהזיכרון יפעל במהירות מטמון L1 ואז יתקשר עם מכשיר כמו TPU - המעבד עסוק בטעינת משימות חדשות אל ליבת הזיכרון שלך. עיצוב מבני נתונים ופרוטוקולי תקשורת לדברים מסוג זה הוא דוגמה מעניינת נוספת. אז מעבדים וחומרה מותאמים אישית ימשיכו לראות שיפורים במשך די הרבה זמן.

אלכסיי: מה לגבי זיכרון לא נדיף (זיכרון לא נדיף)?

מוריס: הו, זו עוד דוגמה מצוינת! NVM ישנה מאוד את הדרך בה אנו מסתכלים על דברים כמו מבני נתונים. זיכרון לא נדיף, במובן מסוים, מבטיח לזרז את העניינים באמת. אבל זה לא יקל על החיים מכיוון שרוב המעבדים, המטמונים והרגיסטרים עדיין נדיפים. כאשר אתה מתחיל לאחר התרסקות, המצב שלך ומצב הזיכרון שלך לא יהיו בדיוק כמו לפני ההתרסקות. אני מאוד אסיר תודה לאנשים שעובדים על NVM - יהיה הרבה מה לחוקרים לעשות במשך זמן רב בניסיון להבין את תנאי התקינות. החישובים נכונים אם הם יכולים לשרוד התרסקות שבה תוכן המטמונים והרגיסטרים אובד, אבל הזיכרון הראשי נשאר שלם.

מהדרים לעומת מעבדים, RISC מול CISC, זיכרון משותף לעומת העברת הודעות

ולדימיר: מה אתה חושב על דילמת "מהדרים לעומת מעבדים" מנקודת מבט של ערכת הוראות? הרשו לי להסביר למי שלא בקי: אם נלך לזיכרון מוטה או משהו דומה, נוכל להשתמש בסט פשוט מאוד של פקודות ולבקש מהקומפיילר ליצור קוד מורכב שיכול לנצל את היתרונות החדשים. או שאנחנו יכולים ללכת בדרך אחרת: ליישם הוראות מורכבות ולבקש מהמעבד לסדר מחדש את ההוראות ולעשות איתן מניפולציות אחרות. מה אתה חושב על זה?

מוריס: אין לי באמת תשובה לשאלה הזו. הוויכוח הזה נמשך כבר ארבעה עשורים. היה זמן שבין לבין מְקוּצָר קבוצה של פקודות ו קשה מלחמות אזרחים נלחמו על ידי מערכת פקודות. במשך זמן מה, אנשי RISC ניצחו, אבל אז אינטל בנתה מחדש את המנועים שלהם כך שנעשה שימוש פנימי בסט מצומצם של הוראות, והסט המלא ייצא חיצוני. זה כנראה נושא שבו כל דור חדש חייב למצוא את הפשרות שלו ולקבל את ההחלטות שלו. קשה מאוד לחזות איזה מהדברים האלה יהיה טוב יותר. אז כל תחזית שאעשה תהיה נכונה לזמן מסוים, ואז שוב שקר לזמן מה, ואז שוב אמיתית.

אלכסיי: עד כמה זה נפוץ בתעשייה שכמה רעיונות מנצחים במשך כמה עשורים ומפסידים באחרים? האם יש עוד דוגמאות לשינויים תקופתיים כאלה?

מוריס: בנושא המחשוב המבוזר, יש אנשים שמאמינים בו זכרון משותף ואנשים שמאמינים הודעות. בתחילה, במחשוב מבוזר, מחשוב מקבילי פירושו העברת הודעות. ואז מישהו גילה שהרבה יותר קל לתכנת עם זיכרון משותף. הצד השני אמר שזיכרון משותף מסובך מדי, מכיוון שהוא דורש מנעולים וכדומה, אז כדאי לעבור לשפות שבהן שום דבר מלבד העברת הודעות פשוט קיים. מישהו הסתכל על מה שיצא מזה ואמר, "וואו, יישום ההודעות הזה נראה מאוד כמו זיכרון משותף, כי אתה יוצר המון המון מודולים קטנים אלה, הם שולחים הודעות אחד לשני, וכולם שלובים"בואו ניצור מסד נתונים טוב יותר של זיכרון משותף!" כל זה חוזר על עצמו שוב ושוב, ואי אפשר לומר שאחד הצדדים בהחלט צודק. אחד הצדדים תמיד ישלוט כי ברגע שאחד מהם כמעט מנצח, אנשים שוב ושוב ממציאים דרכים לשפר את השני.

אמנות כתיבת קוד שביר מרובה הליכי

אלכסיי: זה מאוד מעניין. לדוגמה, כאשר אנו כותבים קוד, לא משנה באיזו שפת תכנות, אנו בדרך כלל צריכים ליצור הפשטות כמו תאים שניתן לקרוא ולכתוב. אבל למעשה, ברמה פיזית כלשהי, זה עשוי להיראות כמו שליחת הודעה דרך אפיק חומרה בין מחשבים שונים והתקנים אחרים. מסתבר שעבודה מתרחשת בשתי רמות ההפשטה בבת אחת.

מוריס: זה לגמרי נכון שזיכרון משותף בנוי על העברת הודעות - אוטובוסים, מטמונים וכו'. אבל קשה לכתוב תוכניות באמצעות העברת הודעות, אז החומרה משקרת בכוונה, ומעמידה פנים שיש לך איזשהו זיכרון אחיד. זה יקל עליך לכתוב תוכניות פשוטות ונכונות לפני שהביצועים מתחילים להידרדר. אז תגיד: נראה שהגיע הזמן להתיידד עם המטמון. ואז אתה מתחיל לדאוג לגבי המיקום של המטמון, ומשם זה הולך. במובן מסוים, אתה פורץ להפשטה: אתה יודע שזה לא רק זיכרון שטוח ואחיד, ואתה הולך להשתמש בידע הזה כדי לכתוב תוכניות ידידותיות למטמון. זה מה שתצטרך לעשות בבעיות אמיתיות. הקונפליקט הזה בין ההפשטה המתוקה, הפשוטה והנחמדה שקיבלת לבין היישום המורכב להחריד של החומרה הבסיסית הוא המקום שבו כל אחד יעשה את הפשרה שלו. יש לי ספר על ריבוי מעבדים וסנכרון, ובשלב מסוים עמדתי לכתוב פרק ​​על מבני נתונים ב java.util.concurrent. אם אתה מסתכל עליהם, דברים כמו רשימות עם השמטות אלו יצירות אמנות מדהימות. (הערת העורך: מי שמכיר את שפת Java צריך לפחות להסתכל על היישום ConcurrentSkipListMap, אתה יכול להסתכל על הקישורים ב API и קוד מקור). אבל מנקודת המבט שלי, זה יהיה חוסר אחריות להראות אותם לסטודנטים, כי מבנה נתונים כזה הוא בערך כמו בחור בקרקס שרץ על חבל דק מעל בור דובים. אם תשנה אפילו פרט אחד קטן, המבנה כולו יקרוס. הקוד הזה מאוד מהיר ואלגנטי רק בגלל שהוא כתוב בצורה מושלמת, אבל השינוי הקל ביותר יוביל לכישלון מוחלט. אם אתן את הקוד הזה כדוגמה לתלמידים, הם יגידו מיד: גם אני יכול לעשות את זה! ואז איזה מטוס יתרסק או כור גרעיני יתפוצץ, ואני אהיה אשם בכך שמסרתי להם יותר מדי מידע בזמן הלא נכון.

אלכסיי: כשהייתי קצת יותר צעיר, פעמים רבות ניסיתי ללמוד את קוד המקור של דאג לי, למשל, java.util.concurrent, מכיוון שזה קוד פתוח, קל מאוד למצוא ולנסות להבין מה קורה שם. זה לא יצא טוב: לעתים קרובות, זה לגמרי לא ברור למה דאג החליט לעשות משהו בדרך הזו, כשכולם עושים את זה אחרת. איך אתה מסביר את הדברים האלה לתלמידים שלך? האם יש דרך נכונה מסוימת לתאר פרטים ספציפיים של אלגוריתם הארדקור, למשל? איך אתה עושה את זה?

מוריס: למורים לציור יש קלישאה שהם זוכרים קודם כל: אם אתה רוצה לצייר כמו פיקאסו, אתה צריך קודם כל ללמוד איך לצייר תמונות מציאותיות פשוטות, ורק כשאתה יודע את הכללים אתה יכול להתחיל לשבור אותם. אם אתה מתחיל בשבירת הכללים מיד, אתה מסתיים בבלגן. ראשית, אני מלמד את התלמידים כיצד לכתוב קוד פשוט ונכון מבלי לדאוג לביצועים. מה שאני אומר הוא, שאורבות כאן בעיות תזמון מורכבות, אז אל תדאג לגבי מטמונים, אל תדאג לגבי מודלים של זיכרון, רק תוודא שהכל עובד כמו שצריך. זה כבר מספיק קשה: תכנות מודרני זה לא קל בפני עצמו, במיוחד לסטודנטים חדשים. וכשיש להם אינטואיציה לגבי איך לכתוב את התוכנות הנכונות, אני אומר: תסתכל על שני מימושי הספינלוק האלה: האחד מאוד איטי, והשני גם לא מאוד, אבל טוב יותר. עם זאת, מבחינה מתמטית שני האלגוריתמים זהים. למעשה, אחד מהם משתמש ב-cache locality. אחד מהם פועל על נתונים שמור מקומיים, והשני מבצע שוב ושוב פעולות ברחבי האוטובוס. אתה לא יכול לכתוב קוד אפקטיבי אם אתה לא מבין מה זה, ולא יודע איך לשבור את ההפשטה ולהסתכל על המבנה הבסיסי. אבל לא תוכל להתחיל לעשות זאת מיד. יש אנשים שמתחילים לעשות את זה מיד ומאמינים בגאונות של עצמם, בדרך כלל זה נגמר רע כי הם לא מבינים את העקרונות. אף אחד לא מצייר כמו פיקאסו או כותב תוכניות כמו דאג לי שסיים את הקולג' בשבוע הראשון שלו. לוקח שנים להגיע לרמת ידע זו.

אלכסיי: מסתבר שאתה מחלק את הבעיה לשני חלקים: הראשון זה תקינות, השני זה ביצועים?

מוריס: בדיוק. ובדיוק בסדר הזה. חלק מהבעיה הוא שתלמידים חדשים לא מבינים שקשה להשיג נכונות. במבט ראשון אומרים: ברור שזה נכון, כל מה שנותר הוא להאיץ את זה. אז לפעמים אני מספר להם על אלגוריתם שגוי בתחילה כאילו הוא נכון.

כיצד ללמד תלמידים לכתוב קוד מורכב עם ריבוי חוטים

אלכסיי: רק כדי לראות אם הם יכולים לחוש את המלכוד?

מוריס: אני תמיד מזהיר מראש שלפעמים אני אציע אלגוריתמים לא נכונים. אתה לא צריך לרמות אנשים. אני מציע שיקחו את המידע עם גרגר מלח. אם אני אומר משהו ואומר: "תראה, זה ברור שזה נכון" - זה סימן שבאיזשהו מקום מנסים לרמות אותך, וכדאי לך להתחיל לשאול שאלות. לאחר מכן, אני מנסה לעודד תלמידים להמשיך לשאול שאלות, ואז אני מציעה, "מה יקרה אם נשאיר את הדברים כפי שהם?" ומיד רואים את הטעות. אבל לשכנע תלמידים שהם צריכים לדאוג לנכונות זה הרבה יותר קשה ממה שזה נראה במבט ראשון. רבים מהתלמידים הללו מגיעים עם ניסיון בתכנות בתיכון, חלקם קיבלו עבודה ועשו שם תכנות, וכולם שופעים ביטחון. זה משהו כמו הצבא: קודם כל צריך לשנות את מצב הרוח שלהם כדי לשכנע אותם לגשת בסבלנות לפתרון בעיות שצצות. או אולי זה כמו נזירים בודהיסטים: קודם כל הם לומדים לנמק לגבי נכונות, וברגע שהם מבינים את דרכי ההיגיון לגבי נכונות, מותר להם לעבור לשלב הבא ולהתחיל לדאוג לגבי ביצועים.

אלכסיי: כלומר, לפעמים אתה מראה לתלמידים דוגמאות לא עובדות, שבזכותן אתה מקבל משוב שמראה אם ​​הם מבינים את מהות הבעיה, האם הם יכולים למצוא את הקוד השגוי ואת התוצאה השגויה. אז, האם תלמידים בדרך כלל משמחים או עצובים אותך?

מוריס: סטודנטים כמעט תמיד מוצאים את הטעות בסופו של דבר. אם הם מחפשים לאט מדי, אני שואל שאלות מובילות, וכאן חשוב להבין שאם לעולם לא תטעו אותם, הם יתחילו לתפוס בלי דעת את דבריכם כאמת הסופית. ואז הם ישתעממו ויתחילו להירדם תוך כדי קריאת פייסבוק במחשב הנייד שלהם במהלך השיעור. אבל כשאומרים להם מראש שיטעו אותם, והם ייראו טיפשים אם הם לא ירגישו בתעלול, הם נעשים הרבה יותר ערניים. זה טוב במובנים שונים. הייתי רוצה שהתלמידים לא רק יפקפקו בהבנתם את הנושא, אלא גם יפקפקו בסמכותו של המורה. הרעיון הוא שתלמיד יכול להרים את היד בכל עת ולומר: אני חושב שמה שאמרת זה לא נכון. זהו כלי למידה חשוב. אני לא רוצה שאף אחד מהתלמידים ישב ויחשוב לעצמו בשקט: כל זה נראה שטויות גמורות, אבל להרים יד זה מפחיד מדי, ובכל מקרה, הוא פרופסור, אז כל מה שהוא אומר הוא האמת. לכן, אם מזהירים אותם מראש שלא כל מה שסופר הוא בהכרח נכון, יש להם תמריץ לשים לב יותר לחומר. אני מבהיר שזה בסדר להרים את היד ולשאול שאלות. השאלה שלך אולי נשמעת מטופשת או תמימה, אבל לרוב כך עולות השאלות הטובות ביותר.

אלכסיי: מעניין מאוד. בדרך כלל לאנשים יש סוג של מחסום פסיכולוגי שלא מאפשר להם לשאול שאלה לפרופסור. במיוחד אם יש הרבה אנשים בחדר, וכולם חוששים שהדיון על השאלה המטופשת שלך ייקח את כל הזמן של האנשים האלה. האם יש טריקים להתמודד עם זה?

מוריס: לעתים קרובות אני עוצר ושואל שאלות קלאסיות. האם הצהרה תהיה נכונה, או כיצד הם יפתרו את הבעיה הנידונה. זוהי פעולת מפתח, במיוחד בתחילת שיעור כאשר אנשים מתביישים לומר אפילו את הדבר הקטן ביותר. אתה שואל את התלמידים שאלה ולא אומר דבר נוסף. יש שקט, כולם קצת נמתחים, המתח גדל, ואז פתאום מישהו לא יכול לעמוד בזה, נשבר ואומר את התשובה. כך הופכים את המצב: להמשיך לשתוק הופך לקשה ולא נוח יותר מאשר לענות! זהו טריק פדגוגי סטנדרטי. כל מורה בעולם צריך לדעת איך לעשות זאת.

אלכסיי: עכשיו יש לנו כותרת מצוינת לראיון הזה: "קל יותר לענות מאשר לשתוק."

ויטלי: תן לי לשאול שוב. אתה עובד על הוכחות טופולוגיות. איך בכלל הסתבכתם בזה, כי מחשוב מבוזר וטופולוגיה הם דברים שונים לגמרי!

מוריס: יש שם קשר נסתר. כשהייתי סטודנט שלומד מתמטיקה, למדתי מתמטיקה טהורה. לא היה לי עניין אמיתי במחשבים עד שהלימודים שלי הסתיימו ומצאתי את עצמי מתמודד עם הצורך הדוחק לחפש עבודה. כסטודנט למדתי טופולוגיה אלגברית. שנים רבות לאחר מכן, תוך כדי עבודה על בעיה שנקרא "בעיית הסכם k-Set", השתמשתי בגרפים כדי ליצור מודל של הבעיה, וכפי שזה נראה בזמנו, מצאתי פתרון. אתה רק צריך לשבת ולהסתובב בספירה. נסו למצוא תשובה מתאימה בגרף זה. אבל האלגוריתם שלי לא עבד: התברר שהוא ירוץ במעגלים לנצח. למרבה הצער, לא ניתן היה להסביר את כל זה בשפה הפורמלית של תורת הגרפים – זו שכל מדעני המחשבים מכירים. ואז נזכרתי שלפני שנים רבות, עוד בשיעורי טופולוגיה, השתמשנו במושג "תסביך פשוט", שהיא הכללה של גרפים למימדים גבוהים יותר. ואז שאלתי את עצמי: מה יקרה אם ננסח מחדש את הבעיה במונחים של תסביכים פשוטים? זה הפך לרגע המפתח. על ידי שימוש בפורמליזם חזק יותר, הבעיה הופכת פתאום להרבה יותר פשוטה. אנשים נלחמו נגד זה במשך זמן רב, תוך שימוש בגרפים, אבל הם לא יכלו לעשות דבר. וגם עכשיו הם לא יכולים - התברר שהתשובה הנכונה היא לא אלגוריתם, אלא הוכחה לחוסר האפשרות לפתור את הבעיה. כלומר, אלגוריתם כזה פשוט לא קיים. אבל כל הוכחה לחוסר אפשרות מבוסס או על תסביכים פשוטים או על דברים שאנשים העמידו פנים שהם לא מחשיבים תסביכים פשוטים. רק בגלל שאתה קורא למשהו בשם חדש, הוא לא מאבד את מהותו.

ויטלי: מסתבר שפשוט היה לך מזל?

מוריס: מלבד מזל, זה גם מוכנות. זה אומר שאתה לא צריך לשכוח את הדברים "חסרי התועלת" שלמדת קודם לכן. ככל שתלמד יותר דברים חסרי תועלת, כך תוכל לחלץ יותר רעיונות כאשר אתה מתמודד עם בעיה חדשה. סוג זה של התאמת דפוסים אינטואיטיבית חשוב כי... בואו נעשה את זה, זו שרשרת: בהתחלה גיליתי שהגרפים לא עבדו בכלל או לא עבדו בכלל, זה הזכיר לי משהו מאירועי שמונה לפני שנים ושנות הסטודנט שלי, כאשר למדנו את כל המתחמים הפשוטים האלה. זה בתורו איפשר לי למצוא את ספר הלימוד הטופולוגיה הישן שלי ולטעון אותו בחזרה לראשי. אבל אם לא הידע הישן הזה, לעולם לא הייתי מתקדם בפתרון הבעיה המקורית.

מהדורה חדשה של הספר "אמנות התכנות מרובה מעבדים"

אלכסיי: אמרת כמה מילים על הספר שלך. זה כנראה לא הסוד הגרוע ביותר שכתבת את הספר המפורסם ביותר בעולם על ריבוי שרשורים, "אמנות התכנות מרובה מעבדים". הוא כבר בן 11 בערך ומאז הוא רק יצא לאקרנים  הדפסה מחודשת מתוקנת. האם תהיה מהדורה שנייה?

מוריס: טוב ששאלת! זה יהיה בקרוב מאוד, בעוד שלושה חודשים בערך. יש עוד שני מחברים, הוספנו עוד הרבה חומר, שיפרנו את הקטע על fork/join parallelism, כתבנו קטע על MapReduce, הוספנו הרבה דברים חדשים וזרקנו דברים מיותרים - משהו שהיה מאוד מעניין בזמן הכתיבה המהדורה הראשונה, אבל כבר לא שם היום. התוצאה הייתה ספר מתוקן מאוד.

אלכסיי: הכל כבר נעשה, כל מה שנשאר זה לשחרר את זה?

מוריס: כמה פרקים עדיין צריכים קצת עבודה. המו"ל שלנו (שלדעתי כבר שונא אותנו) עדיין מנסה להעביר את המסר שעלינו לעבוד מהר יותר. אנחנו מפגרים הרבה בלוח הזמנים. תיאורטית, יכולנו לעשות את הספר הזה כמה שנים קודם לכן.

אלכסיי: יש סיכוי לקבל גרסה חדשה של הספר לפני חג המולד?

מוריס: זו המטרה שלנו! אבל ניבאתי ניצחון כל כך הרבה פעמים שאף אחד כבר לא מאמין לי. כנראה שגם בעניין הזה אסור לסמוך עליי יותר מדי.

אלכסיי: בכל מקרה, אלו חדשות נפלאות. מאוד אהבתי את המהדורה הראשונה של הספר. אפשר לומר שאני מעריץ.

מוריס: אני מקווה שהמהדורה החדשה תהיה ראויה להתלהבותך הנלהבת, תודה!

כיצד הומצא זיכרון עסקה

ויטלי: השאלה הבאה היא על זיכרון עסקה. למיטב הבנתי אתה חלוץ בתחום הזה, המצאת את זה בתקופה שאף אחד לא חשב על דברים כאלה. למה החלטת לעבור לתחום הזה? מדוע עסקאות נראו לך חשובות? חשבתם שמתישהו הם יושמו בחומרה?

מוריס: אני יודע על עסקאות מאז ימי המחקר שלי בוגר.

ויטלי: כן, אבל אלו עסקאות שונות!

מוריס: עבדתי עם אליוט מוס על איסוף אשפה לא חוסם. הבעיה שלנו הייתה שרצינו לשנות אטומית כמה מילים בזיכרון ואז האלגוריתמים יהפכו לפשוטים מאוד, ולפחות חלקם יהפכו ליעילים יותר. באמצעות השווה והחלפה עבור טען-קישור/חנות-מותנהמסופק על ידי הארכיטקטורה המקבילה, אפשר לעשות משהו, אבל זה מאוד לא יעיל ומכוער כי תצטרך להתמודד עם שכבות של עקיפה. אני רוצה לשנות מילות זיכרון ואני צריך להחליף כי אני יכול לשנות רק מצביע אחד, אז הם צריכים להצביע על איזשהו מבנה דמוי ספרייה. דיברנו על כמה זה יהיה נהדר אם נוכל לשנות את החומרה כך שהיא תוכל לבצע הקלטה בו זמנית. נראה שאליוט שם לב לכך: אם אתה מסתכל על פרוטוקולי קוהרנטיות מטמון, הם כבר מספקים את רוב הפונקציונליות הנדרשת. בעסקה אופטימית, פרוטוקול קוהרנטיות המטמון יבחין שיש קונפליקט תזמון והמטמון יהפוך לא תקף. מה קורה אם אתה מריץ באופן ספקולטיבי עסקה במטמון שלך ומשתמש במנגנוני פרוטוקול הקוהרנטיות כדי לזהות התנגשויות? ארכיטקטורת חומרה ספקולטיבית הייתה קלה לתכנון. אז כתבנו את זה הפרסום הראשון לגבי זיכרון עסקה. במקביל, החברה בה עבדתי, Digital Equipment Corporation, יצרה מעבד חדש של 64 סיביות בשם Alpha. אז הלכתי ונתתי מצגת לקבוצת הפיתוח של אלפא על הזיכרון העסקאות המדהים שלנו והם שאלו: כמה הכנסה נוספת החברה שלנו תקבל אם נוסיף את כל זה ישירות למעבד? ולא הייתה לי שום תשובה לזה, כי אני טכנולוג, אני לא מומחה שיווק. באמת שלא היה לי מה לענות. הם לא מאוד התרשמו מכך שלא ידעתי כלום.

ויטלי: מיליארדים! רק תגיד מיליארדים!

מוריס: כן, זה מה שהייתי צריך לומר. עכשיו, בעידן הסטארטאפים והכל, אני יודע לכתוב תוכנית עסקית. שאתה יכול לשקר קצת לגבי גודל הרווח הפוטנציאלי שלך. אבל באותם ימים זה נראה תמים, אז פשוט אמרתי, "אני לא יודע." אם תסתכל על ההיסטוריה של הפרסום על זיכרון עסקאות, תבחין שאחרי שנה היו מספר התייחסויות אליו, ולאחר מכן במשך כעשר שנים איש לא ציטט את המאמר הזה כלל. הציטוטים הופיעו בסביבות 2004, כאשר הופיעו ריבוי ליבות אמיתיות. כשאנשים גילו שכתיבת קוד מקביל יכולה להרוויח כסף, החל מחקר חדש. ראווי רג'וואר כתב מאמר, שבדרך כלשהי הציג את המושג של זיכרון טרנזקציוני למיינסטרים. (הערת העורך: יש גרסה שנייה של מאמר זה, שפורסמה בשנת 2010 וזמינה באופן חופשי כ-PDF). פתאום אנשים הבינו איך בדיוק אפשר להשתמש בכל זה, איך אפשר להאיץ אלגוריתמים מסורתיים עם מנעולים. דוגמה טובה למשהו שבעבר נראה כמו בעיה אקדמית מעניינת בלבד. וכן, אם היית שואל אותי באותה תקופה אם אני חושב שכל זה יהיה חשוב בעתיד, הייתי אומר: כמובן, אבל מתי בדיוק לא ברור. אולי בעוד 50 שנה? בפועל, התברר שזה רק עשור. זה מאוד נחמד כשאתה עושה משהו ואחרי עשר שנים בלבד אנשים שמים לב לזה.

מדוע כדאי לערוך מחקר בתחום המחשוב המבוזר

ויטלי: אם נדבר על מחקר חדש, מה היית מייעץ לקוראים - מחשוב מבוזר או ריבוי ליבות ולמה? 

מוריס: בימינו קל להשיג מעבד מרובה ליבות, אבל קשה יותר להקים מערכת מבוזרת אמיתית. התחלתי לעבוד עליהם כי רציתי לעשות משהו שונה מתזה הדוקטורט שלי. זו העצה שאני תמיד נותן לסטודנטים חדשים: אל תכתוב המשך של עבודת הדוקטורט שלך - נסה ללכת לכיוון חדש. כמו כן, ריבוי השחלות קל. אני יכול להתנסות עם המזלג שלי שרץ על המחשב הנייד שלי בלי לקום מהמיטה. אבל אם פתאום ארצה ליצור מערכת מבוזרת אמיתית, אצטרך לעשות הרבה עבודה, למשוך תלמידים וכו'. אני אדם עצלן ומעדיף לעבוד על ריבוי ליבות. גם ניסוי במערכות מרובות ליבות קל יותר מאשר לערוך ניסויים במערכות מבוזרות, כי אפילו במערכת מבוזרת מטופשת יש יותר מדי גורמים שצריך לשלוט בהם.

ויטלי: מה אתה עושה עכשיו, חוקר בלוקצ'יין? לאילו מאמרים כדאי לשים לב קודם?

מוריס: הופיע לאחרונה מאמר טוב מאוד, שכתבתי יחד עם תלמידי, ויקראם שרף, במיוחד לשיחה ב כנס Tokenomcs בפריז לפני שלושה שבועות. זהו מאמר על מערכות מבוזרות מעשיות, בו אנו מציעים להפוך את Ethereum לרב-פתיל. נכון לעכשיו, חוזים חכמים (קוד שפועל על הבלוקצ'יין) מבוצעים ברצף. כתבנו מאמר קודם שדיבר על דרך להשתמש בעסקאות ספקולטיביות כדי להאיץ את התהליך. לקחנו הרבה רעיונות מזיכרון עסקאות תוכנה ואמרנו שאם תהפוך את הרעיונות האלה לחלק מהמחשב הוירטואלי של Etherium, אז הכל יעבוד מהר יותר. אך לשם כך יש צורך שלא יהיו התנגשויות נתונים בחוזים. ואז הנחנו שבחיים האמיתיים באמת אין קונפליקטים כאלה. אבל לא הייתה לנו דרך לגלות. ואז עלה בדעתנו שיש לנו כמעט עשור של היסטוריית חוזים אמיתית בידנו, אז זרקנו את הבלוקצ'יין של Ethereum ושאלנו את עצמנו: מה יקרה אם הרשומות ההיסטוריות הללו יבוצעו במקביל? מצאנו עלייה משמעותית במהירות. בימים הראשונים של Ethereum, המהירות עלתה מאוד, אבל היום הכל קצת יותר מסובך, כי יש פחות חוזים והסבירות להתנגשויות על נתונים שדורשים סדרה הפכה גבוהה יותר. אבל כל זה הוא עבודה ניסיונית עם נתונים היסטוריים אמיתיים. הדבר היפה בבלוקצ'יין הוא שהוא זוכר הכל לנצח, כך שנוכל לחזור אחורה בזמן וללמוד מה היה קורה אילו היינו משתמשים באלגוריתמים שונים כדי להפעיל את הקוד. איך אנשים בעבר היו אוהבים את הרעיון החדש שלנו? מחקר כזה הרבה יותר קל ומהנה לעשות, כי יש דבר שעוקב אחר הכל ומתעד הכל. זה כבר משהו שדומה יותר לסוציולוגיה מאשר לפיתוח אלגוריתמים.

האם התפתחות האלגוריתמים נעצרה ואיך ממשיכים הלאה?

ויטלי: הגיע הזמן לשאלה התיאורטית האחרונה! האם זה מרגיש כאילו ההתקדמות במבני נתונים תחרותיים הולכת ופוחתת מדי שנה? האם אתה חושב שהגענו לרמה בהבנת מבני נתונים או שיהיו כמה שיפורים משמעותיים? אולי יש כמה רעיונות חכמים שיכולים לשנות הכל לגמרי?

מוריס: ייתכן שהגענו לרמה במבני נתונים עבור ארכיטקטורות מסורתיות. אבל מבני נתונים עבור ארכיטקטורות חדשות הם עדיין תחום מבטיח מאוד. אם אתה רוצה ליצור מבני נתונים עבור, למשל, מאיצי חומרה, אז מבני הנתונים עבור GPU שונים מאוד ממבני הנתונים עבור CPU. כשאתה מפתח מבני נתונים עבור blockchains, אתה צריך לגיבב פיסות נתונים ואז להכניס אותם למשהו כמו עץ מרקל, כדי למנוע זיוף. לאחרונה חלה עלייה בפעילות בתחום זה, כאשר רבים עשו עבודה טובה מאוד. אבל אני חושב שמה שיקרה הוא שארכיטקטורות חדשות ויישומים חדשים יובילו למבני נתונים חדשים. יישומים מדור קודם וארכיטקטורה מסורתית - אולי אין יותר מקום לחקר. אבל אם תרדו מהשביל ותסתכלו מעבר לקצוות, תראו דברים מטורפים שהמיינסטרים לא לוקח ברצינות – שם באמת קורים כל הדברים המרגשים.

ויטלי: לכן, כדי להיות חוקר מאוד מפורסם, הייתי צריך להמציא את הארכיטקטורה שלי :)

מוריס: אתה יכול "לגנוב" את הארכיטקטורה החדשה של מישהו אחר - זה נראה הרבה יותר קל!

עובד באוניברסיטת בראון

ויטלי: האם תוכל לספר לנו יותר על אוניברסיטת בראוןאיפה אתה עובד? לא ידוע עליו הרבה בהקשר של טכנולוגיית מידע. פחות מ-MIT, למשל.

מוריס: אוניברסיטת בראון היא אחת האוניברסיטאות הוותיקות בארצות הברית. אני חושב שרק הרווארד קצת יותר מבוגר. בראון הוא חלק ממה שנקרא ליגת הקיסוס, שהוא אוסף של שמונה אוניברסיטאות הוותיקות ביותר. הרווארד, בראון, קורנל, ייל, קולומביה, דארטמות', פנסילבניה, פרינסטון. זו סוג של אוניברסיטה ותיקה, קטנה וקצת אריסטוקרטית. ההתמקדות העיקרית היא בחינוך לאמנויות ליברליות. זה לא מנסה להיות כמו MIT, MIT מאוד מיוחד וטכני. בראון הוא מקום נהדר ללמוד בו ספרות רוסית או יוונית קלאסית, וכמובן, מדעי המחשב. הוא מתמקד בחינוך מקיף. רוב התלמידים שלנו הולכים לפייסבוק, אפל, גוגל - אז אני חושב שלסטודנטים שלנו אין בעיה למצוא עבודה בתעשייה. הלכתי לעבוד בבראון כי עבדתי בעבר בתאגיד Digital Equipment בבוסטון. זו הייתה חברה שהמציאה הרבה דברים מעניינים, אבל הכחישה את חשיבות המחשבים האישיים. חברה עם גורל קשה, שמייסדיה היו פעם מהפכנים צעירים, הם לא למדו כלום ולא שכחו כלום, וכך הפכו תוך כתריסר שנים ממהפכנים לריאקציונרים. הם אהבו להתבדח שמחשבים אישיים שייכים למוסך - מוסך נטוש, כמובן. די ברור שהם הושמדו על ידי חברות גמישות יותר. כשהתברר שהחברה בבעיה, התקשרתי לחבר שלי מבראון, שנמצאת כשעה מחוץ לבוסטון. לא רציתי לעזוב את בוסטון באותו זמן כי לא היו הרבה מקומות פתיחה באוניברסיטאות אחרות. זו הייתה תקופה שבה לא היו כל כך הרבה משרות במדעי המחשב כמו שיש עכשיו. ולבראון היה פתח, לא הייתי צריך להעביר את הבית שלי, לא הייתי צריך להעביר את המשפחה שלי, ואני מאוד אוהב לגור בבוסטון! כך החלטתי ללכת לבראון. אני אוהב את זה. התלמידים נפלאים, אז אף פעם לא ניסיתי ללכת למקום אחר. במהלך השבתון עבדתי שנה במיקרוסופט, הלכתי לטכניון בחיפה לשנה ועכשיו אהיה באלגורנד. יש לי הרבה קולגות בכל מקום ולכן המיקום הפיזי של הכיתות שלנו לא כל כך חשוב. אבל הכי חשוב זה התלמידים, הם הכי טובים פה. מעולם לא ניסיתי ללכת למקום אחר כי אני די שמח כאן.

עם זאת, למרות תהילתו של בראון בארצות הברית, הוא לא מוכר בחו"ל באופן מפתיע. כפי שאתה יכול לראות, אני עושה כעת הכל כדי לתקן את המצב הזה.

ההבדל בין מחקר באוניברסיטה ובין תאגיד

ויטלי: אוקיי, השאלה הבאה היא לגבי ציוד דיגיטלי. היית שם בתור חוקר. מה ההבדל בין עבודה במחלקת מו"פ של חברה גדולה לעבודה באוניברסיטה? מהם היתרונות והחסרונות?

מוריס: במשך עשרים שנה עבדתי במיקרוסופט, עבדתי בצמוד לעובדים של סאן מיקרוסיסטמס, אורקל, פייסבוק ועכשיו אלגורנד. על סמך כל זה אני רוצה לומר שאפשר לערוך מחקר מהשורה הראשונה גם בחברות וגם באוניברסיטאות. ההבדל החשוב הוא שבחברה עובדים עם עמיתים. אם פתאום יש לי רעיון לפרויקט שעדיין לא קיים, אני חייב לשכנע את חבריי שזה רעיון טוב. אם אני בבראון, אז אני יכול להגיד לתלמידים שלי: בואו נעבוד על אנטי כבידה! או שהם יעזבו למישהו אחר או ייקחו על עצמם פרויקט. כן, אצטרך למצוא מימון, אצטרך לכתוב בקשה למענק וכן הלאה. בכל מקרה, תמיד יהיו הרבה תלמידים, ותוכלו לקבל החלטות באופן חד צדדי. אבל באוניברסיטה סביר להניח שלא תעבוד עם אנשים ברמה שלך. בעולם המחקר התעשייתי, ראשית עליך לשכנע את כולם שכדאי לקחת על עצמו את הפרויקט שלך. אני לא יכול להזמין שום דבר לאף אחד. ושתי דרכי העבודה הללו הן בעלות ערך, כי אם אתה עובד על משהו ממש מטורף וקשה לשכנע את הקולגות שלך, קל יותר לשכנע סטודנטים לתואר שני – במיוחד אם אתה משלם להם. אם אתה עובד על משהו שדורש הרבה ניסיון ומומחיות עמוקה, אז אתה צריך עמיתים שיוכלו להגיד "לא, במקרה אני מבין בתחום הזה והרעיון שלך גרוע, זה לא יעבוד". זה מאוד שימושי מבחינת בזבוז זמן. כמו כן, אם במעבדות תעשייתיות אתה מבלה זמן רב בכתיבת דוחות, אז באוניברסיטה אתה מבלה את הזמן הזה בניסיון למצוא כסף. אם אני רוצה שסטודנטים יוכלו ללכת למקום אחר, אני צריך למצוא את הכסף בשביל זה במקום אחר. וככל שתפקידך באוניברסיטה חשוב יותר, כך יש לך יותר זמן להשקיע באיסוף כסף. אז עכשיו אתם יודעים בשביל מה אני עובד - קבצן מקצועי! כמו אחד מאותם נזירים שמסתובבים עם צלחת מנחה. באופן כללי, שתי הפעילויות הללו משלימות זו את זו. לכן אני מנסה לחיות ולשמור רגליים על הקרקע בשני העולמות.

ויטלי: נראה שקשה יותר לשכנע חברה מאשר לשכנע מדענים אחרים.

מוריס: יותר קשה, והרבה יותר. יתרה מכך, בתחומים שונים זה שונה: חלקם עורכים מחקר בקנה מידה מלא, בעוד שאחרים מתמקדים בנושא שלהם. אם הייתי הולך למיקרוסופט או לפייסבוק ואומר: בואו נעשה אנטי כבידה, הם בקושי יעריכו את זה. אבל אם הייתי אומר בדיוק את אותו הדבר לסטודנטים שלי לתואר שני, סביר להניח שהם יגיעו לעבודה מיידית, למרות שעכשיו יהיו לי בעיות - אחרי הכל, אני צריך למצוא כסף לזה. אבל כל עוד אתה רוצה לעשות משהו שמתאים למטרות החברה, החברה הזו יכולה להיות מקום טוב מאוד לעשות בו מחקר.

הידרה ו-SPTDC

ויטלי: השאלות שלי מגיעות לסיומן, אז בואו נדבר קצת על הטיול הקרוב לרוסיה.

מוריס: כן, אני מצפה לחזור לסנט פטרסבורג.

אלכסיי: לכבוד הוא לי שאתה איתנו השנה. זו הפעם השנייה שלך בסנט פטרסבורג, נכון?

מוריס: כבר השלישי!

אלכסיי: אני מבין, אבל SPTDC - בהחלט השני. בפעם האחרונה התקשרו לבית הספר SPTCC, שינינו כעת אות אחת (C ל-D, במקביל למבוזר) כדי להדגיש שיש עוד תחומים הקשורים ספציפית למחשוב מבוזר השנה. האם תוכל לומר כמה מילים על הדוחות שלך בבית הספר ו כנס הידרה?

מוריס: בבית הספר אני רוצה לדבר על היסודות של בלוקצ'יין ומה אתה יכול לעשות איתו. ברצוני להראות ש- blockchains דומים מאוד לתכנות רב-הליכיים שאנו מכירים, אך עם ניואנסים משלהם, וחשוב להבין את ההבדלים הללו. אם אתה עושה טעות באפליקציית אינטרנט רגילה, זה פשוט מעצבן. אם תכתוב קוד באגי באפליקציה פיננסית, מישהו בהחלט יגנוב את כל הכסף שלך. אלו רמות שונות לחלוטין של אחריות והשלכות. אדבר קצת על הוכחת עבודה, על חוזים חכמים, על עסקאות בין בלוקצ'יין שונים.

לצידי יעבדו עוד דוברים שיש להם גם מה להגיד על בלוקצ'יין, והסכמנו לתאם זה עם זה כדי שהסיפורים שלנו ישתלבו היטב. אבל לדו"ח ההנדסי, אני רוצה לספר לקהל רחב הסבר מובן למה אתה לא צריך להאמין לכל מה שאתה שומע על בלוקצ'יין, למה בלוקצ'יין זה תחום נהדר, איך זה משתלב עם רעיונות ידועים אחרים, ולמה אנחנו צריכים להסתכל באומץ אל העתיד.

אלכסיי: בנוסף, אני רוצה לומר שזה לא יתקיים בפורמט של מפגש או קבוצת משתמשים, כפי שהיה לפני שנתיים. החלטנו לקיים כנס קטן ליד בית הספר. הסיבה היא שלאחר שתקשרנו עם פיטר קוזנצוב, הבנו שבית הספר מוגבל למאה, אולי 120 איש בלבד. יחד עם זאת, יש הרבה מהנדסים שרוצים לתקשר איתך, להשתתף במצגות, ובכלל מתעניינים בנושא. מסיבה זו יצרנו כנס חדש שנקרא הידרה. אגב, יש רעיונות למה הידרה?

מוריס: כי יהיו שבעה דוברים? ואפשר לכרות את ראשם, ובמקומם יצמחו רמקולים חדשים?

אלכסיי: רעיון מצוין לגידול רמקולים חדשים. אבל למעשה, יש כאן סיפור. זכור את האגדה על אודיסאוס, שם הוא נאלץ להפליג ביניהם סקילה וחריבדיס? הידרה היא משהו כמו צ'ריבדיס. הסיפור הוא שפעם דיברתי בכנס ודיברתי על ריבוי שרשורים. היו רק שני מסלולים בכנס הזה. בתחילת הדיווח אמרתי לקהל באולם שעכשיו יש להם בחירה בין סקילה לשאריבדיס. חיית הרוח שלי היא חריבדיס כי לחריבדיס יש הרבה ראשים והנושא שלי הוא ריבוי פתילים. כך מופיעים שמות הכנסים.

בכל מקרה, נגמרו לנו השאלות והזמן. אז, תודה לכם, חברים, על ראיון נהדר, ולהתראות בבית הספר SPTDC והידרה 2019!

אתה יכול להמשיך את השיחה שלך עם מוריס בכנס הידרה 2019, שיתקיים ב-11-12 ביולי 2019 בסנט פטרסבורג. הוא יבוא עם דו"ח "שרשראות בלוק והעתיד של מחשוב מבוזר". ניתן לרכוש כרטיסים באתר הרשמי.

מקור: www.habr.com