「請求已經過期」:Alexey Fedorov 關於分散式系統新會議

「請求已經過期」:Alexey Fedorov 關於分散式系統新會議

最近有 宣告 關於多執行緒和分散式系統的開發同時舉行兩個活動:會議 水潤 (11月12日至XNUMX日)及學校 斯普頓發展中心 (8 月 12 日至 XNUMX 日)。熟悉這個話題的人都知道,來俄羅斯 萊斯利·蘭波特, 莫里斯·赫利希 и 麥可·斯科特 - 最重要的事件。但其他問題又出現了:

  • 對會議有何期待:「學術」還是「生產」?
  • 學校和會議有什麼關係?這個那個是針對誰的?
  • 為什麼它們的日期重疊?
  • 它們對於那些沒有將一生奉獻給分散式系統的人有用嗎?

這一切對於賦予九頭蛇生命的人來說是眾所周知的:我們的導演 阿列克謝·費多羅夫 (23代雷沃)。他回答了所有的問題。

格式

— 對於那些遠離分散式系統的人來說,這是一個介紹性問題:這兩個事件都是關於什麼的?

— 全球挑戰是,我們周圍存在大量操作和複雜計算任務的服務,這些服務無法在一台電腦上完成。這意味著必須有幾輛車。然後出現的問題是如何正確同步他們的工作以及在可靠性不高的情況下(因為設備故障和網路中斷)該怎麼辦。

機器越多,故障點越多。如果相同的計算不同的機器產生不同的結果怎麼辦?如果網路消失一段時間,部分計算變得孤立怎麼辦,那麼如何將它們全部結合起來呢?一般來說,有一百萬個與此相關的問題。新的解決方案-新的問題。

這個領域有完全應用的領域,也有比較科學的領域──還沒有成為主流。我想談談實踐和科學中正在發生的事情,最重要的是,它們的結合點。這就是第一屆 Hydra 會議的主題。

— 我想了解有一個會議,還有一個暑期學校。它們有何關係?如果學校與會者參加會議有折扣,那麼為什麼他們的日期重疊,以至於不可能一次參加所有會議而沒有損失呢?

— 該學校是一個可容納 100-150 人的室內活動,來自世界各地的頂尖專家前來授課,為期五天。當世界級的名人齊聚聖彼得堡五天,準備講述一些事情時,就會出現一種情況。在這種情況下,我們決定不僅組織一所室內學校,還組織一次更大規模的會議。

這樣的學校只能在夏天、七月舉辦,因為這些專家中有現任大學教授,他們在其他時間根本還沒準備好:他們有學生、文憑、講座等等。學校的上課形式為五個工作天。眾所周知,夏天的周末人們喜歡去某個地方。這意味著我們不能在放學前的周末或放學後的周末舉行會議。

如果您在週末之前或之後再延長幾天,專家在聖彼得堡的停留時間將神奇地變成九天。他們還沒有為此做好準備。

因此,我們找到的唯一解決方案就是乾脆與學校同時舉辦會議。是的,這會產生一些問題。有些人想去學校和參加會議,他們將不得不錯過這裡或那裡的一些講座。好消息是,這一切都將在鄰近的大廳進行,你可以來回奔跑。另一個好處是可以使用視訊記錄,您可以在以後平靜地觀看您錯過的內容。

— 當兩件事同時發生時,人們會問“我更需要哪一個?”究竟該對每種產品有何期望,又有哪些差異?

— 學校是純粹的學術活動,是為期數天的經典科學學校。任何接觸過科學並與研究所有過接觸的人都知道什麼是學術學院。

「請求已經過期」:Alexey Fedorov 關於分散式系統新會議

通常,由於舉辦活動的人員缺乏活動專業知識,這類學術活動組織得不是很好。但我們仍然是非常有經驗的人,所以我們可以很好地完成所有事情。我認為,從組織的角度來看,SPTDC 將遠遠超過你所見過的任何學術或研究型學校。

學校 - 在這種格式中,每個大型講座都以兩對形式閱讀:“一個半小時​​ - 休息 - 一個半小時​​。”你要明白,對於第一次參加的人來說,這可能並不容易:兩年前第一次舉辦這個學校時,我自己就很不尋常,大約在雙講的中間,我多次關機,而且然後就很難理解發生了什麼事。但這很大程度取決於講師:一個好的講師在三個小時裡講得非常有趣。

九頭蛇會議 - 更實際的活動。將有多位科學界傑出人物到學院講學: 萊斯利·蘭波特,其工作奠定了多執行緒和分散式系統理論的基礎, 莫里斯·赫利希著名並發教材《多處理器程式設計的藝術》的作者之一。但在會議上我們將嘗試談論某些演算法在現實中是如何實現的,工程師在實踐中面臨哪些問題,誰成功了誰失敗了,為什麼有些演算法在實踐中使用而有些則沒有。當然,我們來談談多線程和分散式系統的發展前景。也就是說,我們將提供這樣的前沿:世界科學現在正在談論什麼,領先工程師的想法圍繞著什麼,以及這一切如何結合在一起。

——由於會議的應用性更強,是不是不僅有學術界的大咖,還有來自「生產」的演講者?

- 確實。我們正在嘗試著眼於所有「大公司」:Google、Netflix、Yandex、Odnoklassniki、Facebook。有一些具體的有趣的問題。例如,每個人都說:“Netflix 是一個分散式系統,幾乎占美國流量的一半,非常酷”,當你開始查看他們的實際報告、文章和出版物時,會產生輕微的失望。因為,雖然這確實是世界級的,並且有尖端技術,但它比乍看之下要少。

一個有趣的困境出現了:您可以致電大型知名公司的代表,也可以致電我們已經認識的人。事實上,專業知識無所不在。我們不是想吸引“來自大品牌的人”,而是吸引非常大的專家、特定的人。

例如,馬丁·克萊普曼 (Martin Kleppmann) 曾在 LinkedIn 上引起轟動,並發布了 好書 ——也許是分散式系統領域的基礎書籍之一。

— 如果一個人不在Netflix 工作,而是在一家更簡單的公司工作,他可能會想:「我應該去參加這樣的會議嗎?還是有各種各樣的Netflix 互相交談,但我卻無事可做做?”

— 我會這樣說:當我在 Oracle 工作三年多一點的時候,當同事們聚集在那裡製作 Java 平台的某些部分時,我在廚房和吸煙室聽到了最令人驚奇和有趣的事情。這些人可能是來自虛擬機器、測試部門或性能並發部門的人員,例如 Lyosha Shipilev 和 Seryozha Kuksenko。

當他們開始討論一些事情時,我通常只是張著嘴聽。對我來說,這些都是令人驚奇和意想不到的事情,我甚至沒有想到。當然,一開始我90%都聽不懂他們在說什麼。然後80%就變得難以理解了。當我做完作業並讀了幾本書後,這個數字下降到了 70%。我仍然不明白他們之間談論的很多內容。但當我端著一杯咖啡坐在角落偷聽時,我開始有點明白發生了什麼事。

因此,當 Google、Netflix、LinkedIn、Odnoklassniki 和 Yandex 相互交談時,這並不意味著它是不可理解和無趣的。相反,我們必須仔細聆聽,因為這是我們的未來。

當然,有些人不需要這一切。如果你不想在這個主題上發展,你就不需要去這個會議,你只是在那裡浪費時間。但如果這個主題很有趣,但你對此一無所知或只是看看它,那麼你應該來,因為你在任何地方都找不到類似的東西。而且,我認為不僅在俄羅斯,而且在世界範圍內。我們正在努力舉辦一次會議,不僅成為俄羅斯這個主題的領導者,而且總體上成為世界第一。

這不是最簡單的任務,但是當我們有如此難得的機會聚集來自世界各地的強大演講者時,我願意付出很多來實現這一目標。當然,我們邀請參加第一次九頭蛇的一些人將無法參加。但我要說的是:我們從來沒有以如此強大的陣容開辦過新的會議。也許除了六年前的第一個 JPoint。

——我想擴展一下「這就是我們的未來」這句話:這個話題以後會影響那些今天不思考這個問題的人嗎?

- 是的,我確定。因此,在我看來,盡快開始討論是非常正確的。例如,多線程理論很久以前就出現了(在70年代,工作已經如火如荼地發表),但很長一段時間他們都是狹隘的專家,直到第一台用戶雙核計算機出現10年代初。現在我們都有多核心伺服器、筆記型電腦甚至手機,這是主流。大約花了十年的時間,這種說法才變得普遍,人們才明白這種言論並非狹隘的專家圈的範疇。

我們現在在分散式系統中看到了大致相同的情況。因為像是負載分配、容錯之類的基本解決方案已經做了相當長的時間了,但是很少人知道什麼是分散式共識或Paxos。

我為本次活動設定的最重要目標之一是讓工程師越來越多地沉浸在這次討論中。您需要了解,在會議上不僅討論了一些主題和解決方案,而且還出現了一個同義詞庫 - 一個統一的概念工具。

我認為我的任務是創建一個平台,讓每個人都可以討論這一切,分享經驗和意見。這樣你我就可以對一種演算法的作用、另一種演算法的作用、哪一種演算法在什麼條件下比較好、它們之間的關係等有共同的理解。

一個非常有趣的事情與同多個線程有關。當我們來自 Oracle 的朋友(主要是 Lesha Shipilev 和 Sergey Kuksenko)開始積極談論效能,特別是多線程時,實際上兩三年後,這些問題開始在公司面試中被問到,人們開始在吸煙室。也就是說,原本屬於狹隘專家的事情突然變成了主流。

這是非常正確的。在我看來,我們幫助這些人普及了整個問題,這非常重要、有用且有趣。如果以前沒有人考慮過 Java 伺服器如何並行處理請求,那麼現在人們至少在某種程度上了解了它的工作原理。那太好了。

我現在看到的任務是對分散式系統進行大致相同的操作。讓大家大致了解它是什麼,它從哪裡來,有什麼任務和問題,這樣也成為主流。

公司對懂這方面的人的需求很大,但這樣的人很少。我們圍繞這些內容創造的內容和從中學習的機會越多,我們給人們提出問題的機會就越多,我們就越有可能朝著這個方向前進。

——會議雖然是第一次舉辦,但學校並不是第一次。這一切是如何產生與發展的?

- 這是一個有趣的故事。兩年前,2017 年 XNUMX 月,我們和 Nikita Koval 一起坐在基輔(恩科瓦爾),多線程領域的專家。他告訴我它將在聖彼得堡舉行 “並發計算實踐與理論暑期學校”.

在我過去三年的工程生涯中,多執行緒程式設計主題一直是一個非常有趣的主題。然後事實證明,在夏天,非常非常有名的人來到聖彼得堡,據報道,莫里斯·赫利希和尼爾·沙維特也是如此。 教科書 我研究過的。我的許多朋友都與此有關 - 例如,Roma Elizarov(埃利扎羅夫)。我意識到我根本不能錯過這樣的活動。

當我們清楚知道學校 2017 年的課程將會很棒時,就產生了將講座錄製成影片的想法。我們 JUG.ru 團體完全了解如何錄製此類講座。我們是 SPTCC 的一員,為學校製作了影片。結果,所有學校的講座 說謊 在我們的 YouTube 頻道上。

我開始與這所學校的主要思想家和組織者彼得·庫茲涅佐夫以及在聖彼得堡幫助組織這一切的維塔利·阿克謝諾夫進行交流。我意識到這非常酷而且有趣,但也許只有 100 名參與者才能感受到它的美麗,這可能是非常糟糕的。

當彼得認為他需要重新開始上學時(2018 年沒有精力和時間,所以他決定在 2019 年這樣做),很明顯,我們可以透過簡單地從他身上移除所有組織性的東西來幫助他。這就是現在正在發生的事情,彼得處理內容,我們做其他一切。這似乎是正確的計劃:彼得可能對這個計劃更感興趣,而不是「每個人何時何地吃午餐」。我們擅長與大廳、場館等合作。

這次,學校不再叫SPTCC,而是叫SPTDC,不是“並發運算”,而是“分散式運算”。因此,大致的差異就是:上次在學校他們沒有講分散式系統,但這次我們會積極地講分散式系統。

——由於學校不是第一次舉辦,我們已經可以從過去得出一些結論。上次發生什麼事了?

— 兩年前第一所學校創建時,預計會舉辦一場學術活動,主要是學生感興趣的。而且,學生來自世界各地,因為學校只有英語,所以預計會有相當多的外國學生來。

事實上,很多工程師都來自Yandex這樣的俄羅斯大公司。潘金 (Andrey Pangin)阿潘金)來自 Odnoklassniki,JetBrains 的一些人正在積極研究這個主題。總的來說,那裡有很多我們合作夥伴公司的熟悉面孔。我一點也不驚訝,我完全理解他們為什麼要來這裡。

其實組織者本來期望學院裡有學術界的人,但是突然工業界的人來了,然後我就清楚地意識到工業界有需求。

如果一個幾乎沒有在任何地方宣傳的活動,輕輕一按,就聚集了成年人的觀眾,那就意味著確實有興趣。在我看來,關於這個主題的請求已經過期了。

「請求已經過期」:Alexey Fedorov 關於分散式系統新會議
Maurice Herlihy 在 JUG.ru 會議上

— 除了學校之外,Maurice Herlihy 還於 2017 年在聖彼得堡的 JUG.ru 會議上發表了講話, 告訴過 關於事務性內存,這更接近於會議格式。誰來了——通常來 JUG.ru 聚會的人,還是不同的觀眾?

— 這很有趣,因為我們知道 Maurice 會有一份一般性報告,而不是特定於 Java 的報告,而且我們發布的公告比通常為 JUG 新聞訂閱者發布的公告要廣泛一些。

我認識的很多人都來自與 Java 無關的社群:來自 .NET 人群、來自 JavaScript 人群。因為事務記憶體的主題並不涉及特定的開發技術。當世界級的專家來談論事務性記憶時,錯過聆聽這樣的人並向他提問的機會簡直就是犯罪。當你正在學習的書的人來找你並告訴你一些事情時,它只會給你留下深刻的印象。簡直太棒了。

——結果回饋如何?這種方法對於業內人士來說是否過於學術和難以理解?

——對赫利希報告的評價很好。人們寫道,他非常簡單明了地表達了一位學術教授所不期望的內容。但我們必須明白,我們邀請他是有原因的,他是一位世界著名的專家,擁有豐富的演講經驗和大量書籍和文章的背景。而且,他可能在許多方面因向人們傳達材料的能力而出名。因此,這並不奇怪。

他說著正常、易懂的英語,當然,他對自己所說的內容也有很好的理解。也就是說,你絕對可以問他任何問題。基本上,人們抱怨我們給莫里斯做報告的時間太少了:兩個小時對於這樣的事情來說是不夠的,至少還需要兩個小時。好吧,我們在兩個小時內完成了我們的任務。

動機

— 通常 JUG.ru 集團處理大型活動,但這個主題似乎更專業化。為什麼決定接受它?是否願意舉辦一個較小的活動,或者是否可以聚集許多觀眾來討論這樣的話題?

— 事實上,當你舉辦一個活動並設定一定程度的討論時,總是會出現這樣的問題:這種討論的範圍有多大。有多少人(十人、一百人或一千人)對此感興趣?質量和深度之間需要權衡。這是一個完全正常的問題,每個人解決問題的方式都不同。

在這種情況下,我想讓這個活動「為我自己」。我仍然對多線程有所了解(我在會議上就這個主題進行了講座,並多次告訴學生一些事情),但在分散式系統方面我是一個新手:我讀過一些文章並看過一些講座,但沒有甚至一本完整的書也讀過它。

我們有一個由該領域的專家組成的計劃委員會,他們可以評估報告的準確性。就我而言,我正在努力使這次活動成為我雖然缺乏專業知識但願意參加的活動。我不知道是否能夠引起​​大眾的興趣。這或許還不是本次活動現階段最重要的任務。現在更重要的是在短時間內打造出最強的節目。

或許,現在我給團隊設定的任務不是“第一次聚集一千人”,而是“讓會議出現”。這聽起來可能不太務實,而且有些天真,儘管我根本不是一個利他主義者。但有時我可以給自己一些自由。

有些東西比金錢重要,也比金錢重要。我們已經為千人或更多人舉辦了大量很酷的大型活動。我們的Java會議早已超過了千人,現在其他活動也都在跳過這個欄位。也就是說,我們已經成為經驗豐富、著名的組織者的問題已經不值得了。而且,也許我們從這些活動中獲得的收入讓我們有機會再投資於我們感興趣的事情,在這種情況下,對我個人而言。

透過舉辦這次活動,我違背了我們組織的一些原則。例如,我們通常會嘗試提前很長時間準備會議,但現在我們的截止日期非常緊迫,我們在會議前一個月就完成了計劃。

本次活動將有 70-80% 英語進行。在這裡,也總是會出現這樣的討論:我們是否需要更接近人們(當大多數報告都是俄語時,他們更好地理解它)或整個世界(因為技術世界是英語)。我們通常嘗試用俄語做很多報道。但不是現在。

此外,我們也會要求一些講俄語的人用英語發言。從某種意義上來說,這是一種絕對反使用者、不人道的做法。但我們必須明白,目前還沒有關於這個主題的俄語文獻,任何對此感興趣的人都被迫閱讀英文版。這意味著他在某種程度上能夠理解英語。如果就 JavaScript、Java 或 .NET 而言,有很多人不太懂英語,但同時又能很好地編程,那麼分散式系統可能是一個沒有其他領域的領域。現在學習的方法。

我真的很想進行這個實驗:俄羅斯大眾將如何看待 70-80% 英語的活動。它會進來還是不進來?我們事先不知道這一點,因為我們從未這樣做過。但為什麼不這麼做呢?這麼說吧,這是一個我忍不住想嘗試的大型實驗。

SPTDC 學校計畫已經 發表 完全如此,就九頭蛇而言已經 已知 一個引人注目的部分,很快我們將發布整個會議計劃的分析。

來源: www.habr.com

添加評論