“请求已经过期”:Alexey Fedorov 关于分布式系统新会议

“请求已经过期”:Alexey Fedorov 关于分布式系统新会议

最近有 宣布 关于多线程和分布式系统的开发同时举行两个活动:会议 水润 (11月12日至XNUMX日)和学校 斯普顿发展中心 (8 月 12 日至 XNUMX 日)。熟悉这个话题的人都知道,来俄罗斯 莱斯利·兰波特, 莫里斯·赫利希 и 迈克尔·斯科特 - 最重要的事件。但其他问题又出现了:

  • 对会议有何期待:“学术”还是“生产”?
  • 学校和会议有什么关系?这个那个是针对谁的?
  • 为什么它们的日期重叠?
  • 它们对于那些没有将一生奉献给分布式系统的人有用吗?

这一切对于赋予九头蛇生命的人来说是众所周知的:我们的导演 阿列克谢·费多罗夫 (23代雷沃)。他回答了所有的问题。

格式

— 对于那些远离分布式系统的人来说,这是一个介绍性问题:这两个事件都是关于什么的?

— 全球挑战是,我们周围存在大量操作和复杂计算任务的服务,这些服务无法在一台计算机上完成。这意味着必须有几辆车。然后出现的问题是如何正确同步他们的工作以及在可靠性不高的情况下(因为设备故障和网络中断)该怎么办。

机器越多,故障点就越多。如果相同的计算不同的机器产生不同的结果怎么办?如果网络消失一段时间,部分计算变得孤立怎么办,那么如何将它们全部结合起来呢?一般来说,有一百万个与此相关的问题。新的解决方案-新的问题。

这个领域有完全应用的领域,也有比较科学的领域——还没有成为主流。我想谈谈实践和科学中正在发生的事情,最重要的是,它们的结合点。这就是第一届 Hydra 会议的主题。

— 我想了解有一个会议,还有一个暑期学校。它们有何关系?如果学校与会者参加会议有折扣,那么为什么他们的日期重叠,以至于不可能一次参加所有会议而没有损失呢?

— 该学校是一个可容纳 100-150 人的室内活动,来自世界各地的顶尖专家前来授课,为期五天。当世界级的名人齐聚圣彼得堡五天,准备讲述一些事情时,就会出现一种情况。在这种情况下,我们决定不仅组织一所室内学校,而且还组织一次更大规模的会议。

这样的学校只能在夏天、七月举办,因为这些专家中有现任大学教授,他们在其他时间根本没有准备好:他们有学生、文凭、讲座等等。学校的上课形式为五个工作日。众所周知,夏天的周末人们喜欢去某个地方。这意味着我们不能在放学前的周末或放学后的周末举行会议。

如果您在周末之前或之后再延长几天,那么专家在圣彼得堡的停留时间将神奇地变成九天。他们还没有为此做好准备。

因此,我们找到的唯一解决办法就是干脆与学校同时举办会议。是的,这会产生一些问题。有些人想去学校和参加会议,他们将不得不错过这里或那里的一些讲座。好消息是,这一切都将在邻近的大厅进行,你可以来回奔跑。另一个好处是可以使用视频记录,您可以在以后平静地观看您错过的内容。

— 当两件事同时发生时,人们会问“我更需要哪一个?”您究竟应该对每种产品有何期望,又有哪些差异?

— 学校是一个纯粹的学术活动,是为期几天的经典科学学校。任何接触过科学并与研究生院有过接触的人都知道什么是学术学院。

“请求已经过期”:Alexey Fedorov 关于分布式系统新会议

通常,由于举办活动的人员缺乏活动专业知识,此类学术活动组织得不是很好。但我们仍然是非常有经验的人,所以我们可以很好地完成所有事情。我认为,从组织的角度来看,SPTDC 将远远超过你见过的任何学术或研究型学校。

学校 - 在这种格式中,每个大型讲座都以两对形式阅读:“一个半小时 - 休息 - 一个半小时。”你要明白,对于第一次参加的人来说,这可能并不容易:两年前第一次举办这个学校时,我自己就很不寻常,大约在双讲的中间,我多次关机,并且然后就很难理解发生了什么。但这很大程度上取决于讲师:一个好的讲师在三个小时里讲得非常有趣。

九头蛇会议 - 更实际的活动。将有多位科学界杰出人物来学院讲学: 莱斯利·兰波特,其工作奠定了多线程和分布式系统理论的基础, 莫里斯·赫利希著名并发教材《多处理器编程的艺术》的作者之一。但在会议上我们将尝试谈论某些算法在现实中是如何实现的,工程师在实践中面临哪些问题,谁成功了谁失败了,为什么有些算法在实践中使用而另一些则没有。当然,我们来谈谈多线程和分布式系统的发展前景。也就是说,我们将提供这样的前沿:世界科学现在正在谈论什么,领先工程师的想法围绕什么,以及这一切如何结合在一起。

——由于会议的应用性更强,是不是不仅有学术界的大咖,还有来自“生产”的演讲者?

- 确实。我们正在尝试着眼于所有“大公司”:Google、Netflix、Yandex、Odnoklassniki、Facebook。有一些具体的有趣的问题。例如,每个人都说:“Netflix 是一个分布式系统,几乎占美国流量的一半,非常酷”,当你开始查看他们的实际报告、文章和出版物时,会产生轻微的失望。因为,虽然这确实是世界级的,并且有尖端技术,但它比乍一看要少。

一个有趣的困境出现了:您可以致电大型知名公司的代表,也可以致电我们已经认识的人。事实上,专业知识无处不在。我们并不是想吸引“来自大品牌的人”,而是吸引非常大的专家、特定的人。

例如,马丁·克莱普曼 (Martin Kleppmann) 曾在 LinkedIn 上引起轰动,并发布了 好书 ——也许是分布式系统领域的基础书籍之一。

— 如果一个人不在 Netflix 工作,而是在一家更简单的公司工作,他可能会想:“我应该去参加这样的会议吗?还是有各种各样的 Netflix 互相交谈,但我却无事可做?”

— 我会这么说:当我在 Oracle 工作三年多一点的时候,当同事们聚集在那里制作 Java 平台的某些部分时,我在厨房和吸烟室听到了最令人惊奇和有趣的事情。这些人可能是来自虚拟机、测试部门或性能并发部门的人员,例如 Lyosha Shipilev 和 Seryozha Kuksenko。

当他们开始讨论一些事情时,我通常只是张着嘴听。对我来说,这些都是令人惊奇和意想不到的事情,我什至没有想到过。当然,一开始我90%都听不懂他们在说什么。然后80%就变得难以理解了。当我做完作业并读了几本书后,这个数字下降到了 70%。我仍然不明白他们之间谈论的很多内容。但当我端着一杯咖啡坐在角落里偷听时,我开始有点明白发生了什么。

因此,当 Google、Netflix、LinkedIn、Odnoklassniki 和 Yandex 相互交谈时,这并不意味着它是不可理解和无趣的。相反,我们必须仔细聆听,因为这是我们的未来。

当然,有些人不需要这一切。如果你不想在这个主题上发展,你就不需要去这个会议,你只是在那里浪费时间。但如果这个话题很有趣,但你对此一无所知或只是看看它,那么你应该来,因为你在任何地方都找不到类似的东西。而且,我认为不仅在俄罗斯,而且在世界范围内。我们正在努力举办一次会议,不仅成为俄罗斯这一主题的领导者,而且总体上成为世界第一。

这不是最简单的任务,但是当我们有如此难得的机会聚集来自世界各地的强大演讲者时,我愿意付出很多来实现这一目标。当然,我们邀请参加第一次九头蛇的一些人将无法参加。但我要说的是:我们从来没有以如此强大的阵容开办过新的会议。也许除了六年前的第一个 JPoint。

——我想扩展一下“这就是我们的未来”这句话:这个话题以后会影响那些今天不思考这个问题的人吗?

- 是的,我确定。因此,在我看来,尽快开始讨论是非常正确的。例如,多线程理论很久以前就出现了(在70年代,工作已经如火如荼地发表),但很长一段时间他们都是狭隘的专家,直到第一台用户双核计算机出现10年代初。现在我们都有多核服务器、笔记本电脑甚至手机,这是主流。大约花了十年的时间,这种说法才变得普遍,人们才明白这种言论并非狭隘的专家圈子的范畴。

我们现在在分布式系统中看到了大致相同的情况。因为像负载分配、容错之类的基本解决方案已经做了相当长的时间了,但是很少有人知道什么是分布式共识或Paxos。

我为本次活动设定的最重要目标之一是让工程师越来越多地沉浸在这次讨论中。您需要了解,在会议上不仅讨论了一些主题和解决方案,而且还出现了一个同义词库 - 一个统一的概念工具。

我认为我的任务是创建一个平台,让每个人都可以讨论这一切,分享经验和意见。这样你我就可以对一种算法的作用、另一种算法的作用、哪种算法在什么条件下更好、它们之间的关系等有共同的理解。

一个非常有趣的事情与同多线程有关。当我们来自 Oracle 的朋友(主要是 Lesha Shipilev 和 Sergey Kuksenko)开始积极谈论性能,特别是多线程时,实际上两三年后,这些问题开始在公司面试中被问到,人们开始在吸烟室。也就是说,原本属于狭隘专家的事情突然变成了主流。

这是非常正确的。在我看来,我们帮助这些人普及了整个问题,这非常重要、有用且有趣。如果以前没有人考虑过 Java 服务器如何并行处理请求,那么现在人们至少在某种程度上了解了它的工作原理。那太好了。

我现在看到的任务是对分布式系统进行大致相同的操作。让大家大致了解它是什么,它从哪里来,有什么任务和问题,这样也成为主流。

公司对懂这方面的人的需求很大,但这样的人很少。我们围绕这些内容创造的内容和从中学习的机会越多,我们给人们提出问题的机会就越多,我们就越有可能朝这个方向前进。

史前

——会议虽然是第一次举办,但学校并不是第一次。这一切是如何产生和发展的?

- 这是一个有趣的故事。两年前,2017 年 XNUMX 月,我们和 Nikita Koval 一起坐在基辅(恩科瓦尔),多线程领域的专家。他告诉我它将在圣彼得堡举行 “并发计算实践与理论暑期学校”.

在我过去三年的工程生涯中,多线程编程主题一直是一个非常有趣的主题。然后事实证明,在夏天,非常非常有名的人来到圣彼得堡,据报道,莫里斯·赫利希和尼尔·沙维特也是如此。 教科书 我研究过的。我的许多朋友都与此有关 - 例如,Roma Elizarov(埃利扎罗夫)。我意识到我根本不能错过这样的活动。

当我们清楚地知道学校 2017 年的课程将会很棒时,就产生了将讲座录制成视频的想法。我们 JUG.ru 集团完全了解如何录制此类讲座。我们是 SPTCC 的一员,为学校制作了视频。结果,所有学校的讲座 谎言 在我们的 YouTube 频道上。

我开始与这所学校的主要思想家和组织者彼得·库兹涅佐夫以及在圣彼得堡帮助组织这一切的维塔利·阿克谢诺夫进行交流。我意识到这非常酷而且有趣,但也许只有 100 名参与者才能感受到它的美丽,这可能是非常糟糕的。

当彼得认为他需要重新开始上学时(2018 年没有精力和时间,所以他决定在 2019 年这样做),很明显,我们可以通过简单地从他身上移除所有组织性的东西来帮助他。这就是现在正在发生的事情,彼得处理内容,我们做其他一切。这似乎是正确的计划:彼得可能对这个计划更感兴趣,而不是“每个人何时何地吃午饭”。我们擅长与大厅、场馆等合作。

这次,学校不再叫SPTCC,而是叫SPTDC,不是“并发计算”,而是“分布式计算”。因此,大致的区别是:上次在学校他们没有谈论分布式系统,但这次我们将积极谈论它们。

——由于学校不是第一次举办,我们已经可以从过去得出一些结论。上次发生什么事了?

— 两年前第一所学校创建时,预计会举办一场学术活动,主要是学生感兴趣的。而且,学生来自世界各地,因为学校只有英语,所以预计会有相当多的外国学生来。

事实上,很多工程师都来自Yandex这样的俄罗斯大公司。安德烈·潘金 (Andrey Pangin)阿潘金)来自 Odnoklassniki,JetBrains 的一些人正在积极研究这个主题。总的来说,那里有很多我们合作伙伴公司的熟悉面孔。我一点也不惊讶,我完全理解他们为什么来这里。

其实组织者本来期望学院里有学术界的人,但是突然工业界的人来了,然后我就清楚地意识到工业界有需求。

如果一个几乎没有在任何地方宣传的活动,轻轻一按,就聚集了成年人的观众,那就意味着确实有兴趣。在我看来,关于这个主题的请求已经过期了。

“请求已经过期”:Alexey Fedorov 关于分布式系统新会议
Maurice Herlihy 在 JUG.ru 会议上

— 除了学校之外,Maurice Herlihy 还于 2017 年在圣彼得堡的 JUG.ru 会议上发表了讲话, 告诉过 关于事务性内存,这更接近于会议格式。谁来了——通常来 JUG.ru 聚会的人,还是不同的观众?

— 这很有趣,因为我们知道 Maurice 会有一份一般性报告,而不是特定于 Java 的报告,而且我们发布的公告比通常为 JUG 新闻订阅者发布的公告要广泛一些。

我认识的很多人都来自与 Java 无关的社区:来自 .NET 人群、来自 JavaScript 人群。因为事务内存的主题并不涉及特定的开发技术。当世界级的专家来谈论事务性记忆时,错过聆听这样的人并向他提问的机会简直就是犯罪。当你正在学习的书的人来找你并告诉你一些事情时,它只会给你留下深刻的印象。简直太棒了。

——结果反馈如何?这种方法对于业内人士来说是否过于学术和难以理解?

——对赫利希报告的评价很好。人们写道,他非常简单明了地表达了一位学术教授所不期望的内容。但我们必须明白,我们邀请他是有原因的,他是一位世界著名的专家,拥有丰富的演讲经验和大量书籍和文章的背景。而且,他可能在很多方面因向人们传达材料的能力而出名。因此,这并不奇怪。

他说着正常、易懂的英语,当然,他对自己所说的内容也有很好的理解。也就是说,你绝对可以问他任何问题。基本上,人们抱怨我们给莫里斯做报告的时间太少了:两个小时对于这样的事情来说是不够的,至少还需要两个小时。好吧,我们在两个小时内完成了我们的任务。

动机

— 通常 JUG.ru 集团处理大型活动,但这个主题似乎更加专业化。你为什么决定接受它?是否愿意举办一个较小的活动,或者是否可以聚集很多观众来讨论这样的话题?

— 事实上,当你举办一个活动并设定一定程度的讨论时,总会出现这样的问题:这种讨论的范围有多大。有多少人(十人、一百人或一千人)对此感兴趣?质量和深度之间需要权衡。这是一个完全正常的问题,每个人解决问题的方式都不同。

在这种情况下,我想让这个活动“为我自己”。我仍然了解一些关于多线程的知识(我在会议上就这个主题进行了讲座,并多次告诉学生一些事情),但在分布式系统方面我是一个新手:我读过一些文章并看过一些讲座,但没有甚至一本完整的书也读过它。

我们有一个由该领域的专家组成的计划委员会,他们可以评估报告的准确性。就我而言,我正在努力使这次活动成为我虽然缺乏专业知识但愿意参加的活动。我不知道是否能够引起大众的兴趣。这或许还不是本次活动现阶段最重要的任务。现在更重要的是在短时间内打造出最强的节目。

或许,现在我给团队设定的任务不是“第一次聚集一千人”,而是“让会议出现”。这听起来可能不太务实,而且有些天真,尽管我根本不是一个利他主义者。但有时我可以给自己一些自由。

有些东西比金钱更重要,也比金钱更重要。我们已经为千人或更多人举办了大量很酷的大型活动。我们的Java会议早已超过了千人,现在其他活动也都在跳过这个栏。也就是说,我们已经成为经验丰富、著名的组织者的问题已经不值得了。而且,也许,我们从这些活动中获得的收入让我们有机会再投资于我们感兴趣的事情,在这种情况下,对我个人而言。

通过举办这次活动,我违背了我们组织的一些原则。例如,我们通常会尝试提前很长时间准备会议,但现在我们的截止日期非常紧迫,我们在会议召开前一个月就完成了计划。

本次活动将有 70-80% 英语进行。在这里,也总是会出现这样的讨论:我们是否需要更接近人们(当大多数报告都是俄语时,他们更好地理解它)或整个世界(因为技术世界是英语)。我们通常尝试用俄语做很多报道。但不是现在。

此外,我们还会要求一些讲俄语的人用英语发言。从某种意义上来说,这是一种绝对反用户、不人道的做法。但我们必须明白,目前还没有关于这个主题的俄语文献,任何对此感兴趣的人都被迫阅读英文版。这意味着他在某种程度上能够理解英语。如果就 JavaScript、Java 或 .NET 而言,有很多人不太懂英语,但同时又能很好地编程,那么分布式系统可能是一个没有其他领域的领域。现在学习的方法。

我真的很想进行这个实验:俄罗斯公众将如何看待 70-80% 英语的活动。它会进来还是不进来?我们事先并不知道这一点,因为我们以前从未这样做过。但为什么不这样做呢?让我们这样说吧:这是一个我忍不住要尝试的大型实验。

SPTDC 学校计划已经 发表 完全如此,就九头蛇而言已经 众所周知 一个引人注目的部分,很快我们将发布整个会议计划的分析。

来源: habr.com

添加评论