「要求は期限切れです」：分散システムに関する新しいカンファレンスについてアレクセイ・フェドロフ

最近、ありました 発表された マルチスレッドおよび分散システムの開発に関する XNUMX つのイベントを同時に開催: カンファレンス ハイドラ （11月12日～XNUMX日）と学校 SPTDC （8月12日～XNUMX日）。 このテーマに近い人は、ロシアに来ることを理解しています。 レスリー・ランポート, モーリス・ハーリヒー и マイケル・スコット - 最も重要なイベント。 しかし、別の疑問も生じました。

• カンファレンスに何を期待しますか?「学術」ですか、それとも「制作」ですか?
• 学校とカンファレンスにはどのような関係がありますか? あれもこれも誰に向けたものなのでしょうか？
• なぜ日付が重なるのでしょうか?
• 人生のすべてを分散システムに捧げていない人にとって、それらは役立つでしょうか?

このことはすべて、ヒドラに命を吹き込んだ人物、つまり当社のディレクターにはよく知られています。 アレクセイ・フェドロフ (23デレボ）。 彼はすべての質問に答えました。

フォーマット

— 分散システムにあまり馴染みのない人への初歩的な質問です。両方のイベントは何についてのものですか?

— 世界的な課題は、私たちの周囲に、XNUMX 台のコンピューターでは実行できない大量の操作と複雑なコンピューティング タスクを伴うサービスが存在することです。 つまり、車が何台かあるはずです。 そして、作業を適切に同期する方法や、信頼性があまり高くない状況 (機器の故障やネットワークの切断など) で何をすべきかという疑問が生じます。

マシンが増えれば増えるほど、障害点も増えます。 異なるマシンが同じ計算に対して異なる結果を生成した場合はどうすればよいでしょうか? ネットワークがしばらく消えて計算の一部が孤立した場合はどうすればよいでしょうか。その後、どのようにしてすべてを結合できるのでしょうか? 一般に、これに関連する問題は XNUMX 万件あります。 新しい解決策 - 新しい問題。

この分野には完全に応用された分野もあれば、まだ主流になっていない科学的な分野もあります。 私は実践と科学の両方で何が起こっているのか、そして最も重要なことに、それらの接点で何が起こっているのかについて話したいと思います。 これが最初の Hydra カンファレンスの内容です。

— カンファレンスがあること、サマースクールがあることを理解したいと思います。 それらはどのように関係しているのでしょうか？ 学校の参加者がカンファレンスに参加するために割引が設けられているのであれば、なぜ日程が重なって、一度にすべてを損なく参加することは不可能なのでしょうか。

— このスクールは100～150人規模の会議室イベントで、世界中から第一線の専門家が集まり、XNUMX日間にわたって講義を行います。 そして、世界クラスの著名人がサンクトペテルブルクにXNUMX日間集まり、何かを語ろうとする状況が起こります。 そしてこの場合、室内学校だけでなく、より大規模な会議も組織するという決定が生じます。

このような学校を夏、つまりXNUMX月にのみ開催することが可能であるのは、これらの専門家の中には現役の大学教授がおり、他の時期には単に準備ができていないためです。彼らには学生、卒業証書、講義などがあり、その他の時期には準備ができていません。 学校は平日XNUMX日制です。 夏には週末に人々はどこかに出かけたがるのは知られています。 これは、学校前の週末や放課後の週末に会議を開催することができないことを意味します。

А если продлевать всё ещё на пару дней до или после выходных, то магическим образом пять дней пребывания специалистов в Петербурге превращаются в девять. И они к этому не готовы.

したがって、私たちが見つけた唯一の解決策は、単に学校と並行して会議を開催することでした。 はい、これによりいくつかの問題が発生します。 学校に行きたい、カンファレンスに行きたいという人もいますが、あちこちの講義を欠席しなければならないでしょう。 良いニュースは、これらすべてが隣のホールで行われるため、行ったり来たりすることができるということです。 そして、もう XNUMX つの良い点は、ビデオ録画が利用できることで、見逃したものを後から落ち着いて見ることができることです。

— XNUMX つのイベントが並行して行われると、「どちらが必要ですか?」という疑問が生じます。 それぞれに正確に何を期待する必要がありますか?また、違いは何ですか?

— 学校は純粋に学術的なイベントであり、数日間の古典的な科学学校です。 科学に携わり、大学院と何らかの関係を持ったことがある人なら誰でも、アカデミックスクールが何であるかについての考えを持っています。

通常、このような学術イベントは、参加者にイベントの専門知識が不足しているため、十分に組織されることはありません。 しかし、私たちはまだかなり経験豊富なので、すべてを非常に有能に行うことができます。 組織の観点から見ると、SPTDC はこれまで見たどの学術的または研究ベースの学校よりも優れていると思います。

SPTDCスクール - これは、各大規模な講義を「XNUMX 時間半 - 休憩 - XNUMX 時間半」の XNUMX つのペアで読む形式です。 初めて参加する人にとっては簡単ではないかもしれないことを理解する必要があります。XNUMX 年前にこのスクールが初めて開催されたとき、私自身も珍しく、XNUMX つの講義のほぼ途中で何度か電源を切り、その後、何が起こっているのかを理解するのが困難でした。 しかし、これは講師に大きく依存します。優れた講師は、XNUMX 時間ずっと非常に興味深い話をします。

ヒドラ会議 - より実践的なイベント。 科学の著名人が何名かこの学校に講義に来ます。 レスリー・ランポート、その研究はまさにマルチスレッドおよび分散システムの理論の基礎となっており、 モーリス・ハーリヒー, 同時実行性に関する有名な教科書「The Art of Multiprocessor Programming」の著者の XNUMX 人です。 しかし、カンファレンスでは、特定のアルゴリズムが実際にどのように実装されているか、エンジニアが実際にどのような問題に直面しているか、誰が成功し失敗するのか、なぜ一部のアルゴリズムが実際に使用され、他のアルゴリズムが使用されないのかについて話そうとします。 そしてもちろん、マルチスレッドおよび分散システムの開発の将来について話しましょう。 つまり、世界の科学が今何を話しているのか、一流のエンジニアの考えがどのようなものを中心に展開しているのか、そしてそれらすべてがどのように組み合わされるのかなど、最先端の情報を提供します。

— このカンファレンスはより応用的なものであるため、学術界の著名人だけでなく、「生産」の分野からも講演者が参加しますか？

- 絶対に。 私たちはすべての「大手」、つまり Google、Netflix、Yandex、Odnoklassniki、Facebook を調べようとしています。 特定の面白い問題があります。 たとえば、誰もが「Netflix は分散システムであり、米国のトラフィックのほぼ半分を占めており、非常に素晴らしい」と言いますが、実際のレポート、記事、出版物を見始めると、若干の失望が始まります。 なぜなら、これは確かに世界クラスであり、切断エグデもありますが、一見したように見えるほどそれは少ないからです。

興味深いジレンマが生じます。有名な大企業の代表者に電話することも、すでによく知られている誰かに電話することもできます。 実際には、専門知識はあちこちに存在します。 そして、私たちはむしろ「非常に大きなブランドの人材」ではなく、非常に大きな専門家、特定の人々を引き抜こうとしています。

たとえば、マーティン・クレップマン氏は、かつて LinkedIn で話題を呼び、 良書 — おそらく、分散システムの分野における基本的な本の XNUMX つです。

— もしある人が Netflix ではなく、もっと単純な会社で働いているとしたら、「そのようなカンファレンスに行くべきでしょうか、それとも、さまざまな Netflix が互いに話し合っているのに、私には何もすることがないのでしょうか?」と疑問に思うかもしれません。

— これだけは言っておきますが、私が Oracle で XNUMX 年ちょっと働いていたとき、キッチンや喫煙室で、同僚たちが Java プラットフォームの特定の部分を作っているところに集まっていたとき、最も驚くべき興味深い話を聞きました。 これらは、仮想マシンの担当者、テスト部門の担当者、または同時パフォーマンスの担当者である可能性があります (Lyosha Shipilev や Seryozha Kuksenko など)。

彼らが何かについて話し始めたとき、私はたいてい口を開けて聞いているだけでした。 私にとって、これらは考えもしなかった驚くべき予想外のことでした。 当然のことながら、最初は彼らが話していることの90％も理解できませんでした。 そうすると80割は理解不能になってしまいました。 そして、宿題をして本を何冊か読んだ後、この数値は 70% に下がりました。 彼らがお互いに何を話しているのか、私にはまだ理解できません。 しかし、隅に座ってコーヒーを飲みながら盗み聞きしていると、何が起こっているのか少しずつ理解し始めました。

したがって、Google、Netflix、LinkedIn、Odnoklassniki、Yandex が互いに対話する場合、それはそれが理解できない、面白くないという意味ではありません。 それどころか、これは私たちの未来なのですから、私たちは注意深く耳を傾けなければなりません。

もちろん、これらすべてを必要としない人もいます。 このトピックについて開発したくない場合は、このカンファレンスに参加する必要はありません。そこでは時間を無駄にするだけです。 しかし、そのトピックは興味深いが、それについて何も理解していないか、ただ見ているだけである場合は、そのようなものはどこにもないので、来るべきです。 さらに、それはロシアだけでなく、世界でも同じだと思います。 私たちは、ロシアでこのテーマに関してリーダーとなるだけでなく、一般的には世界でナンバーワンとなる会議を作ろうとしています。

これは最も簡単な仕事ではありませんが、世界中から強力な講演者を集めるこのような素晴らしい機会があれば、それを実現するために私は喜んで多くのことを提供するつもりです。 もちろん、最初のヒドラに招待した人の中には来られない人もいます。 しかし、これだけは言っておきます。これほど強力なラインナップで新しいカンファレンスを開始したことはありません。 おそらく、XNUMX 年前の最初の JPoint を除いては。

— 「これが私たちの未来だ」という言葉をさらに詳しく説明したいのですが、この話題は、今日それについて考えていない人たちにも後で影響を与えるのでしょうか？

- はい、確かにそう思います。 したがって、できるだけ早く議論を始めるのは非常に正しいことだと思います。 たとえば、マルチスレッドの理論はかなり前に登場しました (70 年代にはすでに研究が本格的に発表されていました) が、最初のユーザー用デュアルコア コンピューターが登場するまで、長い間、それらは多くの狭い専門家でした。 10年代の初めに。 そして今では私たちは皆、マルチコア サーバー、ラップトップ、さらには電話機を所有しており、これが主流となっています。 この議論が狭い専門家の領域ではないことが人々に理解されるまでに、この議論が広まるまでに約 XNUMX 年かかりました。

そして現在、分散システムでもほぼ同じことが起こっています。 なぜなら、負荷分散や耐障害性などの基本的なソリューションはかなり長い間行われてきましたが、たとえば分散コンセンサスや Paxos が何であるかを知っている人はほとんどいません。

私がこのイベントに設定した最も重要な目標の XNUMX つは、エンジニアをこのディスカッションにますます没入させることです。 カンファレンスでは、いくつかのトピックや解決策が議論されるだけでなく、シソーラス、つまり統一された概念的装置が出現することを理解する必要があります。

誰もがこれらすべてについて議論し、経験や意見を共有できるプラットフォームを作成することが私の使命であると考えています。 これにより、あなたと私は、あるアルゴリズムが何を行うか、別のアルゴリズムが何を行うか、どのような条件下でどちらがより優れているか、それらが相互にどのように関連しているかなどについて共通の理解を得ることができます。

非常に興味深いことが、同じマルチスレッドに関連しています。 Oracle の友人 (主に Lesha Shipilev と Sergey Kuksenko) がパフォーマンス、特にマルチスレッドについて積極的に話し始めたとき、文字通り XNUMX ～ XNUMX 年後、企業の面接でこれらの質問が聞かれるようになり、人々はそれについて議論し始めました。喫煙室。 つまり、狭い専門家が多かったものが、突然主流になったのです。

そしてこれは非常に正しいです。 私たちは、この問題全体を彼らが広めるのを手伝ったように思えます。これは本当に重要で、有益で、興味深いものです。 以前は Java サーバーがリクエストを並列処理する方法について誰も考えていませんでしたが、今ではすべてがどのように機能するかを少なくともある程度のレベルで理解できるようになりました。 それは素晴らしいことです。

私が現在考えているタスクは、分散システムでもほぼ同じことを行うことです。 それが何なのか、どこから来たのか、どんな課題や問題があるのか​​を誰もが大まかに理解して、これも主流になるように。

企業はこのことを理解している人材を非常に求めていますが、そのような人材はほとんどいません。 このコンテンツを中心に作成し、そこから学ぶ機会を増やすほど、人々に疑問を投げかける機会を与えるほど、何らかの形でこの方向に進む可能性が高くなります。

背景

――カンファレンスは初めての開催ですが、同校にとっては初めてではありません。 これはどのようにして生じ、発展したのでしょうか?

- これは興味深い話ですね。 2017年前のXNUMX年XNUMX月、私たちはキエフでニキータ・コヴァルと座っていました（ンドコヴァル)、マルチスレッド分野の専門家。 そして彼はそれがサンクトペテルブルクで開催されるだろうと言いました 「同時コンピューティングの実践と理論のサマースクール」.

マルチスレッド プログラミングのトピックは、私のエンジニアリング キャリアの過去 XNUMX 年間で非常に興味深いものでした。 そして、夏には非常に有名な人々、モーリス・ハーリヒーとニル・シャヴィットがサンクトペテルブルクに来ることが判明した、によると 教科書 私が勉強したこと。 そして、私の友人の多くはこれに関係していました - たとえば、ローマ・エリザロフ（エリザロフ）。 このようなイベントを見逃すわけにはいかないことに気づきました。

同校の 2017 年のプログラムが素晴らしいものになることが明らかになったとき、講義を必ずビデオに記録すべきだという考えが生まれました。 私たち JUG.ru グループは、そのような講義がどのように記録されるべきかを完全に理解していました。 そして、私たちは学校向けのビデオを作成したメンバーとして SPTCC に適合しました。 その結果、学校の講義はすべて うそをつく 私たちの YouTube チャンネルで。

私は、この学校の主なイデオロギー学者であり主催者だったピョートル・クズネツォフと、サンクトペテルブルクでこれらすべての組織化を手伝ったヴィタリー・アクセノフとコミュニケーションを取り始めました。 これは素晴らしくクールで興味深いものですが、おそらく 100 人の参加者だけがその美しさに触れることができるのは非常に残念なことだと気づきました。

ピーターが学校を再開する必要があると考えたとき（2018 年にはエネルギーも時間もなかったので、2019 年に再開することにしました）、私たちが彼からすべての組織的なものを取り除くだけで彼を助けることができることが明らかになりました。 これが今起こっていることです。ピーターがコンテンツを扱い、私たちがその他のことをすべて行います。 そして、これは正しい計画のように思えます。ピーターはおそらく、「みんながいつどこで昼食をとるか」よりもプログラムに興味があるでしょう。 そしてホールや会場などとの連携も得意です。

今回はSPTCCではなく、「コンカレント・コンピューティング」ではなく「分散コンピューティング」という学校名をSPTDCと呼んでいます。 したがって、前回の学校では分散システムについてあまり話さなかったが、今回は積極的に話すという違いです。

— スクールは初めての開催ではないので、これまでの実績からある程度の結論は導き出せます。 前回何が起こったのですか？

— XNUMX 年前に最初の学校が設立されたとき、主に学生が興味を持つ学術的なイベントが開催されることが期待されていました。 しかも英語のみの学校なので、かなりの数の留学生が来るのではないかと思われ、世界中から生徒が集まってきました。

実際、多くのエンジニアがヤンデックスのようなロシアの大企業から来ていることが判明した。 アンドレイ・パンギンがいました（アパンギン) Odnoklassniki から、このトピックに積極的に取り組んでいる JetBrains のメンバーがいました。 一般的に、そこには私たちのパートナー企業の顔なじみがたくさんありました。 私は全く驚きませんでした、なぜ彼らがそこに来たのかは完全に理解しています。

実は主催者側はアカデミックな人が来てくれることを期待していたのですが、突然産業界の人が来て、業界での需要があることが分かりました。

どこでもほとんど宣伝されていないイベントが、最初のクリックで大人の聴衆を集めた場合、それは実際に関心があることを意味します。 このトピックに関するリクエストは期限切れのようです。

JUG.ruの会合に出席したモーリス・ハーリヒー

— モーリス・ハーリヒーは、学校に加えて、2017 年にサンクトペテルブルクの JUG.ru 会議で講演しました。 言った トランザクション メモリについて説明します。これはカンファレンス形式に少し近いものです。 その時、誰が来ましたか - JUG.ru のミートアップにいつも来ているのと同じ人たちですか、それとも違う聴衆ですか?

— Maurice が Java 固有のレポートではなく、一般的なレポートを作成することを理解しており、JUG ニュース購読者に対して通常行うよりも若干広範な発表を行ったので、興味深いものでした。

私の知り合いの多くは、Java とはまったく関係のないコミュニティ、つまり .NET 群や JavaScript 群の出身でした。 トランザクション メモリのトピックは特定の開発テクノロジに関連していないためです。 世界クラスの専門家がトランザクション記憶について話すようになったとき、そのような人の話を聞き、質問する機会を逃すことは単なる犯罪です。 あなたが勉強している本を読んでいる人があなたのところに来て何かを語るとき、それは強い印象を与えます。 ただただ素晴らしい。

――その結果、どんな反響がありましたか？ そのアプローチは業界人にとって学術的すぎて理解できないものでしたか？

— Herlihy のレポートのレビューは良かったです。 人々は、彼が学術教授から期待されていなかったことを非常に単純かつ明確に述べたと書きました。 しかし、私たちが彼を招待したのには理由があることを理解する必要があります。彼は豊富な講演経験と多くの書籍や記事による背景を持つ世界的に有名な専門家です。 そしておそらく、人々に内容を伝える能力のおかげで、彼はさまざまな面で有名になりました。 したがって、これは驚くべきことではありません。

彼は普通に理解できる英語を話し、もちろん、彼が話していることをよく理解しています。 つまり、彼にどんな質問でもすることができます。 基本的に人々は、私たちがモーリスに報告のために与えた時間が少なすぎると不満を言いました。XNUMX 時間ではそのようなことには十分ではなく、少なくともあと XNUMX 時間は必要です。 まあ、XNUMX時間でなんとかやり遂げました。

動機

— 通常、JUG.ru グループは大規模なイベントを扱っていますが、このトピックはより専門性が高いようです。 なぜ引き受けようと思ったのですか？ 小規模なイベントを開催する意欲はありますか、それともそのようなテーマに多くの観客が集まることができますか？

――確かに、イベントを開催して一定の議論を設定すると、その議論がどれだけ広まるかが常に問題になります。 これに興味を持っている人は何人、XNUMX人、XNUMX人、あるいはXNUMX人でしょうか? 質量と深さの間にはトレードオフの関係があります。 これはまったく普通の質問であり、解決方法は人それぞれ異なります。

この場合、イベントを「自分のため」にしたいと思っています。 マルチスレッドについてはまだある程度理解しています (このテーマについてカンファレンスで講義し、学生にも何度か話しました) が、分散システムに関しては初心者です。いくつかの記事を読んだり、いくつかの講義を見たりしましたが、理解していませんでした。本格的な本一冊でも読んでください。

当社には、レポートの正確性を評価できる、その分野の専門家で構成されるプログラム委員会があります。 そして私としては、専門知識のない私でも行きたいと思えるイベントにしたいと思っています。 大衆の興味を引くことができるかどうかはわかりません。 おそらく、これは現段階ではこのイベントの最も重要なタスクではありません。 今はいかに短期間で最強のプログラムを作るかが重要です。

おそらく、今私はチームに「最初にXNUMX人を集める」という課題を設定するのではなく、「カンファレンスを開催する」という課題を設定しているのだと思います。 これはあまりビジネス的ではなく、やや素朴に聞こえるかもしれませんが、私はまったく利他主義者ではありません。 しかし、時には自分にある程度の自由を与えることもできます。

お金よりも、お金以上に大切なものがある。 すでにXNUMX人以上規模のクールなイベントを多数行っております。 私たちの Java カンファレンスはずっと前に千人を超えており、今では他のイベントもこの枠を飛び越えています。 つまり、私たちが経験豊富で有名な主催者になったという質問は、もはや価値がありません。 そしておそらく、これらのイベントから得たものは、私たちにとって、そしてこの場合は私個人にとって興味深いものに再投資する機会を与えてくれます。

このイベントを行うことで、私は私たちの組織の原則のいくつかに反することになります。 たとえば、私たちは通常、カンファレンスの準備をかなり前から行うよう努めていますが、現在は締め切りが非常に厳しく、プログラムを最終決定するのはイベント自体の XNUMX か月前です。

そしてこのイベントは70～80％が英語で行われます。 ここでも、私たちは人々（ほとんどの報告がロシア語であることでよりよく理解できる）に近づく必要があるのか​​、それとも全世界（技術界は英語圏であるため）に近づく必要があるのか​​という議論が常に起こります。 私たちは通常、多くのレポートをロシア語で行うようにしています。 しかし、現時点ではそうではありません。

さらに、ロシア語を話す何人かに英語で話すよう依頼する予定です。 これはある意味、完全に反ユーザーで非人道的なアプローチです。 しかし、現時点ではこのテーマに関するロシア語の文献は存在せず、このテーマに少しでも興味がある人は英語で読むしかないことを理解する必要があります。 これは、彼が英語を何とか理解できることを意味します。 JavaScript、Java、または .NET の場合、英語があまり得意ではないが、同時に上手にプログラミングできる人がたくさんいるのであれば、おそらく、分散システムは他に存在しない分野となるでしょう。今すぐ学ぶ方法。

私はこの実験を本当にやりたいと思っています。70 ～ 80% が英語で行われたイベントがロシアの一般の人々にどのように認識されるかです。 入るのか入らないのか？ 私たちはこれを行ったことがないため、事前にこれを知りません。 しかし、なぜそれをしないのでしょうか？ これは私が試さずにはいられない大きな実験の一つだとだけ言っておきましょう。

SPTDCスクールプログラムはすでに 出版された 完全に、そしてヒドラの場合はすでに 知られている 注目すべき部分であり、間もなくカンファレンスプログラム全体の分析を発表する予定です。

出所： habr.com