WAL-G: 新機能とコミュニティの拡大。 ジョージー・ライロフ

Georgy Rylov による 2020 年初頭のレポート「WAL-G: 新しい機会とコミュニティの拡大」の書き起こしを読むことをお勧めします。

オープンソースのメンテナは、成長するにつれて多くの課題に直面します。より多くの必要な機能を作成し、より多くの問題を修正し、より多くのプル リクエストを表示できるようにするにはどうすればよいでしょうか? WAL-G (PostgreSQL のバックアップ ツール) を例に、大学でオープンソース開発のコースを立ち上げることでこれらの問題をどのように解決したか、何を達成したか、そして次にどこに進むかについて説明します。

皆さん、またこんにちは！私はエカテリンブルク出身の Yandex 開発者です。そして今日はWAL-Gについてお話します。

レポートのタイトルには、バックアップに関するものとは書かれていませんでした。 WAL-Gって何か知ってる人いますか？それともみんな知ってますか？分からない人は手を挙げてください。なんてことだ、あなたはレポートを見に来たのに、それが何についてなのかわかっていません。

今日何が起こるかをお話ししましょう。偶然ですが、私たちのチームはかなり長い間バックアップを行ってきました。これは、データを安全、確実、便利かつ効率的に保存する方法について説明するシリーズの別のレポートです。

以前のシリーズでは、アンドレイ・ボロディンとウラジミール・レスコフによる多くのレポートがありました。私たちもたくさんいました。そして、私たちは何年もの間、WAL-Gについて話してきました。

clck.ru/F8ioz — https://www.highload.ru/moscow/2018/abstracts/3964

clck.ru/Ln8Qw — https://www.highload.ru/moscow/2019/abstracts/5981

このレポートは技術的な部分に関するものであるという点で他のレポートとは少し異なりますが、ここではコミュニティの成長に関連してどのように問題に遭遇したかについて話します。そして、この問題に対処するのに役立つ小さなアイデアをどのようにして思いついたのか。

数年前、WAL-G は Citus Data から提供されたかなり小規模なプロジェクトでした。そして私たちはそれをただ受け取ったのです。そしてそれは一人の人間によって開発されました。

そして、WAL-G だけが以下を備えていませんでした。

• レプリカからのバックアップ。
• 増分バックアップはありませんでした。
• WAL-Delta バックアップはありませんでした。
• そして、まだ足りないものがたくさんありました。

この数年間で、WAL-G は大きく成長しました。

そして 2020 年までに、上記のすべてがすでに実現しています。そしてこれに、現在あるものが追加されました。

• GitHub には 1 を超えるスターが付いています。
• フォーク150本。
• オープンPRは15件程度。
• 他にも多くの貢献者がいます。
• そして常に問題をオープンにしてください。そして、私たちが文字通り毎日そこに行って、それについて何かをしているという事実にもかかわらず、これはそうです。

そして、私たち自身が Yandex のマネージド データベース サービスに何も実装する必要がない場合でも、このプロジェクトにはもっと注意を払う必要があるという結論に達しました。

そして2018年の秋のどこかで、あるアイデアが私たちの頭に浮かびました。通常、チームには人手が足りない場合に機能を開発したりバグを修正したりするためのいくつかの方法があります。たとえば、別の開発者を雇って、彼にお金を支払うことができます。あるいは、しばらくの間インターンを引き受けて、彼に給料を支払うこともできます。しかし、依然として非常に多くの人々のグループがあり、そのうちの何人かはすでにコードの書き方を本当に知っています。コードの品質がどの程度であるかは必ずしもわかりません。

私たちはそれを考え、学生を集めてみることにしました。しかし、学生は私たちと一緒にすべてに参加するわけではありません。彼らは仕事の一部だけを行います。そして、たとえば、テストを作成し、バグを修正し、主要な機能に影響を与えない機能を実装します。主な機能は、バックアップの作成とバックアップの復元です。バックアップの作成を間違えると、データが失われることになります。そしてもちろん、これを望んでいる人はいません。誰もがすべてが非常に安全であることを望んでいます。したがって、当然のことながら、自分のコードよりも信頼できないコードを許可することは望ましくありません。つまり、重要でないコードは、追加のワーカーから受け取りたいものです。

学生PRはどのような条件で認められますか？

• コードをテストでカバーする必要があります。すべては CI で行われる必要があります。
• また、2 件のレビューも確認します。 XNUMX つはアンドレイ・ボロディンによるもので、もう XNUMX つは私によるものです。
• さらに、これによってサービスが中断されないことを確認するために、このコミットを含むアセンブリを個別にアップロードします。そして、エンドツーエンドのテストで何も失敗しないことを確認します。

オープンソース特別講座

なぜこれが必要なのか、そしてなぜこれが素晴らしいアイデアだと私には思えるのかについて少し説明します。

私たちにとって、利益は明白です。

• 余分な手が得られます。
• そして、スマートなコードを書く賢い学生の中からチームの候補者を探しています。

学生にとってのメリットは何ですか?

学生は少なくとも、自分が書いたコードに対して金銭を受け取るのではなく、学生の記録に対する成績だけを受け取るため、これらはあまり明白ではないかもしれません。

このことについて彼らに尋ねてみました。そして彼らの言葉では次のようになります。

• オープンソースにおける貢献者の経験。
• 履歴書に一行入れてください。
• 自分自身を証明して、Yandex の面接に合格してください。
• GSoC メンバーになりましょう。
• コードを書きたい人のための +1 特別コース。

コースがどのように構成されたかについては話しません。 WAL-Gがメインプロジェクトだったということだけは言っておきます。このコースには、Odyssey、PostgreSQL、ClickHouse などのプロジェクトも含まれています。

そして、このコースだけでなく、問題も出題され、卒業証書やコースワークも配られました。

ユーザーにとってのメリットはどうでしょうか？

それでは、最も興味のある部分に移りましょう。これで何の役に立つの？重要なのは、学生たちが多くのバグを修正したということです。そして、あなたが私たちに求めていたリクエスト機能を作成しました。

そして、あなたが長い間望んでいたもの、そしてそれが実現したものについてお話ししましょう。

テーブルスペースのサポート。 WAL-G のテーブルスペースは、おそらく WAL-G のリリース以来期待されていました。WAL-G は、テーブルスペースを使用したデータベース バックアップがサポートされていた別のバックアップ ツール WAL-E の後継であるためです。

それが何なのか、そしてなぜそれが必要なのかを簡単に思い出させてください。通常、すべての Postgres データは、ベースと呼ばれるファイル システム上の 1 つのディレクトリを占有します。このディレクトリには、Postgres に必要なすべてのファイルとサブディレクトリがすでに含まれています。

テーブルスペースは Postgres データを含むディレクトリですが、ベース ディレクトリの外部にはありません。このスライドは、テーブルパックがベース ディレクトリの外にあることを示しています。

これは Postgres 自体ではどのように見えるでしょうか?ベース ディレクトリには別のサブディレクトリ pg_tblspc があります。また、実際にはベース ディレクトリの外側にある Postgres データを含むディレクトリへのシンボリック リンクが含まれています。

これらすべてを使用すると、これらのコマンドは次のようになります。つまり、指定された表領域に表を作成し、それが現在どこにあるかを確認します。これらは最後の 2 行で、最後の 2 つのコマンドが呼び出されます。そして、何らかの方法があることは明らかです。しかし実際には、これは本当のやり方ではありません。これは、ベース ディレクトリからテーブルスペースへの接頭辞付きのパスです。そしてそこから、実際のデータにつながるシンボリックリンクと照合されます。

私たちのチームではこれらすべてを使用しているわけではありませんが、他の多くの WAL-E ユーザーが使用していて、WAL-G に移行したいと私たちに書いてきましたが、これが彼らの妨げとなっていました。これは現在サポートされています。

スペシャルコースがもたらしたもう一つの特徴はキャッチアップです。おそらく Postgres よりも Oracle をよく使ったことがある人は、キャッチアップについて知っています。

それが何であるかについて簡単に説明します。私たちのサービスのクラスター トポロジーは通常次のようになります。私たちにはマスターがいます。そこから先行書き込みログをストリーミングするレプリカがあります。そして、レプリカはマスターに、現在どの LSN 上にあるかを伝えます。そしてこれと並行して、ログをアーカイブすることができます。また、ログのアーカイブに加えて、バックアップもクラウドに送信されます。そして、差分バックアップが送信されます。

何が問題なのでしょうか?かなり大規模なデータベースがある場合、レプリカがマスターよりも大幅に遅れ始めることが判明する場合があります。そして彼女はとても遅れているので、決して彼に追いつくことはできません。通常、この問題は何らかの方法で解決する必要があります。

最も簡単な方法は、レプリカを削除して再アップロードすることです。レプリカに追いつくことはなく、問題に対処する必要があるためです。ただし、10 TB のデータベース バックアップ全体を復元するには非常に長い時間がかかるため、これにはかなりの時間がかかります。そして、そのような問題が発生した場合には、これらすべてをできるだけ早く行いたいと考えています。そしてそれがまさにキャッチアップの目的です。

Catchup を使用すると、この方法でクラウドに保存されるデルタ バックアップを使用できます。遅れているレプリカが現在どの LSN にあるかを指定し、それを catchup コマンドで指定して、その LSN とクラスターが現在配置されている LSN との間の差分バックアップを作成します。その後、遅れていたレプリカにこのバックアップを復元します。

その他の拠点

学生たちはまた、一度にたくさんの機能を私たちにもたらしてくれました。 Yandex では Postgres だけでなく、MySQL、MongoDB、Redis、ClickHouse も使用しているため、ある時点で MySQL のポイントインタイム リカバリを使用してバックアップを作成できる必要があり、アップロードする機会がありました。それらをクラウドに転送します。

そして、WAL-G と同じような方法でそれを実現したいと考えました。そして私たちは実験して、それがどのように見えるかを確認することにしました。

そして最初は、このロジックをまったく共有せずに、フォークでコードを書きました。彼らは、私たちがある種の実用的なモデルを持っており、それが飛行できることに気づきました。そこで、私たちのメインのコミュニティはポストグレジストであり、彼らは WAL-G を使用しているのではないかと考えました。したがって、これらの部分を何らかの方法で分離する必要があります。つまり、Postgres のコードを編集しても MySQL は壊れませんし、MySQL を編集しても Postgres は壊れません。

これをどのように分離するかについての最初のアイデアは、PostgreSQL 拡張機能で使用されているのと同じアプローチを使用するというアイデアでした。そして実際、MySQL のバックアップを作成するには、ある種の動的ライブラリをインストールする必要がありました。

しかし、ここではこのアプローチの非対称性がすぐにわかります。 Postgres をバックアップするときは、Postgres の通常のバックアップを保存すれば、すべて問題ありません。そして、MySQL の場合は、Postgres のバックアップをインストールし、そのために MySQL のダイナミック ライブラリもインストールすることがわかりました。なんだか奇妙に聞こえます。私たちもそう思い、これは私たちが必要とする解決策ではないと判断しました。

Postgres、MySQL、MongoDB、Redis 用のさまざまなビルド

しかし、これにより、異なる基地に異なるアセンブリを割り当てるという正しい決定を下すことができたと思われます。これにより、WAL-G が実装する共通 API にアクセスするさまざまなデータベースのバックアップに関連付けられたロジックを分離することが可能になりました。

これは、生徒たちに問題を与える前に、私たち自身が書いた部分です。つまり、これはまさに彼らが何か間違ったことをする可能性がある部分なので、私たちはこのようなことをしたほうがよく、すべてがうまくいくだろうと判断しました。

その後、問題を出しました。それらはすぐに解体されました。学生は 3 つの拠点をサポートする必要がありました。

これは、1 年以上この方法で WAL-G を使用してバックアップしてきた MySQL です。

そして現在、MongoDB は本番環境に近づいており、ファイルで完成させようとしています。実際、私たちはこれらすべてのフレームワークを作成しました。それから生徒たちは実行可能なものをいくつか書きました。そして、それらを本番環境で受け入れられる状態にします。

これらの問題は、学生がこれらのデータベースごとに完全なバックアップ ツールを作成する必要があるようには見えませんでした。私たちにはそのような問題はありませんでした。私たちの問題は、ポイントインタイムリカバリが必要であり、クラウドにバックアップしたいことでした。そして学生たちに、これを解決するコードを書くように求めました。学生たちは既存のバックアップ ツールを使用して何らかの方法でバックアップを作成し、それをすべてクラウドに転送する WAL-G で結合しました。さらに、これにポイントインタイムリカバリも追加しました。

生徒たちは他に何を持ってきましたか?彼らは、Libsodium 暗号化サポートを WAL-G に導入しました。

バックアップ ストレージ ポリシーもあります。バックアップを永久としてマークできるようになりました。そして、どういうわけか、サービスがそれらを保存するプロセスを自動化する方が便利です。

この実験の結果はどうなりましたか?

初回登録者は100名を超えました。最初、私はエカテリンブルクの大学がウラル連邦大学であるとは言いませんでした。そこですべてを発表しました。 100人が登録しました。実際には、何かを始めた人はもっと少なく、約 30 人でした。

すでに存在するコードのテストを作成する必要があったため、コースを修了した人はさらに少なくなりました。また、バグを修正したり、機能を追加したりすることもできます。そして、依然としてコースを閉鎖した学生もいます。

現在、このコース中に学生は約 14 の問題を修正し、さまざまなサイズの 10 の機能を作成しました。そして、これはXNUMX人かXNUMX人の開発者の完全な置き換えであるように私には思えます。

とりわけ、私たちは卒業証書とコースワークを発行しました。そして12名が卒業証書を受け取りました。うち６人はすでに「５」で防衛済み。残った人たちはまだ保護されていませんでしたが、彼らにとっても大丈夫だと思います。

将来の計画

将来的にはどのような計画があるのでしょうか?

少なくとも、ユーザーから既に聞いており、実現したいと考えている機能リクエストはあります。これ：

• HA クラスターのバックアップ アーカイブ内のタイムライン追跡の正確性を監視します。 WAL-Gを使えばこれが可能です。そして、この問題に取り組む学生も出てくると思います。
• クラウド間でバックアップと WAL を転送する責任者がすでにいます。
• そして私たちは最近、ページを書き換えずに増分バックアップを解凍し、そこに送信するアーカイブを最適化することで、WAL-G をさらに高速化できるというアイデアを発表しました。

ここで共有できます

この報告書は何のためにあったのでしょうか?さらに、現在、このプロジェクトをサポートしてくれる 4 人に加えて、さらに多くの手が加わっています。特に個人的なメッセージで相手に手紙を書く場合はそうです。また、データをバックアップして WAL-G を使用してバックアップを行う場合、または WAL-G への移行を希望する場合は、お客様のご希望に簡単に対応できます。

QRコードとリンクです。それらを確認して、すべての願いを書くことができます。たとえば、いくつかのバグは修正されていません。あるいは、本当に欲しい機能があるのに、何らかの理由でそれがまだバックアップに含まれていない場合もあります。これについては必ず書いてください。

質問

こんにちは！ご報告ありがとうございます！ WAL-G についての質問ですが、Postgres については質問しません。 WAL-G は MySQL をバックアップし、追加のバックアップを呼び出します。 CentOS に最新のインストールを実行し、MySQL を yum install すると、MariDB がインストールされます。バージョン 10.3 以降、追加のバックアップはサポートされなくなり、MariDB バックアップがサポートされます。いかがですか？

現時点では、MariDB のバックアップは試していません。 FoundationDB のサポートのリクエストはありましたが、通常、そのようなリクエストがあれば、サポートしてくれる人を見つけることができます。私が思っているほど長くも難しくもありません。

こんにちはご報告ありがとうございます！潜在的な新機能に関する質問。 WAL-G をテープと連携させて、テープにバックアップできるようにする準備はできていますか?

テープストレージにバックアップすることは明らかに意味しますか？

はい。

この質問に私よりも上手に答えられるアンドレイ・ボロディンがいます。

(アンドレイ) はい、ご質問ありがとうございます。バックアップをクラウド ストレージからテープに転送するというリクエストがありました。そしてこのために のこぎり クラウド間の転送。クラウドからクラウドへの転送は、テープ転送の一般化されたバージョンであるためです。さらに、ストレージに関しては拡張可能なアーキテクチャを備えています。ちなみに、ストロボの多くは学生が書いたものです。また、テープ用のストレージを作成した場合は、当然サポートされます。プルリクエストを検討する準備ができています。そこでは、ファイルの書き込みと読み取りを行う必要があります。これらのことを Go で実行すると、通常は 50 行のコードが作成されます。そしてテープはWAL-Gでサポートされる予定です。

ご報告ありがとうございます！興味深い開発プロセス。バックアップは重要な機能であり、テストで十分にカバーする必要があります。新しいデータベースの機能を実装するとき、学生もテストを書きましたか、それとも自分でテストを書いてから学生に実装を渡しましたか?

生徒たちはテストも書きました。しかし、学生たちは新しいデータベースなどの機能についてさらに多くのことを書きました。彼らは統合テストを書きました。そして彼らは単体テストを書きました。統合が成功した場合、つまり現時点では、これは手動で実行するか、たとえば cron で実行するスクリプトです。つまり、そこにある脚本は非常に明確です。

学生たちはあまり経験がありません。審査には時間がかかりますか?

はい、レビューにはかなりの時間がかかります。つまり、通常、数人のコミッターが一度にやって来て、私がこれをやった、私があれをやったと言った場合、彼らがそこに何を書いたかを理解するために、約半日考えて時間を確保する必要があります。コードを注意深く読まなければならないからです。彼らは面接を受けなかった。私たちは彼らのことをよく知らないので、かなりの時間がかかります。

ご報告ありがとうございます！以前、Andrey Borodin は、WAL-G の archive_command を直接呼び出す必要があると述べました。ただし、ある種のクラスター カートリッジの場合は、シャフトの送信元のノードを決定する追加のロジックが必要です。この問題を自分でどうやって解決しますか?

ここで何が問題ですか?バックアップを作成する同期レプリカがあるとします。または何？

(Andrey) 実際のところ、WAL-G はシェル スクリプトなしで使用することを目的としています。何かが足りない場合は、WAL-G 内にあるべきロジックを追加しましょう。アーカイブがどこから行われるかについては、クラスター内の現在のマスターからアーカイブされるべきであると考えられます。レプリカからアーカイブするのは悪い考えです。問題にはさまざまなシナリオが考えられます。特に、タイムラインと追加情報のアーカイブに関する問題です。ご質問ありがとうございます！

(説明: シェル スクリプトを削除しました この問題で)

こんばんは！ご報告ありがとうございます！あなたが話したキャッチアップ機能に興味があります。レプリカが遅れていて追いつけない状況に陥りました。そして、WAL-G のドキュメントにはこの機能の説明が見つかりませんでした。

Catchupは文字通り20年2020月XNUMX日に登場しました。ドキュメントにはもう少し作業が必要な場合があります。私たちはそれを自分たちで書いていますが、それほど上手に書いているわけではありません。そしておそらく、学生にそれを書くよう要求し始めるべきでしょう。

もう発売されましたか？

プルリクエストはすでに無効になっています。つまり、チェックしました。これをテストクラスターで試してみました。これまでのところ、実戦例でこれをテストできる状況はありません。

いつ頃予想されますか?

わからない。 1 か月お待ちください。確実に確認します。

出所： habr.com