みんなが私の誕生日を祝っている間、私は朝までクラスターを修正していました - そして開発者は自分たちのミスを私のせいにしました

これは、DevOps 作業に対する私のアプローチを永遠に変えた物語です。コロナ以前の時代、彼らのずっと前、彼らと私が自分たちのビジネスを計画し、ランダムな注文でフリーランスとして働いていた頃、1つのオファーが私のカートに落ちました。

これを書いた会社はデータ分析会社です。彼女は毎日何千ものリクエストを処理しました。彼らは次の言葉を持って私たちにやって来ました：皆さん、私たちはClickHouseを持っています、そして私たちはその構成とインストールを自動化したいと思っています。 Ansible、Terraform、Docker をすべて Git に保存したいと考えています。それぞれ 2 つのレプリカを持つ 4 つのノードからなるクラスターが必要です。

これは標準的なリクエストであり、数十ものリクエストがあり、同様に優れた標準ソリューションが必要です。私たちは「わかりました」と答え、2〜3週間後にはすべての準備が整いました。彼らはその仕事を受け入れ、私たちのユーティリティを使用して新しい Clickhouse クラスターへの移行を開始しました。

誰もクリックハウスをいじりたいと思っていませんでしたし、その方法を知りませんでした。そして、これが彼らの主な問題であると私たちは考えたので、会社のサービスステーションは、私自身が二度とそこに行かないように、可能な限り作業を自動化するために私のチームにゴーサインを与えました。

私たちは移動に同行しましたが、バックアップの設定や監視など、他のタスクも発生しました。同時に、この会社のサービスステーションは別のプロジェクトと合併し、私たち自身のサービスステーションの1つであるレオニードが指揮官として残されました。レーニャはそれほど才能のある男ではありませんでした。突然クリックハウスの責任者になった地味な開発者。何かを管理するという任務はこれが彼にとって初めての任務だったようで、圧倒的な栄誉に彼は星に打たれたような気分になった。

私たちは一緒にバックアップの作成に取り掛かりました。元のデータをすぐにバックアップすることをお勧めします。受け取って、圧縮して、エレガントに C3 に放り込むだけです。生データは金です。もう XNUMX つのオプションがありました。フリーズとコピーを使用して、Clickhouse でテーブル自体をバックアップするというものです。しかし、Lenya は独自の解決策を考え出しました。

彼は、2 つ目の Clickhouse クラスターが必要であると発表しました。そしてこれからは、メインとバックアップの 2 つのクラスターにデータを書き込みます。私は彼に、レーニャ、それはバックアップではなく、アクティブなレプリカになるだろうと言います。また、運用環境でデータが失われ始めると、バックアップでも同じことが起こります。

しかし、レーニャはハンドルをしっかりと握り、私の主張を聞こうとしませんでした。私たちはチャットで彼と長い間話をしましたが、何もすることがありませんでした。Lenya がプロジェクトの責任者であり、私たちは路上で雇われた子供たちでした。

クラスターの状態を監視し、管理者の作業に対してのみ料金を請求しました。データに関与しない純粋なクリックハウス管理。クラスターは利用可能で、ディスクもノードも正常でした。

チーム内のひどい誤解が原因でこの注文を受けたとはほとんど知りませんでした

管理者は、Clickhouse が遅く、データが時々失われることに不満を抱いていました。彼はそれを解明するという課題をガソリンスタンドに課した。彼はできる限り最善を尽くしてそれを考え出し、クリックハウスを自動化する必要があるだけである、それだけであるという結論に達しました。しかし、すぐに明らかになったように、開発チームはまったく必要ありませんでした。

これらすべてが非常に、非常に苦痛であることが判明しました。そして最も不快だったのは、それが私の誕生日だったということです。

金曜日の夕方。行きつけのワインバーを予約して仲間たちを招待しました。

出発直前に、オルタを作成するタスクを受け取り、それを完了すると、すべて問題ありません。 Alter が通過し、クリックハウスが確認されました。私たちはすでにバーに行っていますが、データが足りないとの手紙が来ました。私たちはすべてが十分であるように見えると計算しました。そして彼らは祝うために出発しました。

レストランは金曜日に騒がしかった。飲み物と食べ物を注文したので、ソファでくつろぎました。その間ずっと、私のスラックにはゆっくりとメッセージが溢れていました。彼らはデータの不足について何か書いていました。私は思った - 朝は夕方よりも賢明です。特に今日は。

11時近くになると電話がかかり始めた。それは会社の責任者でした...「おそらく私を祝うことに決めたのだろう」私は非常にためらいながら思い、電話を取りました。

そして、次のようなことを聞​​きました。「あなたは私たちのデータを台無しにしました！」お金を払っているのに、何も効果がありません！あなたはバックアップの責任を負っていましたが、何もしていませんでした。直しましょう！」 -さらに失礼です。

- ほら、出て行けよ！今日は私の誕生日です、そして今から私は飲みます、そしてくだらない棒からの6月の自家製製品には関与しません！

それは私が言っていなかったことです。代わりに、ラップトップを取り出して仕事に取り掛かりました。

いや、爆撃したよ、めちゃくちゃ爆撃したよ！彼はチャットに「そう言ったじゃないか」と辛辣な言葉を投げかけた――バックアップはまったくバックアップではなかったからだ――もちろん、何も保存されなかった。

少年たちと私は、手動で録画を停止してすべてを確認する方法を考え出しました。実際に、一部のデータが書き込まれていないことを確認しました。

私たちは記録を停止し、2 日に発生したイベントの数を数えました。彼らはさらに多くのデータをアップロードしましたが、そのうちの 100.000 分の 33.000 だけが記録されていませんでした。それぞれ XNUMX つのレプリカを持つ XNUMX つのシャード。 XNUMX 行を挿入しますが、XNUMX 行は記録されません。

完全に混乱がありました。誰もがお互いに順番にやめようと言いました。レーニャが最初にそこに行き、次に私と会社の創設者が続きました。参加したガソリンスタンドだけが、私たちの怒鳴り声と対応を問題の解決策を見つける方向にそらそうとしました。

本当に何が起こっているのか誰も理解できなかった

全データの 3 分の 1 が記録されていないだけでなく、失われていたことに気づいたとき、私もメンバーもただただ驚きました。社内での順序は次のとおりであることが判明しました。挿入後、データは取り消し不能に削除され、イベントはバッチで無駄になりました。私はセルゲイがこれをどのようにして失われたルーブルに変換するかを想像しました。

私の誕生日もゴミ箱に捨てられました。私たちはバーに座ってアイデアを出し、投げかけられたパズルを解こうとしました。クリックハウスの崩壊の理由は明らかではなかった。おそらくそれはネットワークであり、おそらくそれは Linux の設定です。はい、あなたが望むものは何であれ、十分な仮説があります。

私は開発者の宣誓に従わなかったが、電話の向こう側の人たちを見捨てるのは不誠実だった - たとえ彼らがすべての責任を私たちに負わせたとしても。問題は私たちの決断にあるのではなく、私たちの側にあるのではないと99％確信していました。私たちが失敗した可能性が 1% あると不安で燃え上がっていました。しかし、問題がどちら側にあったとしても、それは解決されなければなりませんでした。顧客が誰であろうと、このようなひどいデータ漏洩を放置するのはあまりにも残酷です。

私たちは午前3時までレストランのテーブルで働きました。イベントを追加し、選択を挿入し、ギャップを埋めていきました。データを台無しにするときは、次のように行います。過去数日間の平均データを取得し、それを台無しにしたデータに挿入します。

午前3時過ぎ、友人と私は自宅に行き、アルコール市場でビールを注文しました。私はラップトップとクリックハウスの問題を抱えて座っていました、そして友人が私に何かを言いました。その結果、1時間後、彼は私が仕事をしていて一緒にビールを飲んでいないことに腹を立てて立ち去りました。 Classic - 私は Devops の友人でした。

午前 6 時までにテーブルを再度再作成すると、データが溢れ始めました。すべてが損失なく機能しました。

それからは大変でした。誰もがデータ損失のせいでお互いを責めました。もし新たなバグが発生していたら間違いなく銃撃戦になっていただろう

こうした戦いの中で、私たちはようやく理解し始めました。会社は私たちがデータを操作し、テーブルの構造を監視している人たちだと考えていたのです。彼らは管理者とディーラーを混同しました。そして彼らは管理者とは違うことを私たちに尋ねに来ました。

彼らの主な不満は、「一体、あなたにはバックアップの責任があるのに、バックアップを適切に行わず、データを無駄にし続けたのだ。」というものです。これらすべてを巻き戻しマットで行います。

正義が欲しかったのです。私は全員の通信を掘り起こし、スクリーンショットを添付しました。レオニドは全力を尽くして、作成されたバックアップを作成するよう強制しました。私の電話の後、彼らのサービスステーションが私たちの味方になってくれました。その後、レーニャは罪を認めた。

それどころか、会社の責任者は自分の従業員を責めたくありませんでした。スクリーンショットや言葉は彼に影響を与えませんでした。彼は、私たちがここの専門家である以上、全員を説得し、自分たちの決定を主張しなければならないと信じていました。どうやら、私たちの仕事は、Lenya に教えること、さらにプロジェクトマネージャーに任命された彼を迂回して本題に進み、バックアップの概念に関するすべての疑問を個人的に彼にぶつけることでした。

チャットには憎しみ、隠れた、そして隠されていない攻撃性がにじみ出ていました。何をすればいいのか分かりませんでした。すべてが停止してしまいました。そして、彼らは私に最も簡単な方法をアドバイスしました - マネージャーに個人的なメッセージを書いて、彼とのミーティングを手配することです。ヴァシャ、現実の人々はチャットほど速くはありません。上司は私のメッセージに「質問しないで来てください」と答えました。

それは私のキャリアの中で最も恐ろしい会議でした。クライアントの私の味方である STO は時間を見つけることができませんでした。私はボスとレナと一緒に会議に行きました。

私は頭の中で考えられる対話を何度も何度も繰り返しました。なんとか10分前にとても早く到着することができました。緊張し始めて、タバコをXNUMX本吸って、わかった、それだけだ、私は一人でクソなんだと。彼らを説得することはできないだろう。そして彼はエレベーターに乗り込んだ。

彼は立ち上がる途中、ライターを強く打ちすぎて壊してしまいました。

その結果、レーニャは会議に出席しませんでした。そして、私たちはボスとすべてについて素晴らしい会話をしました！セルゲイは自分の痛みについて私に語った。彼は「クリックハウスを自動化」したかったのではなく、「クエリを機能させる」ことを望んでいたのです。

ヤギは見かけませんでしたが、自分の仕事のことを心配していて、四六時中仕事に没頭している良い男でした。チャットはしばしば私たちを悪者、悪党、愚かな人々に引き寄せます。しかし、人生において、これらはあなたと同じような人々です。

Sergei は Devop を数台雇う必要はありませんでした。彼らが抱えていた問題はさらに大きなものであることが判明した。

私は彼の問題を解決できると言いました。それはまったく別の仕事であり、私にはその仕事で働いている友人がいます。これが彼らにとっての取引であると最初から分かっていたら、私たちは多くのことを避けていただろう。遅くなりましたが、問題はインフラストラクチャではなく、データ管理の粗雑さにあることに気づきました。

私たちは握手を交わし、彼らは私たちの給料を2.5倍上げましたが、その条件は、私が彼らのデータとクリックハウスに関するすべての混乱を私自身のために完全に引き受けることでした。エレベーターの中で、私は同じ DI 担当の Max と通信し、彼を仕事につなぎました。クラスター全体をシャベルする必要がありました。

採択されたプロジェクトにはゴミが多かった。まずは前述の「バックアップ」から。この同じ「バックアップ」クラスターが分離されていないことが判明しました。彼らはその上ですべてをテストし、時には本番環境に移すこともありました。

当社の社内開発者は独自のカスタム データ インサーターを作成しました。彼は次のように作業しました。ファイルをバッチ処理し、スクリプトを実行し、データをテーブルにマージしました。しかし、主な問題は、1 つの単純なリクエストに対して膨大な量のデータが受け入れられたことでした。リクエストは毎秒データを結合しました。すべては、1 日あたりの量という 1 つの数字のためです。

社内開発者は分析ツールを誤って使用しました。彼らはグラファナに行き、王室の要望を書きました。彼は 2 週間分のデータをアップロードしました。綺麗なグラフになりました。しかし実際には、データ要求は 10 秒ごとでした。 Clickhouse が単純に処理を実行しなかったため、これらすべてがキューに積み重なっていました。ここに最大の理由が隠されていました。 Grafana では何も機能せず、リクエストはキューに待機し、古くて無関係なデータが絶えず到着していました。

クラスターを再構成し、挿入をやり直しました。社内開発者が「インサーター」を書き換えたところ、データが正しくシャーディングされるようになりました。

Max はインフラストラクチャ全体の監査を実施しました。同氏は、本格的なバックエンドへの移行計画の概要を説明しました。しかし、これは会社には合わなかったのです。彼らはマックスから、昔ながらの方法で、しかし効率的に働くことを可能にする魔法の秘密を期待していました。レーニャは依然としてプロジェクトの責任者でしたが、何も学びませんでした。提示されたすべての中から、彼は再び自分の選択肢を選びました。いつものように、これは最も選択的で大胆な決定でした。レーニャは、自分の会社には特別な道があると信じていました。とげがあり、氷山がいっぱいです。

実際、それが私たちの別れの場所でした。私たちはできる限りのことをしました。

この歴史から得た知識と知恵に満ちた私たちは、自分たちのビジネスを開き、自分たちでいくつかの原則を確立しました。今も当時と同じように仕事を始めることは決してありません。

このプロジェクトの後、DJ Max が私たちに加わり、今でも一緒に素晴らしい仕事をしています。クリックハウスの事例から、作業を開始する前に完全かつ徹底したインフラストラクチャ監査を実施する必要があることがわかりました。私たちはすべてがどのように機能するかを理解し、それから初めてタスクを受け入れます。また、以前であればインフラストラクチャのメンテナンスにすぐに取り掛かっていたとしても、現在ではまず 1 回限りのプロジェクトを実行することで、インフラストラクチャを稼働状態に戻す方法を理解することができます。

そして、はい、私たちは粗悪なインフラストラクチャを備えたプロジェクトを避けます。たとえ大金であっても、友情からであっても。問題のあるプロジェクトを実行するのは不利益です。このことに気づくことで、私たちは成長することができました。インフラストラクチャを整備するための 1 回限りのプロジェクトとその後のメンテナンス契約を結ぶか、あるいは単に通り過ぎてしまうかのどちらかです。もう一つの氷山を通過しました。

追伸インフラストラクチャについて質問がある場合は、 お気軽にリクエストを残してください.

弊社では月に 2 回の無料監査を行っており、おそらくあなたのプロジェクトもそのうちの XNUMX つとなるでしょう。

出所： habr.com