会議報告書の記録を再掲載します HighLoad ++ 2016年は昨年7月8日〜XNUMX日にモスクワ近郊のスコルコボで開催された。 ウラジミール・プロタソフ OpenResty と Lua を使用して NGINX 機能を拡張する方法について説明します。

みなさんこんにちは。私はParallelsで働いているVladimir Protasovです。私自身について少しお話しさせてください。私は人生の4分の3をコードを書くのに費やしています。私は文字通り、根っからのプログラマーになりました。夢の中でコードを見ることもあります。私の人生の4分の1は産業開発で、生産に直接投入されるコードを書いています。一部の人が使用しているが気づいていないコード。

それがどれだけひどかったか理解してもらえるように。私がまだ新人だった頃、入社すると 100 テラバイトのデータベースが与えられました。今ここにいる全員にとって負荷がかかっています。私はカンファレンスに行って、「皆さん、教えてください。ビッグデータですべてがうまくいくのですか? 皆さんの拠点の規模はどれくらいですか?」と尋ねました。すると彼らは、「100ギガバイトあります!」と答えました。私は言いました。「すごい、XNUMXギガバイトだ！」そして、ポーカーフェイスをいかに注意深く保つか考えました。「ああ、彼らはすごい」と思っても、戻ってきて、数テラバイトのデータベースをいじるのです。これが新人です。これがどんな打撃か想像できますか?

私は20以上のプログラミング言語を知っています。これは私が仕事をしながら理解しなければならなかったことです。 Erlang、C、C++、Lua、Python、Ruby などのコードが与えられ、それをすべて切り分ける必要があります。一般的に言えば、そうしなければなりませんでした。正確な数を数えることはできなかったが、20番あたりでその数は失われた。

ここにいる皆さんは Parallels が何であるか、そして私たちが何をしているかを知っているので、私たちがどれほど素晴らしいか、何をしているかについては話しません。当社は世界中に 13 のオフィスがあり、300 人以上の従業員を抱え、モスクワ、タリン、マルタで開発を行っています。冬は寒くて背中を温める必要がある場合は、マルタに移住することもできます。

私たちの部門は特に Python 2 で書いています。私たちはビジネスに携わっており、流行のテクノロジーを実装する時間がなく、苦しんでいます。 Django を選んだのは、そこに全てが備わっているからで、余分なものは捨てただけです。 MySQL、Redis、NGINX も。他にも素敵なものがたくさんあります。 MongoDB があり、ウサギが走り回っていて、あらゆるものが揃っていますが、それは私のものではなく、私がやっていることでもないのです。

OpenResty

私は自分自身について話しました。今日は何について話すか考えてみましょう。

• OpenResty とは何ですか? また、どのように使用しますか?
• Python、NodeJS、PHP、Go など、誰もが満足できるクールなものがあるのに、なぜ車輪の再発明をするのでしょうか?
• そして人生からの例をいくつか挙げます。レポートは 3,5 時間の長さになるため、大幅に短縮する必要があり、例はほとんどありません。

OpenResty は NGINX です。彼のおかげで、私たちは、よく書かれていて、素早く動作する本格的な Web サーバーを手に入れることができました。私たちのほとんどは、本番環境で NGINX を使用していると思います。彼が速くてかっこいいのは皆さんもご存知でしょう。クールな同期 I/O が組み込まれているため、Python で gevent を循環させるのと同じように、何も循環させる必要はありません。 Gevent はクールで素晴らしいですが、C コードを書いて何か問題が発生した場合、gevent でデバッグするのは大変になります。私も経験しましたが、何が悪かったのかを突き止めるのに丸2日かかりました。もし誰かが数週間も調べて問題を見つけ、インターネットに書き込み、Google が見つけられなかったら、私たちは完全に気が狂っていたでしょう。

NGINX にはすでにキャッシュと静的コンテンツが実装されています。どこかで速度を落とさないように、どこかで記述子を失わないように、人道的な方法で行う方法について心配する必要はありません。 Nginx はデプロイが非常に簡単なので、WSGI、PHP-FPM、Gunicorn、Unicorn など、何を採用するかを考える必要はありません。 Nginx がインストールされ、管理者に提供され、管理者はそれをどのように操作するかを知っています。 Nginx は構造化された方法でリクエストを処理します。これについては後ほどお話しします。つまり、リクエストを受け入れる段階、リクエストを処理する段階、そしてユーザーにコンテンツを返す段階があります。

Nginx は素晴らしいですが、問題が 1 つあります。カスタマイズできるにもかかわらず、構成に詰め込まれた素晴らしい機能すべてを備えていても、柔軟性が十分ではありません。この力は十分ではありません。だからこそ、Taobao の人たちはずっと昔、確か 8 年前くらいに Lua を組み込んだのです。それは何を与えるのでしょうか?

• サイズ。彼は小さいです。 LuaJIT では、約 100 ～ 200 キロバイトのメモリ オーバーヘッドと最小限のパフォーマンス オーバーヘッドが発生します。
• スピード。 LuaJIT インタープリタは多くの状況で C に近いですが、状況によっては Java より劣り、状況によっては Java より優れています。しばらくの間、これは最先端の、最もクールな JIT コンパイラーであると考えられていました。今はもっとかっこいいものもありますが、同じV8でも非常に重いです。一部の JS インタープリタと Java の HotSpot は、一部の部分では高速化していますが、他の部分では依然として劣っています。
• 簡単に学べる。たとえば、Perl コード ベースがあり、Booking でない場合は、Perl プログラマーを見つけることはできません。それらは存在しないので、すべて奪われ、それらを教えるのは長くて難しいのです。他の分野のプログラマーが必要な場合は、プログラマーを再教育するか、プログラマーを探す必要があるかもしれません。 Lua の場合はすべてがシンプルです。 Lua はどんな初心者でも 3 日で習得できます。それを理解するのに約2時間かかりました。 2 時間以内に、私はすでに本番環境でコードを書き始めていました。約1週間後、彼はすぐに制作に取り掛かりました。

結果は次のようになります。

ここにはたくさんあるよ。 OpenResty は、Lua と Engine の両方のモジュールを多数収集しています。これで、すべての準備が完了し、展開され、動作しています。

例

歌詞は十分です。コードに移りましょう。ここにちょっとした Hello World があります:

ここにはなにがありますか？これはエンジンの場所です。私たちは気にせず、独自のルーティングを書いたり、既製のルーティングを採用したりしません。NGINX にすでにルーティングが用意されているので、私たちは楽に、のんびりと暮らしています。

content_by_lua_block – これは、Lua スクリプトを使用してコンテンツを配信していることを示すブロックです。 Engins変数を取ります remote_addr そしてそれを滑り込ませる string.format。それは同じです sprintf、Lua でのみ、正しいだけです。そしてそれをクライアントに渡します。

結果は次のようになります。

しかし、現実の世界に戻りましょう。誰も Hello World を本番環境にデプロイしません。私たちのアプリケーションは通常、データベースまたは他の場所にアクセスし、ほとんどの時間を応答の待機に費やします。

ただ座って待つだけです。これはあまり良くありません。 100.000万人のユーザーが来ると、私たちにとっては非常に困難になります。それでは、例として簡単なアプリケーションを組み立ててみましょう。たとえば猫の写真を探します。しかし、単に検索するだけではなく、キーワードを拡張し、ユーザーが「子猫」を検索した場合は、猫やふわふわした猫などを検索します。まず、バックエンドでリクエストデータを取得する必要があります。次のようになります:

2 行で GET パラメータを問題なく取得できます。次に、通常の SQL クエリを使用して、キーワードと拡張子によるテーブルを持つデータベースからこの情報を取得するとします。簡単ですよ。次のようになります:

ライブラリを接続する resty.mysqlキットにはすでに含まれています。何もインストールする必要はありません。すべて準備ができています。接続方法と SQL クエリの作成方法を指定します。

ここは少し怖いですが、すべてうまくいきます。ここでは10が限界です。 10 件のレコードを取り出しましたが、面倒なので、これ以上は表示しません。 SQL の制限を忘れていました。

次に、すべてのリクエストの画像を検索します。たくさんのクエリを集めて、Luaテーブルに入力します。 reqsそして私たちはそれを実行します ngx.location.capture_multi.

これらすべてのリクエストは並行して処理され、回答が返されます。実行時間は最も遅いものの応答時間と同じになります。私たち全員が 50 ミリ秒以内に返信し、50 件のリクエストを送信すると、XNUMX ミリ秒以内に応答が届きます。

私たちは面倒なので、HTTP 処理とキャッシュを書きたくないので、NGINX にすべてを実行させます。ご覧のとおり、 url/fetch、ここに彼はいます：

シンプルに proxy_passキャッシュする場所と方法を指定すると、すべてがうまく機能します。

しかし、これだけでは十分ではありません。ユーザーにデータを提供する必要があります。最もシンプルなアイデアは、すべてを 2 行で簡単に JSON にシリアル化することです。 Content-Type を返し、JSON を返します。

しかし、1 つ難点があります。それは、ユーザーが JSON を読み取りたくないということです。フロントエンド開発者を引き付ける必要があります。最初はやりたくないこともあります。そして SEO の専門家は、私たちが画像を探しているのであれば、それは彼らにとって問題ではないと言うでしょう。そして、私たちが何らかのコンテンツを提供すると、検索エンジンは私たちのコンテンツを何もインデックスしないと言うでしょう。

どうすればいいでしょうか?もちろん、ユーザーに HTML を提供します。手動で生成するのは適切ではないので、テンプレートを使用する必要があります。このためのライブラリがあります。 lua-resty-template.

おそらく、OPM という 3 つの恐ろしい文字を見たことがあるでしょう。 OpenRestyには独自のパッケージマネージャーが付属しており、これを使ってさまざまなモジュールをインストールできます。 lua-resty-template。これは、Django テンプレートに似たシンプルなテンプレート エンジンです。そこでコードを記述し、変数の置換を行うことができます。

結果、すべてが次のようになります。

データを取得して、テンプレートを 2 行で再度レンダリングしました。ユーザーは猫をもらって大喜びです。要望が広がったので、子猫に加えてアザラシももらいました。誰にも分からない、もしかしたら彼はまさにそれを求めていたのに、自分の要求を正しく表現できなかったのかもしれない。

すべて素晴らしいのですが、開発中なのでまだユーザーに公開したくありません。承認をしましょう。これを実行するには、OpenResty の用語で NGINX がリクエストを処理する方法を見てみましょう。

• 第一段階 - アクセスユーザーが到着したばかりのときに、ヘッダー、IP アドレス、その他のデータでユーザーを調べました。気に入らなければすぐに切断できます。これは認証に使用できますが、リクエストが大量に届いた場合は、この段階で簡単にカットすることができます。
• 書き直す。一部のリクエストデータを書き換えています。
• コンテンツ。ユーザーにコンテンツを提供します。
• ヘッダーフィルター。レスポンス ヘッダーを置き換えます。もし私たちが proxy_passユーザーに渡す前に、いくつかのヘッダーを書き換えることができます。
• ボディフィルター。本体を交換することができます。
• ログ — ログ記録。追加のレイヤーなしでログを elasticsearch に書き込むことができます。

承認は次のようになります。

それに追加します。 location前に説明した に、次のコードを追加します。

クッキートークンがあるかどうかを確認します。そうでない場合は、承認のためにそれをスローします。ユーザーは賢いので、Cookie トークンを設定する必要があることを推測できます。そこで、これを Redis にも配置します。

Redis を操作するためのコードは非常にシンプルで、他の言語と変わりません。同時に、そことここの両方でのすべての入出力は非ブロッキングです。同期コードを記述すると、非同期で動作します。 gevent とほぼ同じですが、うまくできています。

認証自体を実行してみましょう。

リクエスト本体を読み取る必要があると言います。 POST 引数を受け取り、ログインとパスワードが正しいことを確認します。間違っている場合は、承認のために送信します。それらが正しければ、トークンを Redis に書き込みます。

クッキーを設定することを忘れないでください。これも 2 行で実行されます。

単純で推測的な例。もちろん、猫を見せるサービスを作るわけではありません。誰が私たちを知っているかはわかりませんが。それでは、本番環境で何ができるかを見ていきましょう。

• ミニマルなバックエンド。場合によっては、バックエンドに非常に少量のデータを提供する必要があります。たとえば、どこかに日付を挿入したり、どこかにリストを出力したり、現在サイトにアクセスしているユーザー数を示したり、カウンターや統計を添付したりする必要がある場合です。そんな小さなもの。最小限のピースを非常に簡単に作ることができます。これにより、迅速、簡単、そして素晴らしいものになります。
• データ前処理。ページに広告を埋め込みたい場合があり、API リクエストを使用してこの広告を取得します。ここでこれを行うのは非常に簡単です。すでに懸命に働いているバックエンドに過負荷をかけることはありません。こちらで受け取って組み立てていただけます。いくつかの JS を接着したり、逆にそれを分離したり、ユーザーに提供する前に何かを前処理したりすることができます。
• マイクロサービス用ファサード。これもとても良い事例なので、実装してみました。それ以前は、電子報告を扱い、国内の法人の約半数に報告サービスを提供する会社、Tenzor で働いていました。私たちは、ルーティング、認証など、多くのことを同じメカニズムを使用して実行するサービスを作成しました。
  OpenResty はマイクロサービスの接着剤として使用でき、すべてへの単一のアクセスと単一のインターフェースを提供します。マイクロサービスは、ここでは Node.js、ここでは PHP、ここでは Python、ここでは Erlang のようなもの、というように記述できるため、同じコードをどこでも書き直したくないことは理解できます。そのため、OpenResty をフロントにインストールすることができます。
• 統計と分析。通常、NGINX は入り口にあり、すべてのリクエストはそこを通過します。ここは組み立てるのにとても便利な場所です。すぐに何かを計算して、同じ Elasticsearch、Logstash などのどこかに投げたり、単にログに書き込んでどこかに送信したりすることができます。
• マルチユーザーシステム。例えば、オンラインゲームも作るのがとても上手です。本日ケープタウンでは、Alexander Gladysh が OpenResty を使用してマルチプレイヤー ゲームのプロトタイプを迅速に作成する方法について講演します。
• リクエストフィルタリング（WAF）。最近では、あらゆる種類の Web アプリケーション ファイアウォールを作成することが流行しており、それらを提供するサービスも数多くあります。 OpenResty を使用すると、要件に応じてリクエストをシンプルかつ簡単にフィルタリングする Web アプリケーション ファイアウォールを作成できます。 Python をお持ちの場合は、もちろんどこかのコンソールから PHP を生成しない限り、PHP が挿入されることは絶対にないことを理解しているはずです。 MySQL と Python があることはご存じでしょう。おそらく、ここでディレクトリトラバーサルを実行して、データベースに何かを挿入しようとする可能性があります。したがって、フロントエンドで疑わしいクエリを迅速かつ安価にフィルタリングできます。
• コミュニティ。 OpenRestyはNGINX上に構築されているため、次のような利点があります。 NGINX コミュニティ。これは非常に大きなものであり、最初に抱くであろう質問のかなりの部分は、NGINX コミュニティによってすでに回答されています。

  Lua開発者。昨日、HighLoad++ トレーニング デーに来た人たちと話をしたところ、Tarantool だけが Lua で書かれていると聞きました。これは真実ではありません。Lua で書かれたものはたくさんあります。例: OpenResty、Prosody XMPP サーバー、Love2D ゲーム エンジン、Warcraft などでスクリプト化された Lua。 Lua 開発者はたくさんおり、大規模で反応の良いコミュニティがあります。 Lua に関する私の質問はすべて数時間以内に解決されました。メーリング リストに書き込むと、文字通り数分以内に、何がどのように、何が何であるかを説明する大量の応答が届きます。これはとてもクールですね。残念ながら、どこにでもそのような親切で温かいコミュニティがあるわけではありません。
  OpenResty 用の GitHub があり、何か問題が発生した場合に問題を報告できます。 Google グループには一般的な問題について議論できるメーリング リストがあり、中国語のメーリング リストもあります。英語は話せなくても中国語はわかるという場合もあります。

結果

• OpenResty が Web 向けにカスタマイズされた非常に便利なフレームワークであることが伝われば幸いです。
• コードは私たちが書くものと似ており、言語は非常にシンプルでミニマルなので、参入障壁は低いです。
• コールバックなしの非同期 I/O を提供するため、NodeJS で記述する場合のように複雑な処理は必要ありません。
• 必要なモジュールとコードを備えた NGINX のみが必要なので、展開が簡単で、すべてがすぐに機能します。
• 大規模で反応の良いコミュニティ。

ルーティングがどのように行われるかについては詳しく説明しませんでしたが、それは非常に長い話になってしまいました。

ありがとうございました！

Vladimir Protasov — OpenResty: NGINX を本格的なアプリケーション サーバーに変える

出所： habr.com