カンファレンスの報告書のトランスクリプトを再発行します。 HighLoad ++ 2016年は昨年7月8～XNUMX日にモスクワ近郊のスコルコボで開催された。 ウラジミール・プロタソフ OpenResty と Lua を使用して NGINX 機能を拡張する方法を説明します。

皆さん、こんにちは。私の名前はウラジミール プロタソフです。Parallels で働いています。 私自身について少しお話します。 私は人生の XNUMX 分の XNUMX をコードの作成に費やしています。 私は文字通りの意味で徹底的にプログラマーになりました。夢の中でコードを見ることがあります。 人生の XNUMX 分の XNUMX は産業の発展であり、すぐに本番環境に導入できるコードを作成します。 使っているけど知らない人もいるコード。

それがどれほどひどかったかを知らせるために。 私がまだ少しジュニアだったとき、私はこの 100 テラバイトのデータベースを与えられました。 誰もがハイロードできるようになりました。 私はカンファレンスに行ってこう尋ねました。 そこに基地は何個ありますか？ 彼らは私に「100ギガバイトあります！」と答えました。 私は「いいですね、XNUMXギガバイト！」と言いました。 そして、ポーカーフェイスをきれいに保存する方法を考えました。 「はい、彼らはクールだ」と思った後、戻ってきて、これらの数テラバイトのデータベースをいじくり回します。 そしてこれがジュニアです。 それがどれほどのヒット作であるか想像できますか？

私は 20 以上のプログラミング言語を知っています。 これは私が仕事の過程で理解する必要があったことです。 彼らは Erlang、C、C++、Lua、Python、Ruby、その他のコードでコードを提供しますが、それをすべてカットする必要があります。 一般的に、そうしなければなりませんでした。 正確な数を計算することはできませんでしたが、約 20 個の数が失われました。

ここにいる誰もが Parallels が何であるか、そして私たちが何をしているのかを知っているので、私たちがどれほど素晴らしいか、そして私たちが何をしているかについては話しません。 私がお伝えしたいのは、当社は世界中に 13 のオフィスを持ち、従業員は 300 名を超え、モスクワ、タリン、マルタで開発を行っているということだけです。 冬は寒くて背中を温める必要がある場合は、ご希望であればマルタに行って移動することもできます。

具体的には、私たちの部門は Python 2 で記述しています。私たちはビジネスをしており、流行のテクノロジーを導入する時間がないため、苦労しています。 私たちは Django を持っています。それはすべてを備えているからですが、余分なものは取り除いて捨てました。 MySQL、Redis、NGINX も。 他にも素敵なアイテムがたくさんあります。 MongoDB はあり、ウサギが走り回っていますが、何も持っていません。しかし、それは私のものではありませんし、私はやりません。

OpenResty

私は自分自身について話しました。 今日は何を話すか見てみましょう。

• OpenRestyとは何ですか?何と一緒に食べますか?
• Python、NodeJS、PHP、Go、その他誰もが満足する優れた機能があるのに、なぜ車輪の再発明をする必要があるでしょうか?
• そして、実際の例をいくつか挙げます。 レポートを 3,5 時間半かけて取得したため、レポートを大幅に短縮する必要があったため、例はほとんどありません。

OpenRestyはNGINXです。 彼のおかげで、私たちはよく書かれており、高速に動作する本格的な Web サーバーを手に入れることができました。 私たちのほとんどは本番環境で NGINX を使用していると思います。 彼が速くてクールであることは皆さんもご存知でしょう。 優れた同期 I/O が組み込まれているため、Python で gevent をサイクルしたのと同じ方法で何かをサイクルする必要はありません。 Gevent はクールで素晴らしいですが、C コードを書いて gevent で何か問題が発生すると、デバッグに夢中になるでしょう。 私も経験がありますが、何が問題だったのかを理解するのに丸 XNUMX 日かかりました。 もし誰かが数週間前に問題を掘り起こして問題を見つけてインターネットに書き、そして Google がそれを見つけられなかったら、私たちは完全に気が狂ってしまっていたでしょう。

NGINX はすでにキャッシュと静的コンテンツを実行しています。 どこかで速度が落ちたり、記述子がどこかで失われないように、人間がそれを行う方法について心配する必要はありません。 Nginx はデプロイするのに非常に便利で、WSGI、PHP-FPM、Gunicorn、Unicorn など、何を採用するかを考える必要はありません。 Nginx がインストールされ、管理者に与えられたため、管理者はその操作方法を知っています。 Nginx は構造化された方法でリクエストを処理します。 これについては少し後ほどお話します。 つまり、リクエストを受け入れたとき、処理したとき、コンテンツをユーザーに提供したときのフェーズがあります。

Nginx はクールですが、問題が XNUMX つあります。カスタマイズできるにもかかわらず、構成に組み込まれたクールな機能をすべて備えていても、十分な柔軟性がありません。 この力では十分ではありません。 そこで、タオバオの人々はかつて、XNUMX 年ほど前だったと思いますが、タオバオに Lua を組み込んだのです。 彼は何をくれるのでしょうか？

• サイズ。 小さいです。 LuaJIT では、約 100 ～ 200 キロバイトのメモリ オーバーヘッドが発生し、パフォーマンスのオーバーヘッドは最小限に抑えられます。
• スピード。 LuaJIT インタープリターは多くの状況で C に近く、状況によっては Java に負け、またある状況では Java を追い越します。 しばらくの間、これは最先端の最もクールな JIT コンパイラーとみなされていました。 今はもっとクールなものもありますが、たとえば同じV8でも非常に重いです。 一部の JS インタープリターと Java HotSpot は、いくつかの点では高速ですが、それでもいくつかの点では速度が低下します。
• 簡単に学べる。 たとえば、Perl コードベースを持っていても Booking をしていない場合、Perl プログラマーは見つかりません。 彼らはそこにいないので、彼らはすべて奪われ、彼らを教えるのは長くて難しいです。 他の目的でプログラマーが必要な場合は、プログラマーを再訓練するか、見つける必要があるかもしれません。 Lua の場合、すべてがシンプルです。 Lua はどんなジュニアでも XNUMX 日あれば習得できます。 それを理解するのに約XNUMX時間かかりました。 XNUMX 時間後、私はすでに本番環境でコードを作成していました。 約 XNUMX 週間後、彼はすぐに制作に取り掛かり、退職しました。

その結果、次のようになります。

ここにはたくさんあります。 OpenResty は、luash とエンジンの両方を含む多数のモジュールを組み立てています。 これで、すべての準備が整い、デプロイされ、動作するようになりました。

例

歌詞については十分なので、コードに移りましょう。 ここにちょっとした Hello World があります:

そこにあるもの？ ここがエンジンの位置です。 心配する必要はありません。独自のルーティングを作成したり、既製のルーティングを使用したりしません。すでに NGINX にあり、順調に怠惰に暮らしています。

content_by_lua_block は、Lua スクリプトを使用してコンテンツを提供していることを示すブロックです。 エンジン変数を取得します remote_addr そしてそれを滑り込ませます string.format。 これはと同じです sprintf、Lua のみ、正しいもののみ。 そしてそれをクライアントに渡します。

結果として、次のようになります。

しかし、現実世界に戻ります。 運用環境では、誰も Hello World をデプロイしません。 私たちのアプリケーションは通常、データベースまたは他の場所にアクセスし、ほとんどの時間は応答を待ちます。

ただ座って待っています。 あまり良くないですね。 100.000万人のユーザーが来ると、私たちにとっては非常に大変です。 したがって、例として簡単なアプリケーションを使用してみましょう。 たとえば猫などの写真を探します。 ただ検索するだけではなく、キーワードを拡張し、ユーザーが「子猫」を検索すると、猫やふわふわなどが検索されます。 まず、バックエンドでリクエスト データを取得する必要があります。 次のようになります。

XNUMX 行で GET パラメータを取得できます。複雑なことはありません。 次に、たとえば、通常の SQL クエリを使用して、キーワードと拡張子ごとにテーブルを持つデータベースからこの情報を取得します。 すべてがシンプルです。 次のようになります。

図書館をつなぐ resty.mysql、すでにキットに含まれています。 何もインストールする必要はなく、すべて準備が整っています。 接続方法と SQL クエリの作成方法を指定します。

少し怖いですが、効果があります。 ここでは 10 が限界です。 10 件のレコードを取り出しますが、怠け者なので、それ以上は表示したくありません。 SQL の制限を忘れていました。

次に、すべてのクエリに対する画像を見つけます。 大量のリクエストを収集し、という名前の Lua テーブルに記入します。 reqs、 そして、やります ngx.location.capture_multi.

これらすべてのリクエストは並行して処理され、回答が返されます。 実行時間は、最も遅いものの応答時間と同じになります。 全員が 50 ミリ秒以内に反撃し、50 件のリクエストを送信した場合、XNUMX ミリ秒以内に応答を受け取ります。

私たちは怠け者で、HTTP 処理とキャッシュを書きたくないので、NGINX にすべてを行わせます。 ご覧のとおり、リクエストがありました url/fetch、ここに彼はいます：

私たちはシンプルにします proxy_pass、キャッシュする場所とその方法を指定すると、すべてがうまくいきます。

しかし、これだけでは不十分です。ユーザーにデータを提供する必要があります。 最も単純なアイデアは、すべてを XNUMX 行で簡単に JSON にシリアル化することです。 Content-Type を指定し、JSON を指定します。

ただし、問題が XNUMX つあります。ユーザーは JSON を読みたくないのです。 フロントエンド開発者を引き付ける必要があります。 最初はやる気が出ないこともあります。 はい、そして SEO 専門家は、私たちが写真を探しているのであれば、気にしないと言うでしょう。 そして、私たちが彼らに何らかのコンテンツを提供すると、彼らは私たちの検索エンジンは何もインデックスを付けていないと言うでしょう。

それをどうするか？ もちろん、ユーザーには HTML を提供します。 ハンドルを使って生成するのは不便なので、テンプレートを使用したいと思います。 これ用のライブラリがあります lua-resty-template.

OPM という恐ろしい XNUMX 文字を見たことがあるはずです。 OpenResty には独自のパッケージ マネージャーが付属しており、これを介してさまざまなモジュールをインストールできます。特に、 lua-resty-template。 これは、Django テンプレートに似たシンプルなテンプレート エンジンです。 そこでコードを記述し、変数の置換を行うことができます。

結果として、すべては次のようになります。

データを取得し、テンプレートを XNUMX 行で再度レンダリングしました。 ユーザーは猫を飼って満足です。 リクエストを拡大したので、子猫用のオットセイもいただきました。 おそらく彼はそれを探していたのでしょうが、要求を正しく表現できませんでした。

すべてが素晴らしいですが、開発中のため、まだユーザーにお見せしたくありません。 認可をしてみましょう。 これを行うには、NGINX が OpenResty の観点からリクエストをどのように処理するかを見てみましょう。

• 第XNUMX段階 - アクセスユーザーがちょうど来たとき、ヘッダー、IP アドレス、その他のデータによってユーザーを調べました。 気に入らない場合はすぐに切り取っていただけます。 これは承認に使用できます。また、大量のリクエストを受け取った場合は、この段階で簡単にリクエストを切り分けることができます。
• 書き直す。 一部のリクエストデータを書き換えています。
• コンテンツ。 ユーザーにコンテンツを提供します。
• ヘッダーフィルター。 応答ヘッダーを変更します。 もし私たちが使っていたら proxy_pass、ユーザーに渡す前にいくつかのヘッダーを書き換えることができます。
• ボディフィルター。 私たちは体を変えることができます。
• ログ - ロギング。 レイヤーを追加せずに elasticsearch にログを書き込むことができます。

私たちの認可は次のようになります。

それに追加します location、前に説明したように、そこに次のコードを追加します。

Cookie トークンがあるかどうかを確認します。 そうでない場合は、承認をスローします。 ユーザーは狡猾で、Cookie トークンを設定する必要があると推測する可能性があります。 したがって、これを Redis にも配置します。

Redis を操作するコードは非常にシンプルで、他の言語と何ら変わりません。 同時に、すべての入力/出力、そこにあるもの、ここにあるもの、それはブロックされません。 同期コードを作成すると、そのコードは非同期で動作します。 gevent と同様に、うまくいっただけです。

承認自体を行ってみましょう。

リクエストの本文を読む必要があると言います。 POST 引数を受け取り、ログインとパスワードが正しいことを確認します。 正しくない場合は、承認がスローされます。 それらが正しい場合は、トークンを Redis に書き込みます。

Cookie を設定することを忘れないでください。これも XNUMX 行で行われます。

この例は単純ですが、推測にすぎません。 もちろん、猫を人に見せるサービスは作りません。 しかし、私たちのことを誰が知っているでしょう。 それでは、本番環境で何ができるかを見てみましょう。

• ミニマリストのバックエンド。 場合によっては、かなりの量のデータをバックエンドに渡す必要があります。どこかで日付を置き換えたり、どこかで何らかのリストを表示したり、現在サイトに何人のユーザーがいるのかを表示したり、カウンターや統計をねじ込んだりする必要があります。 とても小さいもの。 いくつかの最小限の作品は非常に簡単に作ることができます。 これは速くて簡単で素晴らしいものになります。
• データの前処理。 場合によっては、ページに広告を埋め込みたい場合があり、これらの広告を API リクエストで受け取ります。 ここでは非常に簡単に行うことができます。 すでに一生懸命に動作しているバックエンドをロードしません。 こちらで引き取り・回収が可能です。 JS を成形したり、逆に、ユーザーに提供する前に何かを剥がして前処理したりできます。
• マイクロサービスのファサード。 これも非常に良いケースだったので実装してみました。 その前は、国内の法人の約半数に報告を提供する電子報告会社である Tenzor で働いていました。 私たちはサービスを作成しましたが、そこではルーティングや認可など、同じメカニズムを使用して多くのことが行われます。
  OpenResty をマイクロサービスの接着剤として使用すると、すべてへの単一のアクセスと単一のインターフェイスを提供できます。 マイクロサービスは、ここに Node.js があり、ここに PHP があり、ここに Python があり、ここに Erlang が存在するような方法で作成できるため、どこでも同じコードを書き換えたくないことは理解しています。 したがって、OpenRestyを前面に差し込むことができます。

• 統計と分析。 通常、NGINX が入り口にあり、すべてのリクエストがそこを通過します。 この場所にあると収集するのに非常に便利です。 すぐに何かを計算してどこか (同じ Elasticsearch、Logstash など) にスローすることも、単にログに書き込んでどこかに送信することもできます。
• マルチユーザー システム。 たとえば、オンラインゲームも非常に良いです。 今日はケープタウンで Alexander Gladysh が、OpenResty を使用してマルチプレイヤー ゲームのプロトタイプを迅速に作成する方法を説明します。
• リクエストフィルタリング(WAF)。 現在、あらゆる種類の Web アプリケーション ファイアウォールを作成するのが流行しており、それらを提供するサービスが数多くあります。 OpenResty の助けを借りて、要件に応じてリクエストを簡単かつ簡単にフィルタリングする Web アプリケーション ファイアウォールを自分で作成できます。 Python を使用している場合は、コンソールから PHP を生成しない限り、PHP は絶対に挿入されないことを理解しています。 MySQL と Python があることはご存知でしょう。 おそらく、ここで何らかのディレクトリ トラバーサルを実行し、データベースに何かを挿入しようとする可能性があります。 したがって、愚かなリクエストをフロントで迅速かつ低コストでフィルタリングできます。
• コミュニティ。 OpenResty は NGINX に基づいているため、ボーナスがあります - これは NGINX コミュニティ。 これは非常に規模が大きく、最初に抱くであろう質問の多くは NGINX コミュニティによってすでに回答されています。

  Lua 開発者。 昨日、HighLoad ++ のトレーニング日に来た人たちと話したところ、Lua で書かれているのは Tarantool だけだと聞きました。 そうではなく、多くのことが Lua で書かれています。 例: OpenResty、Prosody XMPP サーバー、Love2D ゲーム エンジン、Lua は Warcraft などでスクリプト化されています。 Lua 開発者はたくさんいて、大規模で反応の良いコミュニティがあります。 Lua に関するすべての質問は数時間以内に回答されました。 メーリングリストに書き込むと、文字通り数分ですでに大量の回答が届きます。それらは、何がどのように、何が何であるかを説明しています。 それは素晴らしい。 残念ながら、そのような親切で誠実なコミュニティはどこにでもあるわけではありません。
  OpenResty には GitHub があり、何かが壊れた場合に問題をオープンできます。 Google グループには一般的な問題について話し合うことができるメーリング リストがあり、中国語のメーリング リストもあります。おそらく英語は話せませんが、中国語の知識はあるでしょう。

結果

• OpenRestyがWebに特化したとても便利なフレームワークであることが伝われば幸いです。
• コードは私たちが書くものと似ており、言語は非常にシンプルでミニマルであるため、敷居が低くなります。
• コールバックなしで非同期 I/O を提供します。NodeJS で記述できる場合があるため、ヌードルはありません。
• 必要なのは適切なモジュールとコードを備えた NGINX だけであり、すべてがすぐに機能するため、デプロイは簡単です。
• 大規模で応答性の高いコミュニティ。

ルーティングがどのように行われるかについては詳しく説明しませんでしたが、非常に長い話になってしまいました。

ありがとうございました！

Vladimir Protasov - OpenResty: NGINX を本格的なアプリケーション サーバーに変える

出所： habr.com