Yandex.Cloud では 10 件のイベントを受け入れます。 パート000

みなさん、こんにちは！

* この記事は REBRAIN と Yandex.Cloud オープン ワークショップに基づいています。ビデオを見たい場合は、このリンクから見つけることができます。 https://youtu.be/cZLezUm0ekE

最近、Yandex.Cloud をライブで試す機会がありました。 私たちは長く徹底的に調査したかったので、クラウド ベースでシンプルな Wordpress ブログを立ち上げるという考えはあまりにも退屈だったのですぐに放棄しました。 少し考えた結果、ほぼリアルタイム モードでイベントを受信して​​分析するための実稼働サービス アーキテクチャに似たものをデプロイすることにしました。

私は、大多数のオンライン企業 (オンライン企業に限らず) が、何らかの方法でユーザーとその行動に関する大量の情報を収集していると確信しています。 少なくとも、これは特定の決定を下すために必要です。たとえば、オンライン ゲームを管理している場合、ユーザーがどのレベルでスタックすることが最も多く、おもちゃを削除するかという統計を確認できます。 または、ユーザーが何も購入せずにサイトを離れる理由 (こんにちは、Yandex.Metrica)。

ということで、私たちのストーリーは、どのようにして golang でアプリケーションを作成し、kafka、rabbitmq、yqs をテストし、Clickhouse クラスターでデータ ストリーミングを作成し、yandex datalens を使用してデータを視覚化したかです。 当然のことながら、これらすべては、docker、terraform、gitlab ci、そしてもちろん prometheus の形でのインフラストラクチャの喜びで味付けされています。 さあ行こう！

一度にすべてを設定することはできないことをすぐに予約したいと思います。そのためには、シリーズのいくつかの記事が必要になります。 構造について少し説明します。

パート 1 (あなたは読んでいます)。 ソリューションの仕様とアーキテクチャを決定し、golang でアプリケーションを作成します。
パート2。 アプリケーションを実稼働環境にリリースし、スケーラブルにして負荷をテストします。
パート 3。 なぜメッセージをファイルではなくバッファーに保存する必要があるのか​​を理解して、kafka、rabbitmq、yandex キュー サービスを比較してみましょう。
パート 4 Clickhouse クラスターをデプロイし、そこにあるバッファーからデータを転送するストリーミング サービスを作成し、datalens で視覚化をセットアップします。
パート5 インフラストラクチャ全体を適切な形に整えましょう。gitlab ci を使用して ci/cd をセットアップし、prometheus と consul を使用してモニタリングとサービス検出を接続します。

TK

まず、結果として正確に何を取得したいのかという委託条件を定式化しましょう。

1. events.kis.im (kis.im はすべての記事で使用するテスト ドメイン) のようなエンドポイントが必要で、HTTPS を使用してイベントを受信する必要があります。
2. イベントは、{“event”: “view”, “os”: “linux”, “browser”: “chrome”} のような単純な json です。 最終段階ではさらにフィールドを追加しますが、これは大きな役割を果たしません。 必要に応じて、protobuf に切り替えることができます。
3. サービスは 10 秒あたり 000 件のイベントを処理できる必要があります。
4. 新しいインスタンスをソリューションに追加するだけで、水平方向に拡張できるはずです。 また、クライアントリクエストのレイテンシを短縮するために、フロント部分を別の地理的位置に移動できれば素晴らしいでしょう。
5. フォールトトレランス。 ソリューションは十分に安定しており、部品が落下しても耐えられる必要があります (もちろん、一定数まで)。

アーキテクチャ

一般に、このタイプのタスクでは、効率的なスケーリングを可能にする古典的なアーキテクチャが長い間発明されてきました。 図はソリューションの一例を示しています。

それで、私たちが持っているものは次のとおりです。

1. 左側には、プレーヤーがスマートフォン上のおもちゃのレベルを完了したり、通常のブラウザーを通じてオンライン ストアで注文を作成したりするさまざまなイベントを生成するデバイスがあります。 仕様で指定されているイベントは、エンドポイント events.kis.im に送信される単純な JSON です。

2. 最初の XNUMX つのサーバーは単純なバランサーであり、主なタスクは次のとおりです。

• 常に利用できるようにしてください。 これを行うには、たとえば、問題が発生した場合にノード間で仮想 IP を切り替える keepalived を使用できます。
• TLSを終了します。 はい、それらの TLS を終了します。 第一に、当社のソリューションが技術仕様に準拠するため、第二に、バックエンド サーバーから暗号化された接続を確立する負担を軽減するためです。
• 受信リクエストのバランスを利用可能なバックエンド サーバーに分散します。 ここでのキーワードはアクセス可能です。 これに基づいて、ロード バランサーはアプリケーションを使用してサーバーを監視し、障害が発生したノードへのトラフィックの分散を停止できなければならないという理解に達しました。

3. バランサーの後には、非常に単純なアプリケーションを実行するアプリケーション サーバーがあります。 HTTP 経由で受信リクエストを受け入れ、送信された JSON を検証し、データをバッファーに入れることができる必要があります。

4. この図では、バッファーとして kafka を示していますが、もちろん、他の同様のサービスもこのレベルで使用できます。 第 XNUMX 回の記事では、Kafka、rabbitmq、yqs を比較します。

5. 私たちのアーキテクチャの最後から 4 番目のポイントは、膨大な量のデータを保存および処理できる列型データベースである Clickhouse です。 このレベルでは、バッファからストレージ システム自体にデータを転送する必要があります (これについては記事 XNUMX で詳しく説明します)。

この設計により、各レイヤーを水平方向に独立して拡大縮小することができます。 バックエンド サーバーは対応できません。もう XNUMX つ付け加えておきます。結局のところ、バックエンド サーバーはステートレス アプリケーションなので、これは自動的に行うこともできます。 Kafka スタイルのバッファーは機能しません。サーバーをさらに追加して、トピックのパーティションの一部をサーバーに転送しましょう。 Clickhouse はそれを処理できません - 不可能です :) 実際、サーバーに接続してデータをシャーディングすることもします。

ちなみに、技術仕様のオプション部分を実装して、さまざまな地理位置情報に拡張したい場合、これほど簡単なものはありません。

各地理位置情報に、アプリケーションと Kafka を備えたロード バランサーをデプロイします。 一般に、2 つのアプリケーション サーバー、3 つの Kafka ノード、およびクラウド バランサー (cloudflare など) で十分です。クラウド バランサーは、アプリケーション ノードの可用性をチェックし、クライアントのソース IP アドレスに基づいて地理位置情報によってリクエストのバランスをとります。 したがって、アメリカのクライアントから送信されたデータはアメリカのサーバーに到達します。 そしてアフリカのデータはアフリカにあります。

その後、すべてが非常に簡単になります。Kafka セットのミラー ツールを使用し、すべてのデータをすべての場所からロシアにある中央データ センターにコピーします。 内部的にはデータを解析し、その後の視覚化のために Clickhouse に記録します。

アーキテクチャを整理しました。Yandex.Cloud を動かし始めましょう。

アプリケーションの作成

クラウドが登場する前は、まだ少し辛抱強く、受信イベントを処理する非常に単純なサービスを作成する必要があります。 golang はネットワーク アプリケーションを作成するための言語として非常に優れていることが証明されているため、ここでは golang を使用します。

XNUMX 時間 (おそらく数時間) 費やした後、次のような結果が得られます。 https://github.com/RebrainMe/yandex-cloud-events/blob/master/app/main.go.

ここで注意したい主な点は次のとおりです。

1. アプリケーションの起動時に、XNUMX つのフラグを指定できます。 XNUMX つは、受信 http リクエストをリッスンするポート (-addr) を担当します。 XNUMX 番目は、イベントを記録する kafka サーバーのアドレス用です (-kafka)。

addr     = flag.String("addr", ":8080", "TCP address to listen to")
kafka    = flag.String("kafka", "127.0.0.1:9092", "Kafka endpoints”)

2. アプリケーションは、sarama ライブラリ ([]github.com/Shopify/sarama) メッセージを Kafka クラスターに送信します。 すぐに最大の処理速度を目的とした設定を行いました。

config := sarama.NewConfig()
config.Producer.RequiredAcks = sarama.WaitForLocal
config.Producer.Compression = sarama.CompressionSnappy
config.Producer.Return.Successes = true

3. 私たちのアプリケーションには、次のようなさまざまなメトリクスを収集する組み込みの prometheus クライアントもあります。

• アプリケーションへのリクエストの数。
• リクエスト実行時のエラーの数 (ポストリクエストを読み取ることができない、JSON が壊れる、Kafka に書き込むことができない)。
• Kafka へのメッセージの書き込み時間を含む、クライアントからの XNUMX つのリクエストの処理時間。

4. アプリケーションが処理する XNUMX つのエンドポイント:

• /status - 生きていることを示すには単に ok を返します。 ただし、Kafka クラスターの可用性など、いくつかのチェックを追加できます。
• /metrics - この URL に従って、prometheus クライアントは収集したメトリクスを返します。
• /post は、内部に json を含む POST リクエストが送信されるメイン エンドポイントです。 私たちのアプリケーションは、json の有効性をチェックし、すべてが正常であれば、データを Kafka クラスターに書き込みます。

このコードは完璧ではないことを留保しておきますが、完成させることは可能です (そしてそうすべきです!)。 たとえば、組み込みの net/http の使用を停止し、より高速な fasthttp に切り替えることができます。 または、json 妥当性チェックを後の段階 (データがバッファーからクリックハウス クラスターに転送されるとき) に移動することで、処理時間と CPU リソースを獲得できます。

この問題の開発面に加えて、私たちはすぐに将来のインフラストラクチャについて検討し、Docker 経由でアプリケーションをデプロイすることにしました。 アプリケーションを構築するための最終的な Dockerfile は次のとおりです。 https://github.com/RebrainMe/yandex-cloud-events/blob/master/app/Dockerfile。 一般に、これは非常に単純ですが、注意したい唯一の点は、コンテナの最終イメージを削減できる多段階アセンブリです。

クラウドの最初のステップ

まずは、こちらに登録してください クラウド.yandex.ru。 必要なフィールドをすべて入力すると、アカウントが作成され、クラウド サービスのテストに使用できる一定額の助成金が与えられます。 この記事のすべての手順を繰り返したい場合は、この補助金で十分です。

登録後、別のクラウドとデフォルトのディレクトリが作成され、そこでクラウド リソースの作成を開始できます。 一般に、Yandex.Cloud では、リソースの関係は次のようになります。

XNUMX つのアカウントに対して複数のクラウドを作成できます。 そしてクラウド内には、会社のプロジェクトごとに異なるディレクトリを作成します。 これについて詳しくは、ドキュメントを参照してください。 https://cloud.yandex.ru/docs/resource-manager/concepts/resources-hierarchy。 ちなみに、本文中では以下によく言及します。 インフラストラクチャ全体を最初からセットアップするときに、ドキュメントが何度も役に立ったので、勉強することをお勧めします。

クラウドを管理するには、Web インターフェイスとコンソール ユーティリティ (yc) の両方を使用できます。 インストールは XNUMX つのコマンドで実行されます (Linux および Mac OS の場合)。

curl https://storage.yandexcloud.net/yandexcloud-yc/install.sh | bash

社内のセキュリティ専門家がインターネットからスクリプトを実行することに激怒している場合は、まず、スクリプトを開いて読むことができます。次に、スクリプトを root 権限なしでユーザーの下で実行します。

Windows 用のクライアントをインストールする場合は、次の手順を使用できます。 ここで そして実行します yc init完全にカスタマイズするには:

vozerov@mba:~ $ yc init
Welcome! This command will take you through the configuration process.
Please go to https://oauth.yandex.ru/authorize?response_type=token&client_id= in order to obtain OAuth token.

Please enter OAuth token:
Please select cloud to use:
 [1] cloud-b1gv67ihgfu3bp (id = b1gv67ihgfu3bpt24o0q)
 [2] fevlake-cloud (id = b1g6bvup3toribomnh30)
Please enter your numeric choice: 2
Your current cloud has been set to 'fevlake-cloud' (id = b1g6bvup3toribomnh30).
Please choose folder to use:
 [1] default (id = b1g5r6h11knotfr8vjp7)
 [2] Create a new folder
Please enter your numeric choice: 1
Your current folder has been set to 'default' (id = b1g5r6h11knotfr8vjp7).
Do you want to configure a default Compute zone? [Y/n]
Which zone do you want to use as a profile default?
 [1] ru-central1-a
 [2] ru-central1-b
 [3] ru-central1-c
 [4] Don't set default zone
Please enter your numeric choice: 1
Your profile default Compute zone has been set to 'ru-central1-a'.
vozerov@mba:~ $

原則として、プロセスは簡単です。まず、クラウドを管理するための OAuth トークンを取得し、使用するクラウドとフォルダーを選択する必要があります。

同じクラウド内に複数のアカウントまたはフォルダーがある場合は、yc config profile create を使用して個別の設定で追加のプロファイルを作成し、それらを切り替えることができます。

上記のメソッドに加えて、Yandex.Cloud チームは非常に優れたメソッドを書きました。 テラフォーム用プラグイン クラウドリソースを管理するため。 私としては、記事の一部として作成されるすべてのリソースを説明する git リポジトリを準備しました。 https://github.com/rebrainme/yandex-cloud-events/。 master ブランチに興味があるので、ローカルにクローンを作成しましょう。

vozerov@mba:~ $ git clone https://github.com/rebrainme/yandex-cloud-events/ events
Cloning into 'events'...
remote: Enumerating objects: 100, done.
remote: Counting objects: 100% (100/100), done.
remote: Compressing objects: 100% (68/68), done.
remote: Total 100 (delta 37), reused 89 (delta 26), pack-reused 0
Receiving objects: 100% (100/100), 25.65 KiB | 168.00 KiB/s, done.
Resolving deltas: 100% (37/37), done.
vozerov@mba:~ $ cd events/terraform/

terraform で使用されるすべての主な変数は、main.tf ファイルに書き込まれます。 まず、次の内容を含む private.auto.tfvars ファイルを terraform フォルダーに作成します。

# Yandex Cloud Oauth token
yc_token = ""
# Yandex Cloud ID
yc_cloud_id = ""
# Yandex Cloud folder ID
yc_folder_id = ""
# Default Yandex Cloud Region
yc_region = "ru-central1-a"
# Cloudflare email
cf_email = ""
# Cloudflare token
cf_token = ""
# Cloudflare zone id
cf_zone_id = ""

コンソール ユーティリティはすでに設定されているため、すべての変数は yc config リストから取得できます。 プライベート データを誤って公開しないように、直ちに private.auto.tfvars を .gitignore に追加することをお勧めします。

private.auto.tfvars では、DNS レコードを作成し、メイン ドメイン events.kis.im をサーバーにプロキシするために、Cloudflare からのデータも指定しました。 Cloudflare を使用したくない場合は、main.tf 内の Cloudflare プロバイダーの初期化と、必要な DNS レコードの作成を担当する dns.tf ファイルを削除します。

私たちの作業では、Web インターフェイス、コンソール ユーティリティ、Terraform の XNUMX つのメソッドをすべて組み合わせます。

仮想ネットワーク

正直に言うと、新しいクラウドを作成すると、自動的に別のネットワークと 3 つのサブネット (アベイラビリティ ゾーンごとに XNUMX つ) が作成されるため、この手順をスキップすることもできます。 しかし、それでも、独自のアドレス指定を持つプロジェクト用に別のネットワークを作成したいと考えています。 Yandex.Cloud でネットワークがどのように機能するかを示す一般的な図を以下の図に示します (正直に引用したものです) https://cloud.yandex.ru/docs/vpc/concepts/)

したがって、リソースが相互に通信できる共通のネットワークを作成します。 アベイラビリティ ゾーンごとに、独自のアドレス指定を使用してサブネットが作成され、一般的なネットワークに接続されます。 その結果、異なる可用性ゾーンにある場合でも、その中のすべてのクラウド リソースが通信できます。 異なるクラウド ネットワークに接続されているリソースは、外部アドレスを介してのみ相互に認識できます。 ところで、この魔法は中でどうやって動いているのかというと、 ハブレでよく説明されていました.

ネットワークの作成は、リポジトリの network.tf ファイルに記述されています。 そこで、内部の共通プライベート ネットワークを 172.16.1.0 つ作成し、異なるアベイラビリティ ゾーンで 24 つのサブネットをそれに接続します - 内部-a (172.16.2.0/24)、内部-b (172.16.3.0/24)、内部-c (XNUMX/XNUMX) ）。

Terraform を初期化し、ネットワークを作成します。

vozerov@mba:~/events/terraform (master) $ terraform init
... skipped ..

vozerov@mba:~/events/terraform (master) $ terraform apply -target yandex_vpc_subnet.internal-a -target yandex_vpc_subnet.internal-b -target yandex_vpc_subnet.internal-c

... skipped ...

Plan: 4 to add, 0 to change, 0 to destroy.

Do you want to perform these actions?
  Terraform will perform the actions described above.
  Only 'yes' will be accepted to approve.

  Enter a value: yes

yandex_vpc_network.internal: Creating...
yandex_vpc_network.internal: Creation complete after 3s [id=enp2g2rhile7gbqlbrkr]
yandex_vpc_subnet.internal-a: Creating...
yandex_vpc_subnet.internal-b: Creating...
yandex_vpc_subnet.internal-c: Creating...
yandex_vpc_subnet.internal-a: Creation complete after 6s [id=e9b1dad6mgoj2v4funog]
yandex_vpc_subnet.internal-b: Creation complete after 7s [id=e2liv5i4amu52p64ac9p]
yandex_vpc_subnet.internal-c: Still creating... [10s elapsed]
yandex_vpc_subnet.internal-c: Creation complete after 10s [id=b0c2qhsj2vranoc9vhcq]

Apply complete! Resources: 4 added, 0 changed, 0 destroyed.

素晴らしい！ ネットワークを作成したので、内部サービスを作成する準備が整いました。

仮想マシンの作成

アプリケーションをテストするには、XNUMX つの仮想マシンを作成するだけで済みます。最初の仮想マシンはアプリケーションを構築して実行するために必要であり、XNUMX 番目の仮想マシンは受信メッセージを保存するために使用する kafka を実行するために必要です。 そして、アプリケーションを監視するために prometheus を構成する別のマシンを作成します。

仮想マシンは ansible を使用して構成されるため、terraform を開始する前に、最新バージョンの ansible のいずれかがあることを確認してください。 そして、ansible galaxy で必要なロールをインストールします。

vozerov@mba:~/events/terraform (master) $ cd ../ansible/
vozerov@mba:~/events/ansible (master) $ ansible-galaxy install -r requirements.yml
- cloudalchemy-prometheus (master) is already installed, skipping.
- cloudalchemy-grafana (master) is already installed, skipping.
- sansible.kafka (master) is already installed, skipping.
- sansible.zookeeper (master) is already installed, skipping.
- geerlingguy.docker (master) is already installed, skipping.
vozerov@mba:~/events/ansible (master) $

ansible フォルダー内には、私が使用する .ansible.cfg 構成ファイルの例があります。 役に立つかもしれません。

仮想マシンを作成する前に、ssh-agent が実行されており、ssh キーが追加されていることを確認してください。そうでない場合、terraform は作成されたマシンに接続できません。 もちろん、OS X のバグに遭遇しました。 https://github.com/ansible/ansible/issues/32499#issuecomment-341578864。 これが再び起こらないようにするには、Terraform を起動する前に小さな変数を env に追加します。

vozerov@mba:~/events/terraform (master) $ export OBJC_DISABLE_INITIALIZE_FORK_SAFETY=YES

terraform のあるフォルダーに必要なリソースを作成します。

vozerov@mba:~/events/terraform (master) $ terraform apply -target yandex_compute_instance.build -target yandex_compute_instance.monitoring -target yandex_compute_instance.kafka
yandex_vpc_network.internal: Refreshing state... [id=enp2g2rhile7gbqlbrkr]
data.yandex_compute_image.ubuntu_image: Refreshing state...
yandex_vpc_subnet.internal-a: Refreshing state... [id=e9b1dad6mgoj2v4funog]

An execution plan has been generated and is shown below.
Resource actions are indicated with the following symbols:
  + create

... skipped ...

Plan: 3 to add, 0 to change, 0 to destroy.

... skipped ...

すべてが正常に終了した場合 (正常に終了するはずです)、次の XNUMX つの仮想マシンが作成されます。

1. build - アプリケーションをテストおよび構築するためのマシン。 Docker は Ansible によって自動的にインストールされました。
2. 監視 - 監視マシン - prometheus と grafana がインストールされています。 ログイン/パスワード標準: admin/admin
3. kafka は、kafka がインストールされた小さなマシンで、ポート 9092 でアクセスできます。

それらがすべて適切に配置されていることを確認しましょう。

vozerov@mba:~/events (master) $ yc compute instance list
+----------------------+------------+---------------+---------+---------------+-------------+
|          ID          |    NAME    |    ZONE ID    | STATUS  |  EXTERNAL IP  | INTERNAL IP |
+----------------------+------------+---------------+---------+---------------+-------------+
| fhm081u8bkbqf1pa5kgj | monitoring | ru-central1-a | RUNNING | 84.201.159.71 | 172.16.1.35 |
| fhmf37k03oobgu9jmd7p | kafka      | ru-central1-a | RUNNING | 84.201.173.41 | 172.16.1.31 |
| fhmt9pl1i8sf7ga6flgp | build      | ru-central1-a | RUNNING | 84.201.132.3  | 172.16.1.26 |
+----------------------+------------+---------------+---------+---------------+-------------+

リソースが配置されているので、ここから IP アドレスを取得できます。 以下では、IP アドレスを使用して ssh 経由で接続し、アプリケーションをテストします。 terraform に接続された Cloudflare アカウントをお持ちの場合は、新しく作成した DNS 名を自由に使用してください。
ちなみに、仮想マシンの作成時に内部 IP と内部 DNS 名が指定されるため、ネットワーク内のサーバーに名前でアクセスできます。

ubuntu@build:~$ ping kafka.ru-central1.internal
PING kafka.ru-central1.internal (172.16.1.31) 56(84) bytes of data.
64 bytes from kafka.ru-central1.internal (172.16.1.31): icmp_seq=1 ttl=63 time=1.23 ms
64 bytes from kafka.ru-central1.internal (172.16.1.31): icmp_seq=2 ttl=63 time=0.625 ms
^C
--- kafka.ru-central1.internal ping statistics ---
2 packets transmitted, 2 received, 0% packet loss, time 1001ms
rtt min/avg/max/mdev = 0.625/0.931/1.238/0.308 ms

これは、kafk でエンドポイントをアプリケーションに示すのに役立ちます。

アプリケーションの組み立て

素晴らしいです。サーバーとアプリケーションがあります。あとはそれを組み立てて公開するだけです。 ビルドには通常の Docker ビルドを使用しますが、イメージ ストレージとして Yandex のサービスであるコンテナー レジストリを使用します。 しかし、まず最初に。

アプリケーションをビルド マシンにコピーし、ssh 経由でログインし、イメージをアセンブルします。

vozerov@mba:~/events/terraform (master) $ cd ..
vozerov@mba:~/events (master) $ rsync -av app/ [email protected]:app/

... skipped ...

sent 3849 bytes  received 70 bytes  7838.00 bytes/sec
total size is 3644  speedup is 0.93

vozerov@mba:~/events (master) $ ssh 84.201.132.3 -l ubuntu
ubuntu@build:~$ cd app
ubuntu@build:~/app$ sudo docker build -t app .
Sending build context to Docker daemon  6.144kB
Step 1/9 : FROM golang:latest AS build
... skipped ...

Successfully built 9760afd8ef65
Successfully tagged app:latest

戦いの半分は終わりました。これで、アプリケーションを起動して kafka に送信して、アプリケーションの機能をチェックできます。

ubuntu@build:~/app$ sudo docker run --name app -d -p 8080:8080 app /app/app -kafka=kafka.ru-central1.internal:9092</code>

С локальной машинки можно отправить тестовый event и посмотреть на ответ:

<code>vozerov@mba:~/events (master) $ curl -D - -s -X POST -d '{"key1":"data1"}' http://84.201.132.3:8080/post
HTTP/1.1 200 OK
Content-Type: application/json
Date: Mon, 13 Apr 2020 13:53:54 GMT
Content-Length: 41

{"status":"ok","partition":0,"Offset":0}
vozerov@mba:~/events (master) $

アプリケーションは、記録の成功と、メッセージが含まれているパーティションの ID およびオフセットを示す応答を返しました。 あとは、Yandex.Cloud でレジストリを作成し、そこにイメージをアップロードするだけです (XNUMX 行を使用してこれを行う方法は、registry.tf ファイルで説明されています)。 ストレージを作成します。

vozerov@mba:~/events/terraform (master) $ terraform apply -target yandex_container_registry.events

... skipped ...

Plan: 1 to add, 0 to change, 0 to destroy.

... skipped ...

Apply complete! Resources: 1 added, 0 changed, 0 destroyed.

コンテナー レジストリでの認証には、oauth トークン、iam トークン、サービス アカウント キーを使用するなど、いくつかの方法があります。 これらのメソッドの詳細については、ドキュメントを参照してください。 https://cloud.yandex.ru/docs/container-registry/operations/authentication。 サービス アカウント キーを使用するので、アカウントを作成します。

vozerov@mba:~/events/terraform (master) $ terraform apply -target yandex_iam_service_account.docker -target yandex_resourcemanager_folder_iam_binding.puller -target yandex_resourcemanager_folder_iam_binding.pusher

... skipped ...

Apply complete! Resources: 3 added, 0 changed, 0 destroyed.

あとは、そのキーを作成するだけです。

vozerov@mba:~/events/terraform (master) $ yc iam key create --service-account-name docker -o key.json
id: ajej8a06kdfbehbrh91p
service_account_id: ajep6d38k895srp9osij
created_at: "2020-04-13T14:00:30Z"
key_algorithm: RSA_2048

ストレージの ID に関する情報を受け取り、キーを転送してログインします。

vozerov@mba:~/events/terraform (master) $ scp key.json [email protected]:
key.json                                                                                                                    100% 2392   215.1KB/s   00:00

vozerov@mba:~/events/terraform (master) $ ssh 84.201.132.3 -l ubuntu

ubuntu@build:~$ cat key.json | sudo docker login --username json_key --password-stdin cr.yandex
WARNING! Your password will be stored unencrypted in /home/ubuntu/.docker/config.json.
Configure a credential helper to remove this warning. See
https://docs.docker.com/engine/reference/commandline/login/#credentials-store

Login Succeeded
ubuntu@build:~$

イメージをレジストリにアップロードするには、コンテナー レジストリ ID が必要です。yc ユーティリティから取得します。

vozerov@mba:~ $ yc container registry get events
id: crpdgj6c9umdhgaqjfmm
folder_id:
name: events
status: ACTIVE
created_at: "2020-04-13T13:56:41.914Z"

その後、画像に新しい名前をタグ付けしてアップロードします。

ubuntu@build:~$ sudo docker tag app cr.yandex/crpdgj6c9umdhgaqjfmm/events:v1
ubuntu@build:~$ sudo docker push cr.yandex/crpdgj6c9umdhgaqjfmm/events:v1
The push refers to repository [cr.yandex/crpdgj6c9umdhgaqjfmm/events]
8c286e154c6e: Pushed
477c318b05cb: Pushed
beee9f30bc1f: Pushed
v1: digest: sha256:1dd5aaa9dbdde2f60d833be0bed1c352724be3ea3158bcac3cdee41d47c5e380 size: 946

イメージが正常にロードされたことを確認できます。

vozerov@mba:~/events/terraform (master) $ yc container repository list
+----------------------+-----------------------------+
|          ID          |            NAME             |
+----------------------+-----------------------------+
| crpe8mqtrgmuq07accvn | crpdgj6c9umdhgaqjfmm/events |
+----------------------+-----------------------------+

ちなみに、Linux マシンに yc ユーティリティをインストールすると、次のコマンドを使用できます。

yc container registry configure-docker

ドッカーを設定します。

まとめ

私たちは多大な労力を費やし、その結果:

1. 私たちは将来のサービスのアーキテクチャを考え出しました。
2. ビジネス ロジックを実装するアプリケーションを golang で作成しました。
3. 私たちはそれを収集し、プライベートコンテナーレジストリに注ぎました。

次のパートでは、興味深い内容に進みます。アプリケーションを実稼働環境にリリースし、最後にアプリケーションへのロードを開始します。 切り替えないでください！

この資料は、オープン ワークショップ REBRAIN と Yandex.Cloud のビデオ録画に含まれています: Yandex Cloud では 10 秒あたり 000 件のリクエストを受け入れます - https://youtu.be/cZLezUm0ekE

このようなイベントにオンラインで参加し、リアルタイムで質問することに興味がある場合は、に接続してください。 REBRAIN による DevOps チャネル.

このようなイベントを主催する機会を与えてくださった Yandex.Cloud に特別に感謝いたします。 それらへのリンク - https://cloud.yandex.ru/prices

クラウドに移行する必要がある場合、またはインフラストラクチャについて質問がある場合は、 お気軽にリクエストを残してください.

PS では月に 2 回の無料監査を行っており、おそらくあなたのプロジェクトもそのうちの XNUMX つとなるでしょう。

出所： habr.com