Aviasales API と Amazon Kinesis の統合およびサーバーレスのシンプルさ

おい、ハブル！

飛行機を飛ばすのは好きですか? 私はそれが大好きですが、自主隔離中に、よく知られたリソースの XNUMX つである Aviasales の航空券のデータ分析にも夢中になりました。

今日は、Amazon Kinesis の動作を分析し、リアルタイム分析を備えたストリーミング システムを構築し、メイン データ ストレージとして Amazon DynamoDB NoSQL データベースをインストールし、興味深いチケットの SMS 通知を設定します。

すべての詳細はカットの下にあります！ 行く！

導入

たとえば、次へのアクセスが必要です。 Aviasales API。 アクセスは無料で制限なく提供されます。「開発者」セクションに登録するだけで、データにアクセスするための API トークンを受け取ることができます。

この記事の主な目的は、AWS での情報ストリーミングの使用について一般的な理解を与えることです。使用される API によって返されるデータは厳密には最新ではなく、キャッシュから送信されることを考慮しています。過去 48 時間の Aviasales.ru および Jetradar.com サイトのユーザーによる検索に基づいて形成されます。

生成マシンにインストールされ、API 経由で受信された Kinesis エージェントは、データを自動的に解析し、Kinesis Data Analytics 経由で目的のストリームに送信します。 このストリームの生バージョンはストアに直接書き込まれます。 DynamoDB にデプロイされた生データ ストレージにより、AWS Quick Sight などの BI ツールを通じてより詳細なチケット分析が可能になります。

インフラストラクチャ全体をデプロイするための XNUMX つのオプションを検討します。

• マニュアル - AWS マネジメントコンソール経由。
• Terraform コードからのインフラストラクチャは、遅延オートメータ用です。

開発したシステムのアーキテクチャ

使用したコンポーネント:

• Aviasales API — この API によって返されたデータは、後続のすべての作業に使用されます。
• EC2プロデューサーインスタンス — 入力データ ストリームが生成されるクラウド内の通常の仮想マシン:
  • キネシスエージェント はマシンにローカルにインストールされる Java アプリケーションで、データを収集して Kinesis (Kinesis Data Streams または Kinesis Firehose) に送信する簡単な方法を提供します。 エージェントは、指定されたディレクトリ内の一連のファイルを常に監視し、新しいデータを Kinesis に送信します。
  • API呼び出し元スクリプト — API にリクエストを作成し、その応答を Kinesis エージェントによって監視されるフォルダーに入れる Python スクリプト。
• Kinesisデータストリーム — 幅広い拡張機能を備えたリアルタイム データ ストリーミング サービス。
• キネシス分析 は、ストリーミング データのリアルタイム分析を簡素化するサーバーレス サービスです。 Amazon Kinesis Data Analytics はアプリケーションリソースを構成し、受信データの量に関係なく処理できるように自動的にスケーリングします。
• AWSラムダ — サーバーのバックアップやセットアップを行わずにコードを実行できるサービス。 すべてのコンピューティング能力は呼び出しごとに自動的にスケーリングされます。
• Amazon DynamoDB - いかなる規模でも実行時に 10 ミリ秒未満のレイテンシを提供する、キーと値のペアとドキュメントのデータベース。 DynamoDB を使用する場合、サーバーのプロビジョニング、パッチ適用、管理は必要ありません。 DynamoDB はテーブルを自動的にスケーリングして、利用可能なリソースの量を調整し、高いパフォーマンスを維持します。 システム管理は必要ありません。
• アマゾンSNS - パブリッシャー/サブスクライバー (Pub/Sub) モデルを使用してメッセージを送信するためのフルマネージド サービス。マイクロサービス、分散システム、サーバーレス アプリケーションを分離できます。 SNS を使用すると、モバイル プッシュ通知、SMS メッセージ、電子メールを通じてエンド ユーザーに情報を送信できます。

初期トレーニング

データ フローをエミュレートするために、Aviasales API から返された航空券情報を使用することにしました。 で ドキュメンテーション さまざまな方法の非常に広範なリストがあります。そのうちの XNUMX つである「月次価格カレンダー」を取り上げましょう。これは、月の各日の価格を送金回数ごとにグループ化して返します。 リクエストで検索月を指定しない場合、現在の月の翌月の情報が返されます。

それでは、登録してトークンを取得しましょう。

リクエストの例を以下に示します。

http://api.travelpayouts.com/v2/prices/month-matrix?currency=rub&origin=LED&destination=HKT&show_to_affiliates=true&token=TOKEN_API

リクエストでトークンを指定して API からデータを受け取る上記の方法は機能しますが、ヘッダーを通じてアクセス トークンを渡すことを好むため、このメソッドを api_caller.py スクリプトで使用します。

回答例:

{{
   "success":true,
   "data":[{
      "show_to_affiliates":true,
      "trip_class":0,
      "origin":"LED",
      "destination":"HKT",
      "depart_date":"2015-10-01",
      "return_date":"",
      "number_of_changes":1,
      "value":29127,
      "found_at":"2015-09-24T00:06:12+04:00",
      "distance":8015,
      "actual":true
   }]
}

上の API 応答の例は、サンクトペテルブルクからフックまでのチケットを示しています...ああ、なんて夢でしょう...
私はカザン出身で、プーケットは今では「単なる夢」なので、サンクトペテルブルクからカザンまでのチケットを探しましょう。

すでに AWS アカウントを持っていることを前提としています。 Kinesis と SMS による通知の送信が年次報告書に含まれていないという事実に、直ちに特別な注意を払っていただきたいと思います。 無料利用枠 (無料使用)。 しかし、それにもかかわらず、数ドルを念頭に置いて、提案されたシステムを構築してそれを試すことは十分に可能です。 そしてもちろん、不要になったリソースはすべて削除することを忘れないでください。

幸いなことに、毎月の無料制限を満たしていれば、DynamoDb と lambda 関数は無料になります。 たとえば、DynamoDB の場合: 25 GB のストレージ、25 WCU/RCU、および 100 億クエリ。 そして、XNUMX か月あたり XNUMX 万件のラムダ関数呼び出しがあります。

手動によるシステム展開

Kinesis Data Streams のセットアップ

Kinesis Data Streams サービスに移動し、XNUMX つの新しいストリーム (それぞれに XNUMX つのシャード) を作成してみましょう。

シャードとは何ですか?
シャードは、Amazon Kinesis ストリームの基本的なデータ転送単位です。 1 つのセグメントは、2 MB/s の速度で入力データ転送を提供し、1000 MB/s の速度で出力データ転送を提供します。 2 つのセグメントは、4 秒あたり最大 2000 の PUT エントリをサポートします。 データ ストリームを作成するときは、必要なセグメント数を指定する必要があります。 たとえば、XNUMX つのセグメントを含むデータ ストリームを作成できます。 このデータ ストリームは、XNUMX MB/秒の入力データ転送と XNUMX MB/秒の出力データ転送を提供し、XNUMX 秒あたり最大 XNUMX の PUT レコードをサポートします。

ストリーム内のシャードが多いほど、スループットが向上します。 原則として、これはシャードを追加することによってフローをスケーリングする方法です。 ただし、シャードが多ければ多いほど、価格は高くなります。 各シャードの料金は 1,5 時間あたり 1.4 セントで、PUT ペイロード ユニット XNUMX 万個ごとに追加で XNUMX セントかかります。

次の名前で新しいストリームを作成しましょう 航空券_チケット、1 つのシャードで十分です。

次の名前で別のスレッドを作成しましょう 特別なストリーム:

プロデューサーのセットアップ

タスクを分析するには、通常の EC2 インスタンスをデータプロデューサーとして使用するだけで十分です。 強力で高価な仮想マシンである必要はなく、スポット的な t2.micro で十分です。

重要な注意事項: たとえば、イメージ - Amazon Linux AMI 2018.03.0 を使用する必要があります。Kinesis エージェントを迅速に起動するための設定が少なくなります。

EC2 サービスに移動し、新しい仮想マシンを作成し、無料利用枠に含まれるタイプ t2.micro の目的の AMI を選択します。

新しく作成された仮想マシンが Kinesis サービスと対話できるようにするには、仮想マシンにそのための権限を付与する必要があります。 これを行う最善の方法は、IAM ロールを割り当てることです。 したがって、「ステップ 3: インスタンスの詳細の構成」画面で、「インスタンスの詳細を構成する」を選択する必要があります。 新しい IAM ロールを作成する:

EC2 の IAM ロールの作成

開いたウィンドウで、EC2 の新しいロールを作成することを選択し、[権限] セクションに移動します。

トレーニングの例を使用すると、リソース権限の詳細な設定の複雑さをすべて行う必要がないため、Amazon によって事前設定されたポリシー (AmazonKinesisFullAccess と CloudWatchFullAccess) を選択します。

このロールにわかりやすい名前を付けましょう (例: EC2-KinesisStreams-FullAccess)。 結果は次の図と同じになるはずです。

この新しいロールを作成したら、作成した仮想マシン インスタンスに忘れずにアタッチしてください。

この画面では他に何も変更せず、次のウィンドウに進みます。

ハードドライブの設定とタグはデフォルトのままにすることができます (タグを使用することをお勧めしますが、少なくともインスタンスに名前を付け、環境を示すようにしてください)。

[ステップ 6: セキュリティ グループの構成] タブが表示されます。ここで、新しいセキュリティ グループを作成するか、既存のセキュリティ グループを指定する必要があります。これにより、SSH (ポート 22) 経由でインスタンスに接続できるようになります。 そこで [Source] -> [My IP] を選択すると、インスタンスを起動できます。

実行ステータスに切り替わるとすぐに、ssh 経由で接続を試行できます。

Kinesis Agent を使用できるようにするには、マシンに正常に接続した後、ターミナルで次のコマンドを入力する必要があります。

sudo yum -y update
sudo yum install -y python36 python36-pip
sudo /usr/bin/pip-3.6 install --upgrade pip
sudo yum install -y aws-kinesis-agent

API レスポンスを保存するフォルダーを作成しましょう。

sudo mkdir /var/log/airline_tickets

エージェントを開始する前に、その構成を構成する必要があります。

sudo vim /etc/aws-kinesis/agent.json

Agent.json ファイルの内容は次のようになります。

{
  "cloudwatch.emitMetrics": true,
  "kinesis.endpoint": "",
  "firehose.endpoint": "",

  "flows": [
    {
      "filePattern": "/var/log/airline_tickets/*log",
      "kinesisStream": "airline_tickets",
      "partitionKeyOption": "RANDOM",
      "dataProcessingOptions": [
         {
            "optionName": "CSVTOJSON",
            "customFieldNames": ["cost","trip_class","show_to_affiliates",
                "return_date","origin","number_of_changes","gate","found_at",
                "duration","distance","destination","depart_date","actual","record_id"]
         }
      ]
    }
  ]
}

設定ファイルからわかるように、エージェントは /var/log/airline_tickets/ ディレクトリ内の .log 拡張子を持つファイルを監視し、それらを解析して、airline_tickets ストリームに転送します。

サービスを再起動し、サービスが稼働していることを確認します。

sudo service aws-kinesis-agent restart

次に、API からデータをリクエストする Python スクリプトをダウンロードしましょう。

REPO_PATH=https://raw.githubusercontent.com/igorgorbenko/aviasales_kinesis/master/producer

wget $REPO_PATH/api_caller.py -P /home/ec2-user/
wget $REPO_PATH/requirements.txt -P /home/ec2-user/
sudo chmod a+x /home/ec2-user/api_caller.py
sudo /usr/local/bin/pip3 install -r /home/ec2-user/requirements.txt

api_caller.py スクリプトは、Aviasales からデータを要求し、受信した応答を Kinesis エージェントがスキャンするディレクトリに保存します。 このスクリプトの実装は非常に標準的で、TicketsApi クラスがあり、これを使用して API を非同期にプルできます。 トークンを含むヘッダーとリクエスト パラメーターをこのクラスに渡します。

class TicketsApi:
    """Api caller class."""

    def __init__(self, headers):
        """Init method."""
        self.base_url = BASE_URL
        self.headers = headers

    async def get_data(self, data):
        """Get the data from API query."""
        response_json = {}
        async with ClientSession(headers=self.headers) as session:
            try:
                response = await session.get(self.base_url, data=data)
                response.raise_for_status()
                LOGGER.info('Response status %s: %s',
                            self.base_url, response.status)
                response_json = await response.json()
            except HTTPError as http_err:
                LOGGER.error('Oops! HTTP error occurred: %s', str(http_err))
            except Exception as err:
                LOGGER.error('Oops! An error ocurred: %s', str(err))
            return response_json


def prepare_request(api_token):
    """Return the headers and query fot the API request."""
    headers = {'X-Access-Token': api_token,
               'Accept-Encoding': 'gzip'}

    data = FormData()
    data.add_field('currency', CURRENCY)
    data.add_field('origin', ORIGIN)
    data.add_field('destination', DESTINATION)
    data.add_field('show_to_affiliates', SHOW_TO_AFFILIATES)
    data.add_field('trip_duration', TRIP_DURATION)
    return headers, data


async def main():
    """Get run the code."""
    if len(sys.argv) != 2:
        print('Usage: api_caller.py <your_api_token>')
        sys.exit(1)
        return
    api_token = sys.argv[1]
    headers, data = prepare_request(api_token)

    api = TicketsApi(headers)
    response = await api.get_data(data)
    if response.get('success', None):
        LOGGER.info('API has returned %s items', len(response['data']))
        try:
            count_rows = log_maker(response)
            LOGGER.info('%s rows have been saved into %s',
                        count_rows,
                        TARGET_FILE)
        except Exception as e:
            LOGGER.error('Oops! Request result was not saved to file. %s',
                         str(e))
    else:
        LOGGER.error('Oops! API request was unsuccessful %s!', response)

エージェントの正しい設定と機能をテストするために、api_caller.py スクリプトをテスト実行してみましょう。

sudo ./api_caller.py TOKEN

そして、エージェント ログと、airline_tickets データ ストリームの [監視] タブで作業の結果を確認します。

tail -f /var/log/aws-kinesis-agent/aws-kinesis-agent.log

ご覧のとおり、すべてが機能し、Kinesis エージェントはストリームにデータを正常に送信します。 次に、コンシューマーを構成しましょう。

Kinesis Data Analytics のセットアップ

システム全体の中心コンポーネントに移りましょう。Kinesis Data Analytics で kinesis_analytics_airlines_app という名前の新しいアプリケーションを作成します。

Kinesis Data Analytics を使用すると、SQL 言語を使用して Kinesis Streams からリアルタイムのデータ分析を実行できます。 これは、(Kinesis Streams とは異なり) 完全に自動スケーリングするサービスであり、次のことを行います。

1. ソース データへのリクエストに基づいて新しいストリーム (出力ストリーム) を作成できます。
2. アプリケーションの実行中に発生したエラーを含むストリーム (エラー ストリーム) を提供します。
3. 入力データ スキームを自動的に決定できます (必要に応じて手動で再定義できます)。

これは、0.11 時間の作業あたり XNUMX 米ドルという安いサービスではないため、慎重に使用し、終了したら削除する必要があります。

アプリケーションをデータ ソースに接続しましょう。

接続するストリーム (airline_tickets) を選択します。

次に、アプリケーションがストリームから読み取り、ストリームに書き込むことができるように、新しい IAM ロールをアタッチする必要があります。 これを行うには、アクセス許可ブロックを何も変更しないだけで十分です。

次に、ストリーム内のデータ スキーマの検出をリクエストしましょう。これを行うには、[スキーマの検出] ボタンをクリックします。 その結果、IAM ロールが更新され (新しいロールが作成され)、ストリームにすでに到着しているデータからスキーマ検出が開始されます。

次に、SQL エディターに移動する必要があります。 このボタンをクリックすると、アプリケーションの起動を求めるウィンドウが表示されます。起動するものを選択してください。

次の単純なクエリを SQL エディター ウィンドウに挿入し、[SQL を保存して実行] をクリックします。

CREATE OR REPLACE STREAM "DESTINATION_SQL_STREAM" ("cost" DOUBLE, "gate" VARCHAR(16));

CREATE OR REPLACE PUMP "STREAM_PUMP" AS INSERT INTO "DESTINATION_SQL_STREAM"
SELECT STREAM "cost", "gate"
FROM "SOURCE_SQL_STREAM_001"
WHERE "cost" < 5000
    and "gate" = 'Aeroflot';

リレーショナル データベースでは、INSERT ステートメントを使用してテーブルを操作し、レコードを追加し、SELECT ステートメントを使用してデータをクエリします。 Amazon Kinesis Data Analytics では、ストリーム (STREAM) とポンプ (PUMP)、つまりアプリケーション内の XNUMX つのストリームから別のストリームにデータを挿入する連続的な挿入リクエストを操作します。

上記の SQL クエリは、XNUMX ルーブル未満のアエロフロート航空券を検索します。 これらの条件を満たすすべてのレコードは DESTINATION_SQL_STREAM ストリームに配置されます。

[宛先] ブロックで、special_stream ストリームを選択し、[アプリケーション内ストリーム名] DESTINATION_SQL_STREAM ドロップダウン リストで次のように選択します。

すべての操作の結果は、次の図のようになります。

SNSトピックの作成と購読

シンプル通知サービスに移動し、そこに「航空会社」という名前の新しいトピックを作成します。

このトピックを購読し、SMS 通知の送信先となる携帯電話番号を指定します。

DynamoDB にテーブルを作成する

airline_tickets ストリームからの生データを保存するには、DynamoDB に同じ名前のテーブルを作成しましょう。 主キーとして Record_id を使用します。

ラムダ関数コレクターの作成

Collector というラムダ関数を作成しましょう。この関数のタスクは、airline_tickets ストリームをポーリングし、そこで新しいレコードが見つかった場合は、これらのレコードを DynamoDB テーブルに挿入することです。 明らかに、このラムダにはデフォルトの権限に加えて、Kinesis データストリームへの読み取りアクセスと DynamoDB への書き込みアクセスが必要です。

コレクターラムダ関数の IAM ロールの作成
まず、Lambda-TicketsProcessingRole という名前のラムダ用の新しい IAM ロールを作成しましょう。

テスト例では、以下の図に示すように、事前設定された AmazonKinesisReadOnlyAccess ポリシーと AmazonDynamoDBFullAccess ポリシーが非常に適しています。

このラムダは、新しいエントリがairline_streamに入ったときにKinesisからのトリガーによって起動される必要があるため、新しいトリガーを追加する必要があります。

残っているのは、コードを挿入してラムダを保存することだけです。

"""Parsing the stream and inserting into the DynamoDB table."""
import base64
import json
import boto3
from decimal import Decimal

DYNAMO_DB = boto3.resource('dynamodb')
TABLE_NAME = 'airline_tickets'

class TicketsParser:
    """Parsing info from the Stream."""

    def __init__(self, table_name, records):
        """Init method."""
        self.table = DYNAMO_DB.Table(table_name)
        self.json_data = TicketsParser.get_json_data(records)

    @staticmethod
    def get_json_data(records):
        """Return deserialized data from the stream."""
        decoded_record_data = ([base64.b64decode(record['kinesis']['data'])
                                for record in records])
        json_data = ([json.loads(decoded_record)
                      for decoded_record in decoded_record_data])
        return json_data

    @staticmethod
    def get_item_from_json(json_item):
        """Pre-process the json data."""
        new_item = {
            'record_id': json_item.get('record_id'),
            'cost': Decimal(json_item.get('cost')),
            'trip_class': json_item.get('trip_class'),
            'show_to_affiliates': json_item.get('show_to_affiliates'),
            'origin': json_item.get('origin'),
            'number_of_changes': int(json_item.get('number_of_changes')),
            'gate': json_item.get('gate'),
            'found_at': json_item.get('found_at'),
            'duration': int(json_item.get('duration')),
            'distance': int(json_item.get('distance')),
            'destination': json_item.get('destination'),
            'depart_date': json_item.get('depart_date'),
            'actual': json_item.get('actual')
        }
        return new_item

    def run(self):
        """Batch insert into the table."""
        with self.table.batch_writer() as batch_writer:
            for item in self.json_data:
                dynamodb_item = TicketsParser.get_item_from_json(item)
                batch_writer.put_item(dynamodb_item)

        print('Has been added ', len(self.json_data), 'items')

def lambda_handler(event, context):
    """Parse the stream and insert into the DynamoDB table."""
    print('Got event:', event)
    parser = TicketsParser(TABLE_NAME, event['Records'])
    parser.run()

ラムダ関数通知機能の作成

XNUMX 番目のストリーム (special_stream) を監視し、SNS に通知を送信する XNUMX 番目のラムダ関数も同様の方法で作成されます。 したがって、このラムダには、Kinesis から読み取り、特定の SNS トピックにメッセージを送信するためのアクセス権が必要です。メッセージは、SNS サービスによってこのトピックのすべてのサブスクライバー (電子メール、SMS など) に送信されます。

IAM ロールの作成
まず、このラムダの IAM ロール Lambda-KinesisAlarm を作成し、このロールを作成中のalarm_notifier ラムダに割り当てます。

このラムダは、新しいレコードがspecial_stream に入るトリガーで動作する必要があるため、コレクター ラムダの場合と同じ方法でトリガーを構成する必要があります。

このラムダの設定を簡単にするために、新しい環境変数 TOPIC_ARN を導入しましょう。ここに、航空会社トピックの ANR (Amazon リコース名) を配置します。

そしてラムダコードを挿入します。これはまったく複雑ではありません。

import boto3
import base64
import os

SNS_CLIENT = boto3.client('sns')
TOPIC_ARN = os.environ['TOPIC_ARN']


def lambda_handler(event, context):
    try:
        SNS_CLIENT.publish(TopicArn=TOPIC_ARN,
                           Message='Hi! I have found an interesting stuff!',
                           Subject='Airline tickets alarm')
        print('Alarm message has been successfully delivered')
    except Exception as err:
        print('Delivery failure', str(err))

ここで手動によるシステム設定が完了したようです。 残っているのは、すべてが正しく構成されていることをテストして確認することだけです。

Terraform コードからデプロイする

必要な準備

テラフォーム は、コードからインフラストラクチャを展開するための非常に便利なオープンソース ツールです。 学習しやすい独自の構文があり、何をどのように展開するかについての例が多数あります。 Atom エディターまたは Visual Studio Code には、Terraform での作業を容易にする便利なプラグインが多数含まれています。

ディストリビューションをダウンロードできます 故に。 Terraform のすべての機能の詳細な分析はこの記事の範囲を超えているため、主要なポイントに限定します。

始め方

プロジェクトの完全なコードは次のとおりです 私のリポジトリで。 リポジトリのクローンを自分自身に作成します。 開始する前に、AWS CLI がインストールされ、設定されていることを確認する必要があります。 Terraform は、~/.aws/credentials ファイルで認証情報を検索します。

インフラストラクチャ全体をデプロイする前に plan コマンドを実行して、Terraform が現在クラウド内に何を作成しているかを確認することをお勧めします。

terraform.exe plan

通知の送信先の電話番号を入力するように求められます。 この段階では入力する必要はありません。

プログラムの操作計画を分析したら、リソースの作成を開始できます。

terraform.exe apply

このコマンドを送信すると、再度電話番号の入力を求められます。実際のアクションの実行に関する質問が表示されたら、「はい」をダイヤルします。 これにより、インフラストラクチャ全体のセットアップ、EC2 の必要なすべての構成の実行、ラムダ関数のデプロイなどが可能になります。

Terraform コードを通じてすべてのリソースが正常に作成されたら、Kinesis Analytics アプリケーションの詳細に入る必要があります (残念ながら、これをコードから直接行う方法は見つかりませんでした)。

アプリケーションを起動します。

この後、ドロップダウン リストから選択して、アプリケーション内ストリーム名を明示的に設定する必要があります。

これですべての準備が整いました。

アプリケーションのテスト

システムを手動でデプロイした場合でも、Terraform コードを使用してデプロイした場合でも、システムは同じように機能します。

Kinesis Agent がインストールされている EC2 仮想マシンに SSH 経由でログインし、api_caller.py スクリプトを実行します。

sudo ./api_caller.py TOKEN

自分の番号に SMS が届くのを待つだけです。

SMS - ほぼ 1 分以内にメッセージが電話に届きます。

今後のより詳細な分析のために、レコードが DynamoDB データベースに保存されたかどうかを確認する必要があります。 airline_tickets テーブルには、およそ次のデータが含まれます。

まとめ

作業の過程で、Amazon Kinesis に基づいてオンライン データ処理システムが構築されました。 Kinesis Agent を Kinesis Data Streams および SQL コマンドを使用したリアルタイム分析 Kinesis Analytics と組み合わせて使用​​するオプション、および Amazon Kinesis と他の AWS サービスとの相互作用が検討されました。

上記のシステムを XNUMX つの方法でデプロイしました。かなり長い手動による方法と、Terraform コードからの簡単な方法です。

すべてのプロジェクトのソースコードが利用可能です 私のGitHubリポジトリ内、よく理解しておくことをお勧めします。

この記事について喜んで議論しますので、コメントをお待ちしています。 建設的な批判を期待します。

私はあなたに成功を祈る！

出所： habr.com