今週、無料の Vector ユーティリティのバージョン 0.3.0 がリリースされました。このユーティリティは、ログ データ、メトリクス、イベントを収集、変換、保存するように設計されています。
Rust 言語で書かれているため、類似言語と比較してパフォーマンスが高く、RAM 消費量が少ないことが特徴です。 さらに、正確性に関連する機能、特に未送信のイベントをディスク上のバッファに保存し、ファイルをローテーションする機能にも多くの注意が払われています。
アーキテクチャ的には、Vector は XNUMX つ以上のメッセージを受信するイベント ルーターです。 ソースの、オプションでこれらのメッセージに適用されます 変換、それらを XNUMX つ以上に送信します 排水溝.
以下が実装されました
ソース
- ファイル - XNUMX つ以上のローカル ファイルからイベントを継続的に読み取ります。
- statsd - UDP 経由の StatsD プロトコルによるイベントの継続的な受信。
- stdin - 標準入力ストリームからのイベントの連続読み取り。
- syslog - Syslog 5424 プロトコルを介したイベントの継続的な受信。
- tcp - TCP ソケットからのイベントの連続読み取り。
- Vector - 別の Vector インスタンスからイベントを受信します。
変換
- add_fields - イベントにフィールドを追加します。
- field_filter — フィールド値によるイベントのフィルタリング。
- grok_parser — Grok 形式でフィールド値を解析します。
- json_parser - JSON 形式でフィールド値を解析します。
- lua - Lua スクリプトを使用してイベントを変換します。
- regex_parser - 正規表現を使用してフィールド値を変換します。
- Remove_fields — イベントからフィールドを削除します。
- トークナイザー - フィールド値をトークンに分割します。
排水管
- aws_cloudwatch_logs - ログを AWS CloudWatch に送信します。
- aws_kinesis_streams - AWS Kinesis にイベントを送信します。
- aws_s3 - イベントをバッチで AWS S3 に送信します。
- ブラックホール - テストを目的としたイベントの破壊。
- コンソール - イベントを標準出力または標準エラーに送信します。
- elasticsearch - ElasticSearch にイベントを送信します。
- http — 任意の HTTP URL にイベントを送信します。
- kafka - Kafka にイベントを送信します。
- splunk_hec - イベントを Splunk HTTP コレクターに送信します。
- tcp — イベントを TCP ソケットに送信します。
- Vector - イベントを別の Vector インスタンスに送信します。
バージョン 0.3.0 では、Lua、Grok、正規表現、トークナイザーのサポートが追加されました。
出所： linux.org.ru