Diese Woche wurde Version 0.3.0 des kostenlosen Vector-Dienstprogramms veröffentlicht, das zum Sammeln, Transformieren und Speichern von Protokolldaten, Metriken und Ereignissen entwickelt wurde.
Da es in der Rust-Sprache geschrieben ist, zeichnet es sich im Vergleich zu seinen Gegenstücken durch hohe Leistung und geringen RAM-Verbrauch aus. Darüber hinaus wird großen Wert auf Funktionen im Zusammenhang mit der Korrektheit gelegt, insbesondere auf die Möglichkeit, nicht gesendete Ereignisse in einem Puffer auf der Festplatte zu speichern und Dateien zu rotieren.
Architektonisch ist Vector ein Event-Router, der Nachrichten von einem oder mehreren empfängt von Quellen, optional auf diese Nachrichten anwendend Transformationen, und senden Sie sie an einen oder mehrere Abflüsse.
Folgendes wurde implementiert
Quellen
- Datei – kontinuierliches Lesen von Ereignissen aus einer oder mehreren lokalen Dateien;
- statsd – kontinuierlicher Empfang von Ereignissen über das StatsD-Protokoll über UDP;
- stdin – kontinuierliches Lesen von Ereignissen aus dem Standardeingabestream;
- Syslog – kontinuierlicher Empfang von Ereignissen über das Syslog 5424-Protokoll;
- tcp – kontinuierliches Lesen von Ereignissen von einem TCP-Socket;
- vector – Empfangen von Ereignissen von einer anderen Vector-Instanz.
Transformationen
- add_fields – Hinzufügen zusätzlicher Felder zu Ereignissen;
- field_filter – Ereignisfilterung nach Feldwert;
- grok_parser – Feldwerte im Grok-Format analysieren;
- json_parser – Feldwerte im JSON-Format analysieren;
- lua – Ereignisse mithilfe von Lua-Skripten konvertieren;
- regex_parser – Feldwerte mithilfe regulärer Ausdrücke konvertieren;
- remove_fields – Felder aus Ereignissen entfernen;
- Tokenizer – Aufteilen von Feldwerten in Token.
Abflüsse
- aws_cloudwatch_logs – Protokolle an AWS CloudWatch senden;
- aws_kinesis_streams – Senden von Ereignissen an AWS Kinesis;
- aws_s3 – Senden von Ereignissen in Stapeln an AWS S3;
- Schwarzes Loch – Zerstörung von Ereignissen, die zum Testen bestimmt sind;
- Konsole – Ereignisse an die Standardausgabe oder den Standardfehler senden;
- elasticsearch – Senden von Ereignissen an ElasticSearch;
- http – Senden von Ereignissen an eine beliebige HTTP-URL;
- kafka – Ereignisse an Kafka senden;
- splunk_hec – Senden von Ereignissen an den Splunk HTTP Collector;
- tcp – Senden von Ereignissen an einen TCP-Socket;
- vector – Ereignisse an eine andere Vector-Instanz senden.
Version 0.3.0 fügte Unterstützung für Lua, Grok, reguläre Ausdrücke und einen Tokenizer hinzu.
Source: linux.org.ru