Vector 0.3.0

Cette semaine, la version 0.3.0 de l'outil libre Vector, conçu pour la collecte, la transformation et la sauvegarde des données de journaux, de métriques et d'événements, est sortie.

Écrite en Rust, elle offre une haute performance et une faible consommation de mémoire par rapport aux alternatives. De plus, une grande attention est portée aux fonctionnalités liées à la fiabilité, notamment la possibilité de mettre en mémoire tampon les événements non envoyés sur le disque et la rotation des fichiers.

Architecturalement, Vector est un routeur d'événements qui reçoit des messages d'une ou plusieurs sources, appliquant éventuellement des transformations, et les envoyant vers une ou plusieurs sorties.

Les fonctionnalités suivantes ont été mises en œuvre

Sources

• file — lecture continue d'événements à partir d'un ou plusieurs fichiers locaux ;
• statsd — réception continue d'événements via le protocole StatsD sur UDP ;
• stdin — lecture continue d'événements à partir de l'entrée standard ;
• syslog — réception continue d'événements via le protocole Syslog 5424 ;
• tcp — lecture continue d'événements à partir d'un socket TCP ;
• vector — réception d'événements à partir d'une autre instance de Vector.

Transformations

• add_fields — ajout de champs supplémentaires aux événements ;
• field_filter — filtrage des événements en fonction de la valeur d'un champ ;
• grok_parser — analyse des valeurs des champs au format Grok ;
• json_parser — analyse des valeurs des champs au format JSON ;
• lua — transformation des événements à l'aide de scripts Lua ;
• regex_parser — transformation des valeurs de champ à l'aide d'expressions régulières ;
• remove_fields — suppression de champs des événements ;
• tokenizer — division des valeurs de champ en jetons.

Flux

• aws_cloudwatch_logs — envoi des journaux vers AWS CloudWatch ;
• aws_kinesis_streams — envoi des événements vers AWS Kinesis ;
• aws_s3 — envoi des événements en lots vers AWS S3 ;
• blackhole — destruction des événements, destiné aux tests ;
• console — envoi des événements vers la sortie standard ou le flux d'erreurs standard ;
• elasticsearch — envoi des événements vers ElasticSearch ;
• http — envoi des événements vers une URL HTTP arbitraire ;
• kafka — envoi des événements vers Kafka ;
• splunk_hec — envoi des événements vers le Collecteur HTTP de Splunk ;
• tcp — envoi des événements vers un socket TCP ;
• vector — envoi des événements vers une autre instance de Vector.

La version 0.3.0 a ajouté le support pour Lua, Grok, les expressions régulières et le tokenizer.

Source : linux.org.ru