Cette semaine, la version 0.3.0 de l'utilitaire gratuit Vector, conçu pour collecter, convertir et enregistrer des données de journaux, des métriques et des événements, a été publiée.
Écrit en langage Rust, il se caractérise par des performances élevées et une faible consommation de RAM par rapport à ses analogues. De plus, une grande attention est accordée aux fonctions liées à l'exactitude, en particulier à la possibilité de sauvegarder les événements non envoyés dans un tampon sur le disque et de faire pivoter les fichiers.
Sur le plan architectural, Vector est un routeur d'événements qui reçoit des messages d'un ou plusieurs des sources, en s'appliquant éventuellement sur ces messages transformations, et les envoyer à un ou plusieurs drains.
Les éléments suivants ont été mis en œuvre
sources
- fichier - lecture continue des événements d'un ou plusieurs fichiers locaux ;
- statsd - réception continue d'événements via le protocole StatsD via UDP ;
- stdin - lecture continue des événements du flux d'entrée standard ;
- syslog - réception continue des événements via le protocole Syslog 5424 ;
- tcp - lecture continue des événements depuis un socket TCP ;
- vector - recevoir des événements d'une autre instance de Vector.
Transformations
- add_fields - ajout de champs supplémentaires aux événements ;
- field_filter — filtrage d'événements par valeur de champ ;
- grok_parser — analyse des valeurs de champ au format Grok ;
- json_parser - analyse des valeurs de champ au format JSON ;
- lua - conversion d'événements à l'aide de scripts Lua ;
- regex_parser - conversion des valeurs de champ à l'aide d'expressions régulières ;
- remove_fields — suppression de champs des événements ;
- tokenizer - diviser les valeurs des champs en jetons.
Marchandises
- aws_cloudwatch_logs - envoyer les journaux à AWS CloudWatch ;
- aws_kinesis_streams - envoi d'événements à AWS Kinesis ;
- aws_s3 - envoi d'événements par lots à AWS S3 ;
- trou noir - destruction d'événements destinés aux tests ;
- console - envoyer les événements à la sortie standard ou à l'erreur standard ;
- elasticsearch - envoi d'événements à ElasticSearch ;
- http — envoi d'événements à une URL HTTP arbitraire ;
- kafka - envoyer des événements à Kafka ;
- splunk_hec - envoi d'événements au collecteur HTTP Splunk ;
- tcp — envoi d'événements à un socket TCP ;
- vector - envoie des événements à une autre instance de Vector.
La version 0.3.0 a ajouté la prise en charge de Lua, Grok, des expressions régulières et d'un tokenizer.
Source: linux.org.ru