Цього тижня вийшла версія 0.3.0 вільної утиліти Vector, призначеної для збирання, перетворення та збереження даних логів, метрик та подій.
Будучи написаною мовою Rust, вона відрізняється високою продуктивністю та низьким споживанням оперативної пам'яті порівняно з аналогами. Крім того, велика увага приділена функціям, пов'язаним з коректністю, зокрема можливостям збереження невідправлених подій у буфер на диску та ротації файлів.
Архітектурно Vector є роутером подій, що приймає повідомлення з одного чи кількох джерел, що опціонально застосовує над цими повідомленнями перетворенняі відправляють їх в один або кілька стоків.
Реалізовано такі
Джерела
- file - безперервне читання подій з одного або кількох локальних файлів;
- statsd - безперервне отримання подій протоколу StatsD через UDP;
- stdin - безперервне читання подій зі стандартного потоку введення;
- syslog - безперервне отримання подій за протоколом Syslog 5424;
- tcp - безперервне читання подій із TCP-сокету;
- vector – отримання подій з іншого екземпляра Vector.
перетворення
- add_fields - додавання додаткових полів у події;
- field_filter - фільтрація події за значенням поля;
- grok_parser – розбір значень полів у форматі Grok;
- json_parser - Розбір значень полів у форматі JSON;
- lua - Перетворення подій за допомогою скриптів на Lua;
- regex_parser - Перетворення значень полів за допомогою регулярних виразів;
- remove_fields - видалення полів із подій;
- tokenizer – розбиття значень полів на токени.
Стоки
- aws_cloudwatch_logs — надсилання логів до AWS CloudWatch;
- aws_kinesis_streams - надсилання подій в AWS Kinesis;
- aws_s3 - відправка подій пачками в AWS S3;
- blackhole – знищення подій, призначене для тестування;
- console — надсилання подій у стандартний потік виводу або стандартний потік помилок;
- elasticsearch - надсилання подій в ElasticSearch;
- http — надсилання подій на довільний HTTP URL;
- kafka - відправка подій у Kafka;
- splunk_hec - відправка подій у Splunk HTTP Collector;
- tcp - відправка подій у TCP-сокет;
- vector — надсилання подій до іншого примірника Vector.
У версії 0.3.0 була додана підтримка Lua, Grok, регулярних виразів та токенізатора.
Джерело: linux.org.ru