Tento týden byla vydána verze 0.3.0 svobodného nástroje Vector, určeného pro sběr, transformaci a ukládání dat z logů, metrik a událostí.
Napsaný v jazyce Rust, se vyznačuje vysokým výkonem a nízkou spotřebou paměti ve srovnání s podobnými nástroji. Kromě toho se velká pozornost věnuje funkčnostem souvisejícím s korektností, zejména schopnostem ukládat neodeslané události do vyrovnávací paměti na disku a rotace souborů.
Architektonicky Vector funguje jako router událostí, který přijímá zprávy z jednoho nebo více zdrojů, volitelně aplikuje na tyto zprávy transformace, a odesílá je do jednoho nebo více sinků.
Byly implementovány následující
Zdroje
- file — nepřetržité čtení událostí z jednoho nebo více místních souborů;
- statsd — nepřetržité získávání událostí prostřednictvím protokolu StatsD přes UDP;
- stdin — nepřetržité čtení událostí ze standardního vstupního proudu;
- syslog — nepřetržité získávání událostí prostřednictvím protokolu Syslog 5424;
- tcp — nepřetržité čtení událostí z TCP soketu;
- vector — získávání událostí z jiné instance Vector.
Transformace
- add_fields — přidání dalších polí do událostí;
- field_filter — filtrování události podle hodnoty pole;
- grok_parser — analýza hodnot polí ve formátu Grok;
- json_parser — analýza hodnot polí ve formátu JSON;
- lua — transformace událostí pomocí skriptů v Lua;
- regex_parser — transformace hodnot polí pomocí regulárních výrazů;
- remove_fields — odstranění polí z událostí;
- tokenizer — rozdělení hodnot polí na tokeny.
Toky
- aws_cloudwatch_logs — odesílání logů do AWS CloudWatch;
- aws_kinesis_streams — odesílání událostí do AWS Kinesis;
- aws_s3 — odesílání událostí po dávkách do AWS S3;
- blackhole — zničení událostí, určeno pro testování;
- console — odesílání událostí do standardního výstupního proudu nebo do standardního chybového proudu;
- elasticsearch — odesílání událostí do ElasticSearch;
- http — odesílání událostí na libovolnou HTTP URL;
- kafka — odesílání událostí do Kafka;
- splunk_hec — odesílání událostí do Splunk HTTP Collection;
- tcp — odesílání událostí do TCP soketu;
- vector — odesílání událostí do jiné instance Vector.
Ve verzi 0.3.0 byla přidána podpora Lua, Grok, regulárních výrazů a tokenizéru.
Zdroj: linux.org.ru
