Vector 0.3.0

Tento týždeň bola vydaná verzia 0.3.0 voľnej utilitky Vector, ktorá slúži na zbieranie, transformáciu a uchovanie údajov z logov, metrík a udalostí.

Napísaný v jazyku Rust, sa vyznačuje vysokým výkonom a nízkou spotrebou pamäte v porovnaní s alternatívami. Okrem toho sa veľká pozornosť venuje funkciám súvisiacim s korektnosťou, najmä možnosťom uchovávania neodoslaných udalostí v pamäti na disku a rotácii súborov.

Architektonicky je Vector routerom udalostí, ktorý prijíma správy z jedného alebo viacerých zdrojov, voliteľne aplikujúc nad týmito správami transformácie, a odosielajúc ich do jedného alebo viacerých výstupov.

Boli implementované nasledujúce

Zdroje

• file — nepretržité čítanie udalostí z jedného alebo viacerých lokálnych súborov;
• statsd — nepretržité prijímanie udalostí prostredníctvom protokolu StatsD cez UDP;
• stdin — nepretržité čítanie udalostí zo štandardného vstupného prúdu;
• syslog — nepretržité prijímanie udalostí prostredníctvom protokolu Syslog 5424;
• tcp — nepretržité čítanie udalostí z TCP soketu;
• vector — prijímanie udalostí z inštancie Vector.

Transformácie

• add_fields — pridanie dodatočných polí do udalostí;
• field_filter — filtrovanie udalosti podľa hodnoty poľa;
• grok_parser — rozbor hodnôt polí vo formáte Grok;
• json_parser — rozbor hodnôt polí vo formáte JSON;
• lua — transformácia udalostí pomocou skriptov v Lua;
• regex_parser — transformácia hodnôt polí pomocou regulárnych výrazov;
• remove_fields — odstránenie polí z udalostí;
• tokenizer — rozdelenie hodnôt polí na tokeny.

Potoky

• aws_cloudwatch_logs — odosielanie logov do AWS CloudWatch;
• aws_kinesis_streams — odosielanie udalostí do AWS Kinesis;
• aws_s3 — odosielanie udalostí dávkami do AWS S3;
• blackhole — zničenie udalostí, určené na testovanie;
• console — odosielanie udalostí na štandardný výstup alebo na štandardný chybový výstup;
• elasticsearch — odosielanie udalostí do ElasticSearch;
• http — odosielanie udalostí na ľubovoľný HTTP URL;
• kafka — odosielanie udalostí do Kafka;
• splunk_hec — odosielanie udalostí do Splunk HTTP Collector;
• tcp — odosielanie udalostí do TCP soketu;
• vector — odosielanie udalostí do iného inštancie Vector.

Vo verzii 0.3.0 bola pridaná podpora pre Lua, Grok, regulárne výrazy a tokenizer.

Zdroj: linux.org.ru