На гэтым тыдні выйшла версія 0.3.0 вольнай утыліты Vector, прызначанай для збору, пераўтварэнні і захаванні дадзеных логаў, метрык і падзей.
Будучы напісанай на мове Rust, яна адрозніваецца высокай прадукцыйнасцю і нізкім спажываннем аператыўнай памяці ў параўнанні з аналагамі. Акрамя таго, вялікая ўвага нададзена функцый, злучаным з карэктнасцю, у прыватнасці, магчымасцям захавання неадпраўленых падзей у буфер на кружэлцы і ратацыі файлаў.
Архітэктурна Vector з'яўляецца роўтэрам падзей, якія прымаюць паведамленні з аднаго або некалькіх крыніц, якія апцыянальна прымяняюць над гэтымі паведамленнямі пераўтварэнні, і якія адпраўляюць іх у адзін або некалькі сцёкаў.
Рэалізаваны наступныя
крыніцы
- file - бесперапыннае чытанне падзей з аднаго або некалькіх лакальных файлаў;
- statsd - бесперапыннае атрыманне падзей па пратаколе StatsD праз UDP;
- stdin - бесперапыннае чытанне падзей са стандартнага струменя ўводу;
- syslog - бесперапыннае атрыманне падзей па пратаколе Syslog 5424;
- tcp - бесперапыннае чытанне падзей з TCP-сокета;
- vector - атрыманне падзей з іншага асобніка Vector.
Пераўтварэнні
- add_fields - даданне дадатковых палёў у падзеі;
- field_filter - фільтраванне падзеі па значэнні поля;
- grok_parser - разбор значэнняў палёў у фармаце Grok;
- json_parser - разбор значэнняў палёў у фармаце JSON;
- lua - пераўтварэнне падзей з дапамогай скрыптоў на Lua;
- regex_parser - пераўтварэнне значэнняў палёў з дапамогай рэгулярных выразаў;
- remove_fields - выдаленне палёў з падзей;
- tokenizer - разбіццё значэнняў палёў на токены.
Сцёкі
- aws_cloudwatch_logs - адпраўка логаў у AWS CloudWatch;
- aws_kinesis_streams - адпраўка падзей у AWS Kinesis;
- aws_s3 - адпраўка падзей пачкамі ў AWS S3;
- blackhole - знішчэнне падзей, прызначана для тэставання;
- console - адпраўка падзей у стандартны струмень высновы ці ў стандартны струмень памылак;
- elasticsearch - адпраўка падзей у ElasticSearch;
- http - адпраўка падзей на адвольны HTTP URL;
- kafka - адпраўка падзей у Kafka;
- splunk_hec - адпраўка падзей у Splunk HTTP Collector;
- tcp - адпраўка падзей у TCP-сокет;
- vector - адпраўка падзей у іншы асобнік Vector.
У версіі 0.3.0 была дададзеная падтрымка Lua, Grok, рэгулярных выразаў і такенізатара.
Крыніца: linux.org.ru