На этой Π½Π΅Π΄Π΅Π»Π΅ Π²Ρ‹ΡˆΠ»Π° вСрсия 0.3.0 свободной ΡƒΡ‚ΠΈΠ»ΠΈΡ‚Ρ‹ Vector, ΠΏΡ€Π΅Π΄Π½Π°Π·Π½Π°Ρ‡Π΅Π½Π½ΠΎΠΉ для сбора, прСобразования ΠΈ сохранСния Π΄Π°Π½Π½Ρ‹Ρ… Π»ΠΎΠ³ΠΎΠ², ΠΌΠ΅Ρ‚Ρ€ΠΈΠΊ ΠΈ событий.

Π‘ΡƒΠ΄ΡƒΡ‡ΠΈ написанной Π½Π° языкС Rust, ΠΎΠ½Π° отличаСтся высокой ΠΏΡ€ΠΎΠΈΠ·Π²ΠΎΠ΄ΠΈΡ‚Π΅Π»ΡŒΠ½ΠΎΡΡ‚ΡŒΡŽ ΠΈ Π½ΠΈΠ·ΠΊΠΈΠΌ ΠΏΠΎΡ‚Ρ€Π΅Π±Π»Π΅Π½ΠΈΠ΅ΠΌ ΠΎΠΏΠ΅Ρ€Π°Ρ‚ΠΈΠ²Π½ΠΎΠΉ памяти ΠΏΠΎ ΡΡ€Π°Π²Π½Π΅Π½ΠΈΡŽ с Π°Π½Π°Π»ΠΎΠ³Π°ΠΌΠΈ. ΠšΡ€ΠΎΠΌΠ΅ Ρ‚ΠΎΠ³ΠΎ, большоС Π²Π½ΠΈΠΌΠ°Π½ΠΈΠ΅ ΡƒΠ΄Π΅Π»Π΅Π½ΠΎ функциям, связанным с ΠΊΠΎΡ€Ρ€Π΅ΠΊΡ‚Π½ΠΎΡΡ‚ΡŒΡŽ, Π² частности, возмоТностям сохранСния Π½Π΅ΠΎΡ‚ΠΏΡ€Π°Π²Π»Π΅Π½Π½Ρ‹Ρ… событий Π² Π±ΡƒΡ„Π΅Ρ€ Π½Π° дискС ΠΈ Ρ€ΠΎΡ‚Π°Ρ†ΠΈΠΈ Ρ„Π°ΠΉΠ»ΠΎΠ².

АрхитСктурно Vector являСтся Ρ€ΠΎΡƒΡ‚Π΅Ρ€ΠΎΠΌ событий, ΠΏΡ€ΠΈΠ½ΠΈΠΌΠ°ΡŽΡ‰ΠΈΠΌ сообщСния ΠΈΠ· ΠΎΠ΄Π½ΠΎΠ³ΠΎ ΠΈΠ»ΠΈ Π½Π΅ΡΠΊΠΎΠ»ΡŒΠΊΠΈΡ… источников, ΠΎΠΏΡ†ΠΈΠΎΠ½Π°Π»ΡŒΠ½ΠΎ ΠΏΡ€ΠΈΠΌΠ΅Π½ΡΡŽΡ‰ΠΈΠΌ Π½Π°Π΄ этими сообщСниями прСобразования, ΠΈ ΠΎΡ‚ΠΏΡ€Π°Π²Π»ΡΡŽΡ‰ΠΈΠΌ ΠΈΡ… Π² ΠΎΠ΄ΠΈΠ½ ΠΈΠ»ΠΈ нСсколько стоков.

Π Π΅Π°Π»ΠΈΠ·ΠΎΠ²Π°Π½Ρ‹ ΡΠ»Π΅Π΄ΡƒΡŽΡ‰ΠΈΠ΅

Π˜ΡΡ‚ΠΎΡ‡Π½ΠΈΠΊΠΈ

  • file β€” Π½Π΅ΠΏΡ€Π΅Ρ€Ρ‹Π²Π½ΠΎΠ΅ Ρ‡Ρ‚Π΅Π½ΠΈΠ΅ событий ΠΈΠ· ΠΎΠ΄Π½ΠΎΠ³ΠΎ ΠΈΠ»ΠΈ Π½Π΅ΡΠΊΠΎΠ»ΡŒΠΊΠΈΡ… Π»ΠΎΠΊΠ°Π»ΡŒΠ½Ρ‹Ρ… Ρ„Π°ΠΉΠ»ΠΎΠ²;
  • statsd β€” Π½Π΅ΠΏΡ€Π΅Ρ€Ρ‹Π²Π½ΠΎΠ΅ ΠΏΠΎΠ»ΡƒΡ‡Π΅Π½ΠΈΠ΅ событий ΠΏΠΎ ΠΏΡ€ΠΎΡ‚ΠΎΠΊΠΎΠ»Ρƒ StatsD Ρ‡Π΅Ρ€Π΅Π· UDP;
  • stdin β€” Π½Π΅ΠΏΡ€Π΅Ρ€Ρ‹Π²Π½ΠΎΠ΅ Ρ‡Ρ‚Π΅Π½ΠΈΠ΅ событий ΠΈΠ· стандартного ΠΏΠΎΡ‚ΠΎΠΊΠ° Π²Π²ΠΎΠ΄Π°;
  • syslog β€” Π½Π΅ΠΏΡ€Π΅Ρ€Ρ‹Π²Π½ΠΎΠ΅ ΠΏΠΎΠ»ΡƒΡ‡Π΅Π½ΠΈΠ΅ событий ΠΏΠΎ ΠΏΡ€ΠΎΡ‚ΠΎΠΊΠΎΠ»Ρƒ Syslog 5424;
  • tcp β€” Π½Π΅ΠΏΡ€Π΅Ρ€Ρ‹Π²Π½ΠΎΠ΅ Ρ‡Ρ‚Π΅Π½ΠΈΠ΅ событий ΠΈΠ· TCP-сокСта;
  • vector β€” ΠΏΠΎΠ»ΡƒΡ‡Π΅Π½ΠΈΠ΅ событий ΠΈΠ· Π΄Ρ€ΡƒΠ³ΠΎΠ³ΠΎ экзСмпляра Vector.

ΠŸΡ€Π΅ΠΎΠ±Ρ€Π°Π·ΠΎΠ²Π°Π½ΠΈΡ

  • add_fields β€” Π΄ΠΎΠ±Π°Π²Π»Π΅Π½ΠΈΠ΅ Π΄ΠΎΠΏΠΎΠ»Π½ΠΈΡ‚Π΅Π»ΡŒΠ½Ρ‹Ρ… ΠΏΠΎΠ»Π΅ΠΉ Π² события;
  • field_filter β€” Ρ„ΠΈΠ»ΡŒΡ‚Ρ€Π°Ρ†ΠΈΡ события ΠΏΠΎ Π·Π½Π°Ρ‡Π΅Π½ΠΈΡŽ поля;
  • grok_parser β€” Ρ€Π°Π·Π±ΠΎΡ€ Π·Π½Π°Ρ‡Π΅Π½ΠΈΠΉ ΠΏΠΎΠ»Π΅ΠΉ Π² Ρ„ΠΎΡ€ΠΌΠ°Ρ‚Π΅ Grok;
  • json_parser β€” Ρ€Π°Π·Π±ΠΎΡ€ Π·Π½Π°Ρ‡Π΅Π½ΠΈΠΉ ΠΏΠΎΠ»Π΅ΠΉ Π² Ρ„ΠΎΡ€ΠΌΠ°Ρ‚Π΅ JSON;
  • lua β€” ΠΏΡ€Π΅ΠΎΠ±Ρ€Π°Π·ΠΎΠ²Π°Π½ΠΈΠ΅ событий с ΠΏΠΎΠΌΠΎΡ‰ΡŒΡŽ скриптов Π½Π° Lua;
  • regex_parser β€” ΠΏΡ€Π΅ΠΎΠ±Ρ€Π°Π·ΠΎΠ²Π°Π½ΠΈΠ΅ Π·Π½Π°Ρ‡Π΅Π½ΠΈΠΉ ΠΏΠΎΠ»Π΅ΠΉ с ΠΏΠΎΠΌΠΎΡ‰ΡŒΡŽ рСгулярных Π²Ρ‹Ρ€Π°ΠΆΠ΅Π½ΠΈΠΉ;
  • remove_fields β€” ΡƒΠ΄Π°Π»Π΅Π½ΠΈΠ΅ ΠΏΠΎΠ»Π΅ΠΉ ΠΈΠ· событий;
  • tokenizer β€” Ρ€Π°Π·Π±ΠΈΠ΅Π½ΠΈΠ΅ Π·Π½Π°Ρ‡Π΅Π½ΠΈΠΉ ΠΏΠΎΠ»Π΅ΠΉ Π½Π° Ρ‚ΠΎΠΊΠ΅Π½Ρ‹.

Π‘Ρ‚ΠΎΠΊΠΈ

  • aws_cloudwatch_logs β€” ΠΎΡ‚ΠΏΡ€Π°Π²ΠΊΠ° Π»ΠΎΠ³ΠΎΠ² Π² AWS CloudWatch;
  • aws_kinesis_streams β€” ΠΎΡ‚ΠΏΡ€Π°Π²ΠΊΠ° событий Π² AWS Kinesis;
  • aws_s3 β€” ΠΎΡ‚ΠΏΡ€Π°Π²ΠΊΠ° событий ΠΏΠ°Ρ‡ΠΊΠ°ΠΌΠΈ Π² AWS S3;
  • blackhole β€” ΡƒΠ½ΠΈΡ‡Ρ‚ΠΎΠΆΠ΅Π½ΠΈΠ΅ событий, ΠΏΡ€Π΅Π΄Π½Π°Π·Π½Π°Ρ‡Π΅Π½ΠΎ для тСстирования;
  • console β€” ΠΎΡ‚ΠΏΡ€Π°Π²ΠΊΠ° событий Π² стандартный ΠΏΠΎΡ‚ΠΎΠΊ Π²Ρ‹Π²ΠΎΠ΄Π° ΠΈΠ»ΠΈ Π² стандартный ΠΏΠΎΡ‚ΠΎΠΊ ошибок;
  • elasticsearch β€” ΠΎΡ‚ΠΏΡ€Π°Π²ΠΊΠ° событий Π² ElasticSearch;
  • http β€” ΠΎΡ‚ΠΏΡ€Π°Π²ΠΊΠ° событий Π½Π° ΠΏΡ€ΠΎΠΈΠ·Π²ΠΎΠ»ΡŒΠ½Ρ‹ΠΉ HTTP URL;
  • kafka β€” ΠΎΡ‚ΠΏΡ€Π°Π²ΠΊΠ° событий Π² Kafka;
  • splunk_hec β€” ΠΎΡ‚ΠΏΡ€Π°Π²ΠΊΠ° событий Π² Splunk HTTP Collector;
  • tcp β€” ΠΎΡ‚ΠΏΡ€Π°Π²ΠΊΠ° событий Π² TCP-сокСт;
  • vector β€” ΠΎΡ‚ΠΏΡ€Π°Π²ΠΊΠ° событий Π² Π΄Ρ€ΡƒΠ³ΠΎΠΉ экзСмпляр Vector.

Π’ вСрсии 0.3.0 Π±Ρ‹Π»Π° Π΄ΠΎΠ±Π°Π²Π»Π΅Π½Π° ΠΏΠΎΠ΄Π΄Π΅Ρ€ΠΆΠΊΠ° Lua, Grok, рСгулярных Π²Ρ‹Ρ€Π°ΠΆΠ΅Π½ΠΈΠΉ ΠΈ Ρ‚ΠΎΠΊΠ΅Π½ΠΈΠ·Π°Ρ‚ΠΎΡ€Π°.

Π˜ΡΡ‚ΠΎΡ‡Π½ΠΈΠΊ: linux.org.ru