2. ਲਚਕੀਲਾ ਸਟੈਕ: ਸੁਰੱਖਿਆ ਲਾਗਾਂ ਦਾ ਵਿਸ਼ਲੇਸ਼ਣ। ਲੌਗਸਟੈਸ਼

ਪਿਛਲੇ ਵਿੱਚ ਲੇਖ ਅਸੀਂ ਮਿਲੇ ELK ਸਟੈਕ, ਇਸ ਵਿੱਚ ਕਿਹੜੇ ਸਾਫਟਵੇਅਰ ਉਤਪਾਦ ਸ਼ਾਮਲ ਹਨ। ਅਤੇ ELK ਸਟੈਕ ਦੇ ਨਾਲ ਕੰਮ ਕਰਦੇ ਸਮੇਂ ਇੱਕ ਇੰਜੀਨੀਅਰ ਦਾ ਸਾਹਮਣਾ ਕਰਨ ਵਾਲਾ ਪਹਿਲਾ ਕੰਮ ਬਾਅਦ ਦੇ ਵਿਸ਼ਲੇਸ਼ਣ ਲਈ elasticsearch ਵਿੱਚ ਸਟੋਰੇਜ ਲਈ ਲੌਗ ਭੇਜ ਰਿਹਾ ਹੈ। ਹਾਲਾਂਕਿ, ਇਹ ਸਿਰਫ ਲਿਪ ਸਰਵਿਸ ਹੈ, elasticsearch ਕੁਝ ਖੇਤਰਾਂ ਅਤੇ ਮੁੱਲਾਂ ਦੇ ਨਾਲ ਦਸਤਾਵੇਜ਼ਾਂ ਦੇ ਰੂਪ ਵਿੱਚ ਲੌਗ ਸਟੋਰ ਕਰਦਾ ਹੈ, ਜਿਸਦਾ ਮਤਲਬ ਹੈ ਕਿ ਇੰਜੀਨੀਅਰ ਨੂੰ ਅੰਤ ਸਿਸਟਮਾਂ ਤੋਂ ਭੇਜੇ ਗਏ ਸੰਦੇਸ਼ ਨੂੰ ਪਾਰਸ ਕਰਨ ਲਈ ਵੱਖ-ਵੱਖ ਸਾਧਨਾਂ ਦੀ ਵਰਤੋਂ ਕਰਨੀ ਚਾਹੀਦੀ ਹੈ। ਇਹ ਕਈ ਤਰੀਕਿਆਂ ਨਾਲ ਕੀਤਾ ਜਾ ਸਕਦਾ ਹੈ - ਇੱਕ ਪ੍ਰੋਗਰਾਮ ਆਪਣੇ ਆਪ ਲਿਖੋ ਜੋ API ਦੀ ਵਰਤੋਂ ਕਰਦੇ ਹੋਏ ਡੇਟਾਬੇਸ ਵਿੱਚ ਦਸਤਾਵੇਜ਼ ਸ਼ਾਮਲ ਕਰੇਗਾ, ਜਾਂ ਤਿਆਰ ਕੀਤੇ ਹੱਲਾਂ ਦੀ ਵਰਤੋਂ ਕਰੇਗਾ। ਇਸ ਕੋਰਸ ਵਿੱਚ ਅਸੀਂ ਹੱਲ ਬਾਰੇ ਵਿਚਾਰ ਕਰਾਂਗੇ ਲੌਗਸਟੈਸ਼, ਜੋ ਕਿ ELK ਸਟੈਕ ਦਾ ਹਿੱਸਾ ਹੈ। ਅਸੀਂ ਦੇਖਾਂਗੇ ਕਿ ਅਸੀਂ ਐਂਡਪੁਆਇੰਟ ਸਿਸਟਮਾਂ ਤੋਂ ਲੌਗਸਟੈਸ਼ ਨੂੰ ਲੌਗ ਕਿਵੇਂ ਭੇਜ ਸਕਦੇ ਹਾਂ, ਅਤੇ ਫਿਰ ਅਸੀਂ ਪਾਰਸ ਕਰਨ ਅਤੇ Elasticsearch ਡਾਟਾਬੇਸ ਨੂੰ ਰੀਡਾਇਰੈਕਟ ਕਰਨ ਲਈ ਇੱਕ ਸੰਰਚਨਾ ਫਾਈਲ ਸੈਟ ਅਪ ਕਰਾਂਗੇ। ਅਜਿਹਾ ਕਰਨ ਲਈ, ਅਸੀਂ ਆਉਣ ਵਾਲੇ ਸਿਸਟਮ ਵਜੋਂ ਚੈੱਕ ਪੁਆਇੰਟ ਫਾਇਰਵਾਲ ਤੋਂ ਲੌਗਸ ਲੈਂਦੇ ਹਾਂ।

ਕੋਰਸ ELK ਸਟੈਕ ਦੀ ਸਥਾਪਨਾ ਨੂੰ ਕਵਰ ਨਹੀਂ ਕਰਦਾ, ਕਿਉਂਕਿ ਇਸ ਵਿਸ਼ੇ 'ਤੇ ਬਹੁਤ ਸਾਰੇ ਲੇਖ ਹਨ; ਅਸੀਂ ਕੌਂਫਿਗਰੇਸ਼ਨ ਕੰਪੋਨੈਂਟ 'ਤੇ ਵਿਚਾਰ ਕਰਾਂਗੇ।

ਆਉ ਲੌਗਸਟੈਸ਼ ਕੌਂਫਿਗਰੇਸ਼ਨ ਲਈ ਇੱਕ ਐਕਸ਼ਨ ਪਲਾਨ ਤਿਆਰ ਕਰੀਏ:

1. ਜਾਂਚ ਕਰਨਾ ਕਿ elasticsearch ਲਾਗਾਂ ਨੂੰ ਸਵੀਕਾਰ ਕਰੇਗਾ (ਪੋਰਟ ਦੀ ਕਾਰਜਸ਼ੀਲਤਾ ਅਤੇ ਖੁੱਲੇਪਨ ਦੀ ਜਾਂਚ ਕਰਨਾ)।
2. ਅਸੀਂ ਵਿਚਾਰ ਕਰਦੇ ਹਾਂ ਕਿ ਅਸੀਂ ਲੌਗਸਟੈਸ਼ ਨੂੰ ਇਵੈਂਟ ਕਿਵੇਂ ਭੇਜ ਸਕਦੇ ਹਾਂ, ਇੱਕ ਢੰਗ ਚੁਣ ਸਕਦੇ ਹਾਂ, ਅਤੇ ਇਸਨੂੰ ਲਾਗੂ ਕਰ ਸਕਦੇ ਹਾਂ।
3. ਅਸੀਂ ਲੌਗਸਟੈਸ਼ ਸੰਰਚਨਾ ਫਾਈਲ ਵਿੱਚ ਇਨਪੁਟ ਨੂੰ ਸੰਰਚਿਤ ਕਰਦੇ ਹਾਂ।
4. ਅਸੀਂ ਲੌਗਸਟੈਸ਼ ਸੰਰਚਨਾ ਫਾਈਲ ਵਿੱਚ ਆਉਟਪੁੱਟ ਨੂੰ ਡੀਬੱਗ ਮੋਡ ਵਿੱਚ ਸੰਰਚਿਤ ਕਰਦੇ ਹਾਂ ਤਾਂ ਜੋ ਇਹ ਸਮਝਣ ਲਈ ਕਿ ਲੌਗ ਸੁਨੇਹਾ ਕਿਹੋ ਜਿਹਾ ਦਿਖਾਈ ਦਿੰਦਾ ਹੈ।
5. ਫਿਲਟਰ ਸੈੱਟਅੱਪ ਕੀਤਾ ਜਾ ਰਿਹਾ ਹੈ।
6. ElasticSearch ਵਿੱਚ ਸਹੀ ਆਉਟਪੁੱਟ ਸੈਟ ਅਪ ਕਰਨਾ।
7. ਲੌਗਸਟੈਸ਼ ਲਾਂਚ ਹੁੰਦਾ ਹੈ।
8. ਕਿਬਾਨਾ ਵਿੱਚ ਲਾਗਾਂ ਦੀ ਜਾਂਚ ਕੀਤੀ ਜਾ ਰਹੀ ਹੈ।

ਆਉ ਹਰ ਇੱਕ ਬਿੰਦੂ ਨੂੰ ਹੋਰ ਵਿਸਥਾਰ ਵਿੱਚ ਵੇਖੀਏ:

ਜਾਂਚ ਕਰਨਾ ਕਿ elasticsearch ਲਾਗ ਸਵੀਕਾਰ ਕਰੇਗਾ

ਅਜਿਹਾ ਕਰਨ ਲਈ, ਤੁਸੀਂ ਸਿਸਟਮ ਤੋਂ Elasticsearch ਤੱਕ ਪਹੁੰਚ ਦੀ ਜਾਂਚ ਕਰਨ ਲਈ curl ਕਮਾਂਡ ਦੀ ਵਰਤੋਂ ਕਰ ਸਕਦੇ ਹੋ ਜਿਸ 'ਤੇ Logstash ਤਾਇਨਾਤ ਕੀਤਾ ਗਿਆ ਹੈ। ਜੇਕਰ ਤੁਹਾਡੇ ਕੋਲ ਪ੍ਰਮਾਣਿਕਤਾ ਕੌਂਫਿਗਰ ਕੀਤੀ ਗਈ ਹੈ, ਤਾਂ ਅਸੀਂ ਯੂਜ਼ਰ/ਪਾਸਵਰਡ ਨੂੰ curl ਰਾਹੀਂ ਟ੍ਰਾਂਸਫਰ ਕਰਦੇ ਹਾਂ, ਪੋਰਟ 9200 ਨੂੰ ਨਿਰਧਾਰਿਤ ਕਰਦੇ ਹੋਏ ਜੇਕਰ ਤੁਸੀਂ ਇਸਨੂੰ ਬਦਲਿਆ ਨਹੀਂ ਹੈ। ਜੇਕਰ ਤੁਹਾਨੂੰ ਹੇਠਾਂ ਦਿੱਤੇ ਜਵਾਬ ਦੇ ਸਮਾਨ ਜਵਾਬ ਮਿਲਦਾ ਹੈ, ਤਾਂ ਸਭ ਕੁਝ ਕ੍ਰਮ ਵਿੱਚ ਹੈ।

[elastic@elasticsearch ~]$ curl -u <<user_name>> : <<password>> -sS -XGET "<<ip_address_elasticsearch>>:9200"
{
  "name" : "elastic-1",
  "cluster_name" : "project",
  "cluster_uuid" : "sQzjTTuCR8q4ZO6DrEis0A",
  "version" : {
    "number" : "7.4.1",
    "build_flavor" : "default",
    "build_type" : "rpm",
    "build_hash" : "fc0eeb6e2c25915d63d871d344e3d0b45ea0ea1e",
    "build_date" : "2019-10-22T17:16:35.176724Z",
    "build_snapshot" : false,
    "lucene_version" : "8.2.0",
    "minimum_wire_compatibility_version" : "6.8.0",
    "minimum_index_compatibility_version" : "6.0.0-beta1"
  },
  "tagline" : "You Know, for Search"
}
[elastic@elasticsearch ~]$

ਜੇਕਰ ਜਵਾਬ ਪ੍ਰਾਪਤ ਨਹੀਂ ਹੁੰਦਾ ਹੈ, ਤਾਂ ਕਈ ਤਰ੍ਹਾਂ ਦੀਆਂ ਗਲਤੀਆਂ ਹੋ ਸਕਦੀਆਂ ਹਨ: elasticsearch ਪ੍ਰਕਿਰਿਆ ਨਹੀਂ ਚੱਲ ਰਹੀ, ਗਲਤ ਪੋਰਟ ਨਿਰਧਾਰਤ ਕੀਤੀ ਗਈ ਹੈ, ਜਾਂ ਪੋਰਟ ਨੂੰ ਸਰਵਰ 'ਤੇ ਫਾਇਰਵਾਲ ਦੁਆਰਾ ਬਲੌਕ ਕੀਤਾ ਗਿਆ ਹੈ ਜਿੱਥੇ elasticsearch ਇੰਸਟਾਲ ਹੈ।

ਆਓ ਦੇਖੀਏ ਕਿ ਤੁਸੀਂ ਚੈੱਕ ਪੁਆਇੰਟ ਫਾਇਰਵਾਲ ਤੋਂ ਲੌਗਸਟੈਸ਼ ਨੂੰ ਲੌਗ ਕਿਵੇਂ ਭੇਜ ਸਕਦੇ ਹੋ

ਚੈੱਕ ਪੁਆਇੰਟ ਪ੍ਰਬੰਧਨ ਸਰਵਰ ਤੋਂ ਤੁਸੀਂ log_exporter ਉਪਯੋਗਤਾ ਦੀ ਵਰਤੋਂ ਕਰਕੇ syslog ਰਾਹੀਂ Logstash ਨੂੰ ਲੌਗ ਭੇਜ ਸਕਦੇ ਹੋ, ਤੁਸੀਂ ਇਸ ਬਾਰੇ ਹੋਰ ਪੜ੍ਹ ਸਕਦੇ ਹੋ ਇੱਥੇ ਲੇਖ, ਇੱਥੇ ਅਸੀਂ ਸਿਰਫ ਉਹ ਕਮਾਂਡ ਛੱਡਾਂਗੇ ਜੋ ਸਟ੍ਰੀਮ ਬਣਾਉਂਦਾ ਹੈ:

cp_log_export add name check_point_syslog target-server > target-port 5555 protocol tcp ਫਾਰਮੈਟ ਜੈਨਰਿਕ ਰੀਡ-ਮੋਡ ਅਰਧ-ਯੂਨੀਫਾਈਡ

> - ਸਰਵਰ ਦਾ ਪਤਾ ਜਿਸ 'ਤੇ Logstash ਚੱਲਦਾ ਹੈ, ਟਾਰਗਿਟ-ਪੋਰਟ 5555 - ਉਹ ਪੋਰਟ ਜਿਸ 'ਤੇ ਅਸੀਂ ਲੌਗ ਭੇਜਾਂਗੇ, tcp ਰਾਹੀਂ ਲੌਗ ਭੇਜਣਾ ਸਰਵਰ ਨੂੰ ਲੋਡ ਕਰ ਸਕਦਾ ਹੈ, ਇਸ ਲਈ ਕੁਝ ਮਾਮਲਿਆਂ ਵਿੱਚ udp ਦੀ ਵਰਤੋਂ ਕਰਨਾ ਵਧੇਰੇ ਸਹੀ ਹੈ। .

ਲੌਗਸਟੈਸ਼ ਕੌਂਫਿਗਰੇਸ਼ਨ ਫਾਈਲ ਵਿੱਚ INPUT ਸੈਟ ਅਪ ਕਰਨਾ

ਮੂਲ ਰੂਪ ਵਿੱਚ, ਸੰਰਚਨਾ ਫਾਇਲ /etc/logstash/conf.d/ ਡਾਇਰੈਕਟਰੀ ਵਿੱਚ ਸਥਿਤ ਹੈ। ਸੰਰਚਨਾ ਫਾਈਲ ਵਿੱਚ 3 ਅਰਥਪੂਰਨ ਭਾਗ ਹੁੰਦੇ ਹਨ: INPUT, FILTER, OUTPUT. IN INPUT ਅਸੀਂ ਦਰਸਾਉਂਦੇ ਹਾਂ ਕਿ ਸਿਸਟਮ ਕਿੱਥੋਂ ਲਾਗ ਲਵੇਗਾ, ਅੰਦਰ ਫਿਲਟਰ ਕਰੋ ਲੌਗ ਨੂੰ ਪਾਰਸ ਕਰੋ - ਸੁਨੇਹੇ ਨੂੰ ਖੇਤਰਾਂ ਅਤੇ ਮੁੱਲਾਂ ਵਿੱਚ ਕਿਵੇਂ ਵੰਡਣਾ ਹੈ, ਵਿੱਚ ਆਉਟਪੁੱਟ ਅਸੀਂ ਆਉਟਪੁੱਟ ਸਟ੍ਰੀਮ ਨੂੰ ਕੌਂਫਿਗਰ ਕਰਦੇ ਹਾਂ - ਜਿੱਥੇ ਪਾਰਸ ਕੀਤੇ ਲੌਗ ਭੇਜੇ ਜਾਣਗੇ।

ਪਹਿਲਾਂ, ਆਓ INPUT ਨੂੰ ਸੰਰਚਿਤ ਕਰੀਏ, ਕੁਝ ਕਿਸਮਾਂ 'ਤੇ ਵਿਚਾਰ ਕਰੀਏ ਜੋ ਹੋ ਸਕਦੀਆਂ ਹਨ - ਫਾਈਲ, tcp ਅਤੇ exe।

Tcp:

input {
tcp {
    port => 5555
    host => “10.10.1.205”
    type => "checkpoint"
    mode => "server"
}
}

ਮੋਡ => "ਸਰਵਰ"
ਦਰਸਾਉਂਦਾ ਹੈ ਕਿ Logstash ਕੁਨੈਕਸ਼ਨ ਸਵੀਕਾਰ ਕਰ ਰਿਹਾ ਹੈ।

ਪੋਰਟ => 5555
ਮੇਜ਼ਬਾਨ => "10.10.1.205"
ਅਸੀਂ IP ਐਡਰੈੱਸ 10.10.1.205 (ਲੌਗਸਟੈਸ਼), ਪੋਰਟ 5555 ਰਾਹੀਂ ਕਨੈਕਸ਼ਨ ਸਵੀਕਾਰ ਕਰਦੇ ਹਾਂ - ਪੋਰਟ ਨੂੰ ਫਾਇਰਵਾਲ ਨੀਤੀ ਦੁਆਰਾ ਇਜਾਜ਼ਤ ਦਿੱਤੀ ਜਾਣੀ ਚਾਹੀਦੀ ਹੈ।

ਟਾਈਪ => "ਚੈੱਕਪੁਆਇੰਟ"
ਅਸੀਂ ਦਸਤਾਵੇਜ਼ ਨੂੰ ਚਿੰਨ੍ਹਿਤ ਕਰਦੇ ਹਾਂ, ਬਹੁਤ ਸੁਵਿਧਾਜਨਕ ਜੇਕਰ ਤੁਹਾਡੇ ਕੋਲ ਕਈ ਆਉਣ ਵਾਲੇ ਕੁਨੈਕਸ਼ਨ ਹਨ। ਇਸ ਤੋਂ ਬਾਅਦ, ਹਰੇਕ ਕੁਨੈਕਸ਼ਨ ਲਈ ਤੁਸੀਂ ਲਾਜ਼ੀਕਲ if construct ਦੀ ਵਰਤੋਂ ਕਰਕੇ ਆਪਣਾ ਫਿਲਟਰ ਲਿਖ ਸਕਦੇ ਹੋ।

ਫਾਇਲ:

input {
  file {
    path => "/var/log/openvas_report/*"
    type => "openvas"
    start_position => "beginning"
    }
}

ਸੈਟਿੰਗਾਂ ਦਾ ਵੇਰਵਾ:
ਮਾਰਗ => "/var/log/openvas_report/*"
ਅਸੀਂ ਉਸ ਡਾਇਰੈਕਟਰੀ ਨੂੰ ਦਰਸਾਉਂਦੇ ਹਾਂ ਜਿਸ ਵਿੱਚ ਫਾਈਲਾਂ ਨੂੰ ਪੜ੍ਹਨ ਦੀ ਲੋੜ ਹੁੰਦੀ ਹੈ।

ਟਾਈਪ => "ਓਪਨਵਾਸ"
ਘਟਨਾ ਦੀ ਕਿਸਮ.

start_position => "ਸ਼ੁਰੂਆਤ"
ਇੱਕ ਫਾਈਲ ਨੂੰ ਬਦਲਣ ਵੇਲੇ, ਇਹ ਪੂਰੀ ਫਾਈਲ ਨੂੰ ਪੜ੍ਹਦਾ ਹੈ; ਜੇਕਰ ਤੁਸੀਂ "ਐਂਡ" ਸੈਟ ਕਰਦੇ ਹੋ, ਤਾਂ ਸਿਸਟਮ ਫਾਈਲ ਦੇ ਅੰਤ ਵਿੱਚ ਨਵੇਂ ਰਿਕਾਰਡਾਂ ਦੇ ਆਉਣ ਦੀ ਉਡੀਕ ਕਰਦਾ ਹੈ।

ਕਾਰਜਕਾਰੀ:

input {
  exec {
    command => "ls -alh"
    interval => 30
  }
}

ਇਸ ਇੰਪੁੱਟ ਦੀ ਵਰਤੋਂ ਕਰਦੇ ਹੋਏ, ਇੱਕ (ਸਿਰਫ਼!) ਸ਼ੈੱਲ ਕਮਾਂਡ ਲਾਂਚ ਕੀਤੀ ਜਾਂਦੀ ਹੈ ਅਤੇ ਇਸਦਾ ਆਉਟਪੁੱਟ ਇੱਕ ਲਾਗ ਸੁਨੇਹੇ ਵਿੱਚ ਬਦਲ ਜਾਂਦਾ ਹੈ।

ਹੁਕਮ => "ls -alh"
ਉਹ ਕਮਾਂਡ ਜਿਸਦੀ ਆਉਟਪੁੱਟ ਵਿੱਚ ਅਸੀਂ ਦਿਲਚਸਪੀ ਰੱਖਦੇ ਹਾਂ।

ਅੰਤਰਾਲ => 30
ਸਕਿੰਟਾਂ ਵਿੱਚ ਆਦੇਸ਼ ਇਨਵੋਕੇਸ਼ਨ ਅੰਤਰਾਲ।

ਫਾਇਰਵਾਲ ਤੋਂ ਲੌਗ ਪ੍ਰਾਪਤ ਕਰਨ ਲਈ, ਅਸੀਂ ਇੱਕ ਫਿਲਟਰ ਰਜਿਸਟਰ ਕਰਦੇ ਹਾਂ ਟੀਸੀਪੀ ਜ udp, ਇਸ ਗੱਲ 'ਤੇ ਨਿਰਭਰ ਕਰਦਾ ਹੈ ਕਿ ਲੌਗਸਟਾਸ਼ ਨੂੰ ਲੌਗ ਕਿਵੇਂ ਭੇਜੇ ਜਾਂਦੇ ਹਨ।

ਅਸੀਂ ਲੌਗਸਟੈਸ਼ ਸੰਰਚਨਾ ਫਾਈਲ ਵਿੱਚ ਆਉਟਪੁੱਟ ਨੂੰ ਡੀਬੱਗ ਮੋਡ ਵਿੱਚ ਕੌਂਫਿਗਰ ਕਰਦੇ ਹਾਂ ਤਾਂ ਜੋ ਇਹ ਸਮਝਣ ਲਈ ਕਿ ਲੌਗ ਸੁਨੇਹਾ ਕਿਸ ਤਰ੍ਹਾਂ ਦਾ ਦਿਖਾਈ ਦਿੰਦਾ ਹੈ

INPUT ਦੀ ਸੰਰਚਨਾ ਕਰਨ ਤੋਂ ਬਾਅਦ, ਸਾਨੂੰ ਇਹ ਸਮਝਣ ਦੀ ਲੋੜ ਹੈ ਕਿ ਲੌਗ ਸੁਨੇਹਾ ਕਿਹੋ ਜਿਹਾ ਦਿਖਾਈ ਦੇਵੇਗਾ ਅਤੇ ਲੌਗ ਫਿਲਟਰ (ਪਾਰਸਰ) ਨੂੰ ਸੰਰਚਿਤ ਕਰਨ ਲਈ ਕਿਹੜੇ ਢੰਗਾਂ ਦੀ ਵਰਤੋਂ ਕਰਨ ਦੀ ਲੋੜ ਹੈ।

ਅਜਿਹਾ ਕਰਨ ਲਈ, ਅਸੀਂ ਇੱਕ ਫਿਲਟਰ ਦੀ ਵਰਤੋਂ ਕਰਾਂਗੇ ਜੋ ਅਸਲੀ ਸੰਦੇਸ਼ ਨੂੰ ਦੇਖਣ ਲਈ ਨਤੀਜੇ ਨੂੰ stdout ਵਿੱਚ ਆਊਟਪੁੱਟ ਕਰਦਾ ਹੈ; ਇਸ ਸਮੇਂ ਪੂਰੀ ਸੰਰਚਨਾ ਫਾਈਲ ਇਸ ਤਰ੍ਹਾਂ ਦਿਖਾਈ ਦੇਵੇਗੀ:

input 
{
         tcp 
         {
                port => 5555
  	  	type => "checkpoint"
    		mode => "server"
                host => “10.10.1.205”
   	 }
}

output 
{
	if [type] == "checkpoint" 
       {
		stdout { codec=> json }
	}
}

ਜਾਂਚ ਕਰਨ ਲਈ ਕਮਾਂਡ ਚਲਾਓ:
sudo /usr/share/logstash/bin//logstash -f /etc/logstash/conf.d/checkpoint.conf
ਅਸੀਂ ਨਤੀਜਾ ਦੇਖਦੇ ਹਾਂ, ਤਸਵੀਰ ਕਲਿੱਕ ਕਰਨ ਯੋਗ ਹੈ:

ਜੇਕਰ ਤੁਸੀਂ ਇਸਨੂੰ ਕਾਪੀ ਕਰਦੇ ਹੋ ਤਾਂ ਇਹ ਇਸ ਤਰ੍ਹਾਂ ਦਿਖਾਈ ਦੇਵੇਗਾ:

action="Accept" conn_direction="Internal" contextnum="1" ifdir="outbound" ifname="bond1.101" logid="0" loguid="{0x5dfb8c13,0x5,0xfe0a0a0a,0xc0000000}" origin="10.10.10.254" originsicname="CN=ts-spb-cpgw-01,O=cp-spb-mgmt-01.tssolution.local.kncafb" sequencenum="8" time="1576766483" version="5" context_num="1" dst="10.10.10.10" dst_machine_name="[email protected]" layer_name="TSS-Standard Security" layer_name="TSS-Standard Application" layer_uuid="dae7f01c-4c98-4c3a-a643-bfbb8fcf40f0" layer_uuid="dbee3718-cf2f-4de0-8681-529cb75be9a6" match_id="8" match_id="33554431" parent_rule="0" parent_rule="0" rule_action="Accept" rule_action="Accept" rule_name="Implicit Cleanup" rule_uid="6dc2396f-9644-4546-8f32-95d98a3344e6" product="VPN-1 & FireWall-1" proto="17" s_port="37317" service="53" service_id="domain-udp" src="10.10.1.180" ","type":"qqqqq","host":"10.10.10.250","@version":"1","port":50620}{"@timestamp":"2019-12-19T14:50:12.153Z","message":"time="1576766483" action="Accept" conn_direction="Internal" contextnum="1" ifdir="outbound" ifname="bond1.101" logid="0" loguid="{0x5dfb8c13,

ਇਹਨਾਂ ਸੁਨੇਹਿਆਂ ਨੂੰ ਦੇਖਦੇ ਹੋਏ, ਅਸੀਂ ਸਮਝਦੇ ਹਾਂ ਕਿ ਲੌਗ ਇਸ ਤਰ੍ਹਾਂ ਦਿਖਾਈ ਦਿੰਦੇ ਹਨ: ਫੀਲਡ = ਮੁੱਲ ਜਾਂ ਕੀ = ਮੁੱਲ, ਜਿਸਦਾ ਮਤਲਬ ਹੈ ਕਿ kv ਨਾਮਕ ਫਿਲਟਰ ਢੁਕਵਾਂ ਹੈ। ਹਰੇਕ ਖਾਸ ਕੇਸ ਲਈ ਸਹੀ ਫਿਲਟਰ ਚੁਣਨ ਲਈ, ਤਕਨੀਕੀ ਦਸਤਾਵੇਜ਼ਾਂ ਵਿੱਚ ਉਹਨਾਂ ਨਾਲ ਆਪਣੇ ਆਪ ਨੂੰ ਜਾਣੂ ਕਰਵਾਉਣਾ, ਜਾਂ ਕਿਸੇ ਦੋਸਤ ਨੂੰ ਪੁੱਛਣਾ ਇੱਕ ਚੰਗਾ ਵਿਚਾਰ ਹੋਵੇਗਾ।

ਫਿਲਟਰ ਸੈੱਟਅੱਪ ਕੀਤਾ ਜਾ ਰਿਹਾ ਹੈ

ਆਖਰੀ ਪੜਾਅ 'ਤੇ ਅਸੀਂ kv ਦੀ ਚੋਣ ਕੀਤੀ, ਇਸ ਫਿਲਟਰ ਦੀ ਸੰਰਚਨਾ ਹੇਠਾਂ ਪੇਸ਼ ਕੀਤੀ ਗਈ ਹੈ:

filter {
if [type] == "checkpoint"{
	kv {
		value_split => "="
		allow_duplicate_values => false
	}
}
}

ਅਸੀਂ ਉਹ ਚਿੰਨ੍ਹ ਚੁਣਦੇ ਹਾਂ ਜਿਸ ਦੁਆਰਾ ਅਸੀਂ ਖੇਤਰ ਅਤੇ ਮੁੱਲ ਨੂੰ ਵੰਡਾਂਗੇ - “=”। ਜੇਕਰ ਸਾਡੇ ਕੋਲ ਲੌਗ ਵਿੱਚ ਇੱਕੋ ਜਿਹੀਆਂ ਐਂਟਰੀਆਂ ਹਨ, ਤਾਂ ਅਸੀਂ ਡੇਟਾਬੇਸ ਵਿੱਚ ਸਿਰਫ਼ ਇੱਕ ਉਦਾਹਰਣ ਨੂੰ ਸੁਰੱਖਿਅਤ ਕਰਦੇ ਹਾਂ, ਨਹੀਂ ਤਾਂ ਤੁਸੀਂ ਇੱਕੋ ਜਿਹੇ ਮੁੱਲਾਂ ਦੀ ਇੱਕ ਲੜੀ ਦੇ ਨਾਲ ਖਤਮ ਹੋਵੋਗੇ, ਭਾਵ, ਜੇਕਰ ਸਾਡੇ ਕੋਲ "foo = some foo=some" ਸੁਨੇਹਾ ਹੈ ਤਾਂ ਅਸੀਂ ਸਿਰਫ਼ foo ਲਿਖਦੇ ਹਾਂ। = ਕੁਝ।

ElasticSearch ਵਿੱਚ ਸਹੀ ਆਉਟਪੁੱਟ ਸੈਟ ਅਪ ਕਰਨਾ

ਇੱਕ ਵਾਰ ਫਿਲਟਰ ਕੌਂਫਿਗਰ ਹੋ ਜਾਣ ਤੋਂ ਬਾਅਦ, ਤੁਸੀਂ ਡੇਟਾਬੇਸ ਵਿੱਚ ਲੌਗ ਅੱਪਲੋਡ ਕਰ ਸਕਦੇ ਹੋ ਲਚਕੀਲਾ:

output 
{
if [type] == "checkpoint"
{
 	elasticsearch 
        {
		hosts => ["10.10.1.200:9200"]
		index => "checkpoint-%{+YYYY.MM.dd}"
    		user => "tssolution"
    		password => "cool"
  	}
}
}

ਜੇਕਰ ਦਸਤਾਵੇਜ਼ ਚੈੱਕਪੁਆਇੰਟ ਕਿਸਮ ਦੇ ਨਾਲ ਹਸਤਾਖਰਿਤ ਕੀਤਾ ਗਿਆ ਹੈ, ਤਾਂ ਅਸੀਂ ਈਵੈਂਟ ਨੂੰ elasticsearch ਡੇਟਾਬੇਸ ਵਿੱਚ ਸੁਰੱਖਿਅਤ ਕਰਦੇ ਹਾਂ, ਜੋ ਕਿ ਡਿਫੌਲਟ ਰੂਪ ਵਿੱਚ ਪੋਰਟ 10.10.1.200 'ਤੇ 9200 ਨੂੰ ਕਨੈਕਸ਼ਨ ਸਵੀਕਾਰ ਕਰਦਾ ਹੈ। ਹਰੇਕ ਦਸਤਾਵੇਜ਼ ਨੂੰ ਇੱਕ ਖਾਸ ਸੂਚਕਾਂਕ ਵਿੱਚ ਸੁਰੱਖਿਅਤ ਕੀਤਾ ਜਾਂਦਾ ਹੈ, ਇਸ ਸਥਿਤੀ ਵਿੱਚ ਅਸੀਂ ਇੰਡੈਕਸ "ਚੈੱਕਪੁਆਇੰਟ-" + ਮੌਜੂਦਾ ਸਮਾਂ ਮਿਤੀ ਵਿੱਚ ਸੁਰੱਖਿਅਤ ਕਰਦੇ ਹਾਂ। ਹਰੇਕ ਸੂਚਕਾਂਕ ਵਿੱਚ ਫੀਲਡਾਂ ਦਾ ਇੱਕ ਖਾਸ ਸੈੱਟ ਹੋ ਸਕਦਾ ਹੈ, ਜਾਂ ਜਦੋਂ ਇੱਕ ਸੁਨੇਹਾ ਵਿੱਚ ਇੱਕ ਨਵਾਂ ਖੇਤਰ ਦਿਖਾਈ ਦਿੰਦਾ ਹੈ ਤਾਂ ਆਪਣੇ ਆਪ ਬਣਾਇਆ ਜਾਂਦਾ ਹੈ; ਫੀਲਡ ਸੈਟਿੰਗਾਂ ਅਤੇ ਉਹਨਾਂ ਦੀ ਕਿਸਮ ਨੂੰ ਮੈਪਿੰਗ ਵਿੱਚ ਦੇਖਿਆ ਜਾ ਸਕਦਾ ਹੈ।

ਜੇਕਰ ਤੁਹਾਡੇ ਕੋਲ ਪ੍ਰਮਾਣਿਕਤਾ ਕੌਂਫਿਗਰ ਕੀਤੀ ਗਈ ਹੈ (ਅਸੀਂ ਇਸਨੂੰ ਬਾਅਦ ਵਿੱਚ ਦੇਖਾਂਗੇ), ਤਾਂ ਇੱਕ ਖਾਸ ਸੂਚਕਾਂਕ ਨੂੰ ਲਿਖਣ ਲਈ ਪ੍ਰਮਾਣ ਪੱਤਰ ਨਿਸ਼ਚਿਤ ਕੀਤੇ ਜਾਣੇ ਚਾਹੀਦੇ ਹਨ, ਇਸ ਉਦਾਹਰਨ ਵਿੱਚ ਇਹ ਪਾਸਵਰਡ "cool" ਦੇ ਨਾਲ "tssolution" ਹੈ। ਤੁਸੀਂ ਸਿਰਫ਼ ਇੱਕ ਖਾਸ ਸੂਚਕਾਂਕ ਲਈ ਲੌਗ ਲਿਖਣ ਲਈ ਉਪਭੋਗਤਾ ਅਧਿਕਾਰਾਂ ਨੂੰ ਵੱਖਰਾ ਕਰ ਸਕਦੇ ਹੋ ਅਤੇ ਹੋਰ ਨਹੀਂ।

ਲੌਗਸਟੈਸ਼ ਲਾਂਚ ਕਰੋ।

Logstash ਸੰਰਚਨਾ ਫਾਇਲ:

input 
{
         tcp 
         {
                port => 5555
  	  	type => "checkpoint"
    		mode => "server"
                host => “10.10.1.205”
   	 }
}

filter {
        if [type] == "checkpoint"{
	kv {
		value_split => "="
		allow_duplicate_values => false
	}
        }
}

output 
{
if [type] == "checkpoint"
{
 	elasticsearch 
        {
		hosts => ["10.10.1.200:9200"]
		index => "checkpoint-%{+YYYY.MM.dd}"
    		user => "tssolution"
    		password => "cool"
  	}
}
}

ਅਸੀਂ ਸ਼ੁੱਧਤਾ ਲਈ ਕੌਂਫਿਗਰੇਸ਼ਨ ਫਾਈਲ ਦੀ ਜਾਂਚ ਕਰਦੇ ਹਾਂ:
/usr/share/logstash/bin//logstash -f checkpoint.conf


ਲੌਗਸਟੈਸ਼ ਪ੍ਰਕਿਰਿਆ ਸ਼ੁਰੂ ਕਰੋ:
sudo systemctl ਲੌਗਸਟੈਸ਼ ਸ਼ੁਰੂ

ਅਸੀਂ ਜਾਂਚ ਕਰਦੇ ਹਾਂ ਕਿ ਪ੍ਰਕਿਰਿਆ ਸ਼ੁਰੂ ਹੋ ਗਈ ਹੈ:
sudo systemctl ਸਥਿਤੀ logstash

ਚਲੋ ਜਾਂਚ ਕਰੀਏ ਕਿ ਕੀ ਸਾਕਟ ਉੱਪਰ ਹੈ:
netstat -nat |grep 5555

ਕਿਬਾਨਾ ਵਿੱਚ ਲਾਗਾਂ ਦੀ ਜਾਂਚ ਕੀਤੀ ਜਾ ਰਹੀ ਹੈ।

ਸਭ ਕੁਝ ਚੱਲਣ ਤੋਂ ਬਾਅਦ, ਕਿਬਾਨਾ 'ਤੇ ਜਾਓ - ਖੋਜ ਕਰੋ, ਯਕੀਨੀ ਬਣਾਓ ਕਿ ਸਭ ਕੁਝ ਸਹੀ ਢੰਗ ਨਾਲ ਕੌਂਫਿਗਰ ਕੀਤਾ ਗਿਆ ਹੈ, ਤਸਵੀਰ ਕਲਿੱਕ ਕਰਨ ਯੋਗ ਹੈ!

ਸਾਰੇ ਲੌਗਸ ਥਾਂ ਤੇ ਹਨ ਅਤੇ ਅਸੀਂ ਸਾਰੇ ਖੇਤਰਾਂ ਅਤੇ ਉਹਨਾਂ ਦੇ ਮੁੱਲਾਂ ਨੂੰ ਦੇਖ ਸਕਦੇ ਹਾਂ!

ਸਿੱਟਾ

ਅਸੀਂ ਦੇਖਿਆ ਕਿ ਲੌਗਸਟੈਸ਼ ਸੰਰਚਨਾ ਫਾਈਲ ਕਿਵੇਂ ਲਿਖਣੀ ਹੈ, ਅਤੇ ਨਤੀਜੇ ਵਜੋਂ ਸਾਨੂੰ ਸਾਰੇ ਖੇਤਰਾਂ ਅਤੇ ਮੁੱਲਾਂ ਦਾ ਪਾਰਸਰ ਮਿਲਿਆ ਹੈ। ਹੁਣ ਅਸੀਂ ਖਾਸ ਖੇਤਰਾਂ ਲਈ ਖੋਜ ਅਤੇ ਪਲਾਟ ਬਣਾਉਣ ਦੇ ਨਾਲ ਕੰਮ ਕਰ ਸਕਦੇ ਹਾਂ। ਅੱਗੇ ਕੋਰਸ ਵਿੱਚ ਅਸੀਂ ਕਿਬਾਨਾ ਵਿੱਚ ਵਿਜ਼ੂਅਲਾਈਜ਼ੇਸ਼ਨ ਨੂੰ ਵੇਖਾਂਗੇ ਅਤੇ ਇੱਕ ਸਧਾਰਨ ਡੈਸ਼ਬੋਰਡ ਬਣਾਵਾਂਗੇ। ਇਹ ਵਰਣਨ ਯੋਗ ਹੈ ਕਿ Logstash ਸੰਰਚਨਾ ਫਾਈਲ ਨੂੰ ਕੁਝ ਸਥਿਤੀਆਂ ਵਿੱਚ ਲਗਾਤਾਰ ਅੱਪਡੇਟ ਕਰਨ ਦੀ ਲੋੜ ਹੁੰਦੀ ਹੈ, ਉਦਾਹਰਨ ਲਈ, ਜਦੋਂ ਅਸੀਂ ਕਿਸੇ ਖੇਤਰ ਦੇ ਮੁੱਲ ਨੂੰ ਇੱਕ ਨੰਬਰ ਤੋਂ ਇੱਕ ਸ਼ਬਦ ਵਿੱਚ ਬਦਲਣਾ ਚਾਹੁੰਦੇ ਹਾਂ। ਅਗਲੇ ਲੇਖਾਂ ਵਿੱਚ ਅਸੀਂ ਇਸ ਨੂੰ ਲਗਾਤਾਰ ਕਰਾਂਗੇ।

ਇਸ ਲਈ ਜੁੜੇ ਰਹੋਤਾਰ, ਫੇਸਬੁੱਕ, VK, TS ਹੱਲ ਬਲੌਗ), Yandex.Zen.

ਸਰੋਤ: www.habr.com