1. ਲਚਕੀਲਾ ਸਟੈਕ: ਸੁਰੱਖਿਆ ਲੌਗਸ ਦਾ ਵਿਸ਼ਲੇਸ਼ਣ। ਜਾਣ-ਪਛਾਣ

ਸਪਲੰਕ ਲੌਗਿੰਗ ਅਤੇ ਵਿਸ਼ਲੇਸ਼ਣ ਪ੍ਰਣਾਲੀ ਦੀ ਰੂਸ ਵਿੱਚ ਵਿਕਰੀ ਦੇ ਅੰਤ ਦੇ ਸਬੰਧ ਵਿੱਚ, ਸਵਾਲ ਉੱਠਿਆ: ਇਸ ਹੱਲ ਨੂੰ ਕਿਸ ਨਾਲ ਬਦਲਿਆ ਜਾ ਸਕਦਾ ਹੈ? ਆਪਣੇ ਆਪ ਨੂੰ ਵੱਖ-ਵੱਖ ਹੱਲਾਂ ਨਾਲ ਜਾਣੂ ਕਰਨ ਲਈ ਸਮਾਂ ਬਿਤਾਉਣ ਤੋਂ ਬਾਅਦ, ਮੈਂ ਇੱਕ ਅਸਲੀ ਆਦਮੀ ਲਈ ਇੱਕ ਹੱਲ 'ਤੇ ਸੈਟਲ ਹੋ ਗਿਆ - "ELK ਸਟੈਕ". ਇਸ ਸਿਸਟਮ ਨੂੰ ਸਥਾਪਤ ਕਰਨ ਵਿੱਚ ਸਮਾਂ ਲੱਗਦਾ ਹੈ, ਪਰ ਨਤੀਜੇ ਵਜੋਂ ਤੁਸੀਂ ਸਥਿਤੀ ਦਾ ਵਿਸ਼ਲੇਸ਼ਣ ਕਰਨ ਅਤੇ ਸੰਸਥਾ ਵਿੱਚ ਸੂਚਨਾ ਸੁਰੱਖਿਆ ਘਟਨਾਵਾਂ ਦਾ ਤੁਰੰਤ ਜਵਾਬ ਦੇਣ ਲਈ ਇੱਕ ਬਹੁਤ ਸ਼ਕਤੀਸ਼ਾਲੀ ਸਿਸਟਮ ਪ੍ਰਾਪਤ ਕਰ ਸਕਦੇ ਹੋ। ਲੇਖਾਂ ਦੀ ਇਸ ਲੜੀ ਵਿੱਚ, ਅਸੀਂ ELK ਸਟੈਕ ਦੀਆਂ ਬੁਨਿਆਦੀ (ਜਾਂ ਸ਼ਾਇਦ ਨਹੀਂ) ਸਮਰੱਥਾਵਾਂ ਨੂੰ ਦੇਖਾਂਗੇ, ਵਿਚਾਰ ਕਰਾਂਗੇ ਕਿ ਤੁਸੀਂ ਲੌਗਸ ਨੂੰ ਪਾਰਸ ਕਿਵੇਂ ਕਰ ਸਕਦੇ ਹੋ, ਗ੍ਰਾਫ ਅਤੇ ਡੈਸ਼ਬੋਰਡ ਕਿਵੇਂ ਬਣਾਉਣੇ ਹਨ, ਅਤੇ ਲੌਗਸ ਦੀ ਉਦਾਹਰਣ ਦੀ ਵਰਤੋਂ ਕਰਕੇ ਕਿਹੜੇ ਦਿਲਚਸਪ ਫੰਕਸ਼ਨ ਕੀਤੇ ਜਾ ਸਕਦੇ ਹਨ। ਚੈੱਕ ਪੁਆਇੰਟ ਫਾਇਰਵਾਲ ਜਾਂ ਓਪਨਵਾਸ ਸੁਰੱਖਿਆ ਸਕੈਨਰ। ਸ਼ੁਰੂ ਕਰਨ ਲਈ, ਆਓ ਦੇਖੀਏ ਕਿ ਇਹ ਕੀ ਹੈ - ELK ਸਟੈਕ, ਅਤੇ ਇਸ ਵਿੱਚ ਕਿਹੜੇ ਭਾਗ ਸ਼ਾਮਲ ਹਨ।

"ELK ਸਟੈਕ" ਤਿੰਨ ਓਪਨ ਸੋਰਸ ਪ੍ਰੋਜੈਕਟਾਂ ਦਾ ਸੰਖੇਪ ਰੂਪ ਹੈ: ਲਲਸੀ ਖੋਜ, ਲੌਗਸਟੈਸ਼ и ਕਿਬਾਨਾ. ਸਾਰੇ ਸਬੰਧਤ ਪ੍ਰੋਜੈਕਟਾਂ ਦੇ ਨਾਲ ਇਲਾਸਟਿਕ ਦੁਆਰਾ ਵਿਕਸਤ ਕੀਤਾ ਗਿਆ ਹੈ। Elasticsearch ਪੂਰੇ ਸਿਸਟਮ ਦਾ ਕੋਰ ਹੈ, ਜੋ ਇੱਕ ਡੇਟਾਬੇਸ, ਖੋਜ ਅਤੇ ਵਿਸ਼ਲੇਸ਼ਣਾਤਮਕ ਪ੍ਰਣਾਲੀ ਦੇ ਕਾਰਜਾਂ ਨੂੰ ਜੋੜਦਾ ਹੈ। ਲੌਗਸਟੈਸ਼ ਇੱਕ ਸਰਵਰ-ਸਾਈਡ ਡੇਟਾ ਪ੍ਰੋਸੈਸਿੰਗ ਪਾਈਪਲਾਈਨ ਹੈ ਜੋ ਇੱਕੋ ਸਮੇਂ ਕਈ ਸਰੋਤਾਂ ਤੋਂ ਡੇਟਾ ਪ੍ਰਾਪਤ ਕਰਦੀ ਹੈ, ਲੌਗ ਨੂੰ ਪਾਰਸ ਕਰਦੀ ਹੈ, ਅਤੇ ਫਿਰ ਇਸਨੂੰ ਇੱਕ Elasticsearch ਡੇਟਾਬੇਸ ਵਿੱਚ ਭੇਜਦੀ ਹੈ। ਕਿਬਾਨਾ ਉਪਭੋਗਤਾਵਾਂ ਨੂੰ ਇਲਾਸਟਿਕ ਖੋਜ ਵਿੱਚ ਚਾਰਟ ਅਤੇ ਗ੍ਰਾਫ ਦੀ ਵਰਤੋਂ ਕਰਕੇ ਡੇਟਾ ਦੀ ਕਲਪਨਾ ਕਰਨ ਦੀ ਆਗਿਆ ਦਿੰਦਾ ਹੈ। ਤੁਸੀਂ ਕਿਬਾਨਾ ਦੁਆਰਾ ਡੇਟਾਬੇਸ ਦਾ ਪ੍ਰਬੰਧਨ ਵੀ ਕਰ ਸਕਦੇ ਹੋ। ਅੱਗੇ, ਅਸੀਂ ਹਰੇਕ ਸਿਸਟਮ ਨੂੰ ਵੱਖਰੇ ਤੌਰ 'ਤੇ ਵਧੇਰੇ ਵਿਸਥਾਰ ਨਾਲ ਵਿਚਾਰਾਂਗੇ।

ਲੌਗਸਟੈਸ਼

Logstash ਵੱਖ-ਵੱਖ ਸਰੋਤਾਂ ਤੋਂ ਲੌਗ ਇਵੈਂਟਾਂ ਦੀ ਪ੍ਰਕਿਰਿਆ ਕਰਨ ਲਈ ਇੱਕ ਉਪਯੋਗਤਾ ਹੈ, ਜਿਸ ਨਾਲ ਤੁਸੀਂ ਇੱਕ ਸੰਦੇਸ਼ ਵਿੱਚ ਖੇਤਰਾਂ ਅਤੇ ਉਹਨਾਂ ਦੇ ਮੁੱਲਾਂ ਨੂੰ ਚੁਣ ਸਕਦੇ ਹੋ, ਅਤੇ ਤੁਸੀਂ ਡੇਟਾ ਫਿਲਟਰਿੰਗ ਅਤੇ ਸੰਪਾਦਨ ਨੂੰ ਵੀ ਕੌਂਫਿਗਰ ਕਰ ਸਕਦੇ ਹੋ। ਸਾਰੀਆਂ ਹੇਰਾਫੇਰੀਆਂ ਤੋਂ ਬਾਅਦ, ਲੌਗਸਟੈਸ਼ ਇਵੈਂਟਾਂ ਨੂੰ ਅੰਤਿਮ ਡਾਟਾ ਸਟੋਰ 'ਤੇ ਰੀਡਾਇਰੈਕਟ ਕਰਦਾ ਹੈ। ਉਪਯੋਗਤਾ ਨੂੰ ਸਿਰਫ ਸੰਰਚਨਾ ਫਾਈਲਾਂ ਦੁਆਰਾ ਸੰਰਚਿਤ ਕੀਤਾ ਜਾਂਦਾ ਹੈ.
ਇੱਕ ਆਮ ਲੌਗਸਟੈਸ਼ ਸੰਰਚਨਾ ਇੱਕ ਫਾਈਲ(ਜ਼) ਹੁੰਦੀ ਹੈ ਜਿਸ ਵਿੱਚ ਜਾਣਕਾਰੀ ਦੀਆਂ ਕਈ ਆਉਣ ਵਾਲੀਆਂ ਸਟ੍ਰੀਮਾਂ (ਇਨਪੁਟ), ਇਸ ਜਾਣਕਾਰੀ ਲਈ ਕਈ ਫਿਲਟਰ (ਫਿਲਟਰ) ਅਤੇ ਕਈ ਬਾਹਰ ਜਾਣ ਵਾਲੀਆਂ ਸਟ੍ਰੀਮਾਂ (ਆਊਟਪੁੱਟ) ਹੁੰਦੀਆਂ ਹਨ। ਇਹ ਇੱਕ ਜਾਂ ਇੱਕ ਤੋਂ ਵੱਧ ਸੰਰਚਨਾ ਫਾਈਲਾਂ ਵਰਗਾ ਦਿਖਾਈ ਦਿੰਦਾ ਹੈ, ਜੋ ਕਿ ਸਧਾਰਨ ਸੰਸਕਰਣ ਵਿੱਚ (ਜੋ ਕਿ ਕੁਝ ਵੀ ਨਹੀਂ ਕਰਦਾ) ਇਸ ਤਰ੍ਹਾਂ ਦਿਖਾਈ ਦਿੰਦਾ ਹੈ:

input {
}

filter {
}

output {
}

INPUT ਵਿੱਚ ਅਸੀਂ ਕੌਂਫਿਗਰ ਕਰਦੇ ਹਾਂ ਕਿ ਲੌਗ ਕਿਸ ਪੋਰਟ ਤੇ ਭੇਜੇ ਜਾਣਗੇ ਅਤੇ ਕਿਸ ਪ੍ਰੋਟੋਕੋਲ ਦੁਆਰਾ, ਜਾਂ ਕਿਸ ਫੋਲਡਰ ਤੋਂ ਨਵੀਆਂ ਜਾਂ ਲਗਾਤਾਰ ਅੱਪਡੇਟ ਕੀਤੀਆਂ ਫਾਈਲਾਂ ਨੂੰ ਪੜ੍ਹਨਾ ਹੈ। ਫਿਲਟਰ ਵਿੱਚ ਅਸੀਂ ਲੌਗ ਪਾਰਸਰ ਦੀ ਸੰਰਚਨਾ ਕਰਦੇ ਹਾਂ: ਖੇਤਰਾਂ ਨੂੰ ਪਾਰਸ ਕਰਨਾ, ਮੁੱਲਾਂ ਨੂੰ ਸੰਪਾਦਿਤ ਕਰਨਾ, ਨਵੇਂ ਪੈਰਾਮੀਟਰ ਜੋੜਨਾ ਜਾਂ ਉਹਨਾਂ ਨੂੰ ਮਿਟਾਉਣਾ। FILTER ਸੁਨੇਹੇ ਦੇ ਪ੍ਰਬੰਧਨ ਲਈ ਇੱਕ ਖੇਤਰ ਹੈ ਜੋ ਬਹੁਤ ਸਾਰੇ ਸੰਪਾਦਨ ਵਿਕਲਪਾਂ ਦੇ ਨਾਲ Logstash ਵਿੱਚ ਆਉਂਦਾ ਹੈ। ਆਉਟਪੁੱਟ ਵਿੱਚ ਅਸੀਂ ਕੌਂਫਿਗਰ ਕਰਦੇ ਹਾਂ ਕਿ ਅਸੀਂ ਪਹਿਲਾਂ ਤੋਂ ਪਾਰਸ ਕੀਤੇ ਲੌਗ ਨੂੰ ਕਿੱਥੇ ਭੇਜਦੇ ਹਾਂ, ਜੇਕਰ ਇਹ ਲਚਕੀਲਾ ਖੋਜ ਹੈ ਤਾਂ ਇੱਕ JSON ਬੇਨਤੀ ਭੇਜੀ ਜਾਂਦੀ ਹੈ ਜਿਸ ਵਿੱਚ ਮੁੱਲਾਂ ਵਾਲੇ ਖੇਤਰ ਭੇਜੇ ਜਾਂਦੇ ਹਨ, ਜਾਂ ਡੀਬੱਗ ਦੇ ਹਿੱਸੇ ਵਜੋਂ ਇਸਨੂੰ stdout ਵਿੱਚ ਆਉਟਪੁੱਟ ਜਾਂ ਫਾਈਲ ਵਿੱਚ ਲਿਖਿਆ ਜਾ ਸਕਦਾ ਹੈ।

ElasticSearch

ਸ਼ੁਰੂ ਵਿੱਚ, Elasticsearch ਫੁੱਲ-ਟੈਕਸਟ ਖੋਜ ਲਈ ਇੱਕ ਹੱਲ ਹੈ, ਪਰ ਵਾਧੂ ਸੁਵਿਧਾਵਾਂ ਜਿਵੇਂ ਕਿ ਆਸਾਨ ਸਕੇਲਿੰਗ, ਪ੍ਰਤੀਕ੍ਰਿਤੀ ਅਤੇ ਹੋਰ ਚੀਜ਼ਾਂ ਦੇ ਨਾਲ, ਜਿਸ ਨੇ ਉਤਪਾਦ ਨੂੰ ਬਹੁਤ ਸੁਵਿਧਾਜਨਕ ਬਣਾਇਆ ਹੈ ਅਤੇ ਵੱਡੀ ਮਾਤਰਾ ਵਿੱਚ ਡੇਟਾ ਦੇ ਨਾਲ ਉੱਚ-ਲੋਡ ਪ੍ਰੋਜੈਕਟਾਂ ਲਈ ਇੱਕ ਵਧੀਆ ਹੱਲ ਹੈ। Elasticsearch ਇੱਕ ਗੈਰ-ਰਿਲੇਸ਼ਨਲ (NoSQL) JSON ਦਸਤਾਵੇਜ਼ ਸਟੋਰ ਅਤੇ ਲੂਸੀਨ ਫੁੱਲ-ਟੈਕਸਟ ਖੋਜ 'ਤੇ ਆਧਾਰਿਤ ਖੋਜ ਇੰਜਣ ਹੈ। ਹਾਰਡਵੇਅਰ ਪਲੇਟਫਾਰਮ ਜਾਵਾ ਵਰਚੁਅਲ ਮਸ਼ੀਨ ਹੈ, ਇਸਲਈ ਸਿਸਟਮ ਨੂੰ ਸੰਚਾਲਿਤ ਕਰਨ ਲਈ ਵੱਡੀ ਮਾਤਰਾ ਵਿੱਚ ਪ੍ਰੋਸੈਸਰ ਅਤੇ RAM ਸਰੋਤਾਂ ਦੀ ਲੋੜ ਹੁੰਦੀ ਹੈ।
ਹਰੇਕ ਆਉਣ ਵਾਲਾ ਸੁਨੇਹਾ, ਜਾਂ ਤਾਂ ਲੌਗਸਟੈਸ਼ ਨਾਲ ਜਾਂ ਕਿਊਰੀ API ਦੀ ਵਰਤੋਂ ਕਰਕੇ, ਨੂੰ "ਦਸਤਾਵੇਜ਼" ਵਜੋਂ ਸੂਚੀਬੱਧ ਕੀਤਾ ਜਾਂਦਾ ਹੈ - ਰਿਲੇਸ਼ਨਲ SQL ਵਿੱਚ ਇੱਕ ਸਾਰਣੀ ਦੇ ਸਮਾਨ। ਸਾਰੇ ਦਸਤਾਵੇਜ਼ ਇੱਕ ਸੂਚਕਾਂਕ ਵਿੱਚ ਸਟੋਰ ਕੀਤੇ ਜਾਂਦੇ ਹਨ - SQL ਵਿੱਚ ਇੱਕ ਡੇਟਾਬੇਸ ਦਾ ਐਨਾਲਾਗ।

ਡੇਟਾਬੇਸ ਵਿੱਚ ਇੱਕ ਦਸਤਾਵੇਜ਼ ਦੀ ਉਦਾਹਰਨ:

{
  "_index": "checkpoint-2019.10.10",
  "_type": "_doc",
  "_id": "yvNZcWwBygXz5W1aycBy",
  "_version": 1,
  "_score": null,
  "_source": {
	"layer_uuid": [
      "dae7f01c-4c98-4c3a-a643-bfbb8fcf40f0",
      "dbee3718-cf2f-4de0-8681-529cb75be9a6"
	],
	"outzone": "External",
	"layer_name": [
  	"TSS-Standard Security",
  	"TSS-Standard Application"
	],
	"time": "1565269565",
	"dst": "103.5.198.210",
	"parent_rule": "0",
	"host": "10.10.10.250",
	"ifname": "eth6",
    ]
}

ਡੇਟਾਬੇਸ ਦੇ ਨਾਲ ਸਾਰਾ ਕੰਮ REST API ਦੀ ਵਰਤੋਂ ਕਰਦੇ ਹੋਏ JSON ਬੇਨਤੀਆਂ 'ਤੇ ਅਧਾਰਤ ਹੈ, ਜੋ ਜਾਂ ਤਾਂ ਸੂਚਕਾਂਕ ਦੁਆਰਾ ਦਸਤਾਵੇਜ਼ ਤਿਆਰ ਕਰਦੇ ਹਨ ਜਾਂ ਫਾਰਮੈਟ ਵਿੱਚ ਕੁਝ ਅੰਕੜੇ: ਪ੍ਰਸ਼ਨ - ਉੱਤਰ। ਬੇਨਤੀਆਂ ਦੇ ਸਾਰੇ ਜਵਾਬਾਂ ਦੀ ਕਲਪਨਾ ਕਰਨ ਲਈ, ਕਿਬਾਨਾ ਲਿਖਿਆ ਗਿਆ ਸੀ, ਜੋ ਕਿ ਇੱਕ ਵੈਬ ਸੇਵਾ ਹੈ।

ਕਿਬਾਨਾ

ਕਿਬਾਨਾ ਤੁਹਾਨੂੰ ਲਚਕੀਲੇ ਖੋਜ ਡੇਟਾਬੇਸ ਤੋਂ ਡੇਟਾ ਅਤੇ ਪੁੱਛਗਿੱਛ ਦੇ ਅੰਕੜਿਆਂ ਨੂੰ ਖੋਜਣ, ਮੁੜ ਪ੍ਰਾਪਤ ਕਰਨ ਦੀ ਆਗਿਆ ਦਿੰਦਾ ਹੈ, ਪਰ ਜਵਾਬਾਂ ਦੇ ਅਧਾਰ ਤੇ ਬਹੁਤ ਸਾਰੇ ਸੁੰਦਰ ਗ੍ਰਾਫ ਅਤੇ ਡੈਸ਼ਬੋਰਡ ਬਣਾਏ ਗਏ ਹਨ। ਸਿਸਟਮ ਵਿੱਚ elasticsearch ਡਾਟਾਬੇਸ ਪ੍ਰਸ਼ਾਸਨ ਕਾਰਜਕੁਸ਼ਲਤਾ ਵੀ ਹੈ; ਅਗਲੇ ਲੇਖਾਂ ਵਿੱਚ ਅਸੀਂ ਇਸ ਸੇਵਾ ਨੂੰ ਹੋਰ ਵਿਸਥਾਰ ਵਿੱਚ ਦੇਖਾਂਗੇ। ਹੁਣ ਆਉ ਚੈੱਕ ਪੁਆਇੰਟ ਫਾਇਰਵਾਲ ਅਤੇ ਓਪਨਵਾਸ ਕਮਜ਼ੋਰੀ ਸਕੈਨਰ ਲਈ ਡੈਸ਼ਬੋਰਡਾਂ ਦੀ ਇੱਕ ਉਦਾਹਰਣ ਦਿਖਾਉਂਦੇ ਹਾਂ ਜੋ ਬਣਾਇਆ ਜਾ ਸਕਦਾ ਹੈ।

ਚੈੱਕ ਪੁਆਇੰਟ ਲਈ ਡੈਸ਼ਬੋਰਡ ਦੀ ਇੱਕ ਉਦਾਹਰਣ, ਤਸਵੀਰ ਕਲਿੱਕ ਕਰਨ ਯੋਗ ਹੈ:

OpenVas ਲਈ ਇੱਕ ਡੈਸ਼ਬੋਰਡ ਦੀ ਇੱਕ ਉਦਾਹਰਨ, ਤਸਵੀਰ ਕਲਿੱਕ ਕਰਨ ਯੋਗ ਹੈ:

ਸਿੱਟਾ

ਅਸੀਂ ਦੇਖਿਆ ਕਿ ਇਸ ਵਿੱਚ ਕੀ ਸ਼ਾਮਲ ਹੈ ELK ਸਟੈਕ, ਅਸੀਂ ਮੁੱਖ ਉਤਪਾਦਾਂ ਤੋਂ ਥੋੜਾ ਜਾਣੂ ਹੋ ਗਏ ਹਾਂ, ਬਾਅਦ ਵਿੱਚ ਕੋਰਸ ਵਿੱਚ ਅਸੀਂ ਵੱਖਰੇ ਤੌਰ 'ਤੇ ਇੱਕ ਲੌਗਸਟੈਸ਼ ਸੰਰਚਨਾ ਫਾਈਲ ਲਿਖਣ, ਕਿਬਾਨਾ 'ਤੇ ਡੈਸ਼ਬੋਰਡ ਸਥਾਪਤ ਕਰਨ, API ਬੇਨਤੀਆਂ, ਆਟੋਮੇਸ਼ਨ ਅਤੇ ਹੋਰ ਬਹੁਤ ਕੁਝ ਬਾਰੇ ਜਾਣੂ ਹੋਵਾਂਗੇ!

ਇਸ ਲਈ ਜੁੜੇ ਰਹੋਤਾਰ, ਫੇਸਬੁੱਕ, VK, TS ਹੱਲ ਬਲੌਗ), Yandex.Zen.

ਸਰੋਤ: www.habr.com