ਮਨੁੱਖਾਂ, ਜਾਂ ਏਲੀਅਨ ਟੈਕਨਾਲੋਜੀਜ਼ ਲਈ ਕਲਿਕ ਹਾਊਸ ਡੇਟਾਬੇਸ

ਅਲੈਕਸੀ ਲਿਜ਼ੁਨੋਵ, ਆਈਸੀਬੀ ਦੇ ਸੂਚਨਾ ਤਕਨਾਲੋਜੀ ਡਾਇਰੈਕਟੋਰੇਟ ਦੇ ਰਿਮੋਟ ਸਰਵਿਸ ਚੈਨਲਾਂ ਲਈ ਸਮਰੱਥਾ ਕੇਂਦਰ ਦੇ ਮੁਖੀ

ELK ਸਟੈਕ (ElasticSearch, Logstash, Kibana) ਦੇ ਵਿਕਲਪ ਵਜੋਂ, ਅਸੀਂ ਕਲਿਕਹਾਊਸ ਡੇਟਾਬੇਸ ਨੂੰ ਲੌਗਸ ਲਈ ਡੇਟਾ ਸਟੋਰੇਜ ਵਜੋਂ ਵਰਤਣ ਬਾਰੇ ਖੋਜ ਕਰ ਰਹੇ ਹਾਂ।

ਇਸ ਲੇਖ ਵਿੱਚ ਅਸੀਂ ਕਲਿਕਹਾਊਸ ਡੇਟਾਬੇਸ ਅਤੇ ਪਾਇਲਟ ਕਾਰਵਾਈ ਦੇ ਸ਼ੁਰੂਆਤੀ ਨਤੀਜਿਆਂ ਦੀ ਵਰਤੋਂ ਕਰਨ ਦੇ ਆਪਣੇ ਅਨੁਭਵ ਬਾਰੇ ਗੱਲ ਕਰਨਾ ਚਾਹਾਂਗੇ। ਇਹ ਤੁਰੰਤ ਧਿਆਨ ਦੇਣ ਯੋਗ ਹੈ ਕਿ ਨਤੀਜੇ ਪ੍ਰਭਾਵਸ਼ਾਲੀ ਸਨ.

ਅੱਗੇ ਅਸੀਂ ਹੋਰ ਵਿਸਥਾਰ ਵਿੱਚ ਵਰਣਨ ਕਰਾਂਗੇ ਕਿ ਸਾਡੇ ਸਿਸਟਮ ਨੂੰ ਕਿਵੇਂ ਸੰਰਚਿਤ ਕੀਤਾ ਗਿਆ ਹੈ ਅਤੇ ਇਸ ਵਿੱਚ ਕਿਹੜੇ ਭਾਗ ਸ਼ਾਮਲ ਹਨ। ਪਰ ਹੁਣ ਮੈਂ ਸਮੁੱਚੇ ਤੌਰ 'ਤੇ ਇਸ ਡੇਟਾਬੇਸ ਬਾਰੇ ਥੋੜਾ ਜਿਹਾ ਗੱਲ ਕਰਨਾ ਚਾਹਾਂਗਾ, ਅਤੇ ਇਹ ਧਿਆਨ ਦੇਣ ਯੋਗ ਕਿਉਂ ਹੈ. ਕਲਿਕਹਾਊਸ ਡੇਟਾਬੇਸ Yandex ਦਾ ਇੱਕ ਉੱਚ-ਪ੍ਰਦਰਸ਼ਨ ਵਿਸ਼ਲੇਸ਼ਣਾਤਮਕ ਕਾਲਮ ਡੇਟਾਬੇਸ ਹੈ। Yandex ਸੇਵਾਵਾਂ ਵਿੱਚ ਵਰਤਿਆ ਜਾਂਦਾ ਹੈ, ਸ਼ੁਰੂ ਵਿੱਚ ਇਹ Yandex.Metrica ਲਈ ਮੁੱਖ ਡਾਟਾ ਸਟੋਰੇਜ ਹੈ। ਓਪਨ-ਸੋਰਸ ਸਿਸਟਮ, ਮੁਫਤ। ਇੱਕ ਡਿਵੈਲਪਰ ਦੇ ਦ੍ਰਿਸ਼ਟੀਕੋਣ ਤੋਂ, ਮੈਂ ਹਮੇਸ਼ਾਂ ਹੈਰਾਨ ਹੁੰਦਾ ਸੀ ਕਿ ਉਹਨਾਂ ਨੇ ਇਸਨੂੰ ਕਿਵੇਂ ਲਾਗੂ ਕੀਤਾ, ਕਿਉਂਕਿ ਇੱਥੇ ਸ਼ਾਨਦਾਰ ਤੌਰ 'ਤੇ ਵੱਡਾ ਡੇਟਾ ਹੈ. ਅਤੇ Metrica ਉਪਭੋਗਤਾ ਇੰਟਰਫੇਸ ਆਪਣੇ ਆਪ ਵਿੱਚ ਬਹੁਤ ਲਚਕਦਾਰ ਹੈ ਅਤੇ ਤੇਜ਼ੀ ਨਾਲ ਕੰਮ ਕਰਦਾ ਹੈ. ਜਦੋਂ ਤੁਸੀਂ ਪਹਿਲੀ ਵਾਰ ਇਸ ਡੇਟਾਬੇਸ ਨਾਲ ਜਾਣੂ ਹੋ ਜਾਂਦੇ ਹੋ, ਤਾਂ ਤੁਹਾਨੂੰ ਇਹ ਪ੍ਰਭਾਵ ਮਿਲਦਾ ਹੈ: "ਠੀਕ ਹੈ, ਅੰਤ ਵਿੱਚ! "ਲੋਕਾਂ ਲਈ" ਬਣਾਇਆ ਗਿਆ! ਇੰਸਟਾਲੇਸ਼ਨ ਪ੍ਰਕਿਰਿਆ ਤੋਂ ਲੈ ਕੇ ਬੇਨਤੀਆਂ ਭੇਜਣ ਤੱਕ।

ਇਸ ਡੇਟਾਬੇਸ ਵਿੱਚ ਬਹੁਤ ਘੱਟ ਪ੍ਰਵੇਸ਼ ਰੁਕਾਵਟ ਹੈ। ਇੱਥੋਂ ਤੱਕ ਕਿ ਇੱਕ ਔਸਤ ਡਿਵੈਲਪਰ ਵੀ ਇਸ ਡੇਟਾਬੇਸ ਨੂੰ ਕੁਝ ਮਿੰਟਾਂ ਵਿੱਚ ਸਥਾਪਿਤ ਕਰ ਸਕਦਾ ਹੈ ਅਤੇ ਇਸਨੂੰ ਵਰਤਣਾ ਸ਼ੁਰੂ ਕਰ ਸਕਦਾ ਹੈ। ਸਭ ਕੁਝ ਸੁਚਾਰੂ ਢੰਗ ਨਾਲ ਕੰਮ ਕਰਦਾ ਹੈ। ਇੱਥੋਂ ਤੱਕ ਕਿ ਜਿਹੜੇ ਲੋਕ ਲੀਨਕਸ ਵਿੱਚ ਨਵੇਂ ਹਨ, ਉਹ ਜਲਦੀ ਹੀ ਇੰਸਟਾਲੇਸ਼ਨ ਨਾਲ ਸਿੱਝ ਸਕਦੇ ਹਨ ਅਤੇ ਸਧਾਰਨ ਕਾਰਵਾਈਆਂ ਕਰ ਸਕਦੇ ਹਨ। ਜੇ ਪਹਿਲਾਂ, ਬਿਗ ਡੇਟਾ, ਹੈਡੂਪ, ਗੂਗਲ ਬਿਗਟੇਬਲ, ਐਚਡੀਐਫਐਸ ਸ਼ਬਦ ਸੁਣਦੇ ਸਮੇਂ, ਔਸਤ ਡਿਵੈਲਪਰ ਨੂੰ ਇਹ ਵਿਚਾਰ ਆਉਂਦਾ ਸੀ ਕਿ ਉਹ ਕੁਝ ਟੈਰਾਬਾਈਟ, ਪੇਟਾਬਾਈਟਸ ਬਾਰੇ ਗੱਲ ਕਰ ਰਹੇ ਸਨ, ਕਿ ਕੁਝ ਅਲੌਕਿਕ ਮਨੁੱਖ ਇਹਨਾਂ ਪ੍ਰਣਾਲੀਆਂ ਨੂੰ ਸਥਾਪਤ ਕਰਨ ਅਤੇ ਵਿਕਸਤ ਕਰਨ ਵਿੱਚ ਸ਼ਾਮਲ ਸਨ, ਤਾਂ ਆਗਮਨ ਨਾਲ ਕਲਿਕਹਾਊਸ ਡੇਟਾਬੇਸ ਦੇ ਸਾਨੂੰ ਇੱਕ ਸਧਾਰਨ, ਸਮਝਣ ਯੋਗ ਟੂਲ ਮਿਲਿਆ ਹੈ ਜਿਸ ਨਾਲ ਤੁਸੀਂ ਪਹਿਲਾਂ ਤੋਂ ਅਣਸੁਲਝੀਆਂ ਸਮੱਸਿਆਵਾਂ ਨੂੰ ਹੱਲ ਕਰ ਸਕਦੇ ਹੋ। ਇਸ ਵਿੱਚ ਸਿਰਫ਼ ਇੱਕ ਔਸਤ ਮਸ਼ੀਨ ਅਤੇ ਸਥਾਪਤ ਕਰਨ ਲਈ ਪੰਜ ਮਿੰਟ ਲੱਗਦੇ ਹਨ। ਭਾਵ, ਸਾਨੂੰ ਇੱਕ ਡੇਟਾਬੇਸ ਮਿਲਿਆ ਹੈ, ਉਦਾਹਰਨ ਲਈ, MySql, ਪਰ ਸਿਰਫ ਅਰਬਾਂ ਰਿਕਾਰਡ ਸਟੋਰ ਕਰਨ ਲਈ! SQL ਭਾਸ਼ਾ ਦੇ ਨਾਲ ਇੱਕ ਕਿਸਮ ਦਾ ਸੁਪਰਆਰਚੀਵਰ। ਇਹ ਇਸ ਤਰ੍ਹਾਂ ਹੈ ਜਿਵੇਂ ਲੋਕਾਂ ਨੂੰ ਪਰਦੇਸੀ ਹਥਿਆਰ ਦਿੱਤੇ ਗਏ ਸਨ.

ਸਾਡੇ ਲੌਗ ਕਲੈਕਸ਼ਨ ਸਿਸਟਮ ਬਾਰੇ

ਜਾਣਕਾਰੀ ਇਕੱਠੀ ਕਰਨ ਲਈ, ਸਟੈਂਡਰਡ ਫਾਰਮੈਟ ਦੀਆਂ ਵੈਬ ਐਪਲੀਕੇਸ਼ਨਾਂ ਦੀਆਂ IIS ਲੌਗ ਫਾਈਲਾਂ ਦੀ ਵਰਤੋਂ ਕੀਤੀ ਜਾਂਦੀ ਹੈ (ਅਸੀਂ ਵਰਤਮਾਨ ਵਿੱਚ ਐਪਲੀਕੇਸ਼ਨ ਲੌਗਾਂ ਨੂੰ ਪਾਰਸ ਕਰਨ ਵਿੱਚ ਵੀ ਰੁੱਝੇ ਹੋਏ ਹਾਂ, ਪਰ ਪਾਇਲਟ ਪੜਾਅ 'ਤੇ ਸਾਡਾ ਮੁੱਖ ਟੀਚਾ IIS ਲੌਗਾਂ ਨੂੰ ਇਕੱਠਾ ਕਰਨਾ ਹੈ)।

ਅਸੀਂ ਵੱਖ-ਵੱਖ ਕਾਰਨਾਂ ਕਰਕੇ ELK ਸਟੈਕ ਨੂੰ ਪੂਰੀ ਤਰ੍ਹਾਂ ਛੱਡਣ ਵਿੱਚ ਅਸਮਰੱਥ ਸੀ, ਅਤੇ ਅਸੀਂ LogStash ਅਤੇ Filebeat ਭਾਗਾਂ ਦੀ ਵਰਤੋਂ ਕਰਨਾ ਜਾਰੀ ਰੱਖਦੇ ਹਾਂ, ਜਿਨ੍ਹਾਂ ਨੇ ਆਪਣੇ ਆਪ ਨੂੰ ਚੰਗੀ ਤਰ੍ਹਾਂ ਸਾਬਤ ਕੀਤਾ ਹੈ ਅਤੇ ਕਾਫ਼ੀ ਭਰੋਸੇਮੰਦ ਅਤੇ ਅਨੁਮਾਨਤ ਤੌਰ 'ਤੇ ਕੰਮ ਕਰਦੇ ਹਨ।

ਆਮ ਲੌਗਿੰਗ ਸਕੀਮ ਹੇਠਾਂ ਦਿੱਤੇ ਚਿੱਤਰ ਵਿੱਚ ਦਿਖਾਈ ਗਈ ਹੈ:

ਕਲਿਕਹਾਊਸ ਡੇਟਾਬੇਸ ਵਿੱਚ ਰਿਕਾਰਡਿੰਗ ਡੇਟਾ ਦੀ ਇੱਕ ਵਿਸ਼ੇਸ਼ਤਾ ਵੱਡੇ ਬੈਚਾਂ ਵਿੱਚ ਰਿਕਾਰਡਾਂ ਨੂੰ ਕਦੇ-ਕਦਾਈਂ (ਇਕ ਵਾਰ ਪ੍ਰਤੀ ਸਕਿੰਟ) ਸ਼ਾਮਲ ਕਰਨਾ ਹੈ। ਇਹ, ਜ਼ਾਹਰ ਤੌਰ 'ਤੇ, ਸਭ ਤੋਂ "ਸਮੱਸਿਆ ਵਾਲਾ" ਹਿੱਸਾ ਹੈ ਜਿਸਦਾ ਤੁਸੀਂ ਪਹਿਲੀ ਵਾਰ ਕਲਿਕਹਾਊਸ ਡੇਟਾਬੇਸ ਨਾਲ ਕੰਮ ਕਰਦੇ ਸਮੇਂ ਸਾਹਮਣਾ ਕਰਦੇ ਹੋ: ਸਕੀਮ ਥੋੜੀ ਹੋਰ ਗੁੰਝਲਦਾਰ ਬਣ ਜਾਂਦੀ ਹੈ।
LogStash ਲਈ ਪਲੱਗਇਨ, ਜੋ ਸਿੱਧੇ ਤੌਰ 'ਤੇ ਕਲਿਕਹਾਊਸ ਵਿੱਚ ਡੇਟਾ ਸ਼ਾਮਲ ਕਰਦਾ ਹੈ, ਨੇ ਇੱਥੇ ਬਹੁਤ ਮਦਦ ਕੀਤੀ। ਇਹ ਕੰਪੋਨੈਂਟ ਉਸੇ ਸਰਵਰ 'ਤੇ ਤੈਨਾਤ ਕੀਤਾ ਗਿਆ ਹੈ ਜਿਵੇਂ ਕਿ ਡਾਟਾਬੇਸ ਹੀ ਹੈ। ਇਸ ਲਈ, ਆਮ ਤੌਰ 'ਤੇ, ਇਸ ਨੂੰ ਕਰਨ ਦੀ ਸਿਫਾਰਸ਼ ਨਹੀਂ ਕੀਤੀ ਜਾਂਦੀ, ਪਰ ਇੱਕ ਵਿਹਾਰਕ ਦ੍ਰਿਸ਼ਟੀਕੋਣ ਤੋਂ, ਤਾਂ ਜੋ ਵੱਖਰੇ ਸਰਵਰ ਨਾ ਬਣਾਏ ਜਾਣ ਜਦੋਂ ਇਹ ਉਸੇ ਸਰਵਰ 'ਤੇ ਤਾਇਨਾਤ ਕੀਤਾ ਜਾਂਦਾ ਹੈ। ਅਸੀਂ ਡੇਟਾਬੇਸ ਦੇ ਨਾਲ ਕੋਈ ਅਸਫਲਤਾ ਜਾਂ ਸਰੋਤ ਵਿਵਾਦ ਨਹੀਂ ਦੇਖਿਆ। ਇਸ ਤੋਂ ਇਲਾਵਾ, ਇਹ ਨੋਟ ਕੀਤਾ ਜਾਣਾ ਚਾਹੀਦਾ ਹੈ ਕਿ ਪਲੱਗਇਨ ਵਿੱਚ ਗਲਤੀਆਂ ਦੇ ਮਾਮਲੇ ਵਿੱਚ ਇੱਕ ਰੀਟਰੇ ਵਿਧੀ ਹੈ. ਅਤੇ ਗਲਤੀਆਂ ਦੇ ਮਾਮਲੇ ਵਿੱਚ, ਪਲੱਗਇਨ ਡਾਟੇ ਦੇ ਇੱਕ ਬੈਚ ਨੂੰ ਡਿਸਕ 'ਤੇ ਲਿਖਦਾ ਹੈ ਜੋ ਸ਼ਾਮਲ ਨਹੀਂ ਕੀਤਾ ਜਾ ਸਕਦਾ ਸੀ (ਫਾਇਲ ਫਾਰਮੈਟ ਸੁਵਿਧਾਜਨਕ ਹੈ: ਸੰਪਾਦਨ ਕਰਨ ਤੋਂ ਬਾਅਦ, ਤੁਸੀਂ ਕਲਿੱਕਹਾਊਸ-ਕਲਾਇੰਟ ਦੀ ਵਰਤੋਂ ਕਰਕੇ ਆਸਾਨੀ ਨਾਲ ਸਹੀ ਬੈਚ ਪਾ ਸਕਦੇ ਹੋ)।

ਸਕੀਮ ਵਿੱਚ ਵਰਤੇ ਗਏ ਸੌਫਟਵੇਅਰ ਦੀ ਇੱਕ ਪੂਰੀ ਸੂਚੀ ਸਾਰਣੀ ਵਿੱਚ ਪੇਸ਼ ਕੀਤੀ ਗਈ ਹੈ:

ਵਰਤੇ ਗਏ ਸੌਫਟਵੇਅਰ ਦੀ ਸੂਚੀ

ਟਾਈਟਲ

ਵੇਰਵਾ

ਵੰਡ ਲਈ ਲਿੰਕ

NGINX

ਪੋਰਟ ਦੁਆਰਾ ਪਹੁੰਚ ਨੂੰ ਪ੍ਰਤਿਬੰਧਿਤ ਕਰਨ ਅਤੇ ਅਧਿਕਾਰ ਨੂੰ ਸੰਗਠਿਤ ਕਰਨ ਲਈ ਰਿਵਰਸ-ਪ੍ਰਾਕਸੀ

ਵਰਤਮਾਨ ਵਿੱਚ ਸਕੀਮ ਵਿੱਚ ਨਹੀਂ ਵਰਤਿਆ ਗਿਆ

https://nginx.org/ru/download.html

https://nginx.org/download/nginx-1.16.0.tar.gz

ਫਾਈਲਬੀਟ

ਫਾਈਲ ਲੌਗਸ ਦਾ ਟ੍ਰਾਂਸਫਰ।

https://www.elastic.co/downloads/beats/filebeat (ਵਿੰਡੋਜ਼ 64 ਬਿੱਟ ਲਈ ਵੰਡ)।

https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-7.3.0-windows-x86_64.zip

ਲੌਗਸਟੈਸ਼

ਲਾਗ ਕੁਲੈਕਟਰ.

FileBeat ਤੋਂ ਲੌਗ ਇਕੱਠੇ ਕਰਨ ਲਈ ਵਰਤਿਆ ਜਾਂਦਾ ਹੈ, ਨਾਲ ਹੀ RabbitMQ ਕਤਾਰ (DMZ ਵਿੱਚ ਸਥਿਤ ਸਰਵਰਾਂ ਲਈ।)

https://www.elastic.co/products/logstash

https://artifacts.elastic.co/downloads/logstash/logstash-7.0.1.rpm

ਲੌਗਸਟੈਸ਼- ਆਉਟਪੁੱਟ- ਕਲਿੱਕਹਾਊਸ

ਲੌਗਸਟੈਸ਼ ਪਲੱਗਇਨ ਬੈਚਾਂ ਵਿੱਚ ਕਲਿਕਹਾਊਸ ਡੇਟਾਬੇਸ ਵਿੱਚ ਲਾਗ ਟ੍ਰਾਂਸਫਰ ਕਰਨ ਲਈ

https://github.com/mikechris/logstash-output-clickhouse

/usr/share/logstash/bin/logstash-plugin ਇੰਸਟਾਲ ਕਰੋ logstash-output-clickhouse

/usr/share/logstash/bin/logstash-plugin logstash-filter-prune ਇੰਸਟਾਲ ਕਰੋ

/usr/share/logstash/bin/logstash-plugin logstash-filter-multiline ਇੰਸਟਾਲ ਕਰੋ

ਕਲਿਕਹਾouseਸ

ਲੌਗ ਸਟੋਰੇਜ https://clickhouse.yandex/docs/ru/

https://packagecloud.io/Altinity/clickhouse/packages/el/7/clickhouse-server-19.5.3.8-1.el7.x86_64.rpm

https://packagecloud.io/Altinity/clickhouse/packages/el/7/clickhouse-client-19.5.3.8-1.el7.x86_64.rpm

ਨੋਟ ਕਰੋ। ਅਗਸਤ 2018 ਤੋਂ ਸ਼ੁਰੂ ਕਰਦੇ ਹੋਏ, RHEL ਲਈ "ਆਮ" rpm ਬਿਲਡ ਯਾਂਡੇਕਸ ਰਿਪੋਜ਼ਟਰੀ ਵਿੱਚ ਪ੍ਰਗਟ ਹੋਏ, ਤਾਂ ਜੋ ਤੁਸੀਂ ਉਹਨਾਂ ਨੂੰ ਵਰਤਣ ਦੀ ਕੋਸ਼ਿਸ਼ ਕਰ ਸਕੋ। ਇੰਸਟਾਲੇਸ਼ਨ ਦੇ ਸਮੇਂ ਅਸੀਂ Altinity ਦੁਆਰਾ ਕੰਪਾਇਲ ਕੀਤੇ ਪੈਕੇਜਾਂ ਦੀ ਵਰਤੋਂ ਕਰ ਰਹੇ ਸੀ।

ਗ੍ਰਾਫਨਾ

ਲੌਗਸ ਦੀ ਵਿਜ਼ੂਅਲਾਈਜ਼ੇਸ਼ਨ। ਡੈਸ਼ਬੋਰਡ ਸੈੱਟਅੱਪ ਕਰ ਰਿਹਾ ਹੈ

https://grafana.com/

https://grafana.com/grafana/download

Redhat ਅਤੇ Centos (64 ਬਿੱਟ) - ਨਵੀਨਤਮ ਸੰਸਕਰਣ

Grafana 4.6+ ਲਈ ਹਾਊਸ ਡੇਟਾਸੋਰਸ 'ਤੇ ਕਲਿੱਕ ਕਰੋ

ਕਲਿਕਹਾਊਸ ਡੇਟਾ ਸਰੋਤ ਨਾਲ ਗ੍ਰਾਫਾਨਾ ਲਈ ਪਲੱਗਇਨ

https://grafana.com/plugins/vertamedia-clickhouse-datasource

https://grafana.com/api/plugins/vertamedia-clickhouse-datasource/versions/1.8.1/download

ਲੌਗਸਟੈਸ਼

FileBeat ਤੋਂ RabbitMQ ਕਤਾਰ ਤੱਕ ਰਾਊਟਰ ਲੌਗ ਕਰੋ।

ਨੋਟ ਕਰੋ। ਬਦਕਿਸਮਤੀ ਨਾਲ FileBeat ਕੋਲ RabbitMQ ਲਈ ਸਿੱਧਾ ਆਉਟਪੁੱਟ ਨਹੀਂ ਹੈ, ਇਸਲਈ Logstash ਦੇ ਰੂਪ ਵਿੱਚ ਇੱਕ ਵਿਚਕਾਰਲੇ ਲਿੰਕ ਦੀ ਲੋੜ ਹੈ

https://www.elastic.co/products/logstash

https://artifacts.elastic.co/downloads/logstash/logstash-7.0.1.rpm

ਰੈਬਿਟਮਕਿQ

ਸੁਨੇਹਾ ਕਤਾਰ। ਇਹ DMZ ਵਿੱਚ ਲੌਗ ਐਂਟਰੀਆਂ ਦਾ ਇੱਕ ਬਫਰ ਹੈ

https://www.rabbitmq.com/download.html

https://github.com/rabbitmq/rabbitmq-server/releases/download/v3.7.14/rabbitmq-server-3.7.14-1.el7.noarch.rpm

Erlang ਰਨਟਾਈਮ (RabbitMQ ਲਈ ਲੋੜੀਂਦਾ)

ਅਰਲਾਂਗ ਰਨਟਾਈਮ। RabbitMQ ਨੂੰ ਕੰਮ ਕਰਨ ਲਈ ਲੋੜੀਂਦਾ ਹੈ

http://www.erlang.org/download.html

https://www.rabbitmq.com/install-rpm.html#install-erlang http://www.erlang.org/downloads/21.3

ਕਲਿਕਹਾਊਸ ਡੇਟਾਬੇਸ ਨਾਲ ਸਰਵਰ ਸੰਰਚਨਾ ਹੇਠ ਦਿੱਤੀ ਸਾਰਣੀ ਵਿੱਚ ਪੇਸ਼ ਕੀਤੀ ਗਈ ਹੈ:

ਟਾਈਟਲ

ਮੁੱਲ

ਟਿੱਪਣੀ

ਕੌਨਫਿਗਰੇਸ਼ਨ

HDD: 40GB
RAM: 8GB
ਪ੍ਰੋਸੈਸਰ: ਕੋਰ 2 2 ਗੀਗਾਹਰਟਜ਼

ਤੁਹਾਨੂੰ ਕਲਿਕਹਾਊਸ ਡੇਟਾਬੇਸ ਦੀ ਵਰਤੋਂ ਕਰਨ ਲਈ ਸੁਝਾਅ ਵੱਲ ਧਿਆਨ ਦੇਣਾ ਚਾਹੀਦਾ ਹੈ (https://clickhouse.yandex/docs/ru/operations/tips/)

ਸਿਸਟਮ-ਵਿਆਪਕ ਸਾਫਟਵੇਅਰ

OS: Red Hat Enterprise Linux ਸਰਵਰ (Maipo)

ਜੇਆਰਈ (ਜਾਵਾ 8)

 

ਜਿਵੇਂ ਕਿ ਤੁਸੀਂ ਵੇਖ ਸਕਦੇ ਹੋ, ਇਹ ਇੱਕ ਨਿਯਮਤ ਵਰਕਸਟੇਸ਼ਨ ਹੈ.

ਲਾਗਾਂ ਨੂੰ ਸਟੋਰ ਕਰਨ ਲਈ ਟੇਬਲ ਦੀ ਬਣਤਰ ਇਸ ਪ੍ਰਕਾਰ ਹੈ:

log_web.sql

CREATE TABLE log_web (
  logdate Date,
  logdatetime DateTime CODEC(Delta, LZ4HC),
   
  fld_log_file_name LowCardinality( String ),
  fld_server_name LowCardinality( String ),
  fld_app_name LowCardinality( String ),
  fld_app_module LowCardinality( String ),
  fld_website_name LowCardinality( String ),
 
  serverIP LowCardinality( String ),
  method LowCardinality( String ),
  uriStem String,
  uriQuery String,
  port UInt32,
  username LowCardinality( String ),
  clientIP String,
  clientRealIP String,
  userAgent String,
  referer String,
  response String,
  subresponse String,
  win32response String,
  timetaken UInt64
   
  , uriQuery__utm_medium String
  , uriQuery__utm_source String
  , uriQuery__utm_campaign String
  , uriQuery__utm_term String
  , uriQuery__utm_content String
  , uriQuery__yclid String
  , uriQuery__region String
 
) Engine = MergeTree()
PARTITION BY toYYYYMM(logdate)
ORDER BY (fld_app_name, fld_app_module, logdatetime)
SETTINGS index_granularity = 8192;

ਅਸੀਂ ਵਿਭਾਜਨ (ਮਾਸਿਕ) ਅਤੇ ਸੂਚਕਾਂਕ ਗ੍ਰੈਨਿਊਲਰਿਟੀ ਲਈ ਡਿਫਾਲਟ ਮੁੱਲਾਂ ਦੀ ਵਰਤੋਂ ਕਰਦੇ ਹਾਂ। ਸਾਰੇ ਖੇਤਰ ਅਮਲੀ ਤੌਰ 'ਤੇ HTTP ਬੇਨਤੀਆਂ ਨੂੰ ਰਿਕਾਰਡ ਕਰਨ ਲਈ IIS ਲੌਗ ਐਂਟਰੀਆਂ ਨਾਲ ਮੇਲ ਖਾਂਦੇ ਹਨ। ਵੱਖਰੇ ਤੌਰ 'ਤੇ, ਅਸੀਂ ਨੋਟ ਕਰਦੇ ਹਾਂ ਕਿ utm ਟੈਗਸ ਨੂੰ ਸਟੋਰ ਕਰਨ ਲਈ ਵੱਖਰੇ ਖੇਤਰ ਹਨ (ਉਹ ਪੁੱਛਗਿੱਛ ਸਤਰ ਖੇਤਰ ਤੋਂ ਸਾਰਣੀ ਵਿੱਚ ਸੰਮਿਲਿਤ ਕਰਨ ਦੇ ਪੜਾਅ 'ਤੇ ਪਾਰਸ ਕੀਤੇ ਜਾਂਦੇ ਹਨ)।

ਨਾਲ ਹੀ, ਸਿਸਟਮਾਂ, ਭਾਗਾਂ, ਅਤੇ ਸਰਵਰਾਂ ਬਾਰੇ ਜਾਣਕਾਰੀ ਸਟੋਰ ਕਰਨ ਲਈ ਸਾਰਣੀ ਵਿੱਚ ਕਈ ਸਿਸਟਮ ਖੇਤਰ ਸ਼ਾਮਲ ਕੀਤੇ ਗਏ ਹਨ। ਇਹਨਾਂ ਖੇਤਰਾਂ ਦੇ ਵਰਣਨ ਲਈ, ਹੇਠਾਂ ਦਿੱਤੀ ਸਾਰਣੀ ਵੇਖੋ। ਇੱਕ ਸਾਰਣੀ ਵਿੱਚ ਅਸੀਂ ਕਈ ਸਿਸਟਮਾਂ ਲਈ ਲੌਗ ਸਟੋਰ ਕਰਦੇ ਹਾਂ।

ਟਾਈਟਲ

ਵੇਰਵਾ

ਉਦਾਹਰਨ:

fld_app_ਨਾਮ

ਐਪਲੀਕੇਸ਼ਨ/ਸਿਸਟਮ ਦਾ ਨਾਮ
ਵੈਧ ਮੁੱਲ:

• site1.domain.com ਬਾਹਰੀ ਸਾਈਟ 1
• site2.domain.com ਬਾਹਰੀ ਸਾਈਟ 2
• internal-site1.domain.local ਅੰਦਰੂਨੀ ਸਾਈਟ 1

site1.domain.com

fld_app_module

ਸਿਸਟਮ ਮੋਡੀਊਲ
ਵੈਧ ਮੁੱਲ:

• ਵੈੱਬ - ਵੈੱਬਸਾਈਟ
• svc — ਵੈੱਬਸਾਈਟ ਵੈੱਬ ਸੇਵਾ
• intgr — ਵੈੱਬ ਏਕੀਕਰਣ ਸੇਵਾ
• bo — ਪ੍ਰਸ਼ਾਸਕ (ਬੈਕਆਫਿਸ)

ਵੈੱਬ

fld_website_name

IIS ਵਿੱਚ ਸਾਈਟ ਦਾ ਨਾਮ

ਕਈ ਸਿਸਟਮਾਂ ਨੂੰ ਇੱਕ ਸਰਵਰ ਉੱਤੇ ਤੈਨਾਤ ਕੀਤਾ ਜਾ ਸਕਦਾ ਹੈ, ਜਾਂ ਇੱਕ ਸਿਸਟਮ ਮੋਡੀਊਲ ਦੀਆਂ ਕਈ ਉਦਾਹਰਨਾਂ ਵੀ

ਵੈੱਬ-ਮੁੱਖ

fld_server_name

ਸਰਵਰ ਦਾ ਨਾਮ

web1.domain.com

fld_log_file_name

ਸਰਵਰ ਉੱਤੇ ਲੌਗ ਫਾਈਲ ਦਾ ਮਾਰਗ

ਵੱਲੋਂ: inetpublogsLogFiles
W3SVC1u_ex190711.log

ਇਹ ਤੁਹਾਨੂੰ ਗ੍ਰਾਫਾਨਾ ਵਿੱਚ ਕੁਸ਼ਲਤਾ ਨਾਲ ਗ੍ਰਾਫ ਬਣਾਉਣ ਦੀ ਆਗਿਆ ਦਿੰਦਾ ਹੈ। ਉਦਾਹਰਨ ਲਈ, ਕਿਸੇ ਖਾਸ ਸਿਸਟਮ ਦੇ ਸਾਹਮਣੇ ਵਾਲੇ ਸਿਰੇ ਤੋਂ ਬੇਨਤੀਆਂ ਵੇਖੋ। ਇਹ Yandex.Metrica ਵਿੱਚ ਸਾਈਟ ਕਾਊਂਟਰ ਦੇ ਸਮਾਨ ਹੈ।

ਇੱਥੇ ਦੋ ਮਹੀਨਿਆਂ ਲਈ ਡੇਟਾਬੇਸ ਦੀ ਵਰਤੋਂ ਬਾਰੇ ਕੁਝ ਅੰਕੜੇ ਹਨ।

ਸਿਸਟਮ ਅਤੇ ਕੰਪੋਨੈਂਟ ਦੁਆਰਾ ਰਿਕਾਰਡਾਂ ਦੀ ਸੰਖਿਆ

SELECT
    fld_app_name,
    fld_app_module,
    count(fld_app_name) AS rows_count
FROM log_web
GROUP BY
    fld_app_name,
    fld_app_module
    WITH TOTALS
ORDER BY
    fld_app_name ASC,
    rows_count DESC
 
┌─fld_app_name─────┬─fld_app_module─┬─rows_count─┐
│ site1.domain.ru  │ web            │     131441 │
│ site2.domain.ru  │ web            │    1751081 │
│ site3.domain.ru  │ web            │  106887543 │
│ site3.domain.ru  │ svc            │   44908603 │
│ site3.domain.ru  │ intgr          │    9813911 │
│ site4.domain.ru  │ web            │     772095 │
│ site5.domain.ru  │ web            │   17037221 │
│ site5.domain.ru  │ intgr          │     838559 │
│ site5.domain.ru  │ bo             │       7404 │
│ site6.domain.ru  │ web            │     595877 │
│ site7.domain.ru  │ web            │   27778858 │
└──────────────────┴────────────────┴────────────┘
 
Totals:
┌─fld_app_name─┬─fld_app_module─┬─rows_count─┐
│              │                │  210522593 │
└──────────────┴────────────────┴────────────┘
 
11 rows in set. Elapsed: 4.874 sec. Processed 210.52 million rows, 421.67 MB (43.19 million rows/s., 86.51 MB/s.)

ਡਿਸਕ ਡਾਟਾ ਵਾਲੀਅਮ

SELECT
    formatReadableSize(sum(data_uncompressed_bytes)) AS uncompressed,
    formatReadableSize(sum(data_compressed_bytes)) AS compressed,
    sum(rows) AS total_rows
FROM system.parts
WHERE table = 'log_web'
 
┌─uncompressed─┬─compressed─┬─total_rows─┐
│ 54.50 GiB    │ 4.86 GiB   │  211427094 │
└──────────────┴────────────┴────────────┘
 
1 rows in set. Elapsed: 0.035 sec.

ਕਾਲਮ ਡਾਟਾ ਕੰਪਰੈਸ਼ਨ ਅਨੁਪਾਤ

SELECT
    name,
    formatReadableSize(data_uncompressed_bytes) AS uncompressed,
    formatReadableSize(data_compressed_bytes) AS compressed,
    data_uncompressed_bytes / data_compressed_bytes AS compress_ratio
FROM system.columns
WHERE table = 'log_web'
 
┌─name───────────────────┬─uncompressed─┬─compressed─┬─────compress_ratio─┐
│ logdate                │ 401.53 MiB   │ 1.80 MiB   │ 223.16665968777315 │
│ logdatetime            │ 803.06 MiB   │ 35.91 MiB  │ 22.363966401202305 │
│ fld_log_file_name      │ 220.66 MiB   │ 2.60 MiB   │  84.99905736932571 │
│ fld_server_name        │ 201.54 MiB   │ 50.63 MiB  │  3.980924816977078 │
│ fld_app_name           │ 201.17 MiB   │ 969.17 KiB │ 212.55518183686877 │
│ fld_app_module         │ 201.17 MiB   │ 968.60 KiB │ 212.67805817411906 │
│ fld_website_name       │ 201.54 MiB   │ 1.24 MiB   │  162.7204926761546 │
│ serverIP               │ 201.54 MiB   │ 50.25 MiB  │  4.010824061219731 │
│ method                 │ 201.53 MiB   │ 43.64 MiB  │  4.617721053304486 │
│ uriStem                │ 5.13 GiB     │ 832.51 MiB │  6.311522291936919 │
│ uriQuery               │ 2.58 GiB     │ 501.06 MiB │  5.269731450124478 │
│ port                   │ 803.06 MiB   │ 3.98 MiB   │ 201.91673864241824 │
│ username               │ 318.08 MiB   │ 26.93 MiB  │ 11.812513794583598 │
│ clientIP               │ 2.35 GiB     │ 82.59 MiB  │ 29.132328640073343 │
│ clientRealIP           │ 2.49 GiB     │ 465.05 MiB │  5.478382297052563 │
│ userAgent              │ 18.34 GiB    │ 764.08 MiB │  24.57905114484208 │
│ referer                │ 14.71 GiB    │ 1.37 GiB   │ 10.736792723669906 │
│ response               │ 803.06 MiB   │ 83.81 MiB  │  9.582334090987247 │
│ subresponse            │ 399.87 MiB   │ 1.83 MiB   │  218.4831068635027 │
│ win32response          │ 407.86 MiB   │ 7.41 MiB   │ 55.050315514606815 │
│ timetaken              │ 1.57 GiB     │ 402.06 MiB │ 3.9947395692010637 │
│ uriQuery__utm_medium   │ 208.17 MiB   │ 12.29 MiB  │ 16.936148912472955 │
│ uriQuery__utm_source   │ 215.18 MiB   │ 13.00 MiB  │ 16.548367623199912 │
│ uriQuery__utm_campaign │ 381.46 MiB   │ 37.94 MiB  │ 10.055156353418509 │
│ uriQuery__utm_term     │ 231.82 MiB   │ 10.78 MiB  │ 21.502540454070672 │
│ uriQuery__utm_content  │ 441.34 MiB   │ 87.60 MiB  │  5.038260760449327 │
│ uriQuery__yclid        │ 216.88 MiB   │ 16.58 MiB  │  13.07721335008116 │
│ uriQuery__region       │ 204.35 MiB   │ 9.49 MiB   │  21.52661903446796 │
└────────────────────────┴──────────────┴────────────┴────────────────────┘
 
28 rows in set. Elapsed: 0.005 sec.

ਵਰਤੇ ਗਏ ਭਾਗਾਂ ਦਾ ਵੇਰਵਾ

ਫਾਈਲਬੀਟ। ਫਾਈਲ ਲੌਗਸ ਨੂੰ ਟ੍ਰਾਂਸਫਰ ਕੀਤਾ ਜਾ ਰਿਹਾ ਹੈ

ਇਹ ਕੰਪੋਨੈਂਟ ਡਿਸਕ ਉੱਤੇ ਲੌਗ ਫਾਈਲਾਂ ਵਿੱਚ ਤਬਦੀਲੀਆਂ ਦੀ ਨਿਗਰਾਨੀ ਕਰਦਾ ਹੈ ਅਤੇ LogStash ਨੂੰ ਜਾਣਕਾਰੀ ਦਿੰਦਾ ਹੈ। ਉਹਨਾਂ ਸਾਰੇ ਸਰਵਰਾਂ 'ਤੇ ਸਥਾਪਿਤ ਕੀਤਾ ਗਿਆ ਜਿੱਥੇ ਲੌਗ ਫਾਈਲਾਂ ਲਿਖੀਆਂ ਜਾਂਦੀਆਂ ਹਨ (ਆਮ ਤੌਰ 'ਤੇ IIS)। ਟੇਲ ਮੋਡ ਵਿੱਚ ਕੰਮ ਕਰਦਾ ਹੈ (ਅਰਥਾਤ, ਇਹ ਸਿਰਫ ਫਾਈਲ ਵਿੱਚ ਸ਼ਾਮਲ ਕੀਤੇ ਰਿਕਾਰਡਾਂ ਨੂੰ ਟ੍ਰਾਂਸਫਰ ਕਰਦਾ ਹੈ)। ਪਰ ਤੁਸੀਂ ਪੂਰੀਆਂ ਫਾਈਲਾਂ ਨੂੰ ਟ੍ਰਾਂਸਫਰ ਕਰਨ ਲਈ ਇਸਨੂੰ ਵੱਖਰੇ ਤੌਰ 'ਤੇ ਕੌਂਫਿਗਰ ਕਰ ਸਕਦੇ ਹੋ। ਇਹ ਉਦੋਂ ਸੁਵਿਧਾਜਨਕ ਹੁੰਦਾ ਹੈ ਜਦੋਂ ਤੁਹਾਨੂੰ ਪਿਛਲੇ ਮਹੀਨਿਆਂ ਲਈ ਡਾਟਾ ਡਾਊਨਲੋਡ ਕਰਨ ਦੀ ਲੋੜ ਹੁੰਦੀ ਹੈ। ਲੌਗ ਫਾਈਲ ਨੂੰ ਇੱਕ ਫੋਲਡਰ ਵਿੱਚ ਰੱਖੋ ਅਤੇ ਇਹ ਇਸਨੂੰ ਪੂਰੀ ਤਰ੍ਹਾਂ ਪੜ੍ਹ ਲਵੇਗਾ।

ਜਦੋਂ ਸੇਵਾ ਬੰਦ ਹੋ ਜਾਂਦੀ ਹੈ, ਤਾਂ ਡਾਟਾ ਸਟੋਰੇਜ ਵਿੱਚ ਟ੍ਰਾਂਸਫਰ ਕਰਨਾ ਬੰਦ ਹੋ ਜਾਂਦਾ ਹੈ।

ਇੱਕ ਉਦਾਹਰਨ ਸੰਰਚਨਾ ਇਸ ਤਰ੍ਹਾਂ ਦਿਖਾਈ ਦਿੰਦੀ ਹੈ:

filebeat.yml

filebeat.inputs:
- type: log
  enabled: true
  paths:
    - C:/inetpub/logs/LogFiles/W3SVC1/*.log
  exclude_files: ['.gz$','.zip$']
  tail_files: true
  ignore_older: 24h
  fields:
    fld_server_name: "site1.domain.ru"
    fld_app_name: "site1.domain.ru"
    fld_app_module: "web"
    fld_website_name: "web-main"
 
- type: log
  enabled: true
  paths:
    - C:/inetpub/logs/LogFiles/__Import/access_log-*
  exclude_files: ['.gz$','.zip$']
  tail_files: false
  fields:
    fld_server_name: "site2.domain.ru"
    fld_app_name: "site2.domain.ru"
    fld_app_module: "web"
    fld_website_name: "web-main"
    fld_logformat: "logformat__apache"
 
 
filebeat.config.modules:
  path: ${path.config}/modules.d/*.yml
  reload.enabled: false
  reload.period: 2s
 
output.logstash:
  hosts: ["log.domain.com:5044"]
 
  ssl.enabled: true
  ssl.certificate_authorities: ["C:/filebeat/certs/ca.pem", "C:/filebeat/certs/ca-issuing.pem"]
  ssl.certificate: "C:/filebeat/certs/site1.domain.ru.cer"
  ssl.key: "C:/filebeat/certs/site1.domain.ru.key"
 
#================================ Processors =====================================
 
processors:
  - add_host_metadata: ~
  - add_cloud_metadata: ~

ਲੌਗਸਟੈਸ਼। ਲੌਗ ਕੁਲੈਕਟਰ

ਇਹ ਕੰਪੋਨੈਂਟ ਫਾਈਲਬੀਟ (ਜਾਂ RabbitMQ ਕਤਾਰ ਰਾਹੀਂ) ਤੋਂ ਲੌਗ ਰਿਕਾਰਡ ਪ੍ਰਾਪਤ ਕਰਨ ਲਈ ਤਿਆਰ ਕੀਤਾ ਗਿਆ ਹੈ, ਉਹਨਾਂ ਨੂੰ ਪਾਰਸ ਕਰੋ ਅਤੇ ਉਹਨਾਂ ਨੂੰ ਕਲਿਕਹਾਊਸ ਡੇਟਾਬੇਸ ਵਿੱਚ ਬੈਚਾਂ ਵਿੱਚ ਸ਼ਾਮਲ ਕਰੋ।

ਕਲਿਕਹਾਊਸ ਵਿੱਚ ਪਾਉਣ ਲਈ, ਲੌਗਸਟੈਸ਼-ਆਉਟਪੁੱਟ-ਕਲਿਕਹਾਊਸ ਪਲੱਗਇਨ ਦੀ ਵਰਤੋਂ ਕਰੋ। ਲੌਗਸਟੈਸ਼ ਪਲੱਗਇਨ ਵਿੱਚ ਬੇਨਤੀਆਂ ਨੂੰ ਰੀਟਰੇਸ ਕਰਨ ਲਈ ਇੱਕ ਵਿਧੀ ਹੈ, ਪਰ ਇੱਕ ਨਿਯਮਤ ਬੰਦ ਦੌਰਾਨ, ਸੇਵਾ ਨੂੰ ਆਪਣੇ ਆਪ ਬੰਦ ਕਰਨਾ ਬਿਹਤਰ ਹੈ। ਜਦੋਂ ਰੋਕਿਆ ਜਾਂਦਾ ਹੈ, ਤਾਂ RabbitMQ ਕਤਾਰ ਵਿੱਚ ਸੁਨੇਹੇ ਇਕੱਠੇ ਹੋ ਜਾਣਗੇ, ਇਸ ਲਈ ਜੇਕਰ ਸਟਾਪ ਲੰਬੇ ਸਮੇਂ ਲਈ ਹੈ, ਤਾਂ ਸਰਵਰਾਂ 'ਤੇ ਫਾਈਲਬੀਟਸ ਨੂੰ ਰੋਕਣਾ ਬਿਹਤਰ ਹੈ। ਇੱਕ ਸਕੀਮ ਵਿੱਚ ਜਿੱਥੇ RabbitMQ ਦੀ ਵਰਤੋਂ ਨਹੀਂ ਕੀਤੀ ਜਾਂਦੀ ਹੈ (ਸਥਾਨਕ ਨੈੱਟਵਰਕ 'ਤੇ Filebeat ਸਿੱਧੇ ਲੌਗਸਟੈਸ਼ ਨੂੰ ਲੌਗ ਭੇਜਦਾ ਹੈ), Filebeats ਕਾਫ਼ੀ ਸਵੀਕਾਰਯੋਗ ਅਤੇ ਸੁਰੱਖਿਅਤ ਕੰਮ ਕਰਦੇ ਹਨ, ਇਸ ਲਈ ਉਹਨਾਂ ਲਈ ਆਉਟਪੁੱਟ ਦੀ ਅਣਉਪਲਬਧਤਾ ਦਾ ਕੋਈ ਨਤੀਜਾ ਨਹੀਂ ਹੁੰਦਾ।

ਇੱਕ ਉਦਾਹਰਨ ਸੰਰਚਨਾ ਇਸ ਤਰ੍ਹਾਂ ਦਿਖਾਈ ਦਿੰਦੀ ਹੈ:

log_web__filebeat_clickhouse.conf

input {
 
    beats {
        port => 5044
        type => 'iis'
        ssl => true
        ssl_certificate_authorities => ["/etc/logstash/certs/ca.cer", "/etc/logstash/certs/ca-issuing.cer"]
        ssl_certificate => "/etc/logstash/certs/server.cer"
        ssl_key => "/etc/logstash/certs/server-pkcs8.key"
        ssl_verify_mode => "peer"
 
            add_field => {
                "fld_server_name" => "%{[fields][fld_server_name]}"
                "fld_app_name" => "%{[fields][fld_app_name]}"
                "fld_app_module" => "%{[fields][fld_app_module]}"
                "fld_website_name" => "%{[fields][fld_website_name]}"
                "fld_log_file_name" => "%{source}"
                "fld_logformat" => "%{[fields][fld_logformat]}"
            }
    }
 
    rabbitmq {
        host => "queue.domain.com"
        port => 5671
        user => "q-reader"
        password => "password"
        queue => "web_log"
        heartbeat => 30
        durable => true
        ssl => true
        #ssl_certificate_path => "/etc/logstash/certs/server.p12"
        #ssl_certificate_password => "password"
 
        add_field => {
            "fld_server_name" => "%{[fields][fld_server_name]}"
            "fld_app_name" => "%{[fields][fld_app_name]}"
            "fld_app_module" => "%{[fields][fld_app_module]}"
            "fld_website_name" => "%{[fields][fld_website_name]}"
            "fld_log_file_name" => "%{source}"
            "fld_logformat" => "%{[fields][fld_logformat]}"
        }
    }
 
}
 
filter { 
 
      if [message] =~ "^#" {
        drop {}
      }
 
      if [fld_logformat] == "logformat__iis_with_xrealip" {
     
          grok {
            match => ["message", "%{TIMESTAMP_ISO8601:log_timestamp} %{IP:serverIP} %{WORD:method} %{NOTSPACE:uriStem} %{NOTSPACE:uriQuery} %{NUMBER:port} %{NOTSPACE:username} %{IPORHOST:clientIP} %{NOTSPACE:userAgent} %{NOTSPACE:referer} %{NUMBER:response} %{NUMBER:subresponse} %{NUMBER:win32response} %{NUMBER:timetaken} %{NOTSPACE:xrealIP} %{NOTSPACE:xforwarderfor}"]
          }
      } else {
   
          grok {
             match => ["message", "%{TIMESTAMP_ISO8601:log_timestamp} %{IP:serverIP} %{WORD:method} %{NOTSPACE:uriStem} %{NOTSPACE:uriQuery} %{NUMBER:port} %{NOTSPACE:username} %{IPORHOST:clientIP} %{NOTSPACE:userAgent} %{NOTSPACE:referer} %{NUMBER:response} %{NUMBER:subresponse} %{NUMBER:win32response} %{NUMBER:timetaken}"]
          }
 
      }
 
      date {
        match => [ "log_timestamp", "YYYY-MM-dd HH:mm:ss" ]
          timezone => "Etc/UTC"
        remove_field => [ "log_timestamp", "@timestamp" ]
        target => [ "log_timestamp2" ]
      }
 
        ruby {
            code => "tstamp = event.get('log_timestamp2').to_i
                        event.set('logdatetime', Time.at(tstamp).strftime('%Y-%m-%d %H:%M:%S'))
                        event.set('logdate', Time.at(tstamp).strftime('%Y-%m-%d'))"
        }
 
      if [bytesSent] {
        ruby {
          code => "event['kilobytesSent'] = event['bytesSent'].to_i / 1024.0"
        }
      }
 
 
      if [bytesReceived] {
        ruby {
          code => "event['kilobytesReceived'] = event['bytesReceived'].to_i / 1024.0"
        }
      }
 
   
        ruby {
            code => "event.set('clientRealIP', event.get('clientIP'))"
        }
        if [xrealIP] {
            ruby {
                code => "event.set('clientRealIP', event.get('xrealIP'))"
            }
        }
        if [xforwarderfor] {
            ruby {
                code => "event.set('clientRealIP', event.get('xforwarderfor'))"
            }
        }
 
      mutate {
        convert => ["bytesSent", "integer"]
        convert => ["bytesReceived", "integer"]
        convert => ["timetaken", "integer"] 
        convert => ["port", "integer"]
 
        add_field => {
            "clientHostname" => "%{clientIP}"
        }
      }
 
        useragent {
            source=> "useragent"
            prefix=> "browser"
        }
 
        kv {
            source => "uriQuery"
            prefix => "uriQuery__"
            allow_duplicate_values => false
            field_split => "&"
            include_keys => [ "utm_medium", "utm_source", "utm_campaign", "utm_term", "utm_content", "yclid", "region" ]
        }
 
        mutate {
            join => { "uriQuery__utm_source" => "," }
            join => { "uriQuery__utm_medium" => "," }
            join => { "uriQuery__utm_campaign" => "," }
            join => { "uriQuery__utm_term" => "," }
            join => { "uriQuery__utm_content" => "," }
            join => { "uriQuery__yclid" => "," }
            join => { "uriQuery__region" => "," }
        }
 
}
 
output { 
  #stdout {codec => rubydebug}
    clickhouse {
      headers => ["Authorization", "Basic abcdsfks..."]
      http_hosts => ["http://127.0.0.1:8123"]
      save_dir => "/etc/logstash/tmp"
      table => "log_web"
      request_tolerance => 1
      flush_size => 10000
      idle_flush_time => 1
        mutations => {
            "fld_log_file_name" => "fld_log_file_name"
            "fld_server_name" => "fld_server_name"
            "fld_app_name" => "fld_app_name"
            "fld_app_module" => "fld_app_module"
            "fld_website_name" => "fld_website_name"
 
            "logdatetime" => "logdatetime"
            "logdate" => "logdate"
            "serverIP" => "serverIP"
            "method" => "method"
            "uriStem" => "uriStem"
            "uriQuery" => "uriQuery"
            "port" => "port"
            "username" => "username"
            "clientIP" => "clientIP"
            "clientRealIP" => "clientRealIP"
            "userAgent" => "userAgent"
            "referer" => "referer"
            "response" => "response"
            "subresponse" => "subresponse"
            "win32response" => "win32response"
            "timetaken" => "timetaken"
             
            "uriQuery__utm_medium" => "uriQuery__utm_medium"
            "uriQuery__utm_source" => "uriQuery__utm_source"
            "uriQuery__utm_campaign" => "uriQuery__utm_campaign"
            "uriQuery__utm_term" => "uriQuery__utm_term"
            "uriQuery__utm_content" => "uriQuery__utm_content"
            "uriQuery__yclid" => "uriQuery__yclid"
            "uriQuery__region" => "uriQuery__region"
        }
    }
 
}

pipelines.yml

# This file is where you define your pipelines. You can define multiple.
# For more information on multiple pipelines, see the documentation:
#   https://www.elastic.co/guide/en/logstash/current/multiple-pipelines.html
 
- pipeline.id: log_web__filebeat_clickhouse
  path.config: "/etc/logstash/log_web__filebeat_clickhouse.conf"

ਕਲਿਕ ਹਾਊਸ. ਲੌਗ ਸਟੋਰੇਜ

ਸਾਰੇ ਸਿਸਟਮਾਂ ਲਈ ਲੌਗ ਇੱਕ ਸਾਰਣੀ ਵਿੱਚ ਸੁਰੱਖਿਅਤ ਕੀਤੇ ਜਾਂਦੇ ਹਨ (ਲੇਖ ਦੇ ਸ਼ੁਰੂ ਵਿੱਚ ਦੇਖੋ)। ਇਹ ਬੇਨਤੀਆਂ ਬਾਰੇ ਜਾਣਕਾਰੀ ਨੂੰ ਸਟੋਰ ਕਰਨ ਲਈ ਤਿਆਰ ਕੀਤਾ ਗਿਆ ਹੈ: ਸਾਰੇ ਪੈਰਾਮੀਟਰ ਵੱਖ-ਵੱਖ ਫਾਰਮੈਟਾਂ ਲਈ ਸਮਾਨ ਹਨ, ਉਦਾਹਰਨ ਲਈ IIS ਲੌਗ, ਅਪਾਚੇ ਅਤੇ nginx ਲੌਗ। ਐਪਲੀਕੇਸ਼ਨ ਲੌਗਸ ਲਈ, ਜਿਸ ਵਿੱਚ, ਉਦਾਹਰਨ ਲਈ, ਗਲਤੀਆਂ, ਸੂਚਨਾ ਸੰਦੇਸ਼, ਚੇਤਾਵਨੀਆਂ ਨੂੰ ਰਿਕਾਰਡ ਕੀਤਾ ਗਿਆ ਹੈ, ਇੱਕ ਵੱਖਰੀ ਸਾਰਣੀ ਢੁਕਵੀਂ ਬਣਤਰ ਦੇ ਨਾਲ ਪ੍ਰਦਾਨ ਕੀਤੀ ਜਾਵੇਗੀ (ਵਰਤਮਾਨ ਵਿੱਚ ਡਿਜ਼ਾਈਨ ਪੜਾਅ 'ਤੇ)।

ਇੱਕ ਸਾਰਣੀ ਨੂੰ ਡਿਜ਼ਾਈਨ ਕਰਦੇ ਸਮੇਂ, ਪ੍ਰਾਇਮਰੀ ਕੁੰਜੀ (ਜਿਸ ਦੁਆਰਾ ਸਟੋਰੇਜ ਦੌਰਾਨ ਡੇਟਾ ਨੂੰ ਕ੍ਰਮਬੱਧ ਕੀਤਾ ਜਾਵੇਗਾ) ਬਾਰੇ ਫੈਸਲਾ ਕਰਨਾ ਬਹੁਤ ਮਹੱਤਵਪੂਰਨ ਹੈ। ਡਾਟਾ ਕੰਪਰੈਸ਼ਨ ਅਤੇ ਪੁੱਛਗਿੱਛ ਦੀ ਗਤੀ ਦੀ ਡਿਗਰੀ ਇਸ 'ਤੇ ਨਿਰਭਰ ਕਰਦੀ ਹੈ. ਸਾਡੇ ਉਦਾਹਰਨ ਵਿੱਚ, ਕੁੰਜੀ ਹੈ
ਆਰਡਰ ਦੁਆਰਾ (fld_app_name, fld_app_module, logdatetime)
ਭਾਵ, ਸਿਸਟਮ ਦੇ ਨਾਮ ਦੁਆਰਾ, ਸਿਸਟਮ ਕੰਪੋਨੈਂਟ ਦਾ ਨਾਮ ਅਤੇ ਘਟਨਾ ਦੀ ਮਿਤੀ। ਪਹਿਲਾਂ ਸਮਾਗਮ ਦੀ ਤਰੀਕ ਆਈ. ਇਸ ਨੂੰ ਆਖਰੀ ਸਥਾਨ 'ਤੇ ਲਿਜਾਣ ਤੋਂ ਬਾਅਦ, ਸਵਾਲਾਂ ਨੇ ਲਗਭਗ ਦੁੱਗਣੀ ਤੇਜ਼ੀ ਨਾਲ ਕੰਮ ਕਰਨਾ ਸ਼ੁਰੂ ਕਰ ਦਿੱਤਾ। ਪ੍ਰਾਇਮਰੀ ਕੁੰਜੀ ਨੂੰ ਬਦਲਣ ਲਈ ਸਾਰਣੀ ਨੂੰ ਮੁੜ-ਬਣਾਉਣ ਅਤੇ ਡੇਟਾ ਨੂੰ ਮੁੜ-ਅੱਪਲੋਡ ਕਰਨ ਦੀ ਲੋੜ ਹੋਵੇਗੀ ਤਾਂ ਜੋ ਕਲਿਕਹਾਊਸ ਡਿਸਕ 'ਤੇ ਡੇਟਾ ਨੂੰ ਮੁੜ-ਕ੍ਰਮਬੱਧ ਕਰ ਸਕੇ। ਇਹ ਇੱਕ ਮੁਸ਼ਕਲ ਓਪਰੇਸ਼ਨ ਹੈ, ਇਸਲਈ ਇਹ ਸਲਾਹ ਦਿੱਤੀ ਜਾਂਦੀ ਹੈ ਕਿ ਪਹਿਲਾਂ ਤੋਂ ਧਿਆਨ ਨਾਲ ਸੋਚੋ ਕਿ ਛਾਂਟੀ ਕੁੰਜੀ ਵਿੱਚ ਕੀ ਸ਼ਾਮਲ ਕੀਤਾ ਜਾਣਾ ਚਾਹੀਦਾ ਹੈ।

ਇਹ ਵੀ ਨੋਟ ਕੀਤਾ ਜਾਣਾ ਚਾਹੀਦਾ ਹੈ ਕਿ LowCardinality ਡਾਟਾ ਕਿਸਮ ਮੁਕਾਬਲਤਨ ਹਾਲੀਆ ਸੰਸਕਰਣਾਂ ਵਿੱਚ ਪ੍ਰਗਟ ਹੋਇਆ ਹੈ। ਇਸਦੀ ਵਰਤੋਂ ਕਰਦੇ ਸਮੇਂ, ਉਹਨਾਂ ਖੇਤਰਾਂ ਲਈ ਸੰਕੁਚਿਤ ਡੇਟਾ ਦਾ ਆਕਾਰ ਤੇਜ਼ੀ ਨਾਲ ਘਟਾ ਦਿੱਤਾ ਜਾਂਦਾ ਹੈ ਜਿਨ੍ਹਾਂ ਦੀ ਮੁੱਖਤਾ ਘੱਟ ਹੁੰਦੀ ਹੈ (ਕੁਝ ਵਿਕਲਪ)।

ਅਸੀਂ ਵਰਤਮਾਨ ਵਿੱਚ ਸੰਸਕਰਣ 19.6 ਦੀ ਵਰਤੋਂ ਕਰ ਰਹੇ ਹਾਂ ਅਤੇ ਅਸੀਂ ਨਵੀਨਤਮ ਸੰਸਕਰਣ ਨੂੰ ਅਪਡੇਟ ਕਰਨ ਦੀ ਕੋਸ਼ਿਸ਼ ਕਰਨ ਦੀ ਯੋਜਨਾ ਬਣਾ ਰਹੇ ਹਾਂ। ਉਹਨਾਂ ਕੋਲ ਅਡੈਪਟਿਵ ਗ੍ਰੈਨੁਲੈਰਿਟੀ, ਸਕਿੱਪਿੰਗ ਸੂਚਕਾਂਕ ਅਤੇ ਡਬਲਡੇਲਟਾ ਕੋਡੇਕ ਵਰਗੀਆਂ ਸ਼ਾਨਦਾਰ ਵਿਸ਼ੇਸ਼ਤਾਵਾਂ ਹਨ, ਉਦਾਹਰਨ ਲਈ।

ਮੂਲ ਰੂਪ ਵਿੱਚ, ਇੰਸਟਾਲੇਸ਼ਨ ਦੌਰਾਨ ਸੰਰਚਨਾ ਲਾਗਿੰਗ ਪੱਧਰ ਨੂੰ ਟਰੇਸ ਕਰਨ ਲਈ ਸੈੱਟ ਕੀਤਾ ਗਿਆ ਹੈ। ਲੌਗਸ ਨੂੰ ਘੁੰਮਾਇਆ ਅਤੇ ਆਰਕਾਈਵ ਕੀਤਾ ਜਾਂਦਾ ਹੈ, ਪਰ ਉਸੇ ਸਮੇਂ ਉਹ ਇੱਕ ਗੀਗਾਬਾਈਟ ਤੱਕ ਫੈਲਦੇ ਹਨ। ਜੇ ਕੋਈ ਲੋੜ ਨਹੀਂ ਹੈ, ਤਾਂ ਤੁਸੀਂ ਚੇਤਾਵਨੀ ਦੇ ਪੱਧਰ ਨੂੰ ਸੈੱਟ ਕਰ ਸਕਦੇ ਹੋ, ਤਾਂ ਲਾਗ ਦਾ ਆਕਾਰ ਤੇਜ਼ੀ ਨਾਲ ਘਟ ਜਾਵੇਗਾ। ਲਾਗਿੰਗ ਸੈਟਿੰਗਾਂ config.xml ਫਾਈਲ ਵਿੱਚ ਦਿੱਤੀਆਂ ਗਈਆਂ ਹਨ:

<!-- Possible levels: https://github.com/pocoproject/poco/blob/develop/Foundation/include/Poco/Logger. h#L105 -->
<level>warning</level>

ਕੁਝ ਲਾਭਦਾਇਕ ਹੁਕਮ

Поскольку оригинальные пакеты установки собираются по Debian, то для других версий Linux необходимо использовать пакеты собранные компанией Altinity.
 
Вот по этой ссылке есть инструкции с ссылками на их репозиторий: https://www.altinity.com/blog/2017/12/18/logstash-with-clickhouse
sudo yum search clickhouse-server
sudo yum install clickhouse-server.noarch
  
1. проверка статуса
sudo systemctl status clickhouse-server
 
2. остановка сервера
sudo systemctl stop clickhouse-server
 
3. запуск сервера
sudo systemctl start clickhouse-server
 
Запуск для выполнения запросов в многострочном режиме (выполнение после знака ";")
clickhouse-client --multiline
clickhouse-client --multiline --host 127.0.0.1 --password pa55w0rd
clickhouse-client --multiline --host 127.0.0.1 --port 9440 --secure --user default --password pa55w0rd
 
Плагин кликлауза для логстеш в случае ошибки в одной строке сохраняет всю пачку в файл /tmp/log_web_failed.json
Можно вручную исправить этот файл и попробовать залить его в БД вручную:
clickhouse-client --host 127.0.0.1 --password password --query="INSERT INTO log_web FORMAT JSONEachRow" < /tmp/log_web_failed__fixed.json
 
sudo mv /etc/logstash/tmp/log_web_failed.json /etc/logstash/tmp/log_web_failed__fixed.json
sudo chown user_dev /etc/logstash/tmp/log_web_failed__fixed.json
sudo clickhouse-client --host 127.0.0.1 --password password --query="INSERT INTO log_web FORMAT JSONEachRow" < /etc/logstash/tmp/log_web_failed__fixed.json
sudo mv /etc/logstash/tmp/log_web_failed__fixed.json /etc/logstash/tmp/log_web_failed__fixed_.json
 
выход из командной строки
quit;
## Настройка TLS
https://www.altinity.com/blog/2019/3/5/clickhouse-networking-part-2
 
openssl s_client -connect log.domain.com:9440 < /dev/null

ਲੌਗਸਟੈਸ਼। FileBeat ਤੋਂ RabbitMQ ਕਤਾਰ ਤੱਕ ਰਾਊਟਰ ਲੌਗ ਕਰੋ

ਇਹ ਭਾਗ FileBeat ਤੋਂ RabbitMQ ਕਤਾਰ ਵਿੱਚ ਆਉਣ ਵਾਲੇ ਲੌਗਾਂ ਨੂੰ ਰੂਟ ਕਰਨ ਲਈ ਵਰਤਿਆ ਜਾਂਦਾ ਹੈ। ਇੱਥੇ ਦੋ ਨੁਕਤੇ ਹਨ:

1. ਬਦਕਿਸਮਤੀ ਨਾਲ, FileBeat ਕੋਲ RabbitMQ ਨੂੰ ਸਿੱਧਾ ਲਿਖਣ ਲਈ ਕੋਈ ਆਉਟਪੁੱਟ ਪਲੱਗਇਨ ਨਹੀਂ ਹੈ। ਅਤੇ ਅਜਿਹੀ ਕਾਰਜਕੁਸ਼ਲਤਾ, ਉਹਨਾਂ ਦੇ ਗਿਥਬ 'ਤੇ ਪੋਸਟ ਦੁਆਰਾ ਨਿਰਣਾ ਕਰਨਾ, ਲਾਗੂ ਕਰਨ ਲਈ ਯੋਜਨਾਬੱਧ ਨਹੀਂ ਹੈ. ਕਾਫਕਾ ਲਈ ਇੱਕ ਪਲੱਗਇਨ ਹੈ, ਪਰ ਕੁਝ ਕਾਰਨਾਂ ਕਰਕੇ ਅਸੀਂ ਇਸਨੂੰ ਖੁਦ ਨਹੀਂ ਵਰਤ ਸਕਦੇ।
2. DMZ ਵਿੱਚ ਲੌਗ ਇਕੱਠੇ ਕਰਨ ਲਈ ਲੋੜਾਂ ਹਨ। ਉਹਨਾਂ ਦੇ ਆਧਾਰ 'ਤੇ, ਲੌਗਸ ਨੂੰ ਪਹਿਲਾਂ ਕਤਾਰਬੱਧ ਕੀਤਾ ਜਾਣਾ ਚਾਹੀਦਾ ਹੈ ਅਤੇ ਫਿਰ LogStash ਕਤਾਰ ਤੋਂ ਬਾਹਰਲੇ ਰਿਕਾਰਡਾਂ ਨੂੰ ਪੜ੍ਹਦਾ ਹੈ।

ਇਸ ਲਈ, ਖਾਸ ਤੌਰ 'ਤੇ DMZ ਵਿੱਚ ਸਥਿਤ ਸਰਵਰਾਂ ਦੇ ਮਾਮਲੇ ਲਈ, ਅਜਿਹੀ ਥੋੜੀ ਜਿਹੀ ਗੁੰਝਲਦਾਰ ਸਕੀਮ ਦੀ ਵਰਤੋਂ ਕਰਨਾ ਜ਼ਰੂਰੀ ਹੈ. ਇੱਕ ਉਦਾਹਰਨ ਸੰਰਚਨਾ ਇਸ ਤਰ੍ਹਾਂ ਦਿਖਾਈ ਦਿੰਦੀ ਹੈ:

iis_w3c_logs__filebeat_rabbitmq.conf

input {
 
    beats {
        port => 5044
        type => 'iis'
        ssl => true
        ssl_certificate_authorities => ["/etc/pki/tls/certs/app/ca.pem", "/etc/pki/tls/certs/app/ca-issuing.pem"]
        ssl_certificate => "/etc/pki/tls/certs/app/queue.domain.com.cer"
        ssl_key => "/etc/pki/tls/certs/app/queue.domain.com-pkcs8.key"
        ssl_verify_mode => "peer"
    }
 
}
 
output { 
  #stdout {codec => rubydebug}
 
    rabbitmq {
        host => "127.0.0.1"
        port => 5672
        exchange => "monitor.direct"
        exchange_type => "direct"
        key => "%{[fields][fld_app_name]}"
        user => "q-writer"
        password => "password"
        ssl => false
    }
}

RabbitMQ. ਸੁਨੇਹਾ ਕਤਾਰ

ਇਹ ਕੰਪੋਨੈਂਟ DMZ ਵਿੱਚ ਲੌਗ ਐਂਟਰੀਆਂ ਨੂੰ ਬਫਰ ਕਰਨ ਲਈ ਵਰਤਿਆ ਜਾਂਦਾ ਹੈ। ਰਿਕਾਰਡਿੰਗ Filebeat → LogStash ਲਿੰਕ ਰਾਹੀਂ ਕੀਤੀ ਜਾਂਦੀ ਹੈ। ਰੀਡਿੰਗ DMZ ਦੇ ਬਾਹਰ LogStash ਦੁਆਰਾ ਕੀਤੀ ਜਾਂਦੀ ਹੈ। RabbitMQ ਦੁਆਰਾ ਕੰਮ ਕਰਦੇ ਸਮੇਂ, ਪ੍ਰਤੀ ਸਕਿੰਟ ਲਗਭਗ 4 ਹਜ਼ਾਰ ਸੰਦੇਸ਼ਾਂ ਦੀ ਪ੍ਰਕਿਰਿਆ ਕੀਤੀ ਜਾਂਦੀ ਹੈ।

ਸੁਨੇਹਾ ਰੂਟਿੰਗ ਸਿਸਟਮ ਨਾਮ ਦੁਆਰਾ ਕੌਂਫਿਗਰ ਕੀਤੀ ਜਾਂਦੀ ਹੈ, ਅਰਥਾਤ, ਫਾਈਲਬੀਟ ਕੌਂਫਿਗਰੇਸ਼ਨ ਡੇਟਾ ਦੇ ਅਧਾਰ ਤੇ। ਸਾਰੇ ਸੁਨੇਹੇ ਇੱਕ ਕਤਾਰ ਵਿੱਚ ਜਾਂਦੇ ਹਨ। ਜੇਕਰ ਕਿਸੇ ਕਾਰਨ ਕਰਕੇ ਕਤਾਰਬੱਧ ਸੇਵਾ ਬੰਦ ਕਰ ਦਿੱਤੀ ਜਾਂਦੀ ਹੈ, ਤਾਂ ਇਹ ਸੁਨੇਹਾ ਗੁਆਉਣ ਦੀ ਅਗਵਾਈ ਨਹੀਂ ਕਰੇਗਾ: FileBeats ਨੂੰ ਕਨੈਕਸ਼ਨ ਦੀਆਂ ਤਰੁੱਟੀਆਂ ਪ੍ਰਾਪਤ ਹੋਣਗੀਆਂ ਅਤੇ ਅਸਥਾਈ ਤੌਰ 'ਤੇ ਭੇਜਣਾ ਬੰਦ ਹੋ ਜਾਵੇਗਾ। ਅਤੇ LogStash, ਜੋ ਕਿ ਕਤਾਰ ਤੋਂ ਪੜ੍ਹਦਾ ਹੈ, ਨੂੰ ਵੀ ਨੈੱਟਵਰਕ ਤਰੁਟੀਆਂ ਪ੍ਰਾਪਤ ਹੋਣਗੀਆਂ ਅਤੇ ਕਨੈਕਸ਼ਨ ਦੇ ਰੀਸਟੋਰ ਹੋਣ ਦੀ ਉਡੀਕ ਹੋਵੇਗੀ। ਇਸ ਸਥਿਤੀ ਵਿੱਚ, ਬੇਸ਼ਕ, ਡੇਟਾ ਹੁਣ ਡੇਟਾਬੇਸ ਵਿੱਚ ਨਹੀਂ ਲਿਖਿਆ ਜਾਵੇਗਾ.

ਕਤਾਰਾਂ ਬਣਾਉਣ ਅਤੇ ਸੰਰਚਿਤ ਕਰਨ ਲਈ ਹੇਠਾਂ ਦਿੱਤੀਆਂ ਹਦਾਇਤਾਂ ਦੀ ਵਰਤੋਂ ਕੀਤੀ ਜਾਂਦੀ ਹੈ:

sudo /usr/local/bin/rabbitmqadmin/rabbitmqadmin declare exchange --vhost=/ name=monitor.direct type=direct sudo /usr/local/bin/rabbitmqadmin/rabbitmqadmin declare queue --vhost=/ name=web_log durable=true
sudo /usr/local/bin/rabbitmqadmin/rabbitmqadmin --vhost="/" declare binding source="monitor.direct" destination_type="queue" destination="web_log" routing_key="site1.domain.ru"
sudo /usr/local/bin/rabbitmqadmin/rabbitmqadmin --vhost="/" declare binding source="monitor.direct" destination_type="queue" destination="web_log" routing_key="site2.domain.ru"

ਗ੍ਰਾਫਾਨਾ. ਡੈਸ਼ਬੋਰਡ

ਇਹ ਕੰਪੋਨੈਂਟ ਨਿਗਰਾਨੀ ਡੇਟਾ ਦੀ ਕਲਪਨਾ ਕਰਨ ਲਈ ਵਰਤਿਆ ਜਾਂਦਾ ਹੈ। ਇਸ ਸਥਿਤੀ ਵਿੱਚ, ਤੁਹਾਨੂੰ Grafana 4.6+ ਪਲੱਗਇਨ ਲਈ ਕਲਿਕਹਾਊਸ ਡੇਟਾਸੋਰਸ ਨੂੰ ਸਥਾਪਿਤ ਕਰਨ ਦੀ ਲੋੜ ਹੈ। ਸਾਨੂੰ ਡੈਸ਼ਬੋਰਡ 'ਤੇ SQL ਫਿਲਟਰਾਂ ਦੀ ਪ੍ਰੋਸੈਸਿੰਗ ਦੀ ਕੁਸ਼ਲਤਾ ਨੂੰ ਬਿਹਤਰ ਬਣਾਉਣ ਲਈ ਇਸ ਨੂੰ ਥੋੜ੍ਹਾ ਜਿਹਾ ਬਦਲਣਾ ਪਿਆ।

ਉਦਾਹਰਨ ਲਈ, ਅਸੀਂ ਵੇਰੀਏਬਲਾਂ ਦੀ ਵਰਤੋਂ ਕਰਦੇ ਹਾਂ, ਅਤੇ ਜੇਕਰ ਉਹ ਫਿਲਟਰ ਖੇਤਰ ਵਿੱਚ ਨਿਰਦਿਸ਼ਟ ਨਹੀਂ ਹਨ, ਤਾਂ ਅਸੀਂ ਚਾਹੁੰਦੇ ਹਾਂ ਕਿ ਫਾਰਮ ਦੇ WHERE ਵਿੱਚ ਇੱਕ ਸਥਿਤੀ ਪੈਦਾ ਨਾ ਕੀਤੀ ਜਾਵੇ ( uriStem = "AND uriStem != ")। ਇਸ ਸਥਿਤੀ ਵਿੱਚ, ਕਲਿਕਹਾਊਸ uriStem ਕਾਲਮ ਨੂੰ ਪੜ੍ਹੇਗਾ। ਇਸ ਲਈ, ਅਸੀਂ ਵੱਖ-ਵੱਖ ਵਿਕਲਪਾਂ ਦੀ ਕੋਸ਼ਿਸ਼ ਕੀਤੀ ਅਤੇ ਅੰਤ ਵਿੱਚ ਕਾਲਮ ਦਾ ਜ਼ਿਕਰ ਕੀਤੇ ਬਿਨਾਂ, ਖਾਲੀ ਮੁੱਲ ਦੀ ਸਥਿਤੀ ਵਿੱਚ 1 ਵਾਪਸ ਕਰਨ ਲਈ ਪਲੱਗਇਨ ($valueIfEmpty ਮੈਕਰੋ) ਨੂੰ ਫਿਕਸ ਕੀਤਾ।

ਅਤੇ ਹੁਣ ਤੁਸੀਂ ਗ੍ਰਾਫ ਲਈ ਇਸ ਪੁੱਛਗਿੱਛ ਦੀ ਵਰਤੋਂ ਕਰ ਸਕਦੇ ਹੋ

$columns(response, count(*) c) from $table where $adhoc
and $valueIfEmpty($fld_app_name, 1, fld_app_name = '$fld_app_name')
and $valueIfEmpty($fld_app_module, 1, fld_app_module = '$fld_app_module') and $valueIfEmpty($fld_server_name, 1, fld_server_name = '$fld_server_name') and $valueIfEmpty($uriStem, 1, uriStem like '%$uriStem%')
and $valueIfEmpty($clientRealIP, 1, clientRealIP = '$clientRealIP')

ਜੋ ਕਿ ਇਸ ਤਰ੍ਹਾਂ SQL ਵਿੱਚ ਬਦਲਿਆ ਜਾਂਦਾ ਹੈ (ਨੋਟ ਕਰੋ ਕਿ ਖਾਲੀ uriStem ਖੇਤਰ ਕੇਵਲ 1 ਵਿੱਚ ਬਦਲੇ ਜਾਂਦੇ ਹਨ)

SELECT
t,
groupArray((response, c)) AS groupArr
FROM (
SELECT
(intDiv(toUInt32(logdatetime), 60) * 60) * 1000 AS t, response,
count(*) AS c FROM default.log_web
WHERE (logdate >= toDate(1565061982)) AND (logdatetime >= toDateTime(1565061982)) AND 1 AND (fld_app_name = 'site1.domain.ru') AND (fld_app_module = 'web') AND 1 AND 1 AND 1
GROUP BY
t, response
ORDER BY
t ASC,
response ASC
)
GROUP BY t ORDER BY t ASC

ਸਿੱਟਾ

ਕਲਿਕਹਾਊਸ ਡੇਟਾਬੇਸ ਦੀ ਦਿੱਖ ਮਾਰਕੀਟ ਵਿੱਚ ਇੱਕ ਮਹੱਤਵਪੂਰਨ ਘਟਨਾ ਬਣ ਗਈ ਹੈ. ਇਹ ਕਲਪਨਾ ਕਰਨਾ ਔਖਾ ਸੀ ਕਿ ਇੱਕ ਮੁਹਤ ਵਿੱਚ, ਪੂਰੀ ਤਰ੍ਹਾਂ ਮੁਫਤ, ਅਸੀਂ ਵੱਡੇ ਡੇਟਾ ਨਾਲ ਕੰਮ ਕਰਨ ਲਈ ਇੱਕ ਸ਼ਕਤੀਸ਼ਾਲੀ ਅਤੇ ਵਿਹਾਰਕ ਸਾਧਨ ਨਾਲ ਲੈਸ ਸੀ। ਬੇਸ਼ੱਕ, ਜਿਵੇਂ ਕਿ ਲੋੜਾਂ ਵਧਦੀਆਂ ਹਨ (ਉਦਾਹਰਣ ਵਜੋਂ, ਕਈ ਸਰਵਰਾਂ ਲਈ ਸ਼ਾਰਡਿੰਗ ਅਤੇ ਪ੍ਰਤੀਕ੍ਰਿਤੀ), ਸਕੀਮ ਹੋਰ ਗੁੰਝਲਦਾਰ ਬਣ ਜਾਵੇਗੀ। ਪਰ ਪਹਿਲੇ ਪ੍ਰਭਾਵ ਦੇ ਅਨੁਸਾਰ, ਇਸ ਡੇਟਾਬੇਸ ਨਾਲ ਕੰਮ ਕਰਨਾ ਬਹੁਤ ਸੁਹਾਵਣਾ ਹੈ. ਇਹ ਸਪੱਸ਼ਟ ਹੈ ਕਿ ਉਤਪਾਦ "ਲੋਕਾਂ ਲਈ" ਬਣਾਇਆ ਗਿਆ ਹੈ।

ElasticSearch ਦੀ ਤੁਲਨਾ ਵਿੱਚ, ਸ਼ੁਰੂਆਤੀ ਅਨੁਮਾਨਾਂ ਦੇ ਅਨੁਸਾਰ, ਸਟੋਰ ਕਰਨ ਅਤੇ ਪ੍ਰੋਸੈਸਿੰਗ ਲੌਗ ਦੀ ਲਾਗਤ ਪੰਜ ਤੋਂ ਦਸ ਗੁਣਾ ਘੱਟ ਜਾਂਦੀ ਹੈ। ਦੂਜੇ ਸ਼ਬਦਾਂ ਵਿੱਚ, ਜੇਕਰ ਡੇਟਾ ਦੀ ਮੌਜੂਦਾ ਮਾਤਰਾ ਲਈ ਸਾਨੂੰ ਕਈ ਮਸ਼ੀਨਾਂ ਦਾ ਇੱਕ ਕਲੱਸਟਰ ਸਥਾਪਤ ਕਰਨਾ ਪਏਗਾ, ਤਾਂ ਕਲਿਕਹਾਊਸ ਦੀ ਵਰਤੋਂ ਕਰਦੇ ਸਮੇਂ ਸਾਨੂੰ ਸਿਰਫ ਇੱਕ ਘੱਟ-ਪਾਵਰ ਮਸ਼ੀਨ ਦੀ ਲੋੜ ਹੈ। ਹਾਂ, ਬੇਸ਼ੱਕ, ElasticSearch ਵਿੱਚ ਔਨ-ਡਿਸਕ ਡੇਟਾ ਕੰਪਰੈਸ਼ਨ ਵਿਧੀ ਅਤੇ ਹੋਰ ਵਿਸ਼ੇਸ਼ਤਾਵਾਂ ਵੀ ਹਨ ਜੋ ਸਰੋਤ ਦੀ ਖਪਤ ਨੂੰ ਮਹੱਤਵਪੂਰਨ ਤੌਰ 'ਤੇ ਘਟਾ ਸਕਦੀਆਂ ਹਨ, ਪਰ ਕਲਿਕਹਾਊਸ ਦੇ ਮੁਕਾਬਲੇ ਇਸ ਲਈ ਵਧੇਰੇ ਲਾਗਤਾਂ ਦੀ ਲੋੜ ਪਵੇਗੀ।

ਸਾਡੇ ਵੱਲੋਂ ਕਿਸੇ ਵੀ ਵਿਸ਼ੇਸ਼ ਅਨੁਕੂਲਤਾ ਦੇ ਬਿਨਾਂ, ਡਿਫੌਲਟ ਸੈਟਿੰਗਾਂ ਦੇ ਨਾਲ, ਡੇਟਾਬੇਸ ਤੋਂ ਡੇਟਾ ਲੋਡ ਕਰਨਾ ਅਤੇ ਡਾਟਾ ਪ੍ਰਾਪਤ ਕਰਨਾ ਸ਼ਾਨਦਾਰ ਗਤੀ ਨਾਲ ਕੰਮ ਕਰਦਾ ਹੈ। ਸਾਡੇ ਕੋਲ ਅਜੇ ਜ਼ਿਆਦਾ ਡੇਟਾ ਨਹੀਂ ਹੈ (ਲਗਭਗ 200 ਮਿਲੀਅਨ ਰਿਕਾਰਡ), ਪਰ ਸਰਵਰ ਖੁਦ ਕਮਜ਼ੋਰ ਹੈ। ਅਸੀਂ ਭਵਿੱਖ ਵਿੱਚ ਇਸ ਟੂਲ ਨੂੰ ਹੋਰ ਉਦੇਸ਼ਾਂ ਲਈ ਵਰਤ ਸਕਦੇ ਹਾਂ ਜੋ ਲੌਗ ਸਟੋਰ ਕਰਨ ਨਾਲ ਸਬੰਧਤ ਨਹੀਂ ਹਨ। ਉਦਾਹਰਨ ਲਈ, ਐਂਡ-ਟੂ-ਐਂਡ ਵਿਸ਼ਲੇਸ਼ਣ ਲਈ, ਸੁਰੱਖਿਆ ਦੇ ਖੇਤਰ ਵਿੱਚ, ਮਸ਼ੀਨ ਸਿਖਲਾਈ।

ਅੰਤ ਵਿੱਚ, ਫ਼ਾਇਦੇ ਅਤੇ ਨੁਕਸਾਨ ਬਾਰੇ ਇੱਕ ਛੋਟਾ ਜਿਹਾ.

Минусы

1. ਵੱਡੇ ਬੈਚਾਂ ਵਿੱਚ ਰਿਕਾਰਡ ਲੋਡ ਕੀਤਾ ਜਾ ਰਿਹਾ ਹੈ। ਇੱਕ ਪਾਸੇ, ਇਹ ਇੱਕ ਵਿਸ਼ੇਸ਼ਤਾ ਹੈ, ਪਰ ਤੁਹਾਨੂੰ ਅਜੇ ਵੀ ਰਿਕਾਰਡਾਂ ਨੂੰ ਬਫਰ ਕਰਨ ਲਈ ਵਾਧੂ ਭਾਗਾਂ ਦੀ ਵਰਤੋਂ ਕਰਨੀ ਪਵੇਗੀ। ਇਹ ਕੰਮ ਹਮੇਸ਼ਾ ਸਧਾਰਨ ਨਹੀਂ ਹੁੰਦਾ, ਪਰ ਫਿਰ ਵੀ ਹੱਲ ਕੀਤਾ ਜਾ ਸਕਦਾ ਹੈ. ਅਤੇ ਮੈਂ ਸਕੀਮ ਨੂੰ ਸਰਲ ਬਣਾਉਣਾ ਚਾਹਾਂਗਾ।
2. ਕੁਝ ਵਿਦੇਸ਼ੀ ਕਾਰਜਸ਼ੀਲਤਾ ਜਾਂ ਨਵੀਆਂ ਵਿਸ਼ੇਸ਼ਤਾਵਾਂ ਅਕਸਰ ਨਵੇਂ ਸੰਸਕਰਣਾਂ ਵਿੱਚ ਟੁੱਟ ਜਾਂਦੀਆਂ ਹਨ। ਇਹ ਚਿੰਤਾਵਾਂ ਪੈਦਾ ਕਰਦਾ ਹੈ, ਇੱਕ ਨਵੇਂ ਸੰਸਕਰਣ ਵਿੱਚ ਅਪਗ੍ਰੇਡ ਕਰਨ ਦੀ ਇੱਛਾ ਨੂੰ ਘਟਾਉਂਦਾ ਹੈ। ਉਦਾਹਰਨ ਲਈ, ਕਾਫਕਾ ਟੇਬਲ ਇੰਜਣ ਇੱਕ ਬਹੁਤ ਹੀ ਉਪਯੋਗੀ ਵਿਸ਼ੇਸ਼ਤਾ ਹੈ ਜੋ ਤੁਹਾਨੂੰ ਖਪਤਕਾਰਾਂ ਨੂੰ ਲਾਗੂ ਕੀਤੇ ਬਿਨਾਂ, ਕਾਫਕਾ ਦੀਆਂ ਘਟਨਾਵਾਂ ਨੂੰ ਸਿੱਧੇ ਤੌਰ 'ਤੇ ਪੜ੍ਹਨ ਦੀ ਆਗਿਆ ਦਿੰਦੀ ਹੈ। ਪਰ ਗਿਥਬ 'ਤੇ ਮੁੱਦਿਆਂ ਦੀ ਸੰਖਿਆ ਦੁਆਰਾ ਨਿਰਣਾ ਕਰਦੇ ਹੋਏ, ਅਸੀਂ ਅਜੇ ਵੀ ਉਤਪਾਦਨ ਵਿੱਚ ਇਸ ਇੰਜਣ ਦੀ ਵਰਤੋਂ ਕਰਨ ਤੋਂ ਸੁਚੇਤ ਹਾਂ. ਹਾਲਾਂਕਿ, ਜੇ ਤੁਸੀਂ ਪਾਸੇ ਵੱਲ ਅਚਾਨਕ ਅੰਦੋਲਨ ਨਹੀਂ ਕਰਦੇ ਅਤੇ ਬੁਨਿਆਦੀ ਕਾਰਜਸ਼ੀਲਤਾ ਦੀ ਵਰਤੋਂ ਕਰਦੇ ਹੋ, ਤਾਂ ਇਹ ਸਥਿਰਤਾ ਨਾਲ ਕੰਮ ਕਰਦਾ ਹੈ.

Плюсы

1. ਹੌਲੀ ਨਹੀਂ ਹੁੰਦਾ।
2. ਘੱਟ ਦਾਖਲਾ ਥ੍ਰੈਸ਼ਹੋਲਡ।
3. ਓਪਨ-ਸਰੋਤ।
4. ਮੁਫ਼ਤ.
5. ਸਕੇਲੇਬਲ (ਸ਼ੇਅਰਿੰਗ/ਬਾਕਸ ਤੋਂ ਬਾਹਰ ਦੀ ਪ੍ਰਤੀਕ੍ਰਿਤੀ)
6. ਸੰਚਾਰ ਮੰਤਰਾਲੇ ਦੁਆਰਾ ਸਿਫਾਰਸ਼ ਕੀਤੇ ਗਏ ਰੂਸੀ ਸੌਫਟਵੇਅਰ ਦੇ ਰਜਿਸਟਰ ਵਿੱਚ ਸ਼ਾਮਲ ਕੀਤਾ ਗਿਆ ਹੈ।
7. ਯਾਂਡੇਕਸ ਤੋਂ ਅਧਿਕਾਰਤ ਸਹਾਇਤਾ ਦੀ ਉਪਲਬਧਤਾ।

ਸਰੋਤ: www.habr.com