ਲੋਕੀ - ਪ੍ਰੋਮੀਥੀਅਸ ਪਹੁੰਚ ਦੀ ਵਰਤੋਂ ਕਰਦੇ ਹੋਏ ਲੌਗ ਇਕੱਠੇ ਕਰਨਾ

ਸਲਾਮ, ਖਾਬਰੋਵਿਟਸ! ਕੋਰਸ ਲਈ ਨਵੇਂ ਦਾਖਲੇ ਦੀ ਸ਼ੁਰੂਆਤ ਦੀ ਉਮੀਦ ਵਿੱਚ "DevOps ਅਭਿਆਸ ਅਤੇ ਸਾਧਨ" ਤੁਹਾਡੇ ਲਈ ਦਿਲਚਸਪ ਸਮੱਗਰੀ ਦਾ ਅਨੁਵਾਦ ਤਿਆਰ ਕੀਤਾ ਹੈ।

ਇਹ ਲੇਖ ਲੋਕੀ ਦੀ ਇੱਕ ਸੰਖੇਪ ਜਾਣ-ਪਛਾਣ ਹੈ। ਪ੍ਰੋਜੈਕਟ ਲੋਕੀ Grafana ਦੁਆਰਾ ਸਹਿਯੋਗੀ ਅਤੇ ਲੌਗਾਂ (ਸਰਵਰਾਂ ਜਾਂ ਕੰਟੇਨਰਾਂ ਤੋਂ) ਦੇ ਕੇਂਦਰੀਕ੍ਰਿਤ ਸੰਗ੍ਰਹਿ ਦਾ ਉਦੇਸ਼ ਹੈ।

ਲੋਕੀ ਲਈ ਮੁੱਖ ਪ੍ਰੇਰਨਾ ਸੀ Prometheus ਲੌਗ ਪ੍ਰਬੰਧਨ ਲਈ ਉਸਦੇ ਪਹੁੰਚਾਂ ਨੂੰ ਲਾਗੂ ਕਰਨ ਦੇ ਵਿਚਾਰ ਨਾਲ:

• ਡਾਟਾ ਸਟੋਰ ਕਰਨ ਲਈ ਲੇਬਲ ਦੀ ਵਰਤੋਂ ਕਰਨਾ
• ਘੱਟ ਸਰੋਤ ਦੀ ਖਪਤ

ਅਸੀਂ ਪ੍ਰੋਮੀਥੀਅਸ ਦੇ ਸਿਧਾਂਤਾਂ ਵੱਲ ਵਾਪਸ ਆਵਾਂਗੇ ਅਤੇ ਕੁਬਰਨੇਟਸ ਦੇ ਸੰਦਰਭ ਵਿੱਚ ਇਸਦੀ ਵਰਤੋਂ ਦੀਆਂ ਕੁਝ ਉਦਾਹਰਣਾਂ ਦੇਵਾਂਗੇ।

Prometheus ਬਾਰੇ ਕੁਝ ਸ਼ਬਦ

ਪੂਰੀ ਤਰ੍ਹਾਂ ਸਮਝਣ ਲਈ ਕਿ ਲੋਕੀ ਕਿਵੇਂ ਕੰਮ ਕਰਦਾ ਹੈ, ਇੱਕ ਕਦਮ ਪਿੱਛੇ ਹਟਣਾ ਅਤੇ ਪ੍ਰੋਮੀਥੀਅਸ ਨੂੰ ਥੋੜਾ ਜਿਹਾ ਮੁੜਨਾ ਮਹੱਤਵਪੂਰਨ ਹੈ।

ਪ੍ਰੋਮੀਥੀਅਸ ਦੀਆਂ ਵਿਲੱਖਣ ਵਿਸ਼ੇਸ਼ਤਾਵਾਂ ਵਿੱਚੋਂ ਇੱਕ ਹੈ ਸੰਗ੍ਰਹਿ ਬਿੰਦੂਆਂ (ਨਿਰਯਾਤਕਾਰਾਂ ਦੁਆਰਾ) ਤੋਂ ਮੈਟ੍ਰਿਕਸ ਨੂੰ ਕੱਢਣਾ ਅਤੇ ਉਹਨਾਂ ਨੂੰ ਲੇਬਲ ਦੇ ਰੂਪ ਵਿੱਚ ਮੈਟਾਡੇਟਾ ਦੇ ਜੋੜ ਦੇ ਨਾਲ ਇੱਕ TSDB (ਟਾਈਮ ਸੀਰੀਜ਼ ਡੇਟਾ ਬੇਸ, ਟਾਈਮ ਸੀਰੀਜ਼ ਡੇਟਾਬੇਸ) ਵਿੱਚ ਸਟੋਰ ਕਰਨਾ।

ਤੁਹਾਨੂੰ ਇਸ ਦੀ ਜ਼ਰੂਰਤ ਕਿਉਂ ਹੈ?

ਹਾਲ ਹੀ ਵਿੱਚ, ਪ੍ਰੋਮੀਥੀਅਸ ਕੰਟੇਨਰਾਂ ਅਤੇ ਕੁਬਰਨੇਟਸ ਦੀ ਦੁਨੀਆ ਵਿੱਚ ਡੀ ਫੈਕਟੋ ਸਟੈਂਡਰਡ ਬਣ ਗਿਆ ਹੈ: ਇਸਦੀ ਸਥਾਪਨਾ ਬਹੁਤ ਸਧਾਰਨ ਹੈ, ਅਤੇ ਇੱਕ ਕੁਬਰਨੇਟਸ ਕਲੱਸਟਰ ਵਿੱਚ ਸ਼ੁਰੂ ਵਿੱਚ ਪ੍ਰੋਮੀਥੀਅਸ ਲਈ ਇੱਕ ਅੰਤਮ ਬਿੰਦੂ ਹੈ। ਪ੍ਰੋਮੀਥੀਅਸ ਖਾਸ ਲੇਬਲਾਂ ਨੂੰ ਕਾਇਮ ਰੱਖਦੇ ਹੋਏ ਇੱਕ ਕੰਟੇਨਰ ਵਿੱਚ ਤਾਇਨਾਤ ਐਪਲੀਕੇਸ਼ਨਾਂ ਤੋਂ ਮੈਟ੍ਰਿਕਸ ਵੀ ਕੱਢ ਸਕਦਾ ਹੈ। ਇਸ ਲਈ, ਐਪਲੀਕੇਸ਼ਨ ਦੀ ਨਿਗਰਾਨੀ ਨੂੰ ਲਾਗੂ ਕਰਨਾ ਬਹੁਤ ਆਸਾਨ ਹੈ.

ਬਦਕਿਸਮਤੀ ਨਾਲ, ਲੌਗ ਪ੍ਰਬੰਧਨ ਲਈ ਅਜੇ ਵੀ ਕੋਈ ਟਰਨਕੀ ​​ਹੱਲ ਨਹੀਂ ਹੈ, ਅਤੇ ਤੁਹਾਨੂੰ ਆਪਣੇ ਲਈ ਇੱਕ ਹੱਲ ਲੱਭਣਾ ਪਵੇਗਾ:

• ਕੇਂਦਰੀਕਰਣ ਲੌਗਾਂ ਲਈ ਪ੍ਰਬੰਧਿਤ ਕਲਾਉਡ ਸੇਵਾ (AWS, Azure ਜਾਂ Google)
• ਨਿਗਰਾਨੀ ਸੇਵਾ "ਇੱਕ ਸੇਵਾ ਦੇ ਤੌਰ ਤੇ ਨਿਗਰਾਨੀ" (ਉਦਾਹਰਨ ਲਈ, Datadog)
• ਆਪਣੀ ਖੁਦ ਦੀ ਲੌਗ ਕਲੈਕਸ਼ਨ ਸੇਵਾ ਬਣਾਉਣਾ।

ਤੀਜੇ ਵਿਕਲਪ ਲਈ, ਮੈਂ ਰਵਾਇਤੀ ਤੌਰ 'ਤੇ Elasticsearch ਦੀ ਵਰਤੋਂ ਕੀਤੀ ਹੈ, ਇਸ ਤੱਥ ਦੇ ਬਾਵਜੂਦ ਕਿ ਮੈਂ ਹਮੇਸ਼ਾ ਇਸ ਤੋਂ ਖੁਸ਼ ਨਹੀਂ ਸੀ (ਖਾਸ ਤੌਰ 'ਤੇ ਇਸਦੀ ਭਾਰੀਤਾ ਅਤੇ ਸੈੱਟਅੱਪ ਦੀ ਗੁੰਝਲਤਾ).

ਲੋਕੀ ਨੂੰ ਹੇਠਾਂ ਦਿੱਤੇ ਸਿਧਾਂਤਾਂ ਦੇ ਅਨੁਸਾਰ ਲਾਗੂ ਕਰਨਾ ਆਸਾਨ ਬਣਾਉਣ ਲਈ ਤਿਆਰ ਕੀਤਾ ਗਿਆ ਸੀ:

• ਸ਼ੁਰੂ ਕਰਨ ਲਈ ਆਸਾਨ ਹੋ
• ਕੁਝ ਸਰੋਤਾਂ ਦੀ ਵਰਤੋਂ ਕਰੋ
• ਬਿਨਾਂ ਕਿਸੇ ਵਿਸ਼ੇਸ਼ ਰੱਖ-ਰਖਾਅ ਦੇ ਸੁਤੰਤਰ ਤੌਰ 'ਤੇ ਕੰਮ ਕਰੋ
• ਬੱਗ ਜਾਂਚਾਂ ਵਿੱਚ ਮਦਦ ਕਰਨ ਲਈ ਪ੍ਰੋਮੀਥੀਅਸ ਵਿੱਚ ਇੱਕ ਐਡ-ਆਨ ਵਜੋਂ ਕੰਮ ਕਰੋ

ਹਾਲਾਂਕਿ, ਇਹ ਸਾਦਗੀ ਕੁਝ ਸਮਝੌਤਿਆਂ ਦੀ ਕੀਮਤ 'ਤੇ ਆਉਂਦੀ ਹੈ। ਉਹਨਾਂ ਵਿੱਚੋਂ ਇੱਕ ਸਮੱਗਰੀ ਨੂੰ ਸੂਚੀਬੱਧ ਨਹੀਂ ਕਰਨਾ ਹੈ. ਇਸ ਲਈ, ਟੈਕਸਟ ਖੋਜ ਬਹੁਤ ਕੁਸ਼ਲ ਜਾਂ ਅਮੀਰ ਨਹੀਂ ਹੈ ਅਤੇ ਤੁਹਾਨੂੰ ਟੈਕਸਟ ਦੀ ਸਮੱਗਰੀ 'ਤੇ ਅੰਕੜੇ ਰੱਖਣ ਦੀ ਇਜਾਜ਼ਤ ਨਹੀਂ ਦਿੰਦੀ ਹੈ। ਪਰ ਕਿਉਂਕਿ ਲੋਕੀ ਗ੍ਰੇਪ ਦੇ ਬਰਾਬਰ ਅਤੇ ਪ੍ਰੋਮੀਥੀਅਸ ਦਾ ਪੂਰਕ ਬਣਨਾ ਚਾਹੁੰਦਾ ਹੈ, ਇਹ ਕੋਈ ਨੁਕਸਾਨ ਨਹੀਂ ਹੈ।

ਘਟਨਾ ਦੀ ਜਾਂਚ

ਇਹ ਚੰਗੀ ਤਰ੍ਹਾਂ ਸਮਝਣ ਲਈ ਕਿ ਲੋਕੀ ਨੂੰ ਇੰਡੈਕਸਿੰਗ ਦੀ ਲੋੜ ਕਿਉਂ ਨਹੀਂ ਹੈ, ਆਓ ਲੋਕੀ ਡਿਵੈਲਪਰਾਂ ਦੁਆਰਾ ਵਰਤੀ ਗਈ ਘਟਨਾ ਜਾਂਚ ਵਿਧੀ 'ਤੇ ਵਾਪਸ ਚਲੀਏ:

1 ਚੇਤਾਵਨੀ → 2 ਡੈਸ਼ਬੋਰਡ → 3 ਐਡਹਾਕ ਪੁੱਛਗਿੱਛ → 4 ਲੌਗ ਐਗਰੀਗੇਸ਼ਨ → 5 ਵਿਤਰਿਤ ਟਰੇਸਿੰਗ → 6 ਫਿਕਸ!
(1 ਚੇਤਾਵਨੀ → 2 ਡੈਸ਼ਬੋਰਡ → 3 ਐਡਹਾਕ ਪੁੱਛਗਿੱਛ → 4 ਲੌਗ ਐਗਰੀਗੇਸ਼ਨ → 5 ਵਿਤਰਿਤ ਟਰੇਸਿੰਗ → 6 ਫਿਕਸ!)

ਵਿਚਾਰ ਇਹ ਹੈ ਕਿ ਸਾਨੂੰ ਕਿਸੇ ਕਿਸਮ ਦੀ ਚੇਤਾਵਨੀ ਮਿਲਦੀ ਹੈ (ਸਲੈਕ ਨੋਟੀਫਿਕੇਸ਼ਨ, SMS, ਆਦਿ) ਅਤੇ ਉਸ ਤੋਂ ਬਾਅਦ:

• Grafana ਡੈਸ਼ਬੋਰਡਾਂ ਨੂੰ ਦੇਖੋ
• ਸੇਵਾ ਮੈਟ੍ਰਿਕਸ ਦੇਖੋ (ਉਦਾਹਰਨ ਲਈ, ਪ੍ਰੋਮੀਥੀਅਸ ਵਿੱਚ)
• ਲੌਗ ਐਂਟਰੀਆਂ ਨੂੰ ਦੇਖੋ (ਉਦਾਹਰਨ ਲਈ, Elasticsearch ਵਿੱਚ)
• ਸ਼ਾਇਦ ਵਿਤਰਿਤ ਟਰੇਸ (ਜੇਗਰ, ਜ਼ਿਪਕਿਨ, ਆਦਿ) 'ਤੇ ਇੱਕ ਨਜ਼ਰ ਮਾਰੋ।
• ਅਤੇ ਅੰਤ ਵਿੱਚ ਅਸਲ ਸਮੱਸਿਆ ਨੂੰ ਠੀਕ ਕਰੋ.

ਇੱਥੇ, Grafana + Prometheus + Elasticsearch + Zipkin ਸਟੈਕ ਦੇ ਮਾਮਲੇ ਵਿੱਚ, ਤੁਹਾਨੂੰ ਚਾਰ ਵੱਖ-ਵੱਖ ਟੂਲਸ ਦੀ ਵਰਤੋਂ ਕਰਨੀ ਪਵੇਗੀ। ਸਮਾਂ ਬਚਾਉਣ ਲਈ, ਇਹਨਾਂ ਸਾਰੇ ਕਦਮਾਂ ਨੂੰ ਇੱਕ ਸਾਧਨ ਨਾਲ ਕਰਨ ਦੇ ਯੋਗ ਹੋਣਾ ਚੰਗਾ ਹੋਵੇਗਾ: ਗ੍ਰਾਫਾਨਾ। ਇਹ ਧਿਆਨ ਦੇਣ ਯੋਗ ਹੈ ਕਿ ਖੋਜ ਲਈ ਇਹ ਪਹੁੰਚ ਗ੍ਰਾਫਾਨਾ ਵਿੱਚ ਸੰਸਕਰਣ 6 ਤੋਂ ਲਾਗੂ ਕੀਤੀ ਗਈ ਹੈ। ਇਸ ਤਰ੍ਹਾਂ, ਗ੍ਰਾਫਾਨਾ ਤੋਂ ਸਿੱਧੇ ਪ੍ਰੋਮੀਥੀਅਸ ਡੇਟਾ ਤੱਕ ਪਹੁੰਚਣਾ ਸੰਭਵ ਹੋ ਜਾਂਦਾ ਹੈ।

ਐਕਸਪਲੋਰਰ ਸਕ੍ਰੀਨ ਪ੍ਰੋਮੀਥੀਅਸ ਅਤੇ ਲੋਕੀ ਵਿਚਕਾਰ ਵੰਡੀ ਗਈ

ਇਸ ਸਕ੍ਰੀਨ ਤੋਂ, ਤੁਸੀਂ ਸਪਲਿਟ ਸਕ੍ਰੀਨ ਸੰਕਲਪ ਦੀ ਵਰਤੋਂ ਕਰਦੇ ਹੋਏ ਪ੍ਰੋਮੀਥੀਅਸ ਮੈਟ੍ਰਿਕਸ ਨਾਲ ਸਬੰਧਤ ਲੋਕੀ ਵਿੱਚ ਲੌਗ ਦੇਖ ਸਕਦੇ ਹੋ। ਸੰਸਕਰਣ 6.5 ਤੋਂ, ਗ੍ਰਾਫਾਨਾ ਤੁਹਾਨੂੰ ਤੁਹਾਡੇ ਮਨਪਸੰਦ ਵਿਤਰਿਤ ਟਰੇਸਿੰਗ ਟੂਲਸ (ਜੇਗਰ) ਦੇ ਲਿੰਕਾਂ ਦੀ ਪਾਲਣਾ ਕਰਨ ਲਈ ਲੋਕੀ ਲੌਗ ਐਂਟਰੀਆਂ ਵਿੱਚ ਟਰੇਸ ਆਈਡੀ ਨੂੰ ਪਾਰਸ ਕਰਨ ਦੀ ਆਗਿਆ ਦਿੰਦਾ ਹੈ।

ਲੋਕੀ ਸਥਾਨਕ ਟੈਸਟ

ਲੋਕੀ ਦੀ ਸਥਾਨਕ ਤੌਰ 'ਤੇ ਜਾਂਚ ਕਰਨ ਦਾ ਸਭ ਤੋਂ ਆਸਾਨ ਤਰੀਕਾ ਹੈ ਡੌਕਰ-ਕੰਪੋਜ਼ ਦੀ ਵਰਤੋਂ ਕਰਨਾ। ਡੌਕਰ-ਕੰਪੋਜ਼ ਫਾਈਲ ਲੋਕੀ ਰਿਪੋਜ਼ਟਰੀ ਵਿੱਚ ਸਥਿਤ ਹੈ। ਤੁਸੀਂ ਹੇਠਾਂ ਦਿੱਤੀ ਕਮਾਂਡ ਨਾਲ ਰਿਪੋਜ਼ਟਰੀ ਪ੍ਰਾਪਤ ਕਰ ਸਕਦੇ ਹੋ git:

$ git clone https://github.com/grafana/loki.git

ਫਿਰ ਤੁਹਾਨੂੰ ਉਤਪਾਦਨ ਡਾਇਰੈਕਟਰੀ ਵਿੱਚ ਬਦਲਣ ਦੀ ਲੋੜ ਹੈ:

$ cd production

ਉਸ ਤੋਂ ਬਾਅਦ, ਤੁਸੀਂ ਨਵੀਨਤਮ ਡੌਕਰ ਚਿੱਤਰ ਪ੍ਰਾਪਤ ਕਰ ਸਕਦੇ ਹੋ:

$ docker-compose pull

ਅੰਤ ਵਿੱਚ, ਲੋਕੀ ਸਟੈਕ ਨੂੰ ਹੇਠ ਦਿੱਤੀ ਕਮਾਂਡ ਨਾਲ ਸ਼ੁਰੂ ਕੀਤਾ ਗਿਆ ਹੈ:

$ docker-compose up

ਲੋਕੀ ਆਰਕੀਟੈਕਚਰ

ਇੱਥੇ ਲੋਕੀ ਆਰਕੀਟੈਕਚਰ ਦੇ ਨਾਲ ਇੱਕ ਛੋਟਾ ਚਿੱਤਰ ਹੈ:

ਲੋਕੀ ਆਰਕੀਟੈਕਚਰ ਦੇ ਸਿਧਾਂਤ

ਵੈਬ ਕਲਾਇੰਟ ਸਰਵਰ 'ਤੇ ਐਪਲੀਕੇਸ਼ਨ ਚਲਾਉਂਦਾ ਹੈ, ਪ੍ਰੋਮਟੇਲ ਲੌਗ ਇਕੱਠੇ ਕਰਦਾ ਹੈ ਅਤੇ ਉਹਨਾਂ ਨੂੰ ਲੋਕੀ ਨੂੰ ਭੇਜਦਾ ਹੈ, ਵੈਬ ਕਲਾਇੰਟ ਲੋਕੀ ਨੂੰ ਮੈਟਾਡੇਟਾ ਵੀ ਭੇਜਦਾ ਹੈ। ਲੋਕੀ ਹਰ ਚੀਜ਼ ਨੂੰ ਇਕੱਠਾ ਕਰਦਾ ਹੈ ਅਤੇ ਇਸਨੂੰ ਗ੍ਰਾਫਾਨਾ ਨੂੰ ਦਿੰਦਾ ਹੈ।
ਲੋਕੀ ਚੱਲ ਰਿਹਾ ਹੈ। ਉਪਲਬਧ ਭਾਗਾਂ ਨੂੰ ਵੇਖਣ ਲਈ, ਹੇਠ ਦਿੱਤੀ ਕਮਾਂਡ ਚਲਾਓ:

$ docker ps

ਤਾਜ਼ੇ ਸਥਾਪਿਤ ਡੌਕਰ ਦੇ ਮਾਮਲੇ ਵਿੱਚ, ਕਮਾਂਡ ਨੂੰ ਹੇਠਾਂ ਦਿੱਤੀ ਆਉਟਪੁੱਟ ਵਾਪਸ ਕਰਨੀ ਚਾਹੀਦੀ ਹੈ:

IMAGE               PORTS                  NAMES
grafana/promtail:                          production_promtail_1
grafana/grafana: m  0.0.0.0:3000->3000/tcp production_grafana_1
grafana/loki: late  80/tcp,0.0.0.0:3100... production_loki_1

ਅਸੀਂ ਹੇਠਾਂ ਦਿੱਤੇ ਭਾਗ ਦੇਖਦੇ ਹਾਂ:

• ਪ੍ਰੋਮਟੇਲ: ਲੌਗਾਂ ਨੂੰ ਕੇਂਦਰਿਤ ਕਰਨ ਲਈ ਜ਼ਿੰਮੇਵਾਰ ਏਜੰਟ
• ਗ੍ਰਾਫਾਨਾ: ਮਸ਼ਹੂਰ ਡੈਸ਼ਬੋਰਡ ਟੂਲ
• ਲੋਕੀ: ਡਾਟਾ ਕੇਂਦਰੀਕਰਨ ਡੈਮਨ

ਇੱਕ ਕਲਾਸਿਕ ਬੁਨਿਆਦੀ ਢਾਂਚੇ ਦੇ ਹਿੱਸੇ ਵਜੋਂ (ਉਦਾਹਰਨ ਲਈ, ਵਰਚੁਅਲ ਮਸ਼ੀਨਾਂ 'ਤੇ ਆਧਾਰਿਤ), ਪ੍ਰੋਮਟੇਲ ਏਜੰਟ ਨੂੰ ਹਰੇਕ ਮਸ਼ੀਨ 'ਤੇ ਤਾਇਨਾਤ ਕੀਤਾ ਜਾਣਾ ਚਾਹੀਦਾ ਹੈ। Grafana ਅਤੇ Loki ਨੂੰ ਇੱਕੋ ਮਸ਼ੀਨ 'ਤੇ ਇੰਸਟਾਲ ਕੀਤਾ ਜਾ ਸਕਦਾ ਹੈ.

ਕੁਬਰਨੇਟਸ ਲਈ ਤੈਨਾਤੀ

ਕੁਬਰਨੇਟਸ ਵਿੱਚ ਲੋਕੀ ਭਾਗਾਂ ਨੂੰ ਸਥਾਪਿਤ ਕਰਨਾ ਹੇਠ ਲਿਖੇ ਅਨੁਸਾਰ ਹੋਵੇਗਾ:

• ਸਰਵਰ ਕਲੱਸਟਰ ਵਿੱਚ ਹਰੇਕ ਮਸ਼ੀਨ ਉੱਤੇ ਪ੍ਰੋਮਟੇਲ ਏਜੰਟ ਨੂੰ ਤੈਨਾਤ ਕਰਨ ਲਈ ਡੈਮਨਸੈੱਟ
• ਲੋਕੀ ਤੈਨਾਤੀ
• ਅਤੇ ਆਖਰੀ ਇੱਕ ਗ੍ਰਾਫਾਨਾ ਦੀ ਤਾਇਨਾਤੀ ਹੈ।

ਖੁਸ਼ਕਿਸਮਤੀ ਨਾਲ, ਲੋਕੀ ਇੱਕ ਹੈਲਮ ਪੈਕੇਜ ਦੇ ਰੂਪ ਵਿੱਚ ਉਪਲਬਧ ਹੈ, ਜਿਸ ਨਾਲ ਇਸਨੂੰ ਤਾਇਨਾਤ ਕਰਨਾ ਆਸਾਨ ਹੋ ਜਾਂਦਾ ਹੈ।

Heml ਦੁਆਰਾ ਇੰਸਟਾਲੇਸ਼ਨ

ਤੁਹਾਡੇ ਕੋਲ ਪਹਿਲਾਂ ਤੋਂ ਹੀ ਹੇਮਲ ਸਥਾਪਿਤ ਹੋਣਾ ਚਾਹੀਦਾ ਹੈ। ਇਸਨੂੰ ਪ੍ਰੋਜੈਕਟ ਦੇ GitHub ਰਿਪੋਜ਼ਟਰੀ ਤੋਂ ਡਾਊਨਲੋਡ ਕੀਤਾ ਜਾ ਸਕਦਾ ਹੈ। ਇਹ ਤੁਹਾਡੇ ਆਰਕੀਟੈਕਚਰ ਲਈ ਢੁਕਵੇਂ ਪੁਰਾਲੇਖ ਨੂੰ ਐਕਸਟਰੈਕਟ ਕਰਕੇ ਅਤੇ ਹੈਲਮ ਨੂੰ ਜੋੜ ਕੇ ਸਥਾਪਿਤ ਕੀਤਾ ਜਾਂਦਾ ਹੈ $PATH.

ਨੋਟ: ਹੈਲਮ ਦਾ ਵਰਜਨ 3.0.0 ਹਾਲ ਹੀ ਵਿੱਚ ਜਾਰੀ ਕੀਤਾ ਗਿਆ ਸੀ। ਕਿਉਂਕਿ ਇਸ ਵਿੱਚ ਬਹੁਤ ਸਾਰੇ ਬਦਲਾਅ ਕੀਤੇ ਗਏ ਹਨ, ਪਾਠਕ ਨੂੰ ਇਸਦੀ ਵਰਤੋਂ ਸ਼ੁਰੂ ਕਰਨ ਤੋਂ ਪਹਿਲਾਂ ਥੋੜਾ ਇੰਤਜ਼ਾਰ ਕਰਨ ਦੀ ਸਲਾਹ ਦਿੱਤੀ ਜਾਂਦੀ ਹੈ।.

ਹੈਲਮ ਲਈ ਸਰੋਤ ਜੋੜਿਆ ਜਾ ਰਿਹਾ ਹੈ

ਪਹਿਲਾ ਕਦਮ ਹੇਠ ਦਿੱਤੀ ਕਮਾਂਡ ਨਾਲ "loki" ਰਿਪੋਜ਼ਟਰੀ ਨੂੰ ਜੋੜਨਾ ਹੈ:

$ helm add loki https://grafana.github.io/loki/charts

ਉਸ ਤੋਂ ਬਾਅਦ, ਤੁਸੀਂ "loki" ਨਾਮ ਦੇ ਪੈਕੇਜਾਂ ਦੀ ਖੋਜ ਕਰ ਸਕਦੇ ਹੋ:

$ helm search loki

ਨਤੀਜਾ:

loki/loki       0.17.2 v0.4.0 Loki: like Prometheus, but for logs.
loki/loki-stack 0.19.1 v0.4.0 Loki: like Prometheus, but for logs.
loki/fluent-bit 0.0.2  v0.0.1 Uses fluent-bit Loki go plugin for...
loki/promtail   0.13.1 v0.4.0 Responsible for gathering logs and...

ਇਹਨਾਂ ਪੈਕੇਜਾਂ ਵਿੱਚ ਹੇਠ ਲਿਖੀਆਂ ਵਿਸ਼ੇਸ਼ਤਾਵਾਂ ਹਨ:

• ਪੈਕੇਜ ਲੋਕੀ/ਲੋਕੀ ਸਿਰਫ਼ ਲੋਕੀ ਸਰਵਰ ਨਾਲ ਮੇਲ ਖਾਂਦਾ ਹੈ
• ਪੈਕੇਜ loki/fluent-bit ਤੁਹਾਨੂੰ ਪ੍ਰੋਮਟੇਲ ਦੀ ਬਜਾਏ ਲੌਗ ਇਕੱਠੇ ਕਰਨ ਲਈ ਫਲੂਐਂਟ-ਬਿਨ ਦੀ ਵਰਤੋਂ ਕਰਦੇ ਹੋਏ ਡੈਮਨਸੈੱਟ ਨੂੰ ਤੈਨਾਤ ਕਰਨ ਦੀ ਆਗਿਆ ਦਿੰਦਾ ਹੈ
• ਪੈਕੇਜ loki/promtail ਇੱਕ ਲੌਗ ਕਲੈਕਸ਼ਨ ਏਜੰਟ ਸ਼ਾਮਲ ਕਰਦਾ ਹੈ
• ਪੈਕੇਜ loki/loki-stack, ਤੁਹਾਨੂੰ ਤੁਰੰਤ ਲੋਕੀ ਨੂੰ ਪ੍ਰੋਮਟੇਲ ਦੇ ਨਾਲ ਤੈਨਾਤ ਕਰਨ ਦੀ ਆਗਿਆ ਦਿੰਦਾ ਹੈ।

ਲੋਕੀ ਸਥਾਪਤ ਕਰ ਰਿਹਾ ਹੈ

ਲੋਕੀ ਨੂੰ ਕੁਬਰਨੇਟਸ ਵਿੱਚ ਤੈਨਾਤ ਕਰਨ ਲਈ, "ਨਿਗਰਾਨੀ" ਨਾਮ-ਸਪੇਸ ਵਿੱਚ ਹੇਠ ਦਿੱਤੀ ਕਮਾਂਡ ਚਲਾਓ:

$ helm upgrade --install loki loki/loki-stack --namespace monitoring

ਡਿਸਕ 'ਤੇ ਸੇਵ ਕਰਨ ਲਈ, ਵਿਕਲਪ ਸ਼ਾਮਲ ਕਰੋ --set loki.persistence.enabled = true:

$ helm upgrade --install loki loki/loki-stack 
              --namespace monitoring 
              --set loki.persistence.enabled=true

ਨੋਟ: ਜੇਕਰ ਤੁਸੀਂ ਉਸੇ ਸਮੇਂ Grafana ਨੂੰ ਤੈਨਾਤ ਕਰਨਾ ਚਾਹੁੰਦੇ ਹੋ, ਤਾਂ ਪੈਰਾਮੀਟਰ ਜੋੜੋ --set grafana.enabled = true

ਜਦੋਂ ਤੁਸੀਂ ਇਹ ਕਮਾਂਡ ਚਲਾਉਂਦੇ ਹੋ, ਤਾਂ ਤੁਹਾਨੂੰ ਹੇਠਾਂ ਦਿੱਤੀ ਆਉਟਪੁੱਟ ਪ੍ਰਾਪਤ ਕਰਨੀ ਚਾਹੀਦੀ ਹੈ:

LAST DEPLOYED: Tue Nov 19 15:56:54 2019
NAMESPACE: monitoring
STATUS: DEPLOYED
RESOURCES:
==> v1/ClusterRole
NAME AGE
loki-promtail-clusterrole 189d
…
NOTES:
The Loki stack has been deployed to your cluster. Loki can now be added as a datasource in Grafana.
See <a href="http://docs.grafana.org/features/datasources/loki/">http://docs.grafana.org/features/datasources/loki/</a> for more details.

"ਨਿਗਰਾਨੀ" ਨਾਮ-ਸਪੇਸ ਵਿੱਚ ਪੌਡਾਂ ਦੀ ਸਥਿਤੀ ਨੂੰ ਦੇਖਦੇ ਹੋਏ, ਅਸੀਂ ਦੇਖ ਸਕਦੇ ਹਾਂ ਕਿ ਸਭ ਕੁਝ ਤੈਨਾਤ ਹੈ:

$ kubectl -n monitoring get pods -l release=loki

ਨਤੀਜਾ:

NAME                 READY  STATUS   RESTARTS  AGE
loki-0               1/1    Running  0         147m
loki-promtail-9zjvc  1/1    Running  0         3h25m
loki-promtail-f6brf  1/1    Running  0         11h
loki-promtail-hdcj7  1/1    Running  0         3h23m
loki-promtail-jbqhc  1/1    Running  0         11h
loki-promtail-mj642  1/1    Running  0         62m
loki-promtail-nm64g  1/1    Running  0         24m

ਸਾਰੀਆਂ ਫਲੀਆਂ ਚੱਲ ਰਹੀਆਂ ਹਨ। ਹੁਣ ਇਹ ਕੁਝ ਟੈਸਟ ਕਰਨ ਦਾ ਸਮਾਂ ਹੈ!

Grafana ਨਾਲ ਜੁੜ ਰਿਹਾ ਹੈ

Kubernetes ਦੇ ਅਧੀਨ Grafana ਨਾਲ ਜੁੜਨ ਲਈ, ਤੁਹਾਨੂੰ ਇਸਦੇ ਪੌਡ ਲਈ ਇੱਕ ਸੁਰੰਗ ਖੋਲ੍ਹਣ ਦੀ ਲੋੜ ਹੈ। ਗ੍ਰਾਫਾਨਾ ਪੋਡ ਲਈ ਪੋਰਟ 3000 ਖੋਲ੍ਹਣ ਲਈ ਹੇਠਾਂ ਦਿੱਤੀ ਕਮਾਂਡ ਹੈ:

$ kubectl -n port-forward monitoring svc/loki-grafana 3000:80

ਇੱਕ ਹੋਰ ਮਹੱਤਵਪੂਰਨ ਨੁਕਤਾ Grafana ਪ੍ਰਬੰਧਕ ਪਾਸਵਰਡ ਨੂੰ ਮੁੜ ਪ੍ਰਾਪਤ ਕਰਨ ਦੀ ਲੋੜ ਹੈ. ਪਾਸਵਰਡ ਗੁਪਤ ਰੱਖਿਆ ਗਿਆ ਹੈ loki-grafana ਖੇਤਰ ਵਿਚ .data.admin-user ਬੇਸ 64 ਫਾਰਮੈਟ ਵਿੱਚ.

ਇਸਨੂੰ ਰੀਸਟੋਰ ਕਰਨ ਲਈ, ਤੁਹਾਨੂੰ ਹੇਠ ਲਿਖੀ ਕਮਾਂਡ ਚਲਾਉਣ ਦੀ ਲੋੜ ਹੈ:

$ kubectl -n monitoring get secret loki-grafana 
 --template '{{index .data "admin-password" | base64decode}}'; echo

ਇਸ ਪਾਸਵਰਡ ਦੀ ਵਰਤੋਂ ਡਿਫੌਲਟ ਐਡਮਿਨਿਸਟ੍ਰੇਟਰ ਖਾਤੇ (ਐਡਮਿਨ) ਦੇ ਨਾਲ ਜੋੜ ਕੇ ਕਰੋ।

ਗ੍ਰਾਫਾਨਾ ਵਿੱਚ ਲੋਕੀ ਡੇਟਾ ਸਰੋਤ ਪਰਿਭਾਸ਼ਾ

ਸਭ ਤੋਂ ਪਹਿਲਾਂ, ਇਹ ਯਕੀਨੀ ਬਣਾਓ ਕਿ ਲੋਕੀ ਡੇਟਾ ਸਰੋਤ (ਸੰਰਚਨਾ / ਡੇਟਾ ਸਰੋਤ) ਬਣਾਇਆ ਗਿਆ ਹੈ।
ਇੱਥੇ ਇੱਕ ਉਦਾਹਰਨ ਹੈ:

ਲੋਕੀ ਲਈ ਡਾਟਾ ਸਰੋਤ ਸਥਾਪਤ ਕਰਨ ਦੀ ਇੱਕ ਉਦਾਹਰਨ

"ਟੈਸਟ" 'ਤੇ ਕਲਿੱਕ ਕਰਕੇ ਤੁਸੀਂ ਲੋਕੀ ਨਾਲ ਕੁਨੈਕਸ਼ਨ ਦੀ ਜਾਂਚ ਕਰ ਸਕਦੇ ਹੋ।

ਲੋਕੀ ਨੂੰ ਬੇਨਤੀਆਂ ਕਰਨਾ

ਹੁਣ Grafana 'ਤੇ ਜਾਓ ਅਤੇ "ਐਕਸਪਲੋਰ" ਸੈਕਸ਼ਨ 'ਤੇ ਜਾਓ। ਕੰਟੇਨਰਾਂ ਤੋਂ ਲੌਗ ਪ੍ਰਾਪਤ ਕਰਨ ਵੇਲੇ, ਲੋਕੀ ਕੁਬਰਨੇਟਸ ਤੋਂ ਮੈਟਾਡੇਟਾ ਜੋੜਦਾ ਹੈ। ਇਸ ਤਰ੍ਹਾਂ, ਕਿਸੇ ਖਾਸ ਕੰਟੇਨਰ ਦੇ ਲੌਗਸ ਨੂੰ ਦੇਖਣਾ ਸੰਭਵ ਹੋ ਜਾਂਦਾ ਹੈ।

ਉਦਾਹਰਨ ਲਈ, ਪ੍ਰੋਮਟੇਲ ਕੰਟੇਨਰ ਲੌਗਸ ਨੂੰ ਚੁਣਨ ਲਈ, ਤੁਸੀਂ ਹੇਠਾਂ ਦਿੱਤੀ ਪੁੱਛਗਿੱਛ ਦੀ ਵਰਤੋਂ ਕਰ ਸਕਦੇ ਹੋ: {container_name = "promtail"}.
ਇੱਥੇ ਵੀ ਲੋਕੀ ਡੇਟਾ ਸਰੋਤ ਦੀ ਚੋਣ ਕਰਨਾ ਨਾ ਭੁੱਲੋ।

ਇਹ ਪੁੱਛਗਿੱਛ ਹੇਠ ਲਿਖੇ ਅਨੁਸਾਰ ਕੰਟੇਨਰ ਗਤੀਵਿਧੀ ਵਾਪਸ ਕਰੇਗੀ:

Grafana ਵਿੱਚ ਪੁੱਛਗਿੱਛ ਦਾ ਨਤੀਜਾ

ਡੈਸ਼ਬੋਰਡ ਵਿੱਚ ਜੋੜਿਆ ਜਾ ਰਿਹਾ ਹੈ

Grafana 6.4 ਨਾਲ ਸ਼ੁਰੂ ਕਰਦੇ ਹੋਏ, ਲੌਗ ਜਾਣਕਾਰੀ ਨੂੰ ਸਿੱਧੇ ਡੈਸ਼ਬੋਰਡ 'ਤੇ ਪਾਉਣਾ ਸੰਭਵ ਹੈ। ਉਸ ਤੋਂ ਬਾਅਦ, ਉਪਭੋਗਤਾ ਆਪਣੀ ਸਾਈਟ 'ਤੇ ਬੇਨਤੀਆਂ ਦੀ ਗਿਣਤੀ ਦੇ ਵਿਚਕਾਰ ਐਪਲੀਕੇਸ਼ਨ ਟਰੇਸ ਲਈ ਤੇਜ਼ੀ ਨਾਲ ਸਵਿਚ ਕਰਨ ਦੇ ਯੋਗ ਹੋ ਜਾਵੇਗਾ।

ਹੇਠਾਂ ਇੱਕ ਉਦਾਹਰਨ ਡੈਸ਼ਬੋਰਡ ਹੈ ਜੋ ਇਸ ਪਰਸਪਰ ਪ੍ਰਭਾਵ ਨੂੰ ਲਾਗੂ ਕਰਦਾ ਹੈ:

ਪ੍ਰੋਮੀਥੀਅਸ ਮੈਟ੍ਰਿਕਸ ਅਤੇ ਲੋਕੀ ਲੌਗਸ ਦੇ ਨਾਲ ਨਮੂਨਾ ਡੈਸ਼ਬੋਰਡ

ਲੋਕੀ ਦਾ ਭਵਿੱਖ

ਮੈਂ ਸੰਸਕਰਣ 0.1 ਦੇ ਨਾਲ ਮਈ/ਜੂਨ ਵਿੱਚ ਲੋਕੀ ਦੀ ਵਰਤੋਂ ਸ਼ੁਰੂ ਕੀਤੀ। ਵਰਜਨ 1 ਪਹਿਲਾਂ ਹੀ ਅੱਜ ਜਾਰੀ ਕੀਤਾ ਗਿਆ ਹੈ, ਅਤੇ ਇੱਥੋਂ ਤੱਕ ਕਿ 1.1 ਅਤੇ 1.2 ਵੀ।

ਇਹ ਮੰਨਿਆ ਜਾਣਾ ਚਾਹੀਦਾ ਹੈ ਕਿ ਸੰਸਕਰਣ 0.1 ਕਾਫ਼ੀ ਸਥਿਰ ਨਹੀਂ ਸੀ। ਪਰ 0.3 ਨੇ ਪਹਿਲਾਂ ਹੀ ਪਰਿਪੱਕਤਾ ਦੇ ਅਸਲ ਸੰਕੇਤ ਦਿਖਾਏ ਹਨ, ਅਤੇ ਅਗਲੇ ਸੰਸਕਰਣ (0.4, ਫਿਰ 1.0) ਨੇ ਸਿਰਫ ਇਸ ਪ੍ਰਭਾਵ ਨੂੰ ਮਜ਼ਬੂਤ ​​ਕੀਤਾ ਹੈ।

1.0.0 ਤੋਂ ਬਾਅਦ, ਕਿਸੇ ਕੋਲ ਵੀ ਇਸ ਸ਼ਾਨਦਾਰ ਟੂਲ ਦੀ ਵਰਤੋਂ ਨਾ ਕਰਨ ਦਾ ਬਹਾਨਾ ਨਹੀਂ ਹੋ ਸਕਦਾ।

ਹੋਰ ਸੁਧਾਰ ਲੋਕੀ ਬਾਰੇ ਨਹੀਂ ਹੋਣੇ ਚਾਹੀਦੇ, ਸਗੋਂ ਸ਼ਾਨਦਾਰ ਗ੍ਰਾਫਾਨਾ ਨਾਲ ਇਸ ਦਾ ਏਕੀਕਰਨ ਹੋਣਾ ਚਾਹੀਦਾ ਹੈ। ਵਾਸਤਵ ਵਿੱਚ, Grafana 6.4 ਵਿੱਚ ਪਹਿਲਾਂ ਹੀ ਡੈਸ਼ਬੋਰਡਾਂ ਨਾਲ ਵਧੀਆ ਏਕੀਕਰਣ ਹੈ.

Grafana 6.5, ਜੋ ਕਿ ਹਾਲ ਹੀ ਵਿੱਚ ਜਾਰੀ ਕੀਤਾ ਗਿਆ ਸੀ, JSON ਫਾਰਮੈਟ ਵਿੱਚ ਲੌਗਸ ਦੀ ਸਮੱਗਰੀ ਨੂੰ ਆਪਣੇ ਆਪ ਪਛਾਣ ਕੇ ਇਸ ਏਕੀਕਰਣ ਨੂੰ ਹੋਰ ਸੁਧਾਰਦਾ ਹੈ।

ਹੇਠਾਂ ਦਿੱਤੀ ਵੀਡੀਓ ਇਸ ਵਿਧੀ ਦੀ ਇੱਕ ਛੋਟੀ ਜਿਹੀ ਉਦਾਹਰਣ ਦਿਖਾਉਂਦਾ ਹੈ:

ਗ੍ਰਾਫਾਨਾ ਵਿੱਚ ਰੈਂਡਰ ਕੀਤੇ ਲੋਕੀ ਸਤਰ ਦੀ ਵਰਤੋਂ ਕਰਨਾ

JSON ਖੇਤਰਾਂ ਵਿੱਚੋਂ ਇੱਕ ਦੀ ਵਰਤੋਂ ਕਰਨਾ ਸੰਭਵ ਹੋ ਜਾਂਦਾ ਹੈ, ਉਦਾਹਰਨ ਲਈ, ਇਸ ਲਈ:

• ਇੱਕ ਬਾਹਰੀ ਟੂਲ ਨਾਲ ਲਿੰਕ
• ਲਾਗ ਸਮੱਗਰੀ ਫਿਲਟਰਿੰਗ

ਉਦਾਹਰਨ ਲਈ, ਤੁਸੀਂ Zipkin ਜਾਂ Jaeger 'ਤੇ ਜਾਣ ਲਈ traceId 'ਤੇ ਕਲਿੱਕ ਕਰ ਸਕਦੇ ਹੋ।

ਆਮ ਵਾਂਗ, ਅਸੀਂ ਤੁਹਾਡੀਆਂ ਟਿੱਪਣੀਆਂ ਦੀ ਉਡੀਕ ਕਰਦੇ ਹਾਂ ਅਤੇ ਤੁਹਾਨੂੰ ਸੱਦਾ ਦਿੰਦੇ ਹਾਂ ਵੈਬਿਨਾਰ ਖੋਲ੍ਹੋ, ਜਿੱਥੇ ਅਸੀਂ ਇਸ ਬਾਰੇ ਗੱਲ ਕਰਾਂਗੇ ਕਿ 2019 ਦੌਰਾਨ DevOps ਉਦਯੋਗ ਕਿਵੇਂ ਵਿਕਸਿਤ ਹੋਇਆ ਹੈ ਅਤੇ 2020 ਲਈ ਸੰਭਾਵਿਤ ਵਿਕਾਸ ਮਾਰਗਾਂ ਬਾਰੇ ਚਰਚਾ ਕਰਾਂਗੇ।

ਸਰੋਤ: www.habr.com