ਕੁਬਰਨੇਟਸ ਵਿੱਚ ਲੌਗਇਨ ਕਰਨਾ: EFK ਬਨਾਮ PLG

ਨਿਗਰਾਨੀ ਵਧ ਰਹੇ ਕਲਾਉਡ ਹੱਲਾਂ ਦਾ ਇੱਕ ਬਹੁਤ ਮਹੱਤਵਪੂਰਨ ਹਿੱਸਾ ਬਣ ਗਿਆ ਹੈ ਕਿਉਂਕਿ ਵਿਤਰਿਤ ਪ੍ਰਣਾਲੀਆਂ ਦੀ ਗੁੰਝਲਤਾ ਵਧਦੀ ਹੈ। ਉਨ੍ਹਾਂ ਦੇ ਵਿਹਾਰ ਨੂੰ ਸਮਝਣ ਦੀ ਲੋੜ ਹੈ। ਸਾਨੂੰ ਸਕੇਲੇਬਲ ਟੂਲਸ ਦੀ ਲੋੜ ਹੈ ਜੋ ਸਾਰੀਆਂ ਸੇਵਾਵਾਂ ਤੋਂ ਡਾਟਾ ਇਕੱਠਾ ਕਰ ਸਕਣ - ਅਤੇ ਪ੍ਰਦਰਸ਼ਨ ਵਿਸ਼ਲੇਸ਼ਣ, ਗਲਤੀ ਪ੍ਰਦਰਸ਼ਨ, ਉਪਲਬਧਤਾ ਅਤੇ ਲੌਗਸ ਦੇ ਨਾਲ ਮਾਹਿਰਾਂ ਨੂੰ ਇੱਕ ਸਿੰਗਲ ਇੰਟਰਫੇਸ ਪ੍ਰਦਾਨ ਕਰ ਸਕਦੇ ਹਨ।

ਇਹ ਉਹੀ ਸਾਧਨ ਕੁਸ਼ਲ ਅਤੇ ਲਾਭਕਾਰੀ ਹੋਣੇ ਚਾਹੀਦੇ ਹਨ। ਇਸ ਲੇਖ ਵਿੱਚ, ਅਸੀਂ ਦੋ ਪ੍ਰਸਿੱਧ ਤਕਨਾਲੋਜੀ ਸਟੈਕ ਦੇਖਾਂਗੇ: EFK (Elasticsearch) ਅਤੇ PLG (Loki) ਅਤੇ ਉਹਨਾਂ ਦੇ ਆਰਕੀਟੈਕਚਰ ਅਤੇ ਅੰਤਰਾਂ ਦੀ ਜਾਂਚ ਕਰਾਂਗੇ।

EFK ਸਟੈਕ

ਤੁਸੀਂ ਪਹਿਲਾਂ ਹੀ ਬਹੁਤ ਮਸ਼ਹੂਰ ELK ਜਾਂ EFK ਬਾਰੇ ਸੁਣਿਆ ਹੋ ਸਕਦਾ ਹੈ. ਸਟੈਕ ਵਿੱਚ ਕਈ ਵੱਖਰੇ ਹਿੱਸੇ ਹੁੰਦੇ ਹਨ: ਇਲਾਸਟਿਕ ਖੋਜ (ਆਬਜੈਕਟ ਸਟੋਰੇਜ), ਲੌਗਸਟੈਸ਼ ਜਾਂ ਫਲੂਐਂਟਡੀ (ਲੌਗ ਕਲੈਕਸ਼ਨ ਅਤੇ ਏਗਰੀਗੇਸ਼ਨ), ਅਤੇ ਵਿਜ਼ੂਅਲਾਈਜ਼ੇਸ਼ਨ ਲਈ ਕਿਬਾਨਾ।

ਇੱਕ ਆਮ ਵਰਕਫਲੋ ਇਸ ਤਰ੍ਹਾਂ ਦਿਖਾਈ ਦਿੰਦਾ ਹੈ:

ਲਲਸੀ ਖੋਜ - ਖੋਜ ਅਤੇ ਰੀਅਲ-ਟਾਈਮ ਵਿਸ਼ਲੇਸ਼ਣ ਦੇ ਨਾਲ ਵਸਤੂ ਸਟੋਰੇਜ ਨੂੰ ਵੰਡਿਆ। ਅਰਧ-ਸੰਰਚਨਾ ਵਾਲੇ ਡੇਟਾ ਜਿਵੇਂ ਕਿ ਲੌਗਸ ਲਈ ਸ਼ਾਨਦਾਰ ਹੱਲ। ਜਾਣਕਾਰੀ ਨੂੰ JSON ਦਸਤਾਵੇਜ਼ਾਂ ਵਜੋਂ ਸੁਰੱਖਿਅਤ ਕੀਤਾ ਜਾਂਦਾ ਹੈ, ਅਸਲ ਸਮੇਂ ਵਿੱਚ ਸੂਚੀਬੱਧ ਕੀਤਾ ਜਾਂਦਾ ਹੈ ਅਤੇ ਕਲੱਸਟਰ ਨੋਡਾਂ ਵਿੱਚ ਵੰਡਿਆ ਜਾਂਦਾ ਹੈ। ਇੱਕ ਉਲਟ ਸੂਚਕਾਂਕ ਦੀ ਵਰਤੋਂ ਕੀਤੀ ਜਾਂਦੀ ਹੈ, ਜਿਸ ਵਿੱਚ ਪੂਰੇ-ਪਾਠ ਖੋਜ ਲਈ ਸਾਰੇ ਵਿਲੱਖਣ ਸ਼ਬਦ ਅਤੇ ਸੰਬੰਧਿਤ ਦਸਤਾਵੇਜ਼ ਸ਼ਾਮਲ ਹੁੰਦੇ ਹਨ, ਜੋ ਬਦਲੇ ਵਿੱਚ ਅਪਾਚੇ ਲੂਸੀਨ ਖੋਜ ਇੰਜਣ 'ਤੇ ਅਧਾਰਤ ਹੁੰਦਾ ਹੈ।

ਫਲੂਐਂਟ ਡੀ ਇੱਕ ਡੇਟਾ ਕੁਲੈਕਟਰ ਹੈ ਜੋ ਡੇਟਾ ਨੂੰ ਇਕੱਠਾ ਕਰਨ ਅਤੇ ਖਪਤ ਕਰਨ ਵੇਲੇ ਇੱਕਜੁੱਟ ਕਰਦਾ ਹੈ। ਇਹ ਜਿੰਨਾ ਸੰਭਵ ਹੋ ਸਕੇ JSON ਵਿੱਚ ਡੇਟਾ ਨੂੰ ਸੰਗਠਿਤ ਕਰਨ ਦੀ ਕੋਸ਼ਿਸ਼ ਕਰਦਾ ਹੈ। ਇਸ ਦਾ ਆਰਕੀਟੈਕਚਰ ਐਕਸਟੈਂਸੀਬਲ ਹੈ, ਹੋਰ ਵੀ ਹਨ ਸੈਂਕੜੇ ਵੱਖ-ਵੱਖ ਐਕਸਟੈਂਸ਼ਨਾਂ, ਕਮਿਊਨਿਟੀ-ਸਮਰਥਿਤ, ਸਾਰੇ ਮੌਕਿਆਂ ਲਈ।

ਕਿਬਾਨਾ - ਵੱਖ-ਵੱਖ ਵਾਧੂ ਸਮਰੱਥਾਵਾਂ ਦੇ ਨਾਲ Elasticsearch ਲਈ ਇੱਕ ਡੇਟਾ ਵਿਜ਼ੂਅਲਾਈਜ਼ੇਸ਼ਨ ਟੂਲ, ਉਦਾਹਰਨ ਲਈ, ਸਮਾਂ ਲੜੀ ਵਿਸ਼ਲੇਸ਼ਣ, ਗ੍ਰਾਫ ਵਿਸ਼ਲੇਸ਼ਣ, ਮਸ਼ੀਨ ਸਿਖਲਾਈ ਅਤੇ ਹੋਰ ਬਹੁਤ ਕੁਝ।

ਲਚਕਦਾਰ ਖੋਜ ਆਰਕੀਟੈਕਚਰ

Elasticsearch ਕਲੱਸਟਰ ਡੇਟਾ ਇਸ ਦੇ ਸਾਰੇ ਨੋਡਾਂ ਵਿੱਚ ਫੈਲਿਆ ਸਟੋਰ ਕੀਤਾ ਜਾਂਦਾ ਹੈ। ਇੱਕ ਕਲੱਸਟਰ ਵਿੱਚ ਉਪਲਬਧਤਾ ਅਤੇ ਲਚਕਤਾ ਨੂੰ ਬਿਹਤਰ ਬਣਾਉਣ ਲਈ ਕਈ ਨੋਡ ਹੁੰਦੇ ਹਨ। ਕੋਈ ਵੀ ਨੋਡ ਕਲੱਸਟਰ ਦੀਆਂ ਸਾਰੀਆਂ ਭੂਮਿਕਾਵਾਂ ਨੂੰ ਨਿਭਾ ਸਕਦਾ ਹੈ, ਪਰ ਵੱਡੇ ਪੱਧਰ 'ਤੇ ਤਾਇਨਾਤੀ ਵਿੱਚ, ਨੋਡਾਂ ਨੂੰ ਆਮ ਤੌਰ 'ਤੇ ਵਿਅਕਤੀਗਤ ਕੰਮ ਸੌਂਪੇ ਜਾਂਦੇ ਹਨ।

ਕਲੱਸਟਰ ਨੋਡ ਕਿਸਮ:

• ਮਾਸਟਰ ਨੋਡ - ਕਲੱਸਟਰ ਦਾ ਪ੍ਰਬੰਧਨ ਕਰਦਾ ਹੈ, ਘੱਟੋ ਘੱਟ ਤਿੰਨ ਦੀ ਲੋੜ ਹੁੰਦੀ ਹੈ, ਇੱਕ ਹਮੇਸ਼ਾ ਕਿਰਿਆਸ਼ੀਲ ਹੁੰਦਾ ਹੈ;
• ਡਾਟਾ ਨੋਡ - ਇੰਡੈਕਸਡ ਡੇਟਾ ਨੂੰ ਸਟੋਰ ਕਰਦਾ ਹੈ ਅਤੇ ਇਸਦੇ ਨਾਲ ਕਈ ਕੰਮ ਕਰਦਾ ਹੈ;
• ਇੰਜੈਸਟ ਨੋਡ - ਇੰਡੈਕਸਿੰਗ ਤੋਂ ਪਹਿਲਾਂ ਡੇਟਾ ਨੂੰ ਬਦਲਣ ਲਈ ਪਾਈਪਲਾਈਨਾਂ ਦਾ ਪ੍ਰਬੰਧ ਕਰਦਾ ਹੈ;
• ਕੋਆਰਡੀਨੇਟਿੰਗ ਨੋਡ - ਰੂਟਿੰਗ ਬੇਨਤੀਆਂ, ਖੋਜ ਪ੍ਰੋਸੈਸਿੰਗ ਪੜਾਅ ਨੂੰ ਘਟਾਉਣਾ, ਪੁੰਜ ਇੰਡੈਕਸਿੰਗ ਦਾ ਤਾਲਮੇਲ;
• ਅਲਰਟਿੰਗ ਨੋਡ — ਚੇਤਾਵਨੀ ਕਾਰਜ ਸ਼ੁਰੂ ਕਰਨਾ;
• ਮਸ਼ੀਨ ਲਰਨਿੰਗ ਨੋਡ - ਮਸ਼ੀਨ ਲਰਨਿੰਗ ਕਾਰਜਾਂ ਦੀ ਪ੍ਰੋਸੈਸਿੰਗ।

ਹੇਠਾਂ ਦਿੱਤਾ ਚਿੱਤਰ ਦਿਖਾਉਂਦਾ ਹੈ ਕਿ ਕਿਵੇਂ ਡਾਟਾ ਸਟੋਰ ਕੀਤਾ ਜਾਂਦਾ ਹੈ ਅਤੇ ਉੱਚ ਡਾਟਾ ਉਪਲਬਧਤਾ ਪ੍ਰਾਪਤ ਕਰਨ ਲਈ ਨੋਡਾਂ ਵਿੱਚ ਦੁਹਰਾਇਆ ਜਾਂਦਾ ਹੈ।

ਹਰੇਕ ਪ੍ਰਤੀਕ੍ਰਿਤੀ ਦਾ ਡੇਟਾ ਇੱਕ ਉਲਟ ਸੂਚਕਾਂਕ ਵਿੱਚ ਸਟੋਰ ਕੀਤਾ ਜਾਂਦਾ ਹੈ, ਹੇਠਾਂ ਦਿੱਤਾ ਚਿੱਤਰ ਦਿਖਾਉਂਦਾ ਹੈ ਕਿ ਇਹ ਕਿਵੇਂ ਹੁੰਦਾ ਹੈ:

ਸੈਟਿੰਗ

ਵੇਰਵੇ ਦੇਖੇ ਜਾ ਸਕਦੇ ਹਨ ਇੱਥੇ, ਮੈਂ ਹੈਲਮ ਚਾਰਟ ਦੀ ਵਰਤੋਂ ਕਰਾਂਗਾ:

$ helm install efk-stack stable/elastic-stack --set logstash.enabled=false --set fluentd.enabled=true --set fluentd-elastics

PLG ਸਟੈਕ

ਹੈਰਾਨ ਨਾ ਹੋਵੋ ਜੇਕਰ ਤੁਸੀਂ ਇਹ ਸੰਖੇਪ ਸ਼ਬਦ ਨਹੀਂ ਲੱਭ ਸਕਦੇ, ਕਿਉਂਕਿ ਇਹ ਗ੍ਰਾਫਾਨਾ ਲੋਕੀ ਵਜੋਂ ਜਾਣਿਆ ਜਾਂਦਾ ਹੈ। ਕਿਸੇ ਵੀ ਸਥਿਤੀ ਵਿੱਚ, ਇਹ ਸਟੈਕ ਪ੍ਰਸਿੱਧੀ ਪ੍ਰਾਪਤ ਕਰ ਰਿਹਾ ਹੈ ਕਿਉਂਕਿ ਇਹ ਸਾਬਤ ਹੋਏ ਤਕਨੀਕੀ ਹੱਲਾਂ ਦੀ ਵਰਤੋਂ ਕਰਦਾ ਹੈ. ਤੁਸੀਂ ਇੱਕ ਪ੍ਰਸਿੱਧ ਵਿਜ਼ੂਅਲਾਈਜ਼ੇਸ਼ਨ ਟੂਲ, ਗ੍ਰਾਫਾਨਾ ਬਾਰੇ ਪਹਿਲਾਂ ਹੀ ਸੁਣਿਆ ਹੋਵੇਗਾ। ਇਸ ਦੇ ਸਿਰਜਣਹਾਰਾਂ ਨੇ, ਪ੍ਰੋਮੀਥੀਅਸ ਤੋਂ ਪ੍ਰੇਰਿਤ, ਲੋਕੀ, ਇੱਕ ਖਿਤਿਜੀ ਮਾਪਯੋਗ, ਉੱਚ-ਪ੍ਰਦਰਸ਼ਨ ਵਾਲੇ ਲੌਗ ਐਗਰੀਗੇਸ਼ਨ ਸਿਸਟਮ ਨੂੰ ਵਿਕਸਤ ਕੀਤਾ। ਲੋਕੀ ਸਿਰਫ ਮੈਟਾਡੇਟਾ ਨੂੰ ਸੂਚਕਾਂਕ ਬਣਾਉਂਦਾ ਹੈ, ਨਾ ਕਿ ਰਸਾਲਿਆਂ ਨੂੰ, ਇੱਕ ਤਕਨੀਕੀ ਹੱਲ ਜੋ ਇਸਨੂੰ ਵਰਤਣ ਵਿੱਚ ਆਸਾਨ ਅਤੇ ਲਾਗਤ-ਪ੍ਰਭਾਵਸ਼ਾਲੀ ਹੋਣ ਦਿੰਦਾ ਹੈ।

ਪ੍ਰੋਮਟੇਲ - ਓਪਰੇਟਿੰਗ ਸਿਸਟਮ ਤੋਂ ਲੋਕੀ ਕਲੱਸਟਰ ਨੂੰ ਲੌਗ ਭੇਜਣ ਲਈ ਇੱਕ ਏਜੰਟ। ਗ੍ਰਾਫਨਾ ਲੋਕੀ ਦੇ ਡੇਟਾ 'ਤੇ ਅਧਾਰਤ ਇੱਕ ਵਿਜ਼ੂਅਲਾਈਜ਼ੇਸ਼ਨ ਟੂਲ ਹੈ।

ਲੋਕੀ ਨੂੰ ਪ੍ਰੋਮੀਥੀਅਸ ਦੇ ਸਮਾਨ ਸਿਧਾਂਤਾਂ 'ਤੇ ਬਣਾਇਆ ਗਿਆ ਹੈ, ਇਸ ਨੂੰ ਕੁਬਰਨੇਟਸ ਲੌਗਸ ਨੂੰ ਸਟੋਰ ਕਰਨ ਅਤੇ ਵਿਸ਼ਲੇਸ਼ਣ ਕਰਨ ਲਈ ਚੰਗੀ ਤਰ੍ਹਾਂ ਅਨੁਕੂਲ ਬਣਾਉਂਦਾ ਹੈ।

ਲੋਕੀ ਆਰਕੀਟੈਕਚਰ

ਲੋਕੀ ਨੂੰ ਜਾਂ ਤਾਂ ਇੱਕ ਸਿੰਗਲ ਪ੍ਰਕਿਰਿਆ ਦੇ ਰੂਪ ਵਿੱਚ ਜਾਂ ਕਈ ਪ੍ਰਕਿਰਿਆਵਾਂ ਦੇ ਰੂਪ ਵਿੱਚ ਚਲਾਇਆ ਜਾ ਸਕਦਾ ਹੈ, ਹਰੀਜੱਟਲ ਸਕੇਲਿੰਗ ਦੀ ਆਗਿਆ ਦਿੰਦੇ ਹੋਏ।

ਇਹ ਜਾਂ ਤਾਂ ਮੋਨੋਲੀਥਿਕ ਐਪਲੀਕੇਸ਼ਨ ਜਾਂ ਮਾਈਕ੍ਰੋਸਰਵਿਸ ਦੇ ਤੌਰ 'ਤੇ ਕੰਮ ਕਰ ਸਕਦਾ ਹੈ। ਇੱਕ ਸਿੰਗਲ ਪ੍ਰਕਿਰਿਆ ਦੇ ਤੌਰ 'ਤੇ ਚੱਲਣਾ ਸਥਾਨਕ ਵਿਕਾਸ ਜਾਂ ਮਾਮੂਲੀ ਨਿਗਰਾਨੀ ਲਈ ਲਾਭਦਾਇਕ ਹੋ ਸਕਦਾ ਹੈ। ਉਦਯੋਗਿਕ ਲਾਗੂਕਰਨ ਅਤੇ ਸਕੇਲੇਬਲ ਵਰਕਲੋਡ ਲਈ, ਮਾਈਕ੍ਰੋਸਰਵਿਸ ਵਿਕਲਪ ਦੀ ਵਰਤੋਂ ਕਰਨ ਦੀ ਸਿਫਾਰਸ਼ ਕੀਤੀ ਜਾਂਦੀ ਹੈ। ਡਾਟਾ ਲਿਖਣ ਅਤੇ ਪੜ੍ਹਨ ਲਈ ਮਾਰਗ ਵੱਖ ਕੀਤੇ ਗਏ ਹਨ, ਇਸਲਈ ਇਸਨੂੰ ਲੋੜ ਅਨੁਸਾਰ ਬਾਰੀਕ ਟਿਊਨ ਅਤੇ ਸਕੇਲ ਕੀਤਾ ਜਾ ਸਕਦਾ ਹੈ।

ਆਉ ਵਿਸਥਾਰ ਵਿੱਚ ਜਾਣ ਤੋਂ ਬਿਨਾਂ ਲੌਗ ਕਲੈਕਸ਼ਨ ਸਿਸਟਮ ਦੇ ਆਰਕੀਟੈਕਚਰ ਨੂੰ ਵੇਖੀਏ:

ਅਤੇ ਇੱਥੇ ਵਰਣਨ ਹੈ (ਮਾਈਕ੍ਰੋਸਰਵਿਸ ਆਰਕੀਟੈਕਚਰ):

ਕੰਪੋਨੈਂਟਸ:

ਪ੍ਰੋਮਟੇਲ — ਨੋਡਸ (ਸੇਵਾਵਾਂ ਦੇ ਇੱਕ ਸਮੂਹ ਦੇ ਤੌਰ ਤੇ) ਉੱਤੇ ਇੱਕ ਏਜੰਟ ਸਥਾਪਿਤ ਕੀਤਾ ਗਿਆ ਹੈ, ਇਹ ਕਾਰਜਾਂ ਤੋਂ ਲੌਗਸ ਨੂੰ ਹਟਾ ਦਿੰਦਾ ਹੈ ਅਤੇ ਮੈਟਾਡੇਟਾ ਪ੍ਰਾਪਤ ਕਰਨ ਲਈ ਕੁਬਰਨੇਟਸ API ਤੱਕ ਪਹੁੰਚ ਕਰਦਾ ਹੈ ਜੋ ਲੌਗਸ ਨੂੰ ਟੈਗ ਕਰੇਗਾ। ਇਹ ਫਿਰ ਲੌਗ ਨੂੰ ਮੁੱਖ ਲੋਕੀ ਸੇਵਾ ਨੂੰ ਭੇਜਦਾ ਹੈ। ਮੈਟਾਡੇਟਾ ਮੈਪਿੰਗ ਪ੍ਰੋਮੀਥੀਅਸ ਵਾਂਗ ਹੀ ਟੈਗਿੰਗ ਨਿਯਮਾਂ ਦਾ ਸਮਰਥਨ ਕਰਦੀ ਹੈ।

ਵਿਤਰਕ - ਇੱਕ ਸੇਵਾ ਵਿਤਰਕ ਜੋ ਬਫਰ ਵਜੋਂ ਕੰਮ ਕਰਦਾ ਹੈ। ਲੱਖਾਂ ਰਿਕਾਰਡਾਂ ਦੀ ਪ੍ਰਕਿਰਿਆ ਕਰਨ ਲਈ, ਇਹ ਆਉਣ ਵਾਲੇ ਡੇਟਾ ਨੂੰ ਪੈਕ ਕਰਦਾ ਹੈ, ਇਸ ਨੂੰ ਆਉਂਦੇ ਹੀ ਬਲਾਕਾਂ ਵਿੱਚ ਸੰਕੁਚਿਤ ਕਰਦਾ ਹੈ। ਕਈ ਡਾਟਾ ਸਿੰਕ ਇੱਕੋ ਸਮੇਂ ਚੱਲ ਰਹੇ ਹਨ, ਪਰ ਇੱਕ ਇਨਕਮਿੰਗ ਡੇਟਾ ਸਟ੍ਰੀਮ ਨਾਲ ਸਬੰਧਤ ਲੌਗ ਉਹਨਾਂ ਵਿੱਚੋਂ ਇੱਕ ਵਿੱਚ ਇਸਦੇ ਸਾਰੇ ਬਲਾਕਾਂ ਲਈ ਦਿਖਾਈ ਦੇਣੇ ਚਾਹੀਦੇ ਹਨ। ਇਹ ਸਿੰਕ ਅਤੇ ਕ੍ਰਮਵਾਰ ਹੈਸ਼ਿੰਗ ਦੀ ਇੱਕ ਰਿੰਗ ਵਿੱਚ ਸੰਗਠਿਤ ਹੈ। ਨੁਕਸ ਸਹਿਣਸ਼ੀਲਤਾ ਅਤੇ ਰਿਡੰਡੈਂਸੀ ਲਈ, ਇਹ n ਵਾਰ ਕੀਤਾ ਜਾਂਦਾ ਹੈ (3 ਜੇਕਰ ਕੌਂਫਿਗਰ ਨਹੀਂ ਕੀਤਾ ਗਿਆ ਹੈ)।

ਇੰਜੈਸਟਰ - ਸੇਵਾ ਪ੍ਰਾਪਤਕਰਤਾ। ਡੇਟਾ ਬਲੌਕਸ ਜੋੜੇ ਗਏ ਲੌਗਾਂ ਦੇ ਨਾਲ ਸੰਕੁਚਿਤ ਹੁੰਦੇ ਹਨ। ਇੱਕ ਵਾਰ ਜਦੋਂ ਬਲਾਕ ਕਾਫ਼ੀ ਆਕਾਰ ਦਾ ਹੋ ਜਾਂਦਾ ਹੈ, ਤਾਂ ਬਲਾਕ ਨੂੰ ਡੇਟਾਬੇਸ ਵਿੱਚ ਫਲੱਸ਼ ਕੀਤਾ ਜਾਂਦਾ ਹੈ। ਮੈਟਾਡੇਟਾ ਸੂਚਕਾਂਕ ਵਿੱਚ ਜਾਂਦਾ ਹੈ, ਅਤੇ ਲੌਗ ਬਲਾਕ ਤੋਂ ਡੇਟਾ ਚੰਕਸ (ਆਮ ਤੌਰ 'ਤੇ ਆਬਜੈਕਟ ਸਟੋਰੇਜ) ਵਿੱਚ ਜਾਂਦਾ ਹੈ। ਰੀਸੈਟ ਕਰਨ ਤੋਂ ਬਾਅਦ, ਪ੍ਰਾਪਤਕਰਤਾ ਇੱਕ ਨਵਾਂ ਬਲਾਕ ਬਣਾਉਂਦਾ ਹੈ ਜਿੱਥੇ ਨਵੀਆਂ ਐਂਟਰੀਆਂ ਸ਼ਾਮਲ ਕੀਤੀਆਂ ਜਾਣਗੀਆਂ।

ਇੰਡੈਕਸ - ਡੇਟਾਬੇਸ, ਡਾਇਨਾਮੋਡੀਬੀ, ਕੈਸੈਂਡਰਾ, ਗੂਗਲ ਬਿਗਟੇਬਲ, ਆਦਿ।

ਭਾਗਾਂ — ਸੰਕੁਚਿਤ ਰੂਪ ਵਿੱਚ ਲਾਗ ਬਲਾਕ, ਆਮ ਤੌਰ 'ਤੇ ਆਬਜੈਕਟ ਸਟੋਰੇਜ਼ ਵਿੱਚ ਸਟੋਰ ਕੀਤੇ ਜਾਂਦੇ ਹਨ, ਉਦਾਹਰਨ ਲਈ, S3।

ਪੁੱਛਗਿੱਛ - ਪੜ੍ਹਨ ਦਾ ਮਾਰਗ ਜੋ ਸਾਰੇ ਗੰਦੇ ਕੰਮ ਕਰਦਾ ਹੈ। ਇਹ ਸਮਾਂ ਸੀਮਾ ਅਤੇ ਟਾਈਮਸਟੈਂਪ ਨੂੰ ਵੇਖਦਾ ਹੈ, ਅਤੇ ਫਿਰ ਮੇਲ ਲੱਭਣ ਲਈ ਸੂਚਕਾਂਕ ਨੂੰ ਵੇਖਦਾ ਹੈ। ਅੱਗੇ, ਇਹ ਡੇਟਾ ਦੇ ਬਲਾਕਾਂ ਨੂੰ ਪੜ੍ਹਦਾ ਹੈ ਅਤੇ ਨਤੀਜਾ ਪ੍ਰਾਪਤ ਕਰਨ ਲਈ ਉਹਨਾਂ ਨੂੰ ਫਿਲਟਰ ਕਰਦਾ ਹੈ।

ਆਓ ਹੁਣ ਹਰ ਚੀਜ਼ ਨੂੰ ਕਾਰਵਾਈ ਵਿੱਚ ਵੇਖੀਏ.

ਸੈਟਿੰਗ

ਕੁਬਰਨੇਟਸ ਵਿੱਚ ਸਥਾਪਤ ਕਰਨ ਦਾ ਸਭ ਤੋਂ ਆਸਾਨ ਤਰੀਕਾ ਹੈਲਮ ਦੀ ਵਰਤੋਂ ਕਰਨਾ ਹੈ। ਅਸੀਂ ਇਹ ਮੰਨਦੇ ਹਾਂ ਕਿ ਤੁਸੀਂ ਇਸਨੂੰ ਪਹਿਲਾਂ ਹੀ ਸਥਾਪਿਤ ਅਤੇ ਸੰਰਚਿਤ ਕੀਤਾ ਹੈ (ਅਤੇ ਤੀਜਾ ਸੰਸਕਰਣ! ਲਗਭਗ ਅਨੁਵਾਦਕ)

ਇੱਕ ਰਿਪੋਜ਼ਟਰੀ ਜੋੜੋ ਅਤੇ ਇੱਕ ਸਟੈਕ ਸਥਾਪਿਤ ਕਰੋ।

$ helm repo add loki https://grafana.github.io/loki/charts
$ helm repo update
$ helm upgrade --install loki loki/loki-stack --set grafana.enabled=true,prometheus.enabled=true,prometheus.alertmanager.persistentVolume.enabled=false,prometheus.server.persistentVolume.enabled=false

ਹੇਠਾਂ Etcd ਮੈਟ੍ਰਿਕਸ ਲਈ ਪ੍ਰੋਮੀਥੀਅਸ ਅਤੇ Etcd ਪੌਡ ਲੌਗਸ ਲਈ ਲੋਕੀ ਤੋਂ ਡੇਟਾ ਦਿਖਾ ਰਿਹਾ ਇੱਕ ਉਦਾਹਰਨ ਡੈਸ਼ਬੋਰਡ ਹੈ।

ਆਉ ਹੁਣ ਦੋਵਾਂ ਪ੍ਰਣਾਲੀਆਂ ਦੇ ਢਾਂਚੇ ਬਾਰੇ ਚਰਚਾ ਕਰੀਏ, ਅਤੇ ਉਹਨਾਂ ਦੀਆਂ ਸਮਰੱਥਾਵਾਂ ਦੀ ਇੱਕ ਦੂਜੇ ਨਾਲ ਤੁਲਨਾ ਵੀ ਕਰੀਏ।

ਤੁਲਨਾ

ਸਵਾਲ ਦੀ ਭਾਸ਼ਾ

Elasticsearch ਫੁਲ-ਟੈਕਸਟ ਖੋਜ ਸਮਰੱਥਾਵਾਂ ਪ੍ਰਦਾਨ ਕਰਨ ਲਈ ਕਿਊਰੀ ਡੀਐਸਐਲ ਅਤੇ ਲੂਸੀਨ ਪੁੱਛਗਿੱਛ ਭਾਸ਼ਾ ਦੀ ਵਰਤੋਂ ਕਰਦਾ ਹੈ। ਇਹ ਵਿਆਪਕ ਆਪਰੇਟਰ ਸਮਰਥਨ ਦੇ ਨਾਲ ਇੱਕ ਸਥਾਪਿਤ, ਸ਼ਕਤੀਸ਼ਾਲੀ ਖੋਜ ਇੰਜਣ ਹੈ। ਇਸਦੇ ਨਾਲ, ਤੁਸੀਂ ਸੰਦਰਭ ਦੁਆਰਾ ਖੋਜ ਕਰ ਸਕਦੇ ਹੋ ਅਤੇ ਪ੍ਰਸੰਗਿਕਤਾ ਦੁਆਰਾ ਕ੍ਰਮਬੱਧ ਕਰ ਸਕਦੇ ਹੋ।

ਰਿੰਗ ਦੇ ਦੂਜੇ ਪਾਸੇ LogQL ਹੈ, Loki ਵਿੱਚ ਵਰਤਿਆ ਜਾਂਦਾ ਹੈ, PromQL (ਪ੍ਰੋਮੀਥੀਅਸ ਪੁੱਛਗਿੱਛ ਭਾਸ਼ਾ) ਦਾ ਉੱਤਰਾਧਿਕਾਰੀ। ਇਹ ਲੌਗ ਡੇਟਾ ਨੂੰ ਫਿਲਟਰ ਕਰਨ ਅਤੇ ਚੁਣਨ ਲਈ ਲੌਗ ਟੈਗਸ ਦੀ ਵਰਤੋਂ ਕਰਦਾ ਹੈ। ਵਰਣਨ ਕੀਤੇ ਅਨੁਸਾਰ ਕੁਝ ਓਪਰੇਟਰਾਂ ਅਤੇ ਗਣਿਤ ਦੀ ਵਰਤੋਂ ਕਰਨਾ ਸੰਭਵ ਹੈ ਇੱਥੇ, ਪਰ ਸਮਰੱਥਾ ਦੇ ਮਾਮਲੇ ਵਿੱਚ ਇਹ ਲਚਕੀਲੇ ਭਾਸ਼ਾ ਤੋਂ ਪਿੱਛੇ ਹੈ।

ਕਿਉਂਕਿ ਲੋਕੀ ਵਿੱਚ ਪੁੱਛਗਿੱਛਾਂ ਟੈਗਸ ਨਾਲ ਜੁੜੀਆਂ ਹੁੰਦੀਆਂ ਹਨ, ਉਹਨਾਂ ਨੂੰ ਮੈਟ੍ਰਿਕਸ ਨਾਲ ਜੋੜਨਾ ਆਸਾਨ ਹੁੰਦਾ ਹੈ, ਅਤੇ ਨਤੀਜੇ ਵਜੋਂ, ਉਹਨਾਂ ਨਾਲ ਸੰਚਾਲਨ ਨਿਗਰਾਨੀ ਨੂੰ ਸੰਗਠਿਤ ਕਰਨਾ ਆਸਾਨ ਹੁੰਦਾ ਹੈ।

ਸਕੇਲੇਬਿਲਟੀ

ਦੋਵੇਂ ਸਟੈਕ ਖਿਤਿਜੀ ਤੌਰ 'ਤੇ ਸਕੇਲੇਬਲ ਹਨ, ਪਰ ਲੋਕੀ ਇਸ ਨੂੰ ਆਸਾਨ ਬਣਾਉਂਦਾ ਹੈ ਕਿਉਂਕਿ ਇਸ ਵਿੱਚ ਵੱਖਰੇ ਪੜ੍ਹਨ ਅਤੇ ਲਿਖਣ ਦੇ ਮਾਰਗ ਅਤੇ ਇੱਕ ਮਾਈਕ੍ਰੋਸਰਵਿਸ ਆਰਕੀਟੈਕਚਰ ਹੈ। ਲੋਕੀ ਨੂੰ ਤੁਹਾਡੀਆਂ ਲੋੜਾਂ ਮੁਤਾਬਕ ਅਨੁਕੂਲਿਤ ਕੀਤਾ ਜਾ ਸਕਦਾ ਹੈ ਅਤੇ ਲੌਗ ਡੇਟਾ ਦੀ ਬਹੁਤ ਵੱਡੀ ਮਾਤਰਾ ਲਈ ਵਰਤਿਆ ਜਾ ਸਕਦਾ ਹੈ।

ਮਲਟੀਟੇਨੈਂਸੀ

ਕਲੱਸਟਰ ਮਲਟੀਟੇਨੈਂਸੀ OPEX ਸੰਖੇਪ ਵਿੱਚ ਇੱਕ ਆਮ ਥੀਮ ਹੈ, ਦੋਵੇਂ ਸਟੈਕ ਮਲਟੀਟੇਨੈਂਸੀ ਪ੍ਰਦਾਨ ਕਰਦੇ ਹਨ। Elasticsearch ਲਈ ਕਈ ਹਨ ਤਰੀਕੇ ਕਲਾਇੰਟ ਵੱਖਰਾ: ਹਰੇਕ ਕਲਾਇੰਟ ਲਈ ਵੱਖਰਾ ਸੂਚਕਾਂਕ, ਕਲਾਇੰਟ-ਅਧਾਰਿਤ ਰੂਟਿੰਗ, ਵਿਲੱਖਣ ਕਲਾਇੰਟ ਖੇਤਰ, ਖੋਜ ਫਿਲਟਰ। ਲੋਕੀ ਨੇ ਸਹਿਯੋਗ ਇੱਕ HTTP X-Scope-OrgID ਸਿਰਲੇਖ ਦੇ ਰੂਪ ਵਿੱਚ।

ਦੀ ਲਾਗਤ

ਲੋਕੀ ਇਸ ਤੱਥ ਦੇ ਕਾਰਨ ਕਾਫ਼ੀ ਲਾਗਤ ਪ੍ਰਭਾਵਸ਼ਾਲੀ ਹੈ ਕਿ ਇਹ ਡੇਟਾ ਨੂੰ ਸੂਚੀਬੱਧ ਨਹੀਂ ਕਰਦਾ, ਸਿਰਫ ਮੈਟਾਡੇਟਾ. ਇਹ ਪ੍ਰਾਪਤ ਕਰਦਾ ਹੈ ਸਟੋਰੇਜ਼ 'ਤੇ ਬੱਚਤ ਅਤੇ ਮੈਮੋਰੀ (ਕੈਸ਼), ਕਿਉਂਕਿ ਆਬਜੈਕਟ ਸਟੋਰੇਜ ਬਲਾਕ ਸਟੋਰੇਜ ਨਾਲੋਂ ਸਸਤਾ ਹੈ, ਜੋ ਕਿ ਇਲਾਸਟਿਕ ਖੋਜ ਕਲੱਸਟਰਾਂ ਵਿੱਚ ਵਰਤੀ ਜਾਂਦੀ ਹੈ।

ਸਿੱਟਾ

EFK ਸਟੈਕ ਨੂੰ ਵਿਭਿੰਨ ਉਦੇਸ਼ਾਂ ਲਈ ਵਰਤਿਆ ਜਾ ਸਕਦਾ ਹੈ, ਵਿਸ਼ਲੇਸ਼ਣ, ਵਿਜ਼ੂਅਲਾਈਜ਼ੇਸ਼ਨ, ਅਤੇ ਸਵਾਲਾਂ ਲਈ ਵੱਧ ਤੋਂ ਵੱਧ ਲਚਕਤਾ ਅਤੇ ਵਿਸ਼ੇਸ਼ਤਾ-ਅਮੀਰ ਕਿਬਾਨਾ ਇੰਟਰਫੇਸ ਪ੍ਰਦਾਨ ਕਰਦਾ ਹੈ। ਇਸ ਨੂੰ ਮਸ਼ੀਨ ਲਰਨਿੰਗ ਸਮਰੱਥਾਵਾਂ ਦੁਆਰਾ ਹੋਰ ਵਧਾਇਆ ਜਾ ਸਕਦਾ ਹੈ।

ਲੋਕੀ ਸਟੈਕ ਕੁਬਰਨੇਟਸ ਈਕੋਸਿਸਟਮ ਵਿੱਚ ਇਸਦੇ ਮੈਟਾਡੇਟਾ ਖੋਜ ਵਿਧੀ ਦੇ ਕਾਰਨ ਉਪਯੋਗੀ ਹੈ। ਤੁਸੀਂ ਗ੍ਰਾਫਾਨਾ ਅਤੇ ਲੌਗਸ ਵਿੱਚ ਸਮਾਂ ਲੜੀ ਦੇ ਅਧਾਰ ਤੇ ਨਿਗਰਾਨੀ ਲਈ ਡੇਟਾ ਨੂੰ ਆਸਾਨੀ ਨਾਲ ਜੋੜ ਸਕਦੇ ਹੋ।

ਜਦੋਂ ਲਾਗਤ ਅਤੇ ਲੰਬੇ ਸਮੇਂ ਦੇ ਲੌਗ ਸਟੋਰੇਜ ਦੀ ਗੱਲ ਆਉਂਦੀ ਹੈ, ਤਾਂ ਲੋਕੀ ਕਲਾਉਡ ਹੱਲਾਂ ਵਿੱਚ ਇੱਕ ਸ਼ਾਨਦਾਰ ਪ੍ਰਵੇਸ਼ ਬਿੰਦੂ ਹੈ।

ਮਾਰਕੀਟ ਵਿੱਚ ਹੋਰ ਵਿਕਲਪ ਹਨ - ਕੁਝ ਤੁਹਾਡੇ ਲਈ ਬਿਹਤਰ ਹੋ ਸਕਦੇ ਹਨ। ਉਦਾਹਰਨ ਲਈ, GKE ਵਿੱਚ ਇੱਕ ਸਟੈਕਡ੍ਰਾਈਵਰ ਏਕੀਕਰਣ ਹੈ ਜੋ ਇੱਕ ਸ਼ਾਨਦਾਰ ਨਿਗਰਾਨੀ ਹੱਲ ਪ੍ਰਦਾਨ ਕਰਦਾ ਹੈ। ਅਸੀਂ ਉਹਨਾਂ ਨੂੰ ਇਸ ਲੇਖ ਵਿੱਚ ਸਾਡੇ ਵਿਸ਼ਲੇਸ਼ਣ ਵਿੱਚ ਸ਼ਾਮਲ ਨਹੀਂ ਕੀਤਾ.

ਲਿੰਕ:

• https://github.com/grafana/loki/blob/master/docs/overview/comparisons.md
• https://www.elastic.co/blog/found-elasticsearch-from-the-bottom-up
• https://www.elastic.co/blog/found-elasticsearch-in-production/

ਲੇਖ ਦਾ ਅਨੁਵਾਦ ਅਤੇ ਕਰਮਚਾਰੀਆਂ ਦੁਆਰਾ ਹੈਬਰ ਲਈ ਤਿਆਰ ਕੀਤਾ ਗਿਆ ਸੀ ਝੁੱਗੀ ਸਿਖਲਾਈ ਕੇਂਦਰ — ਅਭਿਆਸ ਕਰਨ ਵਾਲੇ ਮਾਹਰਾਂ (ਕੁਬਰਨੇਟਸ, ਦੇਵਓਪਸ, ਡੌਕਰ, ਜਵਾਬਦੇਹ, Ceph, SRE, Agile) ਤੋਂ ਤੀਬਰ ਕੋਰਸ, ਵੀਡੀਓ ਕੋਰਸ ਅਤੇ ਕਾਰਪੋਰੇਟ ਸਿਖਲਾਈ

ਸਰੋਤ: www.habr.com