ਕੁਬਰਨੇਟਸ ਕਲੱਸਟਰ ਸਰੋਤਾਂ ਦੀ ਨਿਗਰਾਨੀ ਕਰਨਾ

ਮੈਂ ਕੁਬੇ ਈਗਲ ਬਣਾਇਆ - ਇੱਕ ਪ੍ਰੋਮੀਥੀਅਸ ਨਿਰਯਾਤਕ। ਇਹ ਇੱਕ ਵਧੀਆ ਚੀਜ਼ ਬਣ ਗਈ ਜੋ ਛੋਟੇ ਅਤੇ ਮੱਧਮ ਆਕਾਰ ਦੇ ਕਲੱਸਟਰਾਂ ਦੇ ਸਰੋਤਾਂ ਨੂੰ ਬਿਹਤਰ ਤਰੀਕੇ ਨਾਲ ਸਮਝਣ ਵਿੱਚ ਮਦਦ ਕਰਦੀ ਹੈ। ਅੰਤ ਵਿੱਚ, ਮੈਂ ਸੈਂਕੜੇ ਡਾਲਰ ਬਚਾਏ ਕਿਉਂਕਿ ਮੈਂ ਸਹੀ ਮਸ਼ੀਨ ਕਿਸਮਾਂ ਦੀ ਚੋਣ ਕੀਤੀ ਅਤੇ ਵਰਕਲੋਡ ਲਈ ਐਪਲੀਕੇਸ਼ਨ ਸਰੋਤ ਸੀਮਾਵਾਂ ਨੂੰ ਕੌਂਫਿਗਰ ਕੀਤਾ।

ਮੈਂ ਤੁਹਾਨੂੰ ਫਾਇਦਿਆਂ ਬਾਰੇ ਦੱਸਾਂਗਾ ਕੁਬੇ ਈਗਲ, ਪਰ ਪਹਿਲਾਂ ਮੈਂ ਦੱਸਾਂਗਾ ਕਿ ਗੜਬੜ ਦਾ ਕਾਰਨ ਕੀ ਹੈ ਅਤੇ ਉੱਚ-ਗੁਣਵੱਤਾ ਨਿਗਰਾਨੀ ਦੀ ਲੋੜ ਕਿਉਂ ਸੀ।

ਮੈਂ 4-50 ਨੋਡਾਂ ਦੇ ਕਈ ਕਲੱਸਟਰਾਂ ਦਾ ਪ੍ਰਬੰਧਨ ਕੀਤਾ। ਹਰੇਕ ਕਲੱਸਟਰ ਵਿੱਚ 200 ਤੱਕ ਮਾਈਕ੍ਰੋ ਸਰਵਿਸਿਜ਼ ਅਤੇ ਐਪਲੀਕੇਸ਼ਨ ਸ਼ਾਮਲ ਹੁੰਦੇ ਹਨ। ਮੌਜੂਦਾ ਹਾਰਡਵੇਅਰ ਦੀ ਬਿਹਤਰ ਵਰਤੋਂ ਕਰਨ ਲਈ, ਜ਼ਿਆਦਾਤਰ ਤੈਨਾਤੀਆਂ ਨੂੰ ਬਰਸਟਬਲ RAM ਅਤੇ CPU ਸਰੋਤਾਂ ਨਾਲ ਸੰਰਚਿਤ ਕੀਤਾ ਗਿਆ ਸੀ। ਇਸ ਤਰ੍ਹਾਂ, ਜੇ ਲੋੜ ਹੋਵੇ ਤਾਂ ਪੌਡ ਉਪਲਬਧ ਸਰੋਤ ਲੈ ਸਕਦੇ ਹਨ, ਅਤੇ ਉਸੇ ਸਮੇਂ ਇਸ ਨੋਡ 'ਤੇ ਹੋਰ ਐਪਲੀਕੇਸ਼ਨਾਂ ਵਿੱਚ ਦਖਲ ਨਹੀਂ ਦਿੰਦੇ ਹਨ। ਖੈਰ, ਕੀ ਇਹ ਬਹੁਤ ਵਧੀਆ ਨਹੀਂ ਹੈ?

ਅਤੇ ਹਾਲਾਂਕਿ ਕਲੱਸਟਰ ਨੇ ਮੁਕਾਬਲਤਨ ਘੱਟ CPU (8%) ਅਤੇ RAM (40%) ਦੀ ਖਪਤ ਕੀਤੀ ਹੈ, ਸਾਨੂੰ ਪੌਡਾਂ ਨੂੰ ਪਹਿਲਾਂ ਤੋਂ ਛੁਟਕਾਰਾ ਪਾਉਣ ਵਿੱਚ ਲਗਾਤਾਰ ਸਮੱਸਿਆਵਾਂ ਸਨ ਜਦੋਂ ਉਹਨਾਂ ਨੇ ਨੋਡ 'ਤੇ ਉਪਲਬਧ ਸੀ ਨਾਲੋਂ ਜ਼ਿਆਦਾ ਮੈਮੋਰੀ ਨਿਰਧਾਰਤ ਕਰਨ ਦੀ ਕੋਸ਼ਿਸ਼ ਕੀਤੀ ਸੀ। ਉਸ ਸਮੇਂ ਸਾਡੇ ਕੋਲ ਕੁਬਰਨੇਟਸ ਸਰੋਤਾਂ ਦੀ ਨਿਗਰਾਨੀ ਲਈ ਸਿਰਫ ਇੱਕ ਡੈਸ਼ਬੋਰਡ ਸੀ। ਇਸ ਤਰ੍ਹਾਂ:

ਸਿਰਫ਼ cAdvisor ਮੈਟ੍ਰਿਕਸ ਵਾਲਾ Grafana ਡੈਸ਼ਬੋਰਡ

ਅਜਿਹੇ ਪੈਨਲ ਦੇ ਨਾਲ, ਨੋਡਸ ਨੂੰ ਦੇਖਣਾ ਕੋਈ ਸਮੱਸਿਆ ਨਹੀਂ ਹੈ ਜੋ ਬਹੁਤ ਸਾਰੀ ਮੈਮੋਰੀ ਅਤੇ CPU ਖਾਂਦੇ ਹਨ. ਸਮੱਸਿਆ ਇਹ ਪਤਾ ਲਗਾਉਣ ਦੀ ਹੈ ਕਿ ਕਾਰਨ ਕੀ ਹੈ। ਪੌਡਾਂ ਨੂੰ ਥਾਂ 'ਤੇ ਰੱਖਣ ਲਈ, ਕੋਈ ਵੀ ਬੇਸ਼ਕ ਸਾਰੀਆਂ ਪੌਡਾਂ 'ਤੇ ਗਾਰੰਟੀਸ਼ੁਦਾ ਸਰੋਤ ਸਥਾਪਤ ਕਰ ਸਕਦਾ ਹੈ (ਸੀਮਾ ਦੇ ਬਰਾਬਰ ਸਰੋਤਾਂ ਦੀ ਬੇਨਤੀ)। ਪਰ ਇਹ ਹਾਰਡਵੇਅਰ ਦੀ ਸਭ ਤੋਂ ਚੁਸਤ ਵਰਤੋਂ ਨਹੀਂ ਹੈ। ਕਲੱਸਟਰ ਵਿੱਚ ਕਈ ਸੌ ਗੀਗਾਬਾਈਟ ਮੈਮੋਰੀ ਸੀ, ਜਦੋਂ ਕਿ ਕੁਝ ਨੋਡ ਭੁੱਖੇ ਮਰ ਰਹੇ ਸਨ, ਜਦੋਂ ਕਿ ਬਾਕੀਆਂ ਕੋਲ 4-10 GB ਰਿਜ਼ਰਵ ਬਚੇ ਸਨ।

ਇਹ ਪਤਾ ਚਲਦਾ ਹੈ ਕਿ ਕੁਬਰਨੇਟਸ ਸ਼ਡਿਊਲਰ ਨੇ ਉਪਲਬਧ ਸਰੋਤਾਂ ਵਿੱਚ ਅਸਮਾਨਤਾ ਨਾਲ ਵਰਕਲੋਡ ਵੰਡਿਆ ਹੈ। ਕੁਬਰਨੇਟਸ ਸ਼ਡਿਊਲਰ ਵੱਖ-ਵੱਖ ਸੰਰਚਨਾਵਾਂ ਨੂੰ ਧਿਆਨ ਵਿੱਚ ਰੱਖਦਾ ਹੈ: ਸਬੰਧ, ਦਾਗ ਅਤੇ ਸਹਿਣਸ਼ੀਲਤਾ ਨਿਯਮ, ਨੋਡ ਚੋਣਕਾਰ ਜੋ ਉਪਲਬਧ ਨੋਡਾਂ ਨੂੰ ਸੀਮਿਤ ਕਰ ਸਕਦੇ ਹਨ। ਪਰ ਮੇਰੇ ਕੇਸ ਵਿੱਚ ਅਜਿਹਾ ਕੁਝ ਵੀ ਨਹੀਂ ਸੀ, ਅਤੇ ਹਰੇਕ ਨੋਡ 'ਤੇ ਬੇਨਤੀ ਕੀਤੇ ਸਰੋਤਾਂ ਦੇ ਅਧਾਰ ਤੇ ਪੌਡਾਂ ਦੀ ਯੋਜਨਾ ਬਣਾਈ ਗਈ ਸੀ.

ਨੋਡ ਜਿਸ ਕੋਲ ਸਭ ਤੋਂ ਵੱਧ ਮੁਫਤ ਸਰੋਤ ਹਨ ਅਤੇ ਜੋ ਬੇਨਤੀ ਦੀਆਂ ਸ਼ਰਤਾਂ ਨੂੰ ਸੰਤੁਸ਼ਟ ਕਰਦਾ ਹੈ, ਪੌਡ ਲਈ ਚੁਣਿਆ ਗਿਆ ਸੀ। ਅਸੀਂ ਪਾਇਆ ਕਿ ਨੋਡਾਂ 'ਤੇ ਬੇਨਤੀ ਕੀਤੇ ਸਰੋਤ ਅਸਲ ਵਰਤੋਂ ਨਾਲ ਮੇਲ ਨਹੀਂ ਖਾਂਦੇ, ਅਤੇ ਇਹ ਉਹ ਥਾਂ ਹੈ ਜਿੱਥੇ ਕਿਊਬੇ ਈਗਲ ਅਤੇ ਇਸ ਦੀਆਂ ਸਰੋਤ ਨਿਗਰਾਨੀ ਸਮਰੱਥਾਵਾਂ ਬਚਾਅ ਲਈ ਆਈਆਂ।

ਮੇਰੇ ਕੋਲ ਲਗਭਗ ਸਾਰੇ ਕੁਬਰਨੇਟਸ ਕਲੱਸਟਰਾਂ ਦੀ ਨਿਗਰਾਨੀ ਕੀਤੀ ਗਈ ਹੈ ਨੋਡ ਨਿਰਯਾਤਕ и ਕੁਬੇ ਸਟੇਟ ਮੈਟ੍ਰਿਕਸ. ਨੋਡ ਐਕਸਪੋਰਟਰ I/O ਅਤੇ ਡਿਸਕ, CPU, ਅਤੇ RAM ਵਰਤੋਂ 'ਤੇ ਅੰਕੜੇ ਪ੍ਰਦਾਨ ਕਰਦਾ ਹੈ, ਜਦੋਂ ਕਿ Kube State Metrics Kubernetes ਆਬਜੈਕਟ ਮੈਟ੍ਰਿਕਸ ਜਿਵੇਂ ਕਿ ਬੇਨਤੀਆਂ ਅਤੇ CPU ਅਤੇ ਮੈਮੋਰੀ ਸਰੋਤ ਸੀਮਾਵਾਂ ਨੂੰ ਦਿਖਾਉਂਦਾ ਹੈ।

ਸਾਨੂੰ ਗ੍ਰਾਫਾਨਾ ਵਿੱਚ ਬੇਨਤੀਆਂ ਅਤੇ ਸੀਮਾ ਮੈਟ੍ਰਿਕਸ ਦੇ ਨਾਲ ਉਪਯੋਗਤਾ ਮੈਟ੍ਰਿਕਸ ਨੂੰ ਜੋੜਨ ਦੀ ਜ਼ਰੂਰਤ ਹੈ, ਅਤੇ ਫਿਰ ਅਸੀਂ ਸਮੱਸਿਆ ਬਾਰੇ ਸਾਰੀ ਜਾਣਕਾਰੀ ਪ੍ਰਾਪਤ ਕਰਾਂਗੇ। ਇਹ ਸਧਾਰਨ ਜਾਪਦਾ ਹੈ, ਪਰ ਦੋ ਟੂਲ ਅਸਲ ਵਿੱਚ ਲੇਬਲਾਂ ਨੂੰ ਵੱਖਰੇ ਤੌਰ 'ਤੇ ਨਾਮ ਦਿੰਦੇ ਹਨ, ਅਤੇ ਕੁਝ ਮੈਟ੍ਰਿਕਸ ਵਿੱਚ ਕੋਈ ਵੀ ਮੈਟਾਡੇਟਾ ਲੇਬਲ ਨਹੀਂ ਹੁੰਦੇ ਹਨ। ਕੁਬੇ ਈਗਲ ਸਭ ਕੁਝ ਆਪਣੇ ਆਪ ਕਰਦਾ ਹੈ ਅਤੇ ਪੈਨਲ ਇਸ ਤਰ੍ਹਾਂ ਦਿਖਾਈ ਦਿੰਦਾ ਹੈ:

ਕੁਬੇ ਈਗਲ ਡੈਸ਼ਬੋਰਡ

ਅਸੀਂ ਸਰੋਤਾਂ ਨਾਲ ਬਹੁਤ ਸਾਰੀਆਂ ਸਮੱਸਿਆਵਾਂ ਨੂੰ ਹੱਲ ਕਰਨ ਅਤੇ ਸਾਜ਼-ਸਾਮਾਨ ਨੂੰ ਬਚਾਉਣ ਵਿੱਚ ਕਾਮਯਾਬ ਹੋਏ:

1. ਕੁਝ ਡਿਵੈਲਪਰਾਂ ਨੂੰ ਇਹ ਨਹੀਂ ਪਤਾ ਸੀ ਕਿ ਮਾਈਕ੍ਰੋ ਸਰਵਿਸਿਜ਼ ਨੂੰ ਕਿੰਨੇ ਸਰੋਤਾਂ ਦੀ ਲੋੜ ਹੈ (ਜਾਂ ਸਿਰਫ਼ ਪਰੇਸ਼ਾਨ ਨਹੀਂ ਕੀਤਾ ਗਿਆ)। ਸਾਡੇ ਕੋਲ ਸਰੋਤਾਂ ਲਈ ਗਲਤ ਬੇਨਤੀਆਂ ਲੱਭਣ ਦਾ ਕੋਈ ਤਰੀਕਾ ਨਹੀਂ ਸੀ - ਇਸਦੇ ਲਈ ਸਾਨੂੰ ਖਪਤ ਅਤੇ ਬੇਨਤੀਆਂ ਅਤੇ ਸੀਮਾਵਾਂ ਨੂੰ ਜਾਣਨ ਦੀ ਜ਼ਰੂਰਤ ਹੈ. ਹੁਣ ਉਹ ਪ੍ਰੋਮੀਥੀਅਸ ਮੈਟ੍ਰਿਕਸ ਦੇਖਦੇ ਹਨ, ਅਸਲ ਵਰਤੋਂ ਦੀ ਨਿਗਰਾਨੀ ਕਰਦੇ ਹਨ ਅਤੇ ਬੇਨਤੀਆਂ ਅਤੇ ਸੀਮਾਵਾਂ ਨੂੰ ਅਨੁਕੂਲ ਕਰਦੇ ਹਨ।
2. JVM ਐਪਲੀਕੇਸ਼ਨਾਂ ਓਨੀ ਹੀ RAM ਲੈਂਦੀਆਂ ਹਨ ਜਿੰਨੀਆਂ ਉਹ ਸੰਭਾਲ ਸਕਦੀਆਂ ਹਨ। ਕੂੜਾ ਇਕੱਠਾ ਕਰਨ ਵਾਲਾ ਸਿਰਫ ਮੈਮੋਰੀ ਜਾਰੀ ਕਰਦਾ ਹੈ ਜਦੋਂ 75% ਤੋਂ ਵੱਧ ਵਰਤਿਆ ਜਾਂਦਾ ਹੈ। ਅਤੇ ਕਿਉਂਕਿ ਜ਼ਿਆਦਾਤਰ ਸੇਵਾਵਾਂ ਵਿੱਚ ਬਰਸਟਬਲ ਮੈਮੋਰੀ ਹੁੰਦੀ ਹੈ, ਇਹ ਹਮੇਸ਼ਾ JVM ਦੁਆਰਾ ਕਬਜ਼ੇ ਵਿੱਚ ਹੁੰਦੀ ਸੀ। ਇਸ ਲਈ, ਇਹ ਸਾਰੀਆਂ ਜਾਵਾ ਸੇਵਾਵਾਂ ਉਮੀਦ ਨਾਲੋਂ ਬਹੁਤ ਜ਼ਿਆਦਾ RAM ਖਾ ਰਹੀਆਂ ਸਨ।
3. ਕੁਝ ਐਪਲੀਕੇਸ਼ਨਾਂ ਨੇ ਬਹੁਤ ਜ਼ਿਆਦਾ ਮੈਮੋਰੀ ਦੀ ਬੇਨਤੀ ਕੀਤੀ, ਅਤੇ ਕੁਬਰਨੇਟਸ ਸ਼ਡਿਊਲਰ ਨੇ ਇਹ ਨੋਡ ਹੋਰ ਐਪਲੀਕੇਸ਼ਨਾਂ ਨੂੰ ਨਹੀਂ ਦਿੱਤੇ, ਭਾਵੇਂ ਕਿ ਅਸਲ ਵਿੱਚ ਉਹ ਹੋਰ ਨੋਡਾਂ ਨਾਲੋਂ ਖਾਲੀ ਸਨ। ਇੱਕ ਡਿਵੈਲਪਰ ਨੇ ਗਲਤੀ ਨਾਲ ਬੇਨਤੀ ਵਿੱਚ ਇੱਕ ਵਾਧੂ ਅੰਕ ਜੋੜ ਦਿੱਤਾ ਅਤੇ RAM ਦਾ ਇੱਕ ਵੱਡਾ ਹਿੱਸਾ ਫੜ ਲਿਆ: 20 ਦੀ ਬਜਾਏ 2 GB। ਕਿਸੇ ਨੇ ਧਿਆਨ ਨਹੀਂ ਦਿੱਤਾ। ਐਪਲੀਕੇਸ਼ਨ ਵਿੱਚ 3 ਪ੍ਰਤੀਕ੍ਰਿਤੀਆਂ ਸਨ, ਇਸਲਈ 3 ਨੋਡ ਪ੍ਰਭਾਵਿਤ ਹੋਏ ਸਨ।
4. ਅਸੀਂ ਸਰੋਤ ਸੀਮਾਵਾਂ ਪੇਸ਼ ਕੀਤੀਆਂ, ਸਹੀ ਬੇਨਤੀਆਂ ਦੇ ਨਾਲ ਪੌਡਾਂ ਨੂੰ ਮੁੜ-ਨਿਯਤ ਕੀਤਾ, ਅਤੇ ਸਾਰੇ ਨੋਡਾਂ ਵਿੱਚ ਹਾਰਡਵੇਅਰ ਵਰਤੋਂ ਦਾ ਇੱਕ ਆਦਰਸ਼ ਸੰਤੁਲਨ ਪ੍ਰਾਪਤ ਕੀਤਾ। ਕੁਝ ਨੋਡਾਂ ਨੂੰ ਪੂਰੀ ਤਰ੍ਹਾਂ ਬੰਦ ਕੀਤਾ ਜਾ ਸਕਦਾ ਸੀ। ਅਤੇ ਫਿਰ ਅਸੀਂ ਦੇਖਿਆ ਕਿ ਸਾਡੇ ਕੋਲ ਗਲਤ ਮਸ਼ੀਨਾਂ ਸਨ (CPU ਓਰੀਐਂਟਿਡ, ਮੈਮੋਰੀ ਓਰੀਐਂਟਿਡ ਨਹੀਂ)। ਅਸੀਂ ਕਿਸਮ ਬਦਲ ਦਿੱਤੀ ਹੈ ਅਤੇ ਕਈ ਹੋਰ ਨੋਡਾਂ ਨੂੰ ਮਿਟਾ ਦਿੱਤਾ ਹੈ।

ਨਤੀਜੇ

ਕਲੱਸਟਰ ਵਿੱਚ ਫਟਣਯੋਗ ਸਰੋਤਾਂ ਦੇ ਨਾਲ, ਤੁਸੀਂ ਉਪਲਬਧ ਹਾਰਡਵੇਅਰ ਦੀ ਵਧੇਰੇ ਕੁਸ਼ਲਤਾ ਨਾਲ ਵਰਤੋਂ ਕਰਦੇ ਹੋ, ਪਰ ਕੁਬਰਨੇਟਸ ਸ਼ਡਿਊਲਰ ਸਰੋਤਾਂ ਲਈ ਬੇਨਤੀਆਂ ਦੇ ਆਧਾਰ 'ਤੇ ਪੌਡਾਂ ਨੂੰ ਅਨੁਸੂਚਿਤ ਕਰਦਾ ਹੈ, ਅਤੇ ਇਹ ਭਰਪੂਰ ਹੈ। ਇੱਕ ਪੱਥਰ ਨਾਲ ਦੋ ਪੰਛੀਆਂ ਨੂੰ ਮਾਰਨ ਲਈ: ਸਮੱਸਿਆਵਾਂ ਤੋਂ ਬਚਣ ਅਤੇ ਸਰੋਤਾਂ ਦੀ ਪੂਰੀ ਵਰਤੋਂ ਕਰਨ ਲਈ, ਤੁਹਾਨੂੰ ਚੰਗੀ ਨਿਗਰਾਨੀ ਦੀ ਲੋੜ ਹੈ। ਇਸ ਲਈ ਇਹ ਲਾਭਦਾਇਕ ਹੋਵੇਗਾ ਕੁਬੇ ਈਗਲ (ਪ੍ਰੋਮੀਥੀਅਸ ਐਕਸਪੋਰਟਰ ਅਤੇ ਗ੍ਰਾਫਾਨਾ ਡੈਸ਼ਬੋਰਡ)।

ਸਰੋਤ: www.habr.com