ਕੁਬਰਨੇਟਸ ਵਿੱਚ ਪੌਡ ਦੀਆਂ ਤਰਜੀਹਾਂ ਨੇ ਗ੍ਰਾਫਾਨਾ ਲੈਬਜ਼ ਵਿੱਚ ਡਾਊਨਟਾਈਮ ਕਿਵੇਂ ਕੀਤਾ

ਨੋਟ ਕਰੋ। ਅਨੁਵਾਦ: ਅਸੀਂ ਤੁਹਾਡੇ ਧਿਆਨ ਵਿੱਚ ਗ੍ਰਾਫਾਨਾ ਦੇ ਸਿਰਜਣਹਾਰਾਂ ਦੁਆਰਾ ਬਣਾਈ ਕਲਾਉਡ ਸੇਵਾ ਵਿੱਚ ਹਾਲ ਹੀ ਦੇ ਡਾਊਨਟਾਈਮ ਦੇ ਕਾਰਨਾਂ ਬਾਰੇ ਤਕਨੀਕੀ ਵੇਰਵੇ ਪੇਸ਼ ਕਰਦੇ ਹਾਂ। ਇਹ ਇੱਕ ਸ਼ਾਨਦਾਰ ਉਦਾਹਰਨ ਹੈ ਕਿ ਕਿਵੇਂ ਬੁਨਿਆਦੀ ਢਾਂਚੇ ਦੀ ਗੁਣਵੱਤਾ ਵਿੱਚ ਸੁਧਾਰ ਕਰਨ ਲਈ ਤਿਆਰ ਕੀਤੀ ਗਈ ਇੱਕ ਨਵੀਂ ਅਤੇ ਪ੍ਰਤੀਤ ਹੋਣ ਵਾਲੀ ਬਹੁਤ ਉਪਯੋਗੀ ਵਿਸ਼ੇਸ਼ਤਾ... ਨੁਕਸਾਨ ਪਹੁੰਚਾ ਸਕਦੀ ਹੈ ਜੇਕਰ ਤੁਸੀਂ ਉਤਪਾਦਨ ਦੀਆਂ ਅਸਲੀਅਤਾਂ ਵਿੱਚ ਇਸਦੀ ਵਰਤੋਂ ਦੀਆਂ ਕਈ ਸੂਖਮਤਾਵਾਂ ਪ੍ਰਦਾਨ ਨਹੀਂ ਕਰਦੇ ਹੋ। ਇਹ ਬਹੁਤ ਵਧੀਆ ਹੈ ਜਦੋਂ ਇਸ ਤਰ੍ਹਾਂ ਦੀਆਂ ਸਮੱਗਰੀਆਂ ਦਿਖਾਈ ਦਿੰਦੀਆਂ ਹਨ ਜੋ ਤੁਹਾਨੂੰ ਨਾ ਸਿਰਫ਼ ਤੁਹਾਡੀਆਂ ਗ਼ਲਤੀਆਂ ਤੋਂ ਸਿੱਖਣ ਦਿੰਦੀਆਂ ਹਨ। ਵੇਰਵੇ Grafana ਲੈਬਜ਼ ਤੋਂ ਉਤਪਾਦ ਦੇ ਉਪ ਪ੍ਰਧਾਨ ਤੋਂ ਇਸ ਟੈਕਸਟ ਦੇ ਅਨੁਵਾਦ ਵਿੱਚ ਹਨ।

ਸ਼ੁੱਕਰਵਾਰ, 19 ਜੁਲਾਈ ਨੂੰ, ਗ੍ਰਾਫਾਨਾ ਕਲਾਉਡ ਵਿੱਚ ਹੋਸਟ ਕੀਤੀ ਪ੍ਰੋਮੀਥੀਅਸ ਸੇਵਾ ਨੇ ਲਗਭਗ 30 ਮਿੰਟਾਂ ਲਈ ਕੰਮ ਕਰਨਾ ਬੰਦ ਕਰ ਦਿੱਤਾ। ਮੈਂ ਆਊਟੇਜ ਤੋਂ ਪ੍ਰਭਾਵਿਤ ਸਾਰੇ ਗਾਹਕਾਂ ਤੋਂ ਮੁਆਫੀ ਮੰਗਦਾ ਹਾਂ। ਸਾਡਾ ਕੰਮ ਤੁਹਾਨੂੰ ਲੋੜੀਂਦੇ ਨਿਗਰਾਨੀ ਸਾਧਨ ਪ੍ਰਦਾਨ ਕਰਨਾ ਹੈ, ਅਤੇ ਅਸੀਂ ਸਮਝਦੇ ਹਾਂ ਕਿ ਉਹਨਾਂ ਦਾ ਉਪਲਬਧ ਨਾ ਹੋਣਾ ਤੁਹਾਡੀ ਜ਼ਿੰਦਗੀ ਨੂੰ ਹੋਰ ਮੁਸ਼ਕਲ ਬਣਾ ਸਕਦਾ ਹੈ। ਅਸੀਂ ਇਸ ਘਟਨਾ ਨੂੰ ਬਹੁਤ ਗੰਭੀਰਤਾ ਨਾਲ ਲੈਂਦੇ ਹਾਂ। ਇਹ ਨੋਟ ਦੱਸਦਾ ਹੈ ਕਿ ਕੀ ਹੋਇਆ, ਅਸੀਂ ਕਿਵੇਂ ਜਵਾਬ ਦਿੱਤਾ, ਅਤੇ ਅਸੀਂ ਇਹ ਯਕੀਨੀ ਬਣਾਉਣ ਲਈ ਕੀ ਕਰ ਰਹੇ ਹਾਂ ਕਿ ਅਜਿਹਾ ਦੁਬਾਰਾ ਨਾ ਹੋਵੇ।

prehistory

ਗ੍ਰਾਫਾਨਾ ਕਲਾਉਡ ਹੋਸਟਡ ਪ੍ਰੋਮੀਥੀਅਸ ਸੇਵਾ 'ਤੇ ਅਧਾਰਤ ਹੈ ਕੋਰਟੇਕਸ - ਇੱਕ ਲੇਟਵੇਂ ਤੌਰ 'ਤੇ ਸਕੇਲੇਬਲ, ਉੱਚ ਉਪਲਬਧ, ਬਹੁ-ਕਿਰਾਏਦਾਰ ਪ੍ਰੋਮੀਥੀਅਸ ਸੇਵਾ ਬਣਾਉਣ ਲਈ CNCF ਪ੍ਰੋਜੈਕਟ। ਕਾਰਟੈਕਸ ਆਰਕੀਟੈਕਚਰ ਵਿੱਚ ਵਿਅਕਤੀਗਤ ਮਾਈਕ੍ਰੋ ਸਰਵਿਸਿਜ਼ ਦਾ ਇੱਕ ਸਮੂਹ ਹੁੰਦਾ ਹੈ, ਜਿਨ੍ਹਾਂ ਵਿੱਚੋਂ ਹਰ ਇੱਕ ਆਪਣਾ ਕੰਮ ਕਰਦਾ ਹੈ: ਪ੍ਰਤੀਕ੍ਰਿਤੀ, ਸਟੋਰੇਜ, ਪੁੱਛਗਿੱਛ, ਆਦਿ। Cortex ਸਰਗਰਮ ਵਿਕਾਸ ਅਧੀਨ ਹੈ ਅਤੇ ਲਗਾਤਾਰ ਨਵੀਆਂ ਵਿਸ਼ੇਸ਼ਤਾਵਾਂ ਨੂੰ ਜੋੜ ਰਿਹਾ ਹੈ ਅਤੇ ਪ੍ਰਦਰਸ਼ਨ ਵਿੱਚ ਸੁਧਾਰ ਕਰ ਰਿਹਾ ਹੈ। ਅਸੀਂ ਨਿਯਮਿਤ ਤੌਰ 'ਤੇ ਨਵੇਂ ਕੋਰਟੇਕਸ ਰੀਲੀਜ਼ਾਂ ਨੂੰ ਕਲੱਸਟਰਾਂ ਵਿੱਚ ਤੈਨਾਤ ਕਰਦੇ ਹਾਂ ਤਾਂ ਜੋ ਗਾਹਕ ਇਹਨਾਂ ਵਿਸ਼ੇਸ਼ਤਾਵਾਂ ਦਾ ਲਾਭ ਲੈ ਸਕਣ - ਖੁਸ਼ਕਿਸਮਤੀ ਨਾਲ, ਕੋਰਟੈਕਸ ਨੂੰ ਬਿਨਾਂ ਡਾਊਨਟਾਈਮ ਦੇ ਅਪਡੇਟ ਕੀਤਾ ਜਾ ਸਕਦਾ ਹੈ।

ਸਹਿਜ ਅੱਪਡੇਟ ਲਈ, Ingester Cortex ਸੇਵਾ ਨੂੰ ਅੱਪਡੇਟ ਪ੍ਰਕਿਰਿਆ ਦੌਰਾਨ ਇੱਕ ਵਾਧੂ Ingester ਪ੍ਰਤੀਕ੍ਰਿਤੀ ਦੀ ਲੋੜ ਹੁੰਦੀ ਹੈ। (ਨੋਟ ਕਰੋ। ਅਨੁਵਾਦ: ਇੰਜੈਸਟਰ - ਕਾਰਟੈਕਸ ਦਾ ਮੂਲ ਹਿੱਸਾ. ਇਸਦਾ ਕੰਮ ਨਮੂਨਿਆਂ ਦੀ ਇੱਕ ਨਿਰੰਤਰ ਧਾਰਾ ਨੂੰ ਇਕੱਠਾ ਕਰਨਾ ਹੈ, ਉਹਨਾਂ ਨੂੰ ਪ੍ਰੋਮੀਥੀਅਸ ਟੁਕੜਿਆਂ ਵਿੱਚ ਸਮੂਹ ਕਰਨਾ ਅਤੇ ਉਹਨਾਂ ਨੂੰ ਡਾਇਨਾਮੋਡੀਬੀ, ਬਿਗਟੇਬਲ ਜਾਂ ਕੈਸੈਂਡਰਾ ਵਰਗੇ ਡੇਟਾਬੇਸ ਵਿੱਚ ਸਟੋਰ ਕਰਨਾ ਹੈ।) ਇਹ ਪੁਰਾਣੇ ਇੰਜੈਸਟਰਾਂ ਨੂੰ ਮੌਜੂਦਾ ਡੇਟਾ ਨੂੰ ਨਵੇਂ ਇੰਜੈਸਟਰਾਂ ਨੂੰ ਅੱਗੇ ਭੇਜਣ ਦੀ ਆਗਿਆ ਦਿੰਦਾ ਹੈ। ਇਹ ਧਿਆਨ ਦੇਣ ਯੋਗ ਹੈ ਕਿ Ingesters ਸਰੋਤ-ਮੰਗ ਹਨ. ਉਹਨਾਂ ਦੇ ਕੰਮ ਕਰਨ ਲਈ, ਤੁਹਾਡੇ ਕੋਲ ਪ੍ਰਤੀ ਪੌਡ 4 ਕੋਰ ਅਤੇ 15 GB ਮੈਮੋਰੀ ਹੋਣੀ ਚਾਹੀਦੀ ਹੈ, ਯਾਨੀ. ਸਾਡੇ ਕੁਬਰਨੇਟਸ ਕਲੱਸਟਰਾਂ ਦੇ ਮਾਮਲੇ ਵਿੱਚ ਬੇਸ ਮਸ਼ੀਨ ਦੀ ਪ੍ਰੋਸੈਸਿੰਗ ਪਾਵਰ ਅਤੇ ਮੈਮੋਰੀ ਦਾ 25%. ਆਮ ਤੌਰ 'ਤੇ, ਸਾਡੇ ਕੋਲ ਆਮ ਤੌਰ 'ਤੇ 4 ਕੋਰ ਅਤੇ 15 GB ਮੈਮੋਰੀ ਨਾਲੋਂ ਕਲੱਸਟਰ ਵਿੱਚ ਬਹੁਤ ਜ਼ਿਆਦਾ ਅਣਵਰਤੇ ਸਰੋਤ ਹੁੰਦੇ ਹਨ, ਇਸਲਈ ਅਸੀਂ ਅੱਪਗਰੇਡਾਂ ਦੌਰਾਨ ਇਹਨਾਂ ਵਾਧੂ ਇੰਜੈਸਟਰਾਂ ਨੂੰ ਆਸਾਨੀ ਨਾਲ ਸਪਿਨ ਕਰ ਸਕਦੇ ਹਾਂ।

ਹਾਲਾਂਕਿ, ਇਹ ਅਕਸਰ ਹੁੰਦਾ ਹੈ ਕਿ ਆਮ ਕਾਰਵਾਈ ਦੌਰਾਨ ਕਿਸੇ ਵੀ ਮਸ਼ੀਨ ਕੋਲ ਇਹ 25% ਅਣਵਰਤੇ ਸਰੋਤ ਨਹੀਂ ਹੁੰਦੇ ਹਨ। ਹਾਂ, ਅਸੀਂ ਕੋਸ਼ਿਸ਼ ਵੀ ਨਹੀਂ ਕਰਦੇ: CPU ਅਤੇ ਮੈਮੋਰੀ ਹਮੇਸ਼ਾ ਹੋਰ ਪ੍ਰਕਿਰਿਆਵਾਂ ਲਈ ਉਪਯੋਗੀ ਹੋਵੇਗੀ। ਇਸ ਸਮੱਸਿਆ ਨੂੰ ਹੱਲ ਕਰਨ ਲਈ, ਅਸੀਂ ਵਰਤਣ ਦਾ ਫੈਸਲਾ ਕੀਤਾ ਕੁਬਰਨੇਟਸ ਪੌਡ ਤਰਜੀਹਾਂ. ਇਹ ਵਿਚਾਰ Ingesters ਨੂੰ ਹੋਰ (ਸਟੇਟ ਰਹਿਤ) ਮਾਈਕਰੋ ਸਰਵਿਸਿਜ਼ ਨਾਲੋਂ ਉੱਚ ਤਰਜੀਹ ਦੇਣਾ ਹੈ। ਜਦੋਂ ਸਾਨੂੰ ਇੱਕ ਵਾਧੂ (N+1) ਇੰਜੈਸਟਰ ਚਲਾਉਣ ਦੀ ਲੋੜ ਹੁੰਦੀ ਹੈ, ਤਾਂ ਅਸੀਂ ਅਸਥਾਈ ਤੌਰ 'ਤੇ ਹੋਰ, ਛੋਟੇ ਪੌਡਾਂ ਨੂੰ ਵਿਸਥਾਪਿਤ ਕਰਦੇ ਹਾਂ। ਇਹਨਾਂ ਪੌਡਾਂ ਨੂੰ ਹੋਰ ਮਸ਼ੀਨਾਂ 'ਤੇ ਮੁਫਤ ਸਰੋਤਾਂ ਵਿੱਚ ਟ੍ਰਾਂਸਫਰ ਕੀਤਾ ਜਾਂਦਾ ਹੈ, ਇੱਕ ਵਾਧੂ ਇੰਜੈਸਟਰ ਚਲਾਉਣ ਲਈ ਕਾਫ਼ੀ ਵੱਡਾ "ਮੋਰੀ" ਛੱਡ ਕੇ।

ਵੀਰਵਾਰ, 18 ਜੁਲਾਈ ਨੂੰ, ਅਸੀਂ ਆਪਣੇ ਕਲੱਸਟਰਾਂ ਲਈ ਚਾਰ ਨਵੇਂ ਤਰਜੀਹੀ ਪੱਧਰਾਂ ਨੂੰ ਰੋਲ ਆਊਟ ਕੀਤਾ: ਨਾਜ਼ੁਕ, ਉੱਚ, ਔਸਤ и ਘੱਟ. ਉਹਨਾਂ ਨੂੰ ਇੱਕ ਅੰਦਰੂਨੀ ਕਲੱਸਟਰ 'ਤੇ ਟੈਸਟ ਕੀਤਾ ਗਿਆ ਸੀ ਜਿਸ ਵਿੱਚ ਲਗਭਗ ਇੱਕ ਹਫ਼ਤੇ ਲਈ ਕੋਈ ਗਾਹਕ ਟ੍ਰੈਫਿਕ ਨਹੀਂ ਸੀ। ਪੂਰਵ-ਨਿਰਧਾਰਤ ਤੌਰ 'ਤੇ, ਬਿਨਾਂ ਨਿਰਧਾਰਤ ਤਰਜੀਹ ਦੇ ਪੌਡ ਪ੍ਰਾਪਤ ਹੋਏ ਔਸਤ ਤਰਜੀਹ, ਕਲਾਸ ਨੂੰ ਇੰਜੈਸਟਰਾਂ ਲਈ ਸੈੱਟ ਕੀਤਾ ਗਿਆ ਸੀ ਉੱਚ ਤਰਜੀਹ. ਨਾਜ਼ੁਕ ਨਿਗਰਾਨੀ ਲਈ ਰਾਖਵਾਂ ਸੀ (ਪ੍ਰੋਮੀਥੀਅਸ, ਅਲਰਟਮੈਨੇਜਰ, ਨੋਡ-ਐਕਸਪੋਰਟਰ, ਕਿਊਬ-ਸਟੇਟ-ਮੈਟ੍ਰਿਕਸ, ਆਦਿ)। ਸਾਡੀ ਸੰਰਚਨਾ ਖੁੱਲੀ ਹੈ, ਅਤੇ ਤੁਸੀਂ PR ਦੇਖ ਸਕਦੇ ਹੋ ਇੱਥੇ.

ਕ੍ਰੈਸ਼

ਸ਼ੁੱਕਰਵਾਰ, 19 ਜੁਲਾਈ ਨੂੰ, ਇੰਜੀਨੀਅਰਾਂ ਵਿੱਚੋਂ ਇੱਕ ਨੇ ਇੱਕ ਵੱਡੇ ਗਾਹਕ ਲਈ ਇੱਕ ਨਵਾਂ ਸਮਰਪਿਤ ਕੋਰਟੇਕਸ ਕਲੱਸਟਰ ਲਾਂਚ ਕੀਤਾ। ਇਸ ਕਲੱਸਟਰ ਲਈ ਸੰਰਚਨਾ ਵਿੱਚ ਨਵੀਆਂ ਪੌਡ ਤਰਜੀਹਾਂ ਸ਼ਾਮਲ ਨਹੀਂ ਸਨ, ਇਸਲਈ ਸਾਰੀਆਂ ਨਵੀਆਂ ਪੌਡਾਂ ਨੂੰ ਇੱਕ ਡਿਫੌਲਟ ਤਰਜੀਹ ਨਿਰਧਾਰਤ ਕੀਤੀ ਗਈ ਸੀ - ਔਸਤ.

ਕੁਬਰਨੇਟਸ ਕਲੱਸਟਰ ਕੋਲ ਨਵੇਂ ਕੋਰਟੇਕਸ ਕਲੱਸਟਰ ਲਈ ਲੋੜੀਂਦੇ ਸਰੋਤ ਨਹੀਂ ਸਨ, ਅਤੇ ਮੌਜੂਦਾ ਪ੍ਰੋਡਕਸ਼ਨ ਕੋਰਟੈਕਸ ਕਲੱਸਟਰ ਨੂੰ ਅੱਪਡੇਟ ਨਹੀਂ ਕੀਤਾ ਗਿਆ ਸੀ (ਇੰਜੈਸਟਰਾਂ ਨੂੰ ਬਿਨਾਂ ਛੱਡ ਦਿੱਤਾ ਗਿਆ ਸੀ ਉੱਚ ਤਰਜੀਹ)। ਕਿਉਂਕਿ ਨਵੇਂ ਕਲੱਸਟਰ ਦੇ Ingesters ਮੂਲ ਰੂਪ ਵਿੱਚ ਸੀ ਔਸਤ ਤਰਜੀਹ, ਅਤੇ ਉਤਪਾਦਨ ਵਿੱਚ ਮੌਜੂਦਾ ਪੌਡਾਂ ਨੇ ਬਿਨਾਂ ਕਿਸੇ ਤਰਜੀਹ ਦੇ ਕੰਮ ਕੀਤਾ, ਨਵੇਂ ਕਲੱਸਟਰ ਦੇ ਇੰਜੈਸਟਰਾਂ ਨੇ ਮੌਜੂਦਾ ਕਾਰਟੇਕਸ ਉਤਪਾਦਨ ਕਲੱਸਟਰ ਤੋਂ ਇੰਜੈਸਟਰਾਂ ਦੀ ਥਾਂ ਲੈ ਲਈ।

ਪ੍ਰੋਡਕਸ਼ਨ ਕਲੱਸਟਰ ਵਿੱਚ ਬੇਦਖਲ ਕੀਤੇ ਇੰਗੇਸਟਰ ਲਈ ਰਿਪਲੀਕਾਸੈੱਟ ਨੇ ਬੇਦਖਲ ਕੀਤੇ ਪੌਡ ਦਾ ਪਤਾ ਲਗਾਇਆ ਅਤੇ ਕਾਪੀਆਂ ਦੀ ਨਿਰਧਾਰਤ ਸੰਖਿਆ ਨੂੰ ਬਣਾਈ ਰੱਖਣ ਲਈ ਇੱਕ ਨਵਾਂ ਬਣਾਇਆ। ਨਵਾਂ ਪੌਡ ਮੂਲ ਰੂਪ ਵਿੱਚ ਨਿਰਧਾਰਤ ਕੀਤਾ ਗਿਆ ਸੀ ਔਸਤ ਪ੍ਰਾਥਮਿਕਤਾ, ਅਤੇ ਉਤਪਾਦਨ ਵਿੱਚ ਇੱਕ ਹੋਰ "ਪੁਰਾਣਾ" ਇੰਜੈਸਟਰ ਨੇ ਆਪਣੇ ਸਰੋਤ ਗੁਆ ਦਿੱਤੇ। ਨਤੀਜਾ ਸੀ ਬਰਫ਼ਬਾਰੀ ਦੀ ਪ੍ਰਕਿਰਿਆ, ਜਿਸ ਨਾਲ ਕਾਰਟੈਕਸ ਉਤਪਾਦਨ ਕਲੱਸਟਰਾਂ ਲਈ ਇੰਗੇਸਟਰ ਤੋਂ ਸਾਰੇ ਪੌਡਾਂ ਦਾ ਵਿਸਥਾਪਨ ਹੋਇਆ।

ਇੰਜੈਸਟਰ ਸਟੇਟਫੁੱਲ ਹੁੰਦੇ ਹਨ ਅਤੇ ਪਿਛਲੇ 12 ਘੰਟਿਆਂ ਲਈ ਡੇਟਾ ਸਟੋਰ ਕਰਦੇ ਹਨ। ਇਹ ਸਾਨੂੰ ਉਹਨਾਂ ਨੂੰ ਲੰਬੇ ਸਮੇਂ ਦੀ ਸਟੋਰੇਜ ਵਿੱਚ ਲਿਖਣ ਤੋਂ ਪਹਿਲਾਂ ਉਹਨਾਂ ਨੂੰ ਵਧੇਰੇ ਕੁਸ਼ਲਤਾ ਨਾਲ ਸੰਕੁਚਿਤ ਕਰਨ ਦੀ ਇਜਾਜ਼ਤ ਦਿੰਦਾ ਹੈ। ਇਸ ਨੂੰ ਪ੍ਰਾਪਤ ਕਰਨ ਲਈ, Cortex ਇੱਕ ਡਿਸਟ੍ਰੀਬਿਊਟਿਡ ਹੈਸ਼ ਟੇਬਲ (DHT) ਦੀ ਵਰਤੋਂ ਕਰਦੇ ਹੋਏ ਸੀਰੀਜ਼ ਵਿੱਚ ਡੇਟਾ ਨੂੰ ਸ਼ਾਰਡ ਕਰਦਾ ਹੈ ਅਤੇ ਡਾਇਨਾਮੋ-ਸਟਾਈਲ ਕੋਰਮ ਇਕਸਾਰਤਾ ਦੀ ਵਰਤੋਂ ਕਰਦੇ ਹੋਏ ਤਿੰਨ ਇੰਜੈਸਟਰਾਂ ਵਿੱਚ ਹਰੇਕ ਲੜੀ ਨੂੰ ਦੁਹਰਾਉਂਦਾ ਹੈ। Cortex Ingesters ਨੂੰ ਡਾਟਾ ਨਹੀਂ ਲਿਖਦਾ ਜੋ ਅਯੋਗ ਹਨ। ਇਸ ਤਰ੍ਹਾਂ, ਜਦੋਂ ਵੱਡੀ ਗਿਣਤੀ ਵਿੱਚ ਇੰਜੈਸਟਰ DHT ਨੂੰ ਛੱਡ ਦਿੰਦੇ ਹਨ, ਤਾਂ ਕੋਰਟੇਕਸ ਐਂਟਰੀਆਂ ਦੀ ਲੋੜੀਂਦੀ ਪ੍ਰਤੀਕ੍ਰਿਤੀ ਪ੍ਰਦਾਨ ਨਹੀਂ ਕਰ ਸਕਦਾ ਹੈ, ਅਤੇ ਉਹ ਕਰੈਸ਼ ਹੋ ਜਾਂਦੇ ਹਨ।

ਖੋਜ ਅਤੇ ਉਪਚਾਰ

"ਗਲਤੀ ਬਜਟ" ਦੇ ਅਧਾਰ ਤੇ ਨਵੀਂ ਪ੍ਰੋਮੀਥੀਅਸ ਸੂਚਨਾਵਾਂ (ਗਲਤੀ-ਬਜਟ-ਆਧਾਰਿਤ — ਵੇਰਵੇ ਭਵਿੱਖ ਦੇ ਲੇਖ ਵਿੱਚ ਦਿਖਾਈ ਦੇਣਗੇ) ਬੰਦ ਹੋਣ ਦੀ ਸ਼ੁਰੂਆਤ ਤੋਂ 4 ਮਿੰਟ ਬਾਅਦ ਅਲਾਰਮ ਵੱਜਣਾ ਸ਼ੁਰੂ ਕਰ ਦਿੱਤਾ। ਅਗਲੇ ਪੰਜ ਮਿੰਟਾਂ ਵਿੱਚ, ਅਸੀਂ ਕੁਝ ਡਾਇਗਨੌਸਟਿਕਸ ਚਲਾਏ ਅਤੇ ਨਵੇਂ ਅਤੇ ਮੌਜੂਦਾ ਉਤਪਾਦਨ ਕਲੱਸਟਰਾਂ ਦੀ ਮੇਜ਼ਬਾਨੀ ਕਰਨ ਲਈ ਅੰਡਰਲਾਈੰਗ ਕੁਬਰਨੇਟਸ ਕਲੱਸਟਰ ਨੂੰ ਸਕੇਲ ਕੀਤਾ।

ਹੋਰ ਪੰਜ ਮਿੰਟਾਂ ਬਾਅਦ, ਪੁਰਾਣੇ ਇੰਜੈਸਟਰਾਂ ਨੇ ਸਫਲਤਾਪੂਰਵਕ ਆਪਣਾ ਡੇਟਾ ਲਿਖਿਆ, ਨਵੇਂ ਸ਼ੁਰੂ ਹੋਏ, ਅਤੇ ਕੋਰਟੈਕਸ ਕਲੱਸਟਰ ਦੁਬਾਰਾ ਉਪਲਬਧ ਹੋ ਗਏ।

Cortex ਦੇ ਸਾਹਮਣੇ ਸਥਿਤ ਪ੍ਰਮਾਣਿਕਤਾ ਰਿਵਰਸ ਪ੍ਰੌਕਸੀਆਂ ਤੋਂ ਆਊਟ-ਆਫ-ਮੈਮੋਰੀ (OOM) ਗਲਤੀਆਂ ਦਾ ਨਿਦਾਨ ਕਰਨ ਅਤੇ ਠੀਕ ਕਰਨ ਲਈ ਹੋਰ 10 ਮਿੰਟ ਬਿਤਾਏ ਗਏ ਸਨ। OOM ਗਲਤੀਆਂ QPS ਵਿੱਚ ਦਸ ਗੁਣਾ ਵਾਧੇ ਕਾਰਨ ਹੋਈਆਂ ਸਨ (ਸਾਨੂੰ ਵਿਸ਼ਵਾਸ ਹੈ ਕਿ ਕਲਾਇੰਟ ਦੇ ਪ੍ਰੋਮੀਥੀਅਸ ਸਰਵਰਾਂ ਤੋਂ ਬਹੁਤ ਜ਼ਿਆਦਾ ਹਮਲਾਵਰ ਬੇਨਤੀਆਂ ਕਾਰਨ)।

ਨਤੀਜੇ

ਕੁੱਲ ਡਾਊਨਟਾਈਮ 26 ਮਿੰਟ ਸੀ. ਕੋਈ ਡਾਟਾ ਖਤਮ ਨਹੀਂ ਹੋਇਆ ਸੀ। ਇੰਜੈਸਟਰਾਂ ਨੇ ਸਫਲਤਾਪੂਰਵਕ ਸਾਰੇ ਇਨ-ਮੈਮੋਰੀ ਡੇਟਾ ਨੂੰ ਲੰਬੇ ਸਮੇਂ ਦੀ ਸਟੋਰੇਜ ਵਿੱਚ ਲੋਡ ਕੀਤਾ ਹੈ। ਸ਼ਟਡਾਊਨ ਦੌਰਾਨ, ਕਲਾਇੰਟ ਪ੍ਰੋਮੀਥੀਅਸ ਸਰਵਰ ਬਫਰ ਕੀਤੇ ਮਿਟ ਗਏ (ਰਿਮੋਟ) ਦੀ ਵਰਤੋਂ ਕਰਦੇ ਹੋਏ ਰਿਕਾਰਡਿੰਗ ਨਵਾਂ API ਰਿਮੋਟ_ਰਾਈਟ WAL 'ਤੇ ਆਧਾਰਿਤ (ਲੇਖਕ ਕੈਲਮ ਸਟਾਈਨ Grafana ਲੈਬਜ਼ ਤੋਂ) ਅਤੇ ਕਰੈਸ਼ ਤੋਂ ਬਾਅਦ ਅਸਫਲ ਲਿਖਤਾਂ ਨੂੰ ਦੁਹਰਾਇਆ।

ਉਤਪਾਦਨ ਕਲੱਸਟਰ ਰਾਈਟ ਓਪਰੇਸ਼ਨ

ਸਿੱਟਾ

ਇਸ ਘਟਨਾ ਤੋਂ ਸਬਕ ਸਿੱਖਣਾ ਅਤੇ ਇਸ ਦੀ ਦੁਹਰਾਈ ਤੋਂ ਬਚਣ ਲਈ ਜ਼ਰੂਰੀ ਕਦਮ ਚੁੱਕਣੇ ਜ਼ਰੂਰੀ ਹਨ।

ਪਿੱਛੇ ਦੀ ਨਜ਼ਰ ਵਿੱਚ, ਸਾਨੂੰ ਡਿਫੌਲਟ ਸੈੱਟ ਨਹੀਂ ਕਰਨਾ ਚਾਹੀਦਾ ਸੀ ਔਸਤ ਜਦੋਂ ਤੱਕ ਉਤਪਾਦਨ ਵਿੱਚ ਸਾਰੇ ਇੰਜੈਸਟਰਾਂ ਨੂੰ ਪ੍ਰਾਪਤ ਨਹੀਂ ਹੋ ਜਾਂਦਾ ਹੈ ਉੱਚ ਇੱਕ ਤਰਜੀਹ. ਇਸ ਤੋਂ ਇਲਾਵਾ, ਉਨ੍ਹਾਂ ਦੀ ਪਹਿਲਾਂ ਤੋਂ ਦੇਖਭਾਲ ਕਰਨੀ ਜ਼ਰੂਰੀ ਸੀ ਉੱਚ ਤਰਜੀਹ. ਹੁਣ ਸਭ ਕੁਝ ਠੀਕ ਹੋ ਗਿਆ ਹੈ। ਅਸੀਂ ਉਮੀਦ ਕਰਦੇ ਹਾਂ ਕਿ ਸਾਡਾ ਤਜਰਬਾ ਕੁਬਰਨੇਟਸ ਵਿੱਚ ਪੌਡ ਤਰਜੀਹਾਂ ਦੀ ਵਰਤੋਂ ਕਰਨ 'ਤੇ ਵਿਚਾਰ ਕਰਨ ਵਾਲੀਆਂ ਹੋਰ ਸੰਸਥਾਵਾਂ ਦੀ ਮਦਦ ਕਰੇਗਾ।

ਅਸੀਂ ਕਿਸੇ ਵੀ ਵਾਧੂ ਵਸਤੂਆਂ ਦੀ ਤੈਨਾਤੀ 'ਤੇ ਨਿਯੰਤਰਣ ਦਾ ਇੱਕ ਵਾਧੂ ਪੱਧਰ ਜੋੜਾਂਗੇ ਜਿਨ੍ਹਾਂ ਦੀਆਂ ਸੰਰਚਨਾਵਾਂ ਕਲੱਸਟਰ ਵਿੱਚ ਗਲੋਬਲ ਹਨ। ਹੁਣ ਤੋਂ, ਅਜਿਹੀਆਂ ਤਬਦੀਲੀਆਂ ਦਾ ਮੁਲਾਂਕਣ ਬੀоਹੋਰ ਲੋਕ. ਇਸ ਤੋਂ ਇਲਾਵਾ, ਕਰੈਸ਼ ਦਾ ਕਾਰਨ ਬਣੀ ਸੋਧ ਨੂੰ ਇੱਕ ਵੱਖਰੇ ਪ੍ਰੋਜੈਕਟ ਦਸਤਾਵੇਜ਼ ਲਈ ਬਹੁਤ ਮਾਮੂਲੀ ਮੰਨਿਆ ਗਿਆ ਸੀ - ਇਹ ਸਿਰਫ ਇੱਕ GitHub ਮੁੱਦੇ ਵਿੱਚ ਚਰਚਾ ਕੀਤੀ ਗਈ ਸੀ। ਹੁਣ ਤੋਂ, ਸੰਰਚਨਾ ਵਿੱਚ ਅਜਿਹੇ ਸਾਰੇ ਬਦਲਾਅ ਢੁਕਵੇਂ ਪ੍ਰੋਜੈਕਟ ਦਸਤਾਵੇਜ਼ਾਂ ਦੇ ਨਾਲ ਹੋਣਗੇ।

ਅੰਤ ਵਿੱਚ, ਅਸੀਂ ਓਵਰਲੋਡ OOM ਨੂੰ ਰੋਕਣ ਲਈ ਪ੍ਰਮਾਣਿਕਤਾ ਰਿਵਰਸ ਪ੍ਰੌਕਸੀ ਦੇ ਆਕਾਰ ਨੂੰ ਸਵੈਚਲਿਤ ਕਰਾਂਗੇ, ਅਤੇ ਭਵਿੱਖ ਵਿੱਚ ਸਮਾਨ ਮੁੱਦਿਆਂ ਨੂੰ ਰੋਕਣ ਲਈ ਫਾਲਬੈਕ ਅਤੇ ਸਕੇਲਿੰਗ ਨਾਲ ਸਬੰਧਤ ਪ੍ਰੋਮੀਥੀਅਸ ਡਿਫੌਲਟ ਸੈਟਿੰਗਾਂ ਦੀ ਸਮੀਖਿਆ ਕਰਾਂਗੇ।

ਅਸਫਲਤਾ ਦੇ ਕੁਝ ਸਕਾਰਾਤਮਕ ਨਤੀਜੇ ਵੀ ਸਨ: ਲੋੜੀਂਦੇ ਸਰੋਤ ਪ੍ਰਾਪਤ ਕਰਨ ਤੋਂ ਬਾਅਦ, ਕੋਰਟੇਕਸ ਬਿਨਾਂ ਕਿਸੇ ਵਾਧੂ ਦਖਲ ਦੇ ਆਪਣੇ ਆਪ ਠੀਕ ਹੋ ਗਿਆ। ਅਸੀਂ ਨਾਲ ਕੰਮ ਕਰਨ ਦਾ ਕੀਮਤੀ ਤਜਰਬਾ ਵੀ ਹਾਸਲ ਕੀਤਾ ਗ੍ਰਫਨਾ ਲੋਕੀ - ਸਾਡਾ ਨਵਾਂ ਲੌਗ ਐਗਰੀਗੇਸ਼ਨ ਸਿਸਟਮ - ਜਿਸ ਨੇ ਇਹ ਯਕੀਨੀ ਬਣਾਉਣ ਵਿੱਚ ਮਦਦ ਕੀਤੀ ਕਿ ਸਾਰੇ ਇੰਜੈਸਟਰਾਂ ਨੇ ਅਸਫਲਤਾ ਦੇ ਦੌਰਾਨ ਅਤੇ ਬਾਅਦ ਵਿੱਚ ਸਹੀ ਢੰਗ ਨਾਲ ਵਿਵਹਾਰ ਕੀਤਾ ਹੈ।

ਅਨੁਵਾਦਕ ਤੋਂ ਪੀ.ਐਸ

ਸਾਡੇ ਬਲੌਗ 'ਤੇ ਵੀ ਪੜ੍ਹੋ:

• «ਕੁਬਰਨੇਟਸ ਵਿੱਚ ਆਟੋਸਕੇਲਿੰਗ ਅਤੇ ਸਰੋਤ ਪ੍ਰਬੰਧਨ (ਸੰਖੇਪ ਅਤੇ ਵੀਡੀਓ ਰਿਪੋਰਟ)";
• «ਕੁਬਰਨੇਟਸ ਐਡਵੈਂਚਰ ਡੇਲੀਮੋਸ਼ਨ: ਬੱਦਲਾਂ ਵਿੱਚ ਬੁਨਿਆਦੀ ਢਾਂਚਾ ਬਣਾਉਣਾ + ਆਨ-ਪ੍ਰੀਮਿਸਸ";
• «ਕੁਬਰਨੇਟਸ ਵਿੱਚ ਟਿੰਡਰ ਤਬਦੀਲੀ";
• «ਉਤਪਾਦਨ ਵਿੱਚ ਕੁਬਰਨੇਟਸ ਦੀ ਸਫਲਤਾ ਦੀਆਂ ਕਹਾਣੀਆਂ। ਭਾਗ 10: Reddit".

ਸਰੋਤ: www.habr.com