ਥਾਨੋਸ - ਸਕੇਲੇਬਲ ਪ੍ਰੋਮੀਥੀਅਸ

ਲੇਖ ਦਾ ਅਨੁਵਾਦ ਕੋਰਸ ਦੇ ਵਿਦਿਆਰਥੀਆਂ ਲਈ ਵਿਸ਼ੇਸ਼ ਤੌਰ 'ਤੇ ਤਿਆਰ ਕੀਤਾ ਗਿਆ ਸੀ "DevOps ਅਭਿਆਸ ਅਤੇ ਸਾਧਨ".

ਫੈਬੀਅਨ ਰੀਨਾਰਟਜ਼ ਇੱਕ ਸਾਫਟਵੇਅਰ ਡਿਵੈਲਪਰ, ਗੋ ਫੈਨਟਿਕ, ਅਤੇ ਸਮੱਸਿਆ ਹੱਲ ਕਰਨ ਵਾਲਾ ਹੈ। ਉਹ ਇੱਕ ਪ੍ਰੋਮੀਥੀਅਸ ਮੇਨਟੇਨਰ ਅਤੇ ਕੁਬਰਨੇਟਸ ਐਸਆਈਜੀ ਇੰਸਟਰੂਮੈਂਟੇਸ਼ਨ ਦਾ ਸਹਿ-ਸੰਸਥਾਪਕ ਵੀ ਹੈ। ਅਤੀਤ ਵਿੱਚ, ਉਹ SoundCloud ਵਿੱਚ ਇੱਕ ਉਤਪਾਦਨ ਇੰਜੀਨੀਅਰ ਸੀ ਅਤੇ CoreOS ਵਿਖੇ ਨਿਗਰਾਨੀ ਟੀਮ ਦੀ ਅਗਵਾਈ ਕਰਦਾ ਸੀ। ਵਰਤਮਾਨ ਵਿੱਚ Google 'ਤੇ ਕੰਮ ਕਰਦਾ ਹੈ।

ਬਾਰਟੇਕ ਪਲਾਟਕਾ - ਅਸੰਭਵ 'ਤੇ ਬੁਨਿਆਦੀ ਢਾਂਚਾ ਇੰਜੀਨੀਅਰ। ਉਹ ਨਵੀਆਂ ਤਕਨਾਲੋਜੀਆਂ ਅਤੇ ਵੰਡੀਆਂ ਪ੍ਰਣਾਲੀਆਂ ਦੀਆਂ ਸਮੱਸਿਆਵਾਂ ਵਿੱਚ ਦਿਲਚਸਪੀ ਰੱਖਦਾ ਹੈ। ਉਸ ਕੋਲ ਇੰਟੇਲ 'ਤੇ ਘੱਟ-ਪੱਧਰੀ ਪ੍ਰੋਗਰਾਮਿੰਗ ਦਾ ਤਜਰਬਾ, ਮੇਸੋਸ 'ਤੇ ਯੋਗਦਾਨ ਪਾਉਣ ਦਾ ਤਜਰਬਾ ਹੈ, ਅਤੇ ਅਸੰਭਵ 'ਤੇ ਵਿਸ਼ਵ-ਪੱਧਰੀ SRE ਉਤਪਾਦਨ ਦਾ ਤਜਰਬਾ ਹੈ। ਮਾਈਕ੍ਰੋ ਸਰਵਿਸਿਜ਼ ਦੀ ਦੁਨੀਆ ਨੂੰ ਬਿਹਤਰ ਬਣਾਉਣ ਲਈ ਸਮਰਪਿਤ। ਉਸਦੇ ਤਿੰਨ ਪਿਆਰ ਹਨ: ਗੋਲੰਗ, ਓਪਨ ਸੋਰਸ ਅਤੇ ਵਾਲੀਬਾਲ।

ਸਾਡੇ ਫਲੈਗਸ਼ਿਪ ਉਤਪਾਦ SpatialOS ਨੂੰ ਦੇਖਦੇ ਹੋਏ, ਤੁਸੀਂ ਅੰਦਾਜ਼ਾ ਲਗਾ ਸਕਦੇ ਹੋ ਕਿ ਅਸੰਭਵ ਨੂੰ ਦਰਜਨਾਂ ਕੁਬਰਨੇਟਸ ਕਲੱਸਟਰਾਂ ਦੇ ਨਾਲ ਇੱਕ ਉੱਚ ਗਤੀਸ਼ੀਲ, ਗਲੋਬਲ-ਸਕੇਲ ਕਲਾਉਡ ਬੁਨਿਆਦੀ ਢਾਂਚੇ ਦੀ ਲੋੜ ਹੈ। ਅਸੀਂ ਨਿਗਰਾਨੀ ਪ੍ਰਣਾਲੀ ਦੀ ਵਰਤੋਂ ਕਰਨ ਵਾਲੇ ਪਹਿਲੇ ਲੋਕਾਂ ਵਿੱਚੋਂ ਇੱਕ ਸੀ Prometheus. ਪ੍ਰੋਮੀਥੀਅਸ ਰੀਅਲ ਟਾਈਮ ਵਿੱਚ ਲੱਖਾਂ ਮੈਟ੍ਰਿਕਸ ਨੂੰ ਟਰੈਕ ਕਰਨ ਦੇ ਸਮਰੱਥ ਹੈ ਅਤੇ ਇੱਕ ਸ਼ਕਤੀਸ਼ਾਲੀ ਪੁੱਛਗਿੱਛ ਭਾਸ਼ਾ ਦੇ ਨਾਲ ਆਉਂਦਾ ਹੈ ਜੋ ਤੁਹਾਨੂੰ ਲੋੜੀਂਦੀ ਜਾਣਕਾਰੀ ਨੂੰ ਐਕਸਟਰੈਕਟ ਕਰਨ ਦੀ ਇਜਾਜ਼ਤ ਦਿੰਦਾ ਹੈ।

ਪ੍ਰੋਮੀਥੀਅਸ ਦੀ ਸਾਦਗੀ ਅਤੇ ਭਰੋਸੇਯੋਗਤਾ ਇਸਦੇ ਮੁੱਖ ਫਾਇਦਿਆਂ ਵਿੱਚੋਂ ਇੱਕ ਹੈ। ਹਾਲਾਂਕਿ, ਇੱਕ ਵਾਰ ਜਦੋਂ ਅਸੀਂ ਇੱਕ ਖਾਸ ਪੈਮਾਨੇ ਨੂੰ ਪਾਰ ਕਰ ਲਿਆ, ਤਾਂ ਸਾਨੂੰ ਕਈ ਕਮੀਆਂ ਦਾ ਸਾਹਮਣਾ ਕਰਨਾ ਪਿਆ। ਇਨ੍ਹਾਂ ਸਮੱਸਿਆਵਾਂ ਨੂੰ ਹੱਲ ਕਰਨ ਲਈ ਅਸੀਂ ਵਿਕਸਿਤ ਕੀਤਾ ਹੈ ਥਾਨੋਜ਼ ਮੌਜੂਦਾ ਪ੍ਰੋਮੀਥੀਅਸ ਕਲੱਸਟਰਾਂ ਨੂੰ ਬੇਅੰਤ ਇਤਿਹਾਸਕ ਡੇਟਾ ਸਟੋਰੇਜ ਦੇ ਨਾਲ ਇੱਕ ਸਿੰਗਲ ਨਿਗਰਾਨੀ ਪ੍ਰਣਾਲੀ ਵਿੱਚ ਨਿਰਵਿਘਨ ਰੂਪਾਂਤਰਿਤ ਕਰਨ ਲਈ ਅਸੰਭਵ ਦੁਆਰਾ ਬਣਾਇਆ ਇੱਕ ਓਪਨ ਸੋਰਸ ਪ੍ਰੋਜੈਕਟ ਹੈ। ਥੈਨੋਸ ਗਿਥਬ 'ਤੇ ਉਪਲਬਧ ਹੈ ਇੱਥੇ.

ਅਸੰਭਵ ਤੋਂ ਨਵੀਨਤਮ ਖ਼ਬਰਾਂ ਨਾਲ ਅੱਪ ਟੂ ਡੇਟ ਰਹੋ।

ਥਾਨੋਸ ਨਾਲ ਸਾਡੇ ਟੀਚੇ

ਇੱਕ ਖਾਸ ਪੈਮਾਨੇ 'ਤੇ, ਸਮੱਸਿਆਵਾਂ ਪੈਦਾ ਹੁੰਦੀਆਂ ਹਨ ਜੋ ਵਨੀਲਾ ਪ੍ਰੋਮੀਥੀਅਸ ਦੀਆਂ ਸਮਰੱਥਾਵਾਂ ਤੋਂ ਪਰੇ ਹਨ। ਇਤਿਹਾਸਕ ਡੇਟਾ ਦੇ ਪੈਟਾਬਾਈਟ ਨੂੰ ਭਰੋਸੇਯੋਗ ਅਤੇ ਆਰਥਿਕ ਤੌਰ 'ਤੇ ਕਿਵੇਂ ਸਟੋਰ ਕਰਨਾ ਹੈ? ਕੀ ਇਹ ਜਵਾਬ ਸਮੇਂ ਨਾਲ ਸਮਝੌਤਾ ਕੀਤੇ ਬਿਨਾਂ ਕੀਤਾ ਜਾ ਸਕਦਾ ਹੈ? ਕੀ ਇੱਕ ਸਿੰਗਲ API ਬੇਨਤੀ ਨਾਲ ਵੱਖ-ਵੱਖ ਪ੍ਰੋਮੀਥੀਅਸ ਸਰਵਰਾਂ 'ਤੇ ਸਥਿਤ ਸਾਰੇ ਮੈਟ੍ਰਿਕਸ ਤੱਕ ਪਹੁੰਚ ਕਰਨਾ ਸੰਭਵ ਹੈ? ਕੀ ਪ੍ਰੋਮੀਥੀਅਸ HA ਦੀ ਵਰਤੋਂ ਕਰਕੇ ਇਕੱਠੇ ਕੀਤੇ ਗਏ ਪ੍ਰਤੀਕ੍ਰਿਤੀ ਡੇਟਾ ਨੂੰ ਜੋੜਨ ਦਾ ਕੋਈ ਤਰੀਕਾ ਹੈ?

ਇਹਨਾਂ ਮੁੱਦਿਆਂ ਨੂੰ ਹੱਲ ਕਰਨ ਲਈ, ਅਸੀਂ ਥਾਨੋਸ ਬਣਾਇਆ. ਹੇਠਾਂ ਦਿੱਤੇ ਭਾਗ ਦੱਸਦੇ ਹਨ ਕਿ ਅਸੀਂ ਇਹਨਾਂ ਮੁੱਦਿਆਂ ਤੱਕ ਕਿਵੇਂ ਪਹੁੰਚਿਆ ਅਤੇ ਆਪਣੇ ਟੀਚਿਆਂ ਦੀ ਵਿਆਖਿਆ ਕੀਤੀ।

ਕਈ ਪ੍ਰੋਮੀਥੀਅਸ ਉਦਾਹਰਨਾਂ ਤੋਂ ਡੇਟਾ ਦੀ ਪੁੱਛਗਿੱਛ ਕਰਨਾ (ਗਲੋਬਲ ਪੁੱਛਗਿੱਛ)

ਪ੍ਰੋਮੀਥੀਅਸ ਸ਼ਾਰਡਿੰਗ ਲਈ ਇੱਕ ਕਾਰਜਸ਼ੀਲ ਪਹੁੰਚ ਪੇਸ਼ ਕਰਦਾ ਹੈ। ਇੱਥੋਂ ਤੱਕ ਕਿ ਇੱਕ ਇੱਕਲਾ ਪ੍ਰੋਮੀਥੀਅਸ ਸਰਵਰ ਉਪਭੋਗਤਾਵਾਂ ਨੂੰ ਲਗਭਗ ਸਾਰੇ ਵਰਤੋਂ ਦੇ ਮਾਮਲਿਆਂ ਵਿੱਚ ਹਰੀਜੱਟਲ ਸ਼ਾਰਡਿੰਗ ਦੀਆਂ ਜਟਿਲਤਾਵਾਂ ਤੋਂ ਮੁਕਤ ਕਰਨ ਲਈ ਕਾਫ਼ੀ ਮਾਪਯੋਗਤਾ ਪ੍ਰਦਾਨ ਕਰਦਾ ਹੈ।

ਹਾਲਾਂਕਿ ਇਹ ਇੱਕ ਵਧੀਆ ਤੈਨਾਤੀ ਮਾਡਲ ਹੈ, ਇਹ ਅਕਸਰ ਇੱਕ ਸਿੰਗਲ API ਜਾਂ UI - ਇੱਕ ਗਲੋਬਲ ਦ੍ਰਿਸ਼ ਦੁਆਰਾ ਵੱਖ-ਵੱਖ ਪ੍ਰੋਮੀਥੀਅਸ ਸਰਵਰਾਂ 'ਤੇ ਡੇਟਾ ਤੱਕ ਪਹੁੰਚ ਕਰਨਾ ਜ਼ਰੂਰੀ ਹੁੰਦਾ ਹੈ। ਬੇਸ਼ੱਕ, ਇੱਕ ਗ੍ਰਾਫਾਨਾ ਪੈਨਲ ਵਿੱਚ ਕਈ ਸਵਾਲਾਂ ਨੂੰ ਪ੍ਰਦਰਸ਼ਿਤ ਕਰਨਾ ਸੰਭਵ ਹੈ, ਪਰ ਹਰੇਕ ਪੁੱਛਗਿੱਛ ਨੂੰ ਸਿਰਫ਼ ਇੱਕ ਪ੍ਰੋਮੀਥੀਅਸ ਸਰਵਰ 'ਤੇ ਚਲਾਇਆ ਜਾ ਸਕਦਾ ਹੈ। ਦੂਜੇ ਪਾਸੇ, ਥਾਨੋਸ ਦੇ ਨਾਲ ਤੁਸੀਂ ਕਈ ਪ੍ਰੋਮੀਥੀਅਸ ਸਰਵਰਾਂ ਤੋਂ ਪੁੱਛਗਿੱਛ ਕਰ ਸਕਦੇ ਹੋ ਅਤੇ ਡਾਟਾ ਇਕੱਠਾ ਕਰ ਸਕਦੇ ਹੋ ਕਿਉਂਕਿ ਉਹ ਸਾਰੇ ਇੱਕ ਸਿੰਗਲ ਐਂਡਪੁਆਇੰਟ ਤੋਂ ਪਹੁੰਚਯੋਗ ਹਨ।

ਪਹਿਲਾਂ, ਅਸੰਭਵ ਵਿੱਚ ਇੱਕ ਗਲੋਬਲ ਦ੍ਰਿਸ਼ਟੀਕੋਣ ਪ੍ਰਾਪਤ ਕਰਨ ਲਈ, ਅਸੀਂ ਆਪਣੇ ਪ੍ਰੋਮੀਥੀਅਸ ਉਦਾਹਰਨਾਂ ਨੂੰ ਇੱਕ ਬਹੁ-ਪੱਧਰੀ ਵਿੱਚ ਸੰਗਠਿਤ ਕੀਤਾ ਲੜੀਵਾਰ ਫੈਡਰੇਸ਼ਨ. ਇਸਦਾ ਮਤਲਬ ਇੱਕ ਪ੍ਰੋਮੀਥੀਅਸ ਮੈਟਾ ਸਰਵਰ ਬਣਾਉਣਾ ਹੈ ਜੋ ਹਰੇਕ ਲੀਫ ਸਰਵਰ ਤੋਂ ਕੁਝ ਮੈਟ੍ਰਿਕਸ ਇਕੱਤਰ ਕਰਦਾ ਹੈ।

ਇਹ ਪਹੁੰਚ ਮੁਸ਼ਕਲ ਸਾਬਤ ਹੋਈ। ਇਸ ਦੇ ਨਤੀਜੇ ਵਜੋਂ ਵਧੇਰੇ ਗੁੰਝਲਦਾਰ ਸੰਰਚਨਾਵਾਂ, ਅਸਫਲਤਾ ਦੇ ਇੱਕ ਵਾਧੂ ਸੰਭਾਵੀ ਬਿੰਦੂ ਨੂੰ ਜੋੜਿਆ ਗਿਆ ਹੈ, ਅਤੇ ਇਹ ਯਕੀਨੀ ਬਣਾਉਣ ਲਈ ਗੁੰਝਲਦਾਰ ਨਿਯਮਾਂ ਦੀ ਵਰਤੋਂ ਕੀਤੀ ਗਈ ਹੈ ਕਿ ਸੰਘੀ ਅੰਤਮ ਬਿੰਦੂ ਸਿਰਫ ਲੋੜੀਂਦਾ ਡੇਟਾ ਪ੍ਰਾਪਤ ਕਰਦਾ ਹੈ। ਇਸ ਤੋਂ ਇਲਾਵਾ, ਇਸ ਕਿਸਮ ਦੀ ਫੈਡਰੇਸ਼ਨ ਤੁਹਾਨੂੰ ਇੱਕ ਸੱਚਾ ਗਲੋਬਲ ਦ੍ਰਿਸ਼ ਪ੍ਰਾਪਤ ਕਰਨ ਦੀ ਇਜਾਜ਼ਤ ਨਹੀਂ ਦਿੰਦੀ ਹੈ, ਕਿਉਂਕਿ ਇੱਕ ਸਿੰਗਲ API ਬੇਨਤੀ ਤੋਂ ਸਾਰਾ ਡੇਟਾ ਉਪਲਬਧ ਨਹੀਂ ਹੈ।

ਇਸ ਨਾਲ ਨਜ਼ਦੀਕੀ ਤੌਰ 'ਤੇ ਉੱਚ-ਉਪਲਬਧਤਾ (HA) ਪ੍ਰੋਮੀਥੀਅਸ ਸਰਵਰਾਂ 'ਤੇ ਇਕੱਤਰ ਕੀਤੇ ਗਏ ਡੇਟਾ ਦਾ ਇੱਕ ਏਕੀਕ੍ਰਿਤ ਦ੍ਰਿਸ਼ ਹੈ। ਪ੍ਰੋਮੀਥੀਅਸ ਦਾ HA ਮਾਡਲ ਸੁਤੰਤਰ ਤੌਰ 'ਤੇ ਦੋ ਵਾਰ ਡਾਟਾ ਇਕੱਠਾ ਕਰਦਾ ਹੈ, ਜੋ ਕਿ ਇੰਨਾ ਸੌਖਾ ਹੈ ਕਿ ਇਹ ਸੌਖਾ ਨਹੀਂ ਹੋ ਸਕਦਾ। ਹਾਲਾਂਕਿ, ਦੋਵਾਂ ਧਾਰਾਵਾਂ ਦੇ ਸੰਯੁਕਤ ਅਤੇ ਡੁਪਲੀਕੇਟ ਦ੍ਰਿਸ਼ ਦੀ ਵਰਤੋਂ ਕਰਨਾ ਵਧੇਰੇ ਸੁਵਿਧਾਜਨਕ ਹੋਵੇਗਾ।

ਬੇਸ਼ੱਕ, ਬਹੁਤ ਜ਼ਿਆਦਾ ਉਪਲਬਧ ਪ੍ਰੋਮੀਥੀਅਸ ਸਰਵਰਾਂ ਦੀ ਜ਼ਰੂਰਤ ਹੈ. ਅਸੰਭਵ 'ਤੇ, ਅਸੀਂ ਮਿੰਟ-ਦਰ-ਮਿੰਟ ਡਾਟਾ ਨਿਗਰਾਨੀ ਨੂੰ ਅਸਲ ਵਿੱਚ ਗੰਭੀਰਤਾ ਨਾਲ ਲੈਂਦੇ ਹਾਂ, ਪਰ ਪ੍ਰਤੀ ਕਲੱਸਟਰ ਵਿੱਚ ਇੱਕ ਪ੍ਰੋਮੀਥੀਅਸ ਉਦਾਹਰਣ ਹੋਣਾ ਅਸਫਲਤਾ ਦਾ ਇੱਕ ਬਿੰਦੂ ਹੈ। ਕੋਈ ਵੀ ਕੌਂਫਿਗਰੇਸ਼ਨ ਗਲਤੀ ਜਾਂ ਹਾਰਡਵੇਅਰ ਅਸਫਲਤਾ ਸੰਭਾਵੀ ਤੌਰ 'ਤੇ ਮਹੱਤਵਪੂਰਨ ਡੇਟਾ ਦੇ ਨੁਕਸਾਨ ਦਾ ਕਾਰਨ ਬਣ ਸਕਦੀ ਹੈ। ਇੱਥੋਂ ਤੱਕ ਕਿ ਇੱਕ ਸਧਾਰਨ ਤੈਨਾਤੀ ਮੈਟ੍ਰਿਕਸ ਸੰਗ੍ਰਹਿ ਵਿੱਚ ਮਾਮੂਲੀ ਰੁਕਾਵਟਾਂ ਦਾ ਕਾਰਨ ਬਣ ਸਕਦੀ ਹੈ ਕਿਉਂਕਿ ਰੀਸਟਾਰਟ ਸਕ੍ਰੈਪਿੰਗ ਅੰਤਰਾਲ ਨਾਲੋਂ ਕਾਫ਼ੀ ਲੰਬਾ ਹੋ ਸਕਦਾ ਹੈ।

ਇਤਿਹਾਸਕ ਡੇਟਾ ਦਾ ਭਰੋਸੇਯੋਗ ਸਟੋਰੇਜ

ਸਸਤੀ, ਤੇਜ਼, ਲੰਬੀ-ਅਵਧੀ ਮੈਟ੍ਰਿਕਸ ਸਟੋਰੇਜ ਸਾਡਾ ਸੁਪਨਾ ਹੈ (ਜ਼ਿਆਦਾਤਰ ਪ੍ਰੋਮੀਥੀਅਸ ਉਪਭੋਗਤਾਵਾਂ ਦੁਆਰਾ ਸਾਂਝਾ ਕੀਤਾ ਗਿਆ ਹੈ)। ਅਸੰਭਵ ਵਿੱਚ, ਸਾਨੂੰ ਮੈਟ੍ਰਿਕਸ ਧਾਰਨ ਦੀ ਮਿਆਦ ਨੂੰ ਨੌਂ ਦਿਨਾਂ ਤੱਕ ਕੌਂਫਿਗਰ ਕਰਨ ਲਈ ਮਜਬੂਰ ਕੀਤਾ ਗਿਆ ਸੀ (ਪ੍ਰੋਮੀਥੀਅਸ 1.8 ਲਈ)। ਇਹ ਸਪੱਸ਼ਟ ਸੀਮਾਵਾਂ ਜੋੜਦਾ ਹੈ ਕਿ ਅਸੀਂ ਕਿੰਨੀ ਦੂਰ ਦੇਖ ਸਕਦੇ ਹਾਂ।

ਇਸ ਸਬੰਧ ਵਿੱਚ ਪ੍ਰੋਮੀਥੀਅਸ 2.0 ਵਿੱਚ ਸੁਧਾਰ ਹੋਇਆ ਹੈ, ਕਿਉਂਕਿ ਸਮਾਂ ਲੜੀ ਦੀ ਗਿਣਤੀ ਹੁਣ ਸਰਵਰ ਦੀ ਸਮੁੱਚੀ ਕਾਰਗੁਜ਼ਾਰੀ ਨੂੰ ਪ੍ਰਭਾਵਤ ਨਹੀਂ ਕਰਦੀ (ਵੇਖੋ. ਪ੍ਰੋਮੀਥੀਅਸ 2 ਬਾਰੇ ਕੁਬੇਕੋਨ ਮੁੱਖ ਭਾਸ਼ਣ). ਹਾਲਾਂਕਿ, ਪ੍ਰੋਮੀਥੀਅਸ ਲੋਕਲ ਡਿਸਕ 'ਤੇ ਡਾਟਾ ਸਟੋਰ ਕਰਦਾ ਹੈ। ਹਾਲਾਂਕਿ ਉੱਚ-ਕੁਸ਼ਲਤਾ ਡੇਟਾ ਸੰਕੁਚਨ ਸਥਾਨਕ SSD ਵਰਤੋਂ ਨੂੰ ਮਹੱਤਵਪੂਰਣ ਰੂਪ ਵਿੱਚ ਘਟਾ ਸਕਦਾ ਹੈ, ਅੰਤ ਵਿੱਚ ਅਜੇ ਵੀ ਇਤਿਹਾਸਕ ਡੇਟਾ ਦੀ ਮਾਤਰਾ ਦੀ ਇੱਕ ਸੀਮਾ ਹੈ ਜੋ ਸਟੋਰ ਕੀਤਾ ਜਾ ਸਕਦਾ ਹੈ।

ਇਸ ਤੋਂ ਇਲਾਵਾ, Improbable 'ਤੇ ਅਸੀਂ ਭਰੋਸੇਯੋਗਤਾ, ਸਾਦਗੀ ਅਤੇ ਲਾਗਤ ਦੀ ਪਰਵਾਹ ਕਰਦੇ ਹਾਂ। ਵੱਡੀਆਂ ਲੋਕਲ ਡਿਸਕਾਂ ਨੂੰ ਚਲਾਉਣਾ ਅਤੇ ਬੈਕਅੱਪ ਕਰਨਾ ਵਧੇਰੇ ਮੁਸ਼ਕਲ ਹੁੰਦਾ ਹੈ। ਉਹਨਾਂ ਦੀ ਲਾਗਤ ਵਧੇਰੇ ਹੁੰਦੀ ਹੈ ਅਤੇ ਵਧੇਰੇ ਬੈਕਅੱਪ ਟੂਲਸ ਦੀ ਲੋੜ ਹੁੰਦੀ ਹੈ, ਨਤੀਜੇ ਵਜੋਂ ਬੇਲੋੜੀ ਜਟਿਲਤਾ ਹੁੰਦੀ ਹੈ।

ਡਾਊਨਸੈਪਲਿੰਗ

ਇੱਕ ਵਾਰ ਜਦੋਂ ਅਸੀਂ ਇਤਿਹਾਸਕ ਡੇਟਾ ਦੇ ਨਾਲ ਕੰਮ ਕਰਨਾ ਸ਼ੁਰੂ ਕਰ ਦਿੱਤਾ, ਤਾਂ ਸਾਨੂੰ ਅਹਿਸਾਸ ਹੋਇਆ ਕਿ ਵੱਡੇ-ਓ ਵਿੱਚ ਬੁਨਿਆਦੀ ਮੁਸ਼ਕਲਾਂ ਹਨ ਜੋ ਸਵਾਲਾਂ ਨੂੰ ਹੌਲੀ ਅਤੇ ਹੌਲੀ ਬਣਾਉਂਦੀਆਂ ਹਨ ਕਿਉਂਕਿ ਅਸੀਂ ਹਫ਼ਤਿਆਂ, ਮਹੀਨਿਆਂ ਅਤੇ ਸਾਲਾਂ ਦੇ ਡੇਟਾ ਨਾਲ ਕੰਮ ਕਰਦੇ ਹਾਂ।

ਇਸ ਸਮੱਸਿਆ ਦਾ ਮਿਆਰੀ ਹੱਲ ਹੋਵੇਗਾ ਡਾਊਨਸੈਪਲਿੰਗ (ਡਾਊਨਸੈਪਲਿੰਗ) - ਸਿਗਨਲ ਸੈਂਪਲਿੰਗ ਦੀ ਬਾਰੰਬਾਰਤਾ ਨੂੰ ਘਟਾਉਣਾ। ਡਾਊਨਸੈਪਲਿੰਗ ਦੇ ਨਾਲ, ਅਸੀਂ ਸਵਾਲਾਂ ਨੂੰ ਜਵਾਬਦੇਹ ਰੱਖਦੇ ਹੋਏ, ਇੱਕ ਵੱਡੀ ਸਮਾਂ ਸੀਮਾ ਤੱਕ "ਸਕੇਲ ਡਾਊਨ" ਕਰ ਸਕਦੇ ਹਾਂ ਅਤੇ ਨਮੂਨਿਆਂ ਦੀ ਸਮਾਨ ਸੰਖਿਆ ਨੂੰ ਕਾਇਮ ਰੱਖ ਸਕਦੇ ਹਾਂ।

ਪੁਰਾਣੇ ਡੇਟਾ ਦਾ ਨਮੂਨਾ ਲੈਣਾ ਕਿਸੇ ਵੀ ਲੰਬੇ ਸਮੇਂ ਦੇ ਸਟੋਰੇਜ ਹੱਲ ਦੀ ਇੱਕ ਲਾਜ਼ਮੀ ਲੋੜ ਹੈ ਅਤੇ ਇਹ ਵਨੀਲਾ ਪ੍ਰੋਮੀਥੀਅਸ ਦੇ ਦਾਇਰੇ ਤੋਂ ਬਾਹਰ ਹੈ।

ਵਾਧੂ ਟੀਚੇ

ਥਾਨੋਸ ਪ੍ਰੋਜੈਕਟ ਦੇ ਮੂਲ ਟੀਚਿਆਂ ਵਿੱਚੋਂ ਇੱਕ ਸੀ ਕਿਸੇ ਵੀ ਮੌਜੂਦਾ ਪ੍ਰੋਮੀਥੀਅਸ ਸਥਾਪਨਾਵਾਂ ਨਾਲ ਸਹਿਜਤਾ ਨਾਲ ਏਕੀਕ੍ਰਿਤ ਕਰਨਾ। ਦੂਜਾ ਟੀਚਾ ਪ੍ਰਵੇਸ਼ ਲਈ ਘੱਟੋ ਘੱਟ ਰੁਕਾਵਟਾਂ ਦੇ ਨਾਲ ਸੰਚਾਲਨ ਵਿੱਚ ਅਸਾਨੀ ਸੀ। ਕਿਸੇ ਵੀ ਨਿਰਭਰਤਾ ਨੂੰ ਛੋਟੇ ਅਤੇ ਵੱਡੇ ਉਪਭੋਗਤਾਵਾਂ ਲਈ ਆਸਾਨੀ ਨਾਲ ਸੰਤੁਸ਼ਟ ਕੀਤਾ ਜਾਣਾ ਚਾਹੀਦਾ ਹੈ, ਜਿਸਦਾ ਮਤਲਬ ਇੱਕ ਘੱਟ ਅਧਾਰ ਲਾਗਤ ਵੀ ਹੈ।

ਥਾਨੋਸ ਆਰਕੀਟੈਕਚਰ

ਪਿਛਲੇ ਭਾਗ ਵਿੱਚ ਸਾਡੇ ਟੀਚਿਆਂ ਨੂੰ ਸੂਚੀਬੱਧ ਕਰਨ ਤੋਂ ਬਾਅਦ, ਆਓ ਉਹਨਾਂ ਦੁਆਰਾ ਕੰਮ ਕਰੀਏ ਅਤੇ ਵੇਖੀਏ ਕਿ ਥਾਨੋਸ ਇਹਨਾਂ ਸਮੱਸਿਆਵਾਂ ਨੂੰ ਕਿਵੇਂ ਹੱਲ ਕਰਦਾ ਹੈ।

ਗਲੋਬਲ ਦ੍ਰਿਸ਼

ਮੌਜੂਦਾ ਪ੍ਰੋਮੀਥੀਅਸ ਉਦਾਹਰਨਾਂ ਦੇ ਸਿਖਰ 'ਤੇ ਇੱਕ ਗਲੋਬਲ ਦ੍ਰਿਸ਼ ਪ੍ਰਾਪਤ ਕਰਨ ਲਈ, ਸਾਨੂੰ ਸਾਰੇ ਸਰਵਰਾਂ ਨਾਲ ਇੱਕ ਸਿੰਗਲ ਬੇਨਤੀ ਐਂਟਰੀ ਪੁਆਇੰਟ ਨੂੰ ਲਿੰਕ ਕਰਨ ਦੀ ਲੋੜ ਹੈ। ਇਹ ਬਿਲਕੁਲ ਉਹੀ ਹੈ ਜੋ ਥਾਨੋਸ ਕੰਪੋਨੈਂਟ ਕਰਦਾ ਹੈ। ਸਾਈਡਕਾਰ. ਇਹ ਹਰੇਕ ਪ੍ਰੋਮੀਥੀਅਸ ਸਰਵਰ ਦੇ ਅੱਗੇ ਤੈਨਾਤ ਕੀਤਾ ਜਾਂਦਾ ਹੈ ਅਤੇ ਇੱਕ ਪ੍ਰੌਕਸੀ ਵਜੋਂ ਕੰਮ ਕਰਦਾ ਹੈ, gRPC ਸਟੋਰ API ਦੁਆਰਾ ਸਥਾਨਕ ਪ੍ਰੋਮੀਥੀਅਸ ਡੇਟਾ ਦੀ ਸੇਵਾ ਕਰਦਾ ਹੈ, ਟੈਗ ਅਤੇ ਸਮਾਂ ਸੀਮਾ ਦੁਆਰਾ ਸਮਾਂ ਲੜੀ ਦੇ ਡੇਟਾ ਨੂੰ ਪ੍ਰਾਪਤ ਕਰਨ ਦੀ ਆਗਿਆ ਦਿੰਦਾ ਹੈ।

ਦੂਜੇ ਪਾਸੇ ਸਕੇਲ-ਆਉਟ, ਸਟੇਟਲੈੱਸ ਕਿਊਰੀਅਰ ਕੰਪੋਨੈਂਟ ਹੈ, ਜੋ ਸਟੈਂਡਰਡ ਪ੍ਰੋਮੀਥੀਅਸ HTTP API ਦੁਆਰਾ PromQL ਸਵਾਲਾਂ ਦਾ ਜਵਾਬ ਦੇਣ ਤੋਂ ਥੋੜ੍ਹਾ ਹੋਰ ਕੰਮ ਕਰਦਾ ਹੈ। Querier, Sidecar ਅਤੇ ਹੋਰ Thanos ਹਿੱਸੇ ਦੁਆਰਾ ਸੰਚਾਰ ਗੱਪਸ਼ਪ ਪ੍ਰੋਟੋਕੋਲ.

1. ਕਿਊਰੀਅਰ, ਇੱਕ ਬੇਨਤੀ ਪ੍ਰਾਪਤ ਕਰਨ 'ਤੇ, ਸੰਬੰਧਿਤ ਸਟੋਰ API ਸਰਵਰ ਨਾਲ ਜੁੜਦਾ ਹੈ, ਯਾਨੀ ਸਾਡੇ ਸਾਈਡਕਾਰਸ ਨਾਲ ਅਤੇ ਸੰਬੰਧਿਤ ਪ੍ਰੋਮੀਥੀਅਸ ਸਰਵਰਾਂ ਤੋਂ ਟਾਈਮ ਸੀਰੀਜ਼ ਡੇਟਾ ਪ੍ਰਾਪਤ ਕਰਦਾ ਹੈ।
2. ਉਸ ਤੋਂ ਬਾਅਦ, ਇਹ ਜਵਾਬਾਂ ਨੂੰ ਜੋੜਦਾ ਹੈ ਅਤੇ ਉਹਨਾਂ 'ਤੇ ਇੱਕ PromQL ਪੁੱਛਗਿੱਛ ਨੂੰ ਚਲਾਉਂਦਾ ਹੈ। Querier Prometheus HA ਸਰਵਰਾਂ ਤੋਂ ਡਿਸਜੋਇੰਟ ਡੇਟਾ ਅਤੇ ਡੁਪਲੀਕੇਟ ਡੇਟਾ ਦੋਵਾਂ ਨੂੰ ਮਿਲ ਸਕਦਾ ਹੈ।

ਇਹ ਸਾਡੀ ਬੁਝਾਰਤ ਦੇ ਇੱਕ ਵੱਡੇ ਹਿੱਸੇ ਨੂੰ ਹੱਲ ਕਰਦਾ ਹੈ - ਅਲੱਗ-ਥਲੱਗ ਪ੍ਰੋਮੀਥੀਅਸ ਸਰਵਰਾਂ ਤੋਂ ਡੇਟਾ ਨੂੰ ਇੱਕ ਸਿੰਗਲ ਦ੍ਰਿਸ਼ ਵਿੱਚ ਜੋੜਨਾ। ਅਸਲ 'ਚ ਇਸ ਫੀਚਰ ਲਈ ਥਾਨੋਸ ਦੀ ਹੀ ਵਰਤੋਂ ਕੀਤੀ ਜਾ ਸਕਦੀ ਹੈ। ਮੌਜੂਦਾ ਪ੍ਰੋਮੀਥੀਅਸ ਸਰਵਰਾਂ ਵਿੱਚ ਕੋਈ ਬਦਲਾਅ ਕਰਨ ਦੀ ਲੋੜ ਨਹੀਂ ਹੈ!

ਅਸੀਮਤ ਸ਼ੈਲਫ ਲਾਈਫ!

ਹਾਲਾਂਕਿ, ਜਲਦੀ ਜਾਂ ਬਾਅਦ ਵਿੱਚ ਅਸੀਂ ਆਮ ਪ੍ਰੋਮੀਥੀਅਸ ਧਾਰਨ ਸਮੇਂ ਤੋਂ ਬਾਹਰ ਡੇਟਾ ਨੂੰ ਸਟੋਰ ਕਰਨਾ ਚਾਹਾਂਗੇ। ਅਸੀਂ ਇਤਿਹਾਸਕ ਡੇਟਾ ਨੂੰ ਸਟੋਰ ਕਰਨ ਲਈ ਆਬਜੈਕਟ ਸਟੋਰੇਜ ਨੂੰ ਚੁਣਿਆ ਹੈ। ਇਹ ਕਿਸੇ ਵੀ ਕਲਾਉਡ ਦੇ ਨਾਲ-ਨਾਲ ਆਨ-ਪ੍ਰੀਮਿਸਸ ਡੇਟਾ ਸੈਂਟਰਾਂ ਵਿੱਚ ਵਿਆਪਕ ਤੌਰ 'ਤੇ ਉਪਲਬਧ ਹੈ ਅਤੇ ਬਹੁਤ ਲਾਗਤ ਪ੍ਰਭਾਵਸ਼ਾਲੀ ਹੈ। ਇਸ ਤੋਂ ਇਲਾਵਾ, ਲਗਭਗ ਕੋਈ ਵੀ ਆਬਜੈਕਟ ਸਟੋਰੇਜ ਮਸ਼ਹੂਰ S3 API ਦੁਆਰਾ ਉਪਲਬਧ ਹੈ.

ਪ੍ਰੋਮੀਥੀਅਸ ਲਗਭਗ ਹਰ ਦੋ ਘੰਟਿਆਂ ਬਾਅਦ ਰੈਮ ਤੋਂ ਡਿਸਕ ਤੱਕ ਡੇਟਾ ਲਿਖਦਾ ਹੈ। ਸਟੋਰ ਕੀਤੇ ਡੇਟਾ ਬਲਾਕ ਵਿੱਚ ਇੱਕ ਨਿਸ਼ਚਿਤ ਸਮੇਂ ਲਈ ਸਾਰਾ ਡੇਟਾ ਹੁੰਦਾ ਹੈ ਅਤੇ ਅਟੱਲ ਹੈ। ਇਹ ਬਹੁਤ ਸੁਵਿਧਾਜਨਕ ਹੈ ਕਿਉਂਕਿ ਥਾਨੋਸ ਸਾਈਡਕਾਰ ਸਿਰਫ਼ ਪ੍ਰੋਮੀਥੀਅਸ ਡੇਟਾ ਡਾਇਰੈਕਟਰੀ ਨੂੰ ਦੇਖ ਸਕਦਾ ਹੈ ਅਤੇ, ਜਿਵੇਂ ਹੀ ਨਵੇਂ ਬਲਾਕ ਉਪਲਬਧ ਹੁੰਦੇ ਹਨ, ਉਹਨਾਂ ਨੂੰ ਆਬਜੈਕਟ ਸਟੋਰੇਜ ਬਾਲਟੀਆਂ ਵਿੱਚ ਲੋਡ ਕਰ ਸਕਦੇ ਹਨ।

ਡਿਸਕ 'ਤੇ ਲਿਖਣ ਤੋਂ ਤੁਰੰਤ ਬਾਅਦ ਆਬਜੈਕਟ ਸਟੋਰੇਜ ਵਿੱਚ ਲੋਡ ਕਰਨਾ ਤੁਹਾਨੂੰ ਸਕ੍ਰੈਪਰ (ਪ੍ਰੋਮੀਥੀਅਸ ਅਤੇ ਥਾਨੋਸ ਸਾਈਡਕਾਰ) ਦੀ ਸਾਦਗੀ ਨੂੰ ਬਰਕਰਾਰ ਰੱਖਣ ਦੀ ਆਗਿਆ ਦਿੰਦਾ ਹੈ। ਜੋ ਸਹਾਇਤਾ, ਲਾਗਤ ਅਤੇ ਸਿਸਟਮ ਡਿਜ਼ਾਈਨ ਨੂੰ ਸਰਲ ਬਣਾਉਂਦਾ ਹੈ।

ਜਿਵੇਂ ਕਿ ਤੁਸੀਂ ਦੇਖ ਸਕਦੇ ਹੋ, ਡੇਟਾ ਬੈਕਅੱਪ ਬਹੁਤ ਸਧਾਰਨ ਹੈ. ਪਰ ਆਬਜੈਕਟ ਸਟੋਰੇਜ ਵਿੱਚ ਡੇਟਾ ਦੀ ਪੁੱਛਗਿੱਛ ਬਾਰੇ ਕੀ?

ਥਾਨੋਸ ਸਟੋਰ ਕੰਪੋਨੈਂਟ ਆਬਜੈਕਟ ਸਟੋਰੇਜ ਤੋਂ ਡੇਟਾ ਪ੍ਰਾਪਤ ਕਰਨ ਲਈ ਇੱਕ ਪ੍ਰੌਕਸੀ ਵਜੋਂ ਕੰਮ ਕਰਦਾ ਹੈ। ਥਾਨੋਸ ਸਾਈਡਕਾਰ ਵਾਂਗ, ਇਹ ਗੱਪ ਕਲੱਸਟਰ ਵਿੱਚ ਹਿੱਸਾ ਲੈਂਦਾ ਹੈ ਅਤੇ ਸਟੋਰ API ਨੂੰ ਲਾਗੂ ਕਰਦਾ ਹੈ। ਇਸ ਤਰ੍ਹਾਂ, ਮੌਜੂਦਾ ਕਿਊਰੀਅਰ ਇਸ ਨੂੰ ਸਾਈਡਕਾਰ ਵਾਂਗ ਵਰਤ ਸਕਦਾ ਹੈ, ਟਾਈਮ ਸੀਰੀਜ਼ ਡੇਟਾ ਦੇ ਇੱਕ ਹੋਰ ਸਰੋਤ ਵਜੋਂ - ਕੋਈ ਵਿਸ਼ੇਸ਼ ਸੰਰਚਨਾ ਦੀ ਲੋੜ ਨਹੀਂ ਹੈ।

ਟਾਈਮ ਸੀਰੀਜ਼ ਡੇਟਾ ਬਲਾਕਾਂ ਵਿੱਚ ਕਈ ਵੱਡੀਆਂ ਫਾਈਲਾਂ ਹੁੰਦੀਆਂ ਹਨ। ਉਹਨਾਂ ਨੂੰ ਮੰਗ 'ਤੇ ਲੋਡ ਕਰਨਾ ਕਾਫ਼ੀ ਅਕੁਸ਼ਲ ਹੋਵੇਗਾ, ਅਤੇ ਉਹਨਾਂ ਨੂੰ ਸਥਾਨਕ ਤੌਰ 'ਤੇ ਕੈਚ ਕਰਨ ਲਈ ਵੱਡੀ ਮਾਤਰਾ ਵਿੱਚ ਮੈਮੋਰੀ ਅਤੇ ਡਿਸਕ ਸਪੇਸ ਦੀ ਲੋੜ ਹੋਵੇਗੀ।

ਇਸ ਦੀ ਬਜਾਏ, ਸਟੋਰ ਗੇਟਵੇ ਜਾਣਦਾ ਹੈ ਕਿ ਪ੍ਰੋਮੀਥੀਅਸ ਸਟੋਰੇਜ ਫਾਰਮੈਟ ਨੂੰ ਕਿਵੇਂ ਸੰਭਾਲਣਾ ਹੈ। ਇੱਕ ਸਮਾਰਟ ਪੁੱਛਗਿੱਛ ਸ਼ਡਿਊਲਰ ਅਤੇ ਬਲਾਕਾਂ ਦੇ ਸਿਰਫ਼ ਲੋੜੀਂਦੇ ਸੂਚਕਾਂਕ ਹਿੱਸਿਆਂ ਨੂੰ ਕੈਚ ਕਰਨ ਲਈ ਧੰਨਵਾਦ, ਔਬਜੈਕਟ ਸਟੋਰੇਜ ਫਾਈਲਾਂ ਲਈ ਘੱਟੋ-ਘੱਟ HTTP ਬੇਨਤੀਆਂ ਤੱਕ ਗੁੰਝਲਦਾਰ ਪੁੱਛਗਿੱਛਾਂ ਨੂੰ ਘਟਾਉਣਾ ਸੰਭਵ ਹੈ। ਇਸ ਤਰੀਕੇ ਨਾਲ, ਤੁਸੀਂ ਬੇਨਤੀਆਂ ਦੀ ਸੰਖਿਆ ਨੂੰ ਚਾਰ ਤੋਂ ਛੇ ਆਰਡਰ ਦੀ ਤੀਬਰਤਾ ਤੱਕ ਘਟਾ ਸਕਦੇ ਹੋ ਅਤੇ ਜਵਾਬ ਦੇ ਸਮੇਂ ਨੂੰ ਪ੍ਰਾਪਤ ਕਰ ਸਕਦੇ ਹੋ ਜੋ ਆਮ ਤੌਰ 'ਤੇ ਸਥਾਨਕ SSD 'ਤੇ ਬੇਨਤੀਆਂ ਤੋਂ ਡੇਟਾ ਤੱਕ ਵੱਖ ਕਰਨਾ ਮੁਸ਼ਕਲ ਹੁੰਦਾ ਹੈ।

ਜਿਵੇਂ ਕਿ ਉਪਰੋਕਤ ਚਿੱਤਰ ਵਿੱਚ ਦਿਖਾਇਆ ਗਿਆ ਹੈ, ਥਾਨੋਸ ਕਵੇਰੀਅਰ ਪ੍ਰੋਮੀਥੀਅਸ ਸਟੋਰੇਜ ਫਾਰਮੈਟ ਦਾ ਲਾਭ ਉਠਾ ਕੇ ਅਤੇ ਸੰਬੰਧਿਤ ਡੇਟਾ ਨੂੰ ਨਾਲ-ਨਾਲ ਰੱਖ ਕੇ ਆਬਜੈਕਟ ਸਟੋਰੇਜ ਡੇਟਾ ਦੀ ਪ੍ਰਤੀ ਪੁੱਛਗਿੱਛ ਲਾਗਤ ਨੂੰ ਮਹੱਤਵਪੂਰਣ ਰੂਪ ਵਿੱਚ ਘਟਾਉਂਦਾ ਹੈ। ਇਸ ਪਹੁੰਚ ਦੀ ਵਰਤੋਂ ਕਰਦੇ ਹੋਏ, ਅਸੀਂ ਬਹੁਤ ਸਾਰੀਆਂ ਸਿੰਗਲ ਬੇਨਤੀਆਂ ਨੂੰ ਘੱਟੋ-ਘੱਟ ਬਲਕ ਓਪਰੇਸ਼ਨਾਂ ਵਿੱਚ ਜੋੜ ਸਕਦੇ ਹਾਂ।

ਕੰਪੈਕਸ਼ਨ ਅਤੇ ਡਾਊਨਸੈਪਲਿੰਗ

ਇੱਕ ਵਾਰ ਵਾਰ ਲੜੀਵਾਰ ਡੇਟਾ ਦਾ ਇੱਕ ਨਵਾਂ ਬਲਾਕ ਸਫਲਤਾਪੂਰਵਕ ਆਬਜੈਕਟ ਸਟੋਰੇਜ ਵਿੱਚ ਲੋਡ ਹੋ ਜਾਂਦਾ ਹੈ, ਅਸੀਂ ਇਸਨੂੰ "ਇਤਿਹਾਸਕ" ਡੇਟਾ ਦੇ ਰੂਪ ਵਿੱਚ ਮੰਨਦੇ ਹਾਂ, ਜੋ ਸਟੋਰ ਗੇਟਵੇ ਦੁਆਰਾ ਤੁਰੰਤ ਉਪਲਬਧ ਹੁੰਦਾ ਹੈ।

ਹਾਲਾਂਕਿ, ਕੁਝ ਸਮੇਂ ਬਾਅਦ, ਇੱਕ ਸਰੋਤ (ਸਾਈਡਕਾਰ ਦੇ ਨਾਲ ਪ੍ਰੋਮੀਥੀਅਸ) ਤੋਂ ਬਲਾਕ ਇਕੱਠੇ ਹੋ ਜਾਂਦੇ ਹਨ ਅਤੇ ਹੁਣ ਪੂਰੀ ਇੰਡੈਕਸਿੰਗ ਸਮਰੱਥਾ ਦੀ ਵਰਤੋਂ ਨਹੀਂ ਕਰਦੇ। ਇਸ ਸਮੱਸਿਆ ਨੂੰ ਹੱਲ ਕਰਨ ਲਈ, ਅਸੀਂ ਕੰਪੈਕਟਰ ਨਾਮਕ ਇੱਕ ਹੋਰ ਭਾਗ ਪੇਸ਼ ਕੀਤਾ ਹੈ। ਇਹ ਬਸ ਪ੍ਰੋਮੀਥੀਅਸ ਦੇ ਸਥਾਨਕ ਕੰਪੈਕਸ਼ਨ ਇੰਜਣ ਨੂੰ ਆਬਜੈਕਟ ਸਟੋਰੇਜ ਵਿੱਚ ਇਤਿਹਾਸਕ ਡੇਟਾ ਤੇ ਲਾਗੂ ਕਰਦਾ ਹੈ ਅਤੇ ਇੱਕ ਸਧਾਰਨ ਪੀਰੀਅਡਿਕ ਬੈਚ ਜੌਬ ਵਜੋਂ ਚਲਾਇਆ ਜਾ ਸਕਦਾ ਹੈ।

ਕੁਸ਼ਲ ਕੰਪਰੈਸ਼ਨ ਲਈ ਧੰਨਵਾਦ, ਲੰਬੇ ਸਮੇਂ ਲਈ ਸਟੋਰੇਜ ਦੀ ਪੁੱਛਗਿੱਛ ਕਰਨਾ ਡੇਟਾ ਦੇ ਆਕਾਰ ਦੇ ਰੂਪ ਵਿੱਚ ਕੋਈ ਸਮੱਸਿਆ ਨਹੀਂ ਪੈਦਾ ਕਰਦਾ ਹੈ। ਹਾਲਾਂਕਿ, ਇੱਕ ਅਰਬ ਮੁੱਲਾਂ ਨੂੰ ਅਨਪੈਕ ਕਰਨ ਅਤੇ ਉਹਨਾਂ ਨੂੰ ਇੱਕ ਕਿਊਰੀ ਪ੍ਰੋਸੈਸਰ ਦੁਆਰਾ ਚਲਾਉਣ ਦੀ ਸੰਭਾਵੀ ਲਾਗਤ ਲਾਜ਼ਮੀ ਤੌਰ 'ਤੇ ਪੁੱਛਗਿੱਛ ਦੇ ਐਗਜ਼ੀਕਿਊਸ਼ਨ ਸਮੇਂ ਵਿੱਚ ਇੱਕ ਨਾਟਕੀ ਵਾਧੇ ਦਾ ਨਤੀਜਾ ਹੋਵੇਗੀ। ਦੂਜੇ ਪਾਸੇ, ਕਿਉਂਕਿ ਸਕਰੀਨ 'ਤੇ ਪ੍ਰਤੀ ਪਿਕਸਲ ਸੈਂਕੜੇ ਡਾਟਾ ਪੁਆਇੰਟ ਹਨ, ਇਸ ਲਈ ਪੂਰੇ ਰੈਜ਼ੋਲਿਊਸ਼ਨ 'ਤੇ ਡੇਟਾ ਨੂੰ ਕਲਪਨਾ ਕਰਨਾ ਵੀ ਅਸੰਭਵ ਹੋ ਜਾਂਦਾ ਹੈ। ਇਸ ਤਰ੍ਹਾਂ, ਨਮੂਨੇ ਨੂੰ ਘਟਾਉਣਾ ਨਾ ਸਿਰਫ਼ ਸੰਭਵ ਹੈ, ਪਰ ਇਹ ਵੀ ਸ਼ੁੱਧਤਾ ਦਾ ਧਿਆਨ ਦੇਣ ਯੋਗ ਨੁਕਸਾਨ ਨਹੀਂ ਕਰੇਗਾ।

ਡੇਟਾ ਨੂੰ ਘੱਟ ਕਰਨ ਲਈ, ਕੰਪੈਕਟਰ ਲਗਾਤਾਰ ਪੰਜ ਮਿੰਟ ਅਤੇ ਇੱਕ ਘੰਟੇ ਦੇ ਰੈਜ਼ੋਲਿਊਸ਼ਨ 'ਤੇ ਡੇਟਾ ਨੂੰ ਇਕੱਠਾ ਕਰਦਾ ਹੈ। TSDB XOR ਕੰਪਰੈਸ਼ਨ ਦੀ ਵਰਤੋਂ ਕਰਦੇ ਹੋਏ ਏਨਕੋਡ ਕੀਤੇ ਹਰੇਕ ਕੱਚੇ ਹਿੱਸੇ ਲਈ, ਵੱਖ-ਵੱਖ ਕਿਸਮਾਂ ਦਾ ਕੁੱਲ ਡਾਟਾ ਸਟੋਰ ਕੀਤਾ ਜਾਂਦਾ ਹੈ, ਜਿਵੇਂ ਕਿ ਇੱਕ ਬਲਾਕ ਲਈ ਘੱਟੋ-ਘੱਟ, ਅਧਿਕਤਮ ਜਾਂ ਜੋੜ। ਇਹ Querier ਨੂੰ ਆਪਣੇ ਆਪ ਹੀ ਇੱਕ ਸਮੁੱਚਾ ਚੁਣਨ ਦੀ ਇਜਾਜ਼ਤ ਦਿੰਦਾ ਹੈ ਜੋ ਦਿੱਤੀ ਗਈ PromQL ਪੁੱਛਗਿੱਛ ਲਈ ਢੁਕਵਾਂ ਹੈ।

ਉਪਭੋਗਤਾ ਨੂੰ ਘੱਟ ਸ਼ੁੱਧਤਾ ਡੇਟਾ ਦੀ ਵਰਤੋਂ ਕਰਨ ਲਈ ਕਿਸੇ ਵਿਸ਼ੇਸ਼ ਸੰਰਚਨਾ ਦੀ ਲੋੜ ਨਹੀਂ ਹੈ। ਕਵੇਰੀਅਰ ਸਵੈਚਲਿਤ ਤੌਰ 'ਤੇ ਵੱਖ-ਵੱਖ ਰੈਜ਼ੋਲਿਊਸ਼ਨਾਂ ਅਤੇ ਕੱਚੇ ਡੇਟਾ ਵਿਚਕਾਰ ਸਵਿਚ ਕਰਦਾ ਹੈ ਕਿਉਂਕਿ ਉਪਭੋਗਤਾ ਜ਼ੂਮ ਇਨ ਅਤੇ ਆਊਟ ਕਰਦਾ ਹੈ। ਜੇਕਰ ਲੋੜੀਦਾ ਹੋਵੇ, ਤਾਂ ਉਪਭੋਗਤਾ ਬੇਨਤੀ ਵਿੱਚ "ਪੜਾਅ" ਪੈਰਾਮੀਟਰ ਦੁਆਰਾ ਇਸ ਨੂੰ ਸਿੱਧਾ ਨਿਯੰਤਰਿਤ ਕਰ ਸਕਦਾ ਹੈ।

ਕਿਉਂਕਿ ਇੱਕ ਜੀਬੀ ਸਟੋਰ ਕਰਨ ਦੀ ਲਾਗਤ ਘੱਟ ਹੈ, ਮੂਲ ਰੂਪ ਵਿੱਚ ਥਾਨੋਸ ਕੱਚਾ ਡੇਟਾ, ਪੰਜ-ਮਿੰਟ ਅਤੇ ਇੱਕ-ਘੰਟੇ ਦੇ ਰੈਜ਼ੋਲਿਊਸ਼ਨ ਡੇਟਾ ਨੂੰ ਸਟੋਰ ਕਰਦਾ ਹੈ। ਅਸਲੀ ਡੇਟਾ ਨੂੰ ਮਿਟਾਉਣ ਦੀ ਕੋਈ ਲੋੜ ਨਹੀਂ ਹੈ.

ਰਿਕਾਰਡਿੰਗ ਨਿਯਮ

ਥਾਨੋਸ ਦੇ ਨਾਲ ਵੀ, ਰਿਕਾਰਡਿੰਗ ਨਿਯਮ ਨਿਗਰਾਨੀ ਸਟੈਕ ਦਾ ਇੱਕ ਜ਼ਰੂਰੀ ਹਿੱਸਾ ਹਨ। ਉਹ ਗੁੰਝਲਤਾ, ਲੇਟੈਂਸੀ, ਅਤੇ ਸਵਾਲਾਂ ਦੀ ਲਾਗਤ ਨੂੰ ਘਟਾਉਂਦੇ ਹਨ। ਉਹ ਉਪਭੋਗਤਾਵਾਂ ਲਈ ਮੈਟ੍ਰਿਕਸ ਦੁਆਰਾ ਇਕੱਤਰ ਕੀਤੇ ਡੇਟਾ ਨੂੰ ਪ੍ਰਾਪਤ ਕਰਨ ਲਈ ਵੀ ਸੁਵਿਧਾਜਨਕ ਹਨ। ਥਾਨੋਸ ਵਨੀਲਾ ਪ੍ਰੋਮੀਥੀਅਸ ਉਦਾਹਰਨਾਂ 'ਤੇ ਅਧਾਰਤ ਹੈ, ਇਸਲਈ ਮੌਜੂਦਾ ਪ੍ਰੋਮੀਥੀਅਸ ਸਰਵਰ 'ਤੇ ਰਿਕਾਰਡਿੰਗ ਨਿਯਮਾਂ ਅਤੇ ਚੇਤਾਵਨੀ ਨਿਯਮਾਂ ਨੂੰ ਸਟੋਰ ਕਰਨਾ ਪੂਰੀ ਤਰ੍ਹਾਂ ਸਵੀਕਾਰਯੋਗ ਹੈ। ਹਾਲਾਂਕਿ, ਕੁਝ ਮਾਮਲਿਆਂ ਵਿੱਚ ਇਹ ਕਾਫ਼ੀ ਨਹੀਂ ਹੋ ਸਕਦਾ ਹੈ:

• ਗਲੋਬਲ ਚੇਤਾਵਨੀ ਅਤੇ ਨਿਯਮ (ਉਦਾਹਰਨ ਲਈ, ਇੱਕ ਚੇਤਾਵਨੀ ਜਦੋਂ ਕੋਈ ਸੇਵਾ ਤਿੰਨ ਵਿੱਚੋਂ ਦੋ ਤੋਂ ਵੱਧ ਕਲੱਸਟਰਾਂ 'ਤੇ ਕੰਮ ਨਹੀਂ ਕਰਦੀ)।
• ਸਥਾਨਕ ਸਟੋਰੇਜ ਤੋਂ ਬਾਹਰ ਦੇ ਡੇਟਾ ਲਈ ਨਿਯਮ।
• ਸਾਰੇ ਨਿਯਮਾਂ ਅਤੇ ਚੇਤਾਵਨੀਆਂ ਨੂੰ ਇੱਕ ਥਾਂ ਤੇ ਸਟੋਰ ਕਰਨ ਦੀ ਇੱਛਾ.

ਇਹਨਾਂ ਸਾਰੇ ਮਾਮਲਿਆਂ ਲਈ, ਥਾਨੋਸ ਵਿੱਚ ਇੱਕ ਵੱਖਰਾ ਭਾਗ ਸ਼ਾਮਲ ਹੁੰਦਾ ਹੈ ਜਿਸਨੂੰ ਰੂਲਰ ਕਿਹਾ ਜਾਂਦਾ ਹੈ, ਜੋ ਥਾਨੋਸ ਕਿਊਰੀਜ਼ ਦੁਆਰਾ ਨਿਯਮ ਅਤੇ ਚੇਤਾਵਨੀ ਦੀ ਗਣਨਾ ਕਰਦਾ ਹੈ। ਇੱਕ ਮਸ਼ਹੂਰ ਸਟੋਰਏਪੀਆਈ ਪ੍ਰਦਾਨ ਕਰਕੇ, ਕਿਊਰੀ ਨੋਡ ਤਾਜ਼ੇ ਗਣਨਾ ਕੀਤੇ ਮੈਟ੍ਰਿਕਸ ਤੱਕ ਪਹੁੰਚ ਕਰ ਸਕਦਾ ਹੈ। ਬਾਅਦ ਵਿੱਚ ਉਹਨਾਂ ਨੂੰ ਆਬਜੈਕਟ ਸਟੋਰੇਜ ਵਿੱਚ ਵੀ ਸਟੋਰ ਕੀਤਾ ਜਾਂਦਾ ਹੈ ਅਤੇ ਸਟੋਰ ਗੇਟਵੇ ਦੁਆਰਾ ਉਪਲਬਧ ਕਰਵਾਇਆ ਜਾਂਦਾ ਹੈ।

ਥਾਨੋਸ ਦੀ ਸ਼ਕਤੀ

ਥਾਨੋਸ ਤੁਹਾਡੀਆਂ ਜ਼ਰੂਰਤਾਂ ਦੇ ਅਨੁਕੂਲ ਹੋਣ ਲਈ ਕਾਫ਼ੀ ਲਚਕਦਾਰ ਹੈ। ਇਹ ਵਿਸ਼ੇਸ਼ ਤੌਰ 'ਤੇ ਲਾਭਦਾਇਕ ਹੁੰਦਾ ਹੈ ਜਦੋਂ ਸਾਦੇ ਪ੍ਰੋਮੀਥੀਅਸ ਤੋਂ ਪਰਵਾਸ ਕਰਦੇ ਹਨ। ਆਉ ਇੱਕ ਤਤਕਾਲ ਉਦਾਹਰਨ ਦੇ ਨਾਲ ਥਾਨੋਸ ਕੰਪੋਨੈਂਟਸ ਬਾਰੇ ਜੋ ਕੁਝ ਸਿੱਖਿਆ ਹੈ ਉਸ ਨੂੰ ਜਲਦੀ ਰੀਕੈਪ ਕਰੀਏ। ਇੱਥੇ ਆਪਣੇ ਵਨੀਲਾ ਪ੍ਰੋਮੀਥੀਅਸ ਨੂੰ "ਅਸੀਮਤ ਮੈਟ੍ਰਿਕਸ ਸਟੋਰੇਜ" ਦੀ ਦੁਨੀਆ ਵਿੱਚ ਕਿਵੇਂ ਲਿਜਾਣਾ ਹੈ:

1. ਆਪਣੇ ਪ੍ਰੋਮੀਥੀਅਸ ਸਰਵਰਾਂ ਵਿੱਚ ਥਾਨੋਸ ਸਾਈਡਕਾਰ ਸ਼ਾਮਲ ਕਰੋ - ਉਦਾਹਰਨ ਲਈ, ਕੁਬਰਨੇਟਸ ਪੌਡ ਵਿੱਚ ਇੱਕ ਸਾਈਡਕਾਰ ਕੰਟੇਨਰ।
2. ਡਾਟਾ ਦੇਖਣ ਦੇ ਯੋਗ ਹੋਣ ਲਈ ਕਈ ਥੈਨੋਸ ਕਿਊਰੀਅਰ ਪ੍ਰਤੀਕ੍ਰਿਤੀਆਂ ਨੂੰ ਤੈਨਾਤ ਕਰੋ। ਇਸ ਪੜਾਅ 'ਤੇ ਸਕ੍ਰੈਪਰ ਅਤੇ ਕਿਊਰੀਅਰ ਵਿਚਕਾਰ ਗੱਪਾਂ ਨੂੰ ਸਥਾਪਤ ਕਰਨਾ ਆਸਾਨ ਹੈ. ਕੰਪੋਨੈਂਟਸ ਦੇ ਪਰਸਪਰ ਪ੍ਰਭਾਵ ਦੀ ਜਾਂਚ ਕਰਨ ਲਈ, 'thanos_cluster_members' ਮੈਟ੍ਰਿਕ ਦੀ ਵਰਤੋਂ ਕਰੋ।

ਸੰਭਾਵੀ ਪ੍ਰੋਮੀਥੀਅਸ HA ਪ੍ਰਤੀਕ੍ਰਿਤੀਆਂ ਤੋਂ ਗਲੋਬਲ ਦ੍ਰਿਸ਼ ਅਤੇ ਸਹਿਜ ਡੇਟਾ ਡੁਪਲੀਕੇਸ਼ਨ ਪ੍ਰਦਾਨ ਕਰਨ ਲਈ ਸਿਰਫ ਇਹ ਦੋ ਕਦਮ ਕਾਫ਼ੀ ਹਨ! ਬਸ ਆਪਣੇ ਡੈਸ਼ਬੋਰਡਾਂ ਨੂੰ Querier HTTP ਅੰਤਮ ਬਿੰਦੂ ਨਾਲ ਕਨੈਕਟ ਕਰੋ ਜਾਂ ਸਿੱਧਾ Thanos UI ਦੀ ਵਰਤੋਂ ਕਰੋ।

ਹਾਲਾਂਕਿ, ਜੇਕਰ ਤੁਹਾਨੂੰ ਮੈਟ੍ਰਿਕਸ ਬੈਕਅੱਪ ਅਤੇ ਲੰਬੀ-ਅਵਧੀ ਸਟੋਰੇਜ ਦੀ ਲੋੜ ਹੈ, ਤਾਂ ਤੁਹਾਨੂੰ ਤਿੰਨ ਹੋਰ ਪੜਾਅ ਪੂਰੇ ਕਰਨ ਦੀ ਲੋੜ ਹੋਵੇਗੀ:

1. ਇੱਕ AWS S3 ਜਾਂ GCS ਬਾਲਟੀ ਬਣਾਓ। ਇਹਨਾਂ ਬਾਲਟੀਆਂ ਵਿੱਚ ਡੇਟਾ ਕਾਪੀ ਕਰਨ ਲਈ ਸਾਈਡਕਾਰ ਨੂੰ ਕੌਂਫਿਗਰ ਕਰੋ। ਸਥਾਨਕ ਡਾਟਾ ਸਟੋਰੇਜ ਨੂੰ ਹੁਣ ਘੱਟ ਤੋਂ ਘੱਟ ਕੀਤਾ ਜਾ ਸਕਦਾ ਹੈ।
2. ਸਟੋਰ ਗੇਟਵੇ ਨੂੰ ਤੈਨਾਤ ਕਰੋ ਅਤੇ ਇਸਨੂੰ ਆਪਣੇ ਮੌਜੂਦਾ ਗੱਪ ਕਲੱਸਟਰ ਨਾਲ ਕਨੈਕਟ ਕਰੋ। ਹੁਣ ਤੁਸੀਂ ਬੈਕਅੱਪ ਕੀਤੇ ਡੇਟਾ ਦੀ ਪੁੱਛਗਿੱਛ ਕਰ ਸਕਦੇ ਹੋ!
3. ਕੰਪੈਕਸ਼ਨ ਅਤੇ ਡਾਊਨਸੈਪਲਿੰਗ ਦੀ ਵਰਤੋਂ ਕਰਦੇ ਹੋਏ ਲੰਬੇ ਸਮੇਂ ਲਈ ਪੁੱਛਗਿੱਛ ਕੁਸ਼ਲਤਾ ਨੂੰ ਬਿਹਤਰ ਬਣਾਉਣ ਲਈ ਕੰਪੈਕਟਰ ਨੂੰ ਤਾਇਨਾਤ ਕਰੋ।

ਜੇ ਤੁਸੀਂ ਹੋਰ ਜਾਣਨਾ ਚਾਹੁੰਦੇ ਹੋ, ਤਾਂ ਸਾਡੇ 'ਤੇ ਇੱਕ ਨਜ਼ਰ ਮਾਰਨ ਤੋਂ ਸੰਕੋਚ ਨਾ ਕਰੋ kubernetes ਪ੍ਰਗਟ ਉਦਾਹਰਣ и ਸ਼ੁਰੂ ਕਰਨਾ!

ਸਿਰਫ਼ ਪੰਜ ਕਦਮਾਂ ਵਿੱਚ, ਅਸੀਂ ਗਲੋਬਲ ਦ੍ਰਿਸ਼, ਅਸੀਮਤ ਸਟੋਰੇਜ ਸਮਾਂ ਅਤੇ ਮੈਟ੍ਰਿਕਸ ਦੀ ਸੰਭਾਵੀ ਉੱਚ ਉਪਲਬਧਤਾ ਦੇ ਨਾਲ ਪ੍ਰੋਮੀਥੀਅਸ ਨੂੰ ਇੱਕ ਭਰੋਸੇਯੋਗ ਨਿਗਰਾਨੀ ਪ੍ਰਣਾਲੀ ਵਿੱਚ ਬਦਲ ਦਿੱਤਾ ਹੈ।

ਪੁੱਲ ਬੇਨਤੀ: ਸਾਨੂੰ ਤੁਹਾਡੀ ਲੋੜ ਹੈ!

ਥਾਨੋਜ਼ ਸ਼ੁਰੂ ਤੋਂ ਹੀ ਇੱਕ ਓਪਨ ਸੋਰਸ ਪ੍ਰੋਜੈਕਟ ਰਿਹਾ ਹੈ। ਪ੍ਰੋਮੀਥੀਅਸ ਦੇ ਨਾਲ ਸਹਿਜ ਏਕੀਕਰਣ ਅਤੇ ਥਾਨੋਸ ਦੇ ਸਿਰਫ ਇੱਕ ਹਿੱਸੇ ਦੀ ਵਰਤੋਂ ਕਰਨ ਦੀ ਯੋਗਤਾ ਇਸ ਨੂੰ ਤੁਹਾਡੇ ਨਿਗਰਾਨੀ ਪ੍ਰਣਾਲੀ ਨੂੰ ਅਸਾਨੀ ਨਾਲ ਸਕੇਲ ਕਰਨ ਲਈ ਇੱਕ ਵਧੀਆ ਵਿਕਲਪ ਬਣਾਉਂਦੀ ਹੈ।

ਅਸੀਂ ਹਮੇਸ਼ਾ GitHub ਪੁੱਲ ਬੇਨਤੀਆਂ ਅਤੇ ਮੁੱਦਿਆਂ ਦਾ ਸੁਆਗਤ ਕਰਦੇ ਹਾਂ। ਇਸ ਦੌਰਾਨ, Github Issues ਜਾਂ slack ਦੁਆਰਾ ਸਾਡੇ ਨਾਲ ਸੰਪਰਕ ਕਰਨ ਲਈ ਬੇਝਿਜਕ ਮਹਿਸੂਸ ਕਰੋ ਅਸੰਭਵ-eng #thanosਜੇਕਰ ਤੁਹਾਡੇ ਕੋਈ ਸਵਾਲ ਜਾਂ ਫੀਡਬੈਕ ਹਨ, ਜਾਂ ਇਸਦੀ ਵਰਤੋਂ ਕਰਕੇ ਆਪਣਾ ਅਨੁਭਵ ਸਾਂਝਾ ਕਰਨਾ ਚਾਹੁੰਦੇ ਹੋ! ਜੇਕਰ ਤੁਹਾਨੂੰ ਉਹ ਪਸੰਦ ਹੈ ਜੋ ਅਸੀਂ ਅਸੰਭਵ 'ਤੇ ਕਰਦੇ ਹਾਂ, ਤਾਂ ਸਾਡੇ ਨਾਲ ਸੰਪਰਕ ਕਰਨ ਤੋਂ ਝਿਜਕੋ ਨਾ - ਸਾਡੇ ਕੋਲ ਹਮੇਸ਼ਾ ਖਾਲੀ ਅਸਾਮੀਆਂ ਹਨ!

ਕੋਰਸ ਬਾਰੇ ਹੋਰ ਜਾਣੋ।

ਸਰੋਤ: www.habr.com