ਨਾ ਸਿਰਫ ਪ੍ਰੋਸੈਸਿੰਗ: ਅਸੀਂ ਕਾਫਕਾ ਸਟ੍ਰੀਮਜ਼ ਤੋਂ ਇੱਕ ਵੰਡਿਆ ਡੇਟਾਬੇਸ ਕਿਵੇਂ ਬਣਾਇਆ, ਅਤੇ ਇਸਦਾ ਕੀ ਨਤੀਜਾ ਨਿਕਲਿਆ

ਹੇ ਹਬਰ!

ਅਸੀਂ ਤੁਹਾਨੂੰ ਯਾਦ ਦਿਵਾਉਂਦੇ ਹਾਂ ਕਿ ਇਸ ਬਾਰੇ ਕਿਤਾਬ ਦੀ ਪਾਲਣਾ ਕੀਤੀ ਜਾ ਰਹੀ ਹੈ ਕਾਫਕਾ ਅਸੀਂ ਲਾਇਬ੍ਰੇਰੀ ਬਾਰੇ ਇੱਕ ਬਰਾਬਰ ਦਿਲਚਸਪ ਕੰਮ ਪ੍ਰਕਾਸ਼ਿਤ ਕੀਤਾ ਹੈ ਕਾਫਕਾ ਸਟ੍ਰੀਮਜ਼ API.

ਫਿਲਹਾਲ, ਭਾਈਚਾਰਾ ਸਿਰਫ਼ ਇਸ ਸ਼ਕਤੀਸ਼ਾਲੀ ਸਾਧਨ ਦੀਆਂ ਸੀਮਾਵਾਂ ਨੂੰ ਸਿੱਖ ਰਿਹਾ ਹੈ। ਇਸ ਲਈ, ਇੱਕ ਲੇਖ ਹਾਲ ਹੀ ਵਿੱਚ ਪ੍ਰਕਾਸ਼ਿਤ ਕੀਤਾ ਗਿਆ ਸੀ, ਜਿਸਦਾ ਅਨੁਵਾਦ ਅਸੀਂ ਤੁਹਾਨੂੰ ਪੇਸ਼ ਕਰਨਾ ਚਾਹੁੰਦੇ ਹਾਂ. ਆਪਣੇ ਤਜ਼ਰਬੇ ਤੋਂ, ਲੇਖਕ ਦੱਸਦਾ ਹੈ ਕਿ ਕਾਫਕਾ ਸਟ੍ਰੀਮਜ਼ ਨੂੰ ਵੰਡੇ ਗਏ ਡੇਟਾ ਸਟੋਰੇਜ ਵਿੱਚ ਕਿਵੇਂ ਬਦਲਣਾ ਹੈ। ਪੜ੍ਹਨ ਦਾ ਆਨੰਦ ਮਾਣੋ!

ਅਪਾਚੇ ਲਾਇਬ੍ਰੇਰੀ ਕਾਫਕਾ ਸਟ੍ਰੀਮਜ਼ ਅਪਾਚੇ ਕਾਫਕਾ ਦੇ ਸਿਖਰ 'ਤੇ ਵਿਤਰਿਤ ਸਟ੍ਰੀਮ ਪ੍ਰੋਸੈਸਿੰਗ ਲਈ ਉੱਦਮਾਂ ਵਿੱਚ ਦੁਨੀਆ ਭਰ ਵਿੱਚ ਵਰਤਿਆ ਜਾਂਦਾ ਹੈ। ਇਸ ਫਰੇਮਵਰਕ ਦੇ ਘੱਟ ਪ੍ਰਸ਼ੰਸਾਯੋਗ ਪਹਿਲੂਆਂ ਵਿੱਚੋਂ ਇੱਕ ਇਹ ਹੈ ਕਿ ਇਹ ਤੁਹਾਨੂੰ ਥਰਿੱਡ ਪ੍ਰੋਸੈਸਿੰਗ ਦੇ ਅਧਾਰ ਤੇ ਪੈਦਾ ਕੀਤੀ ਸਥਾਨਕ ਸਥਿਤੀ ਨੂੰ ਸਟੋਰ ਕਰਨ ਦੀ ਆਗਿਆ ਦਿੰਦਾ ਹੈ।

ਇਸ ਲੇਖ ਵਿੱਚ, ਮੈਂ ਤੁਹਾਨੂੰ ਦੱਸਾਂਗਾ ਕਿ ਕਲਾਉਡ ਐਪਲੀਕੇਸ਼ਨ ਸੁਰੱਖਿਆ ਲਈ ਇੱਕ ਉਤਪਾਦ ਵਿਕਸਿਤ ਕਰਨ ਵੇਲੇ ਸਾਡੀ ਕੰਪਨੀ ਨੇ ਇਸ ਮੌਕੇ ਦੀ ਲਾਭਦਾਇਕ ਵਰਤੋਂ ਕਿਵੇਂ ਕੀਤੀ। ਕਾਫਕਾ ਸਟ੍ਰੀਮਜ਼ ਦੀ ਵਰਤੋਂ ਕਰਦੇ ਹੋਏ, ਅਸੀਂ ਸ਼ੇਅਰਡ ਸਟੇਟ ਮਾਈਕ੍ਰੋ ਸਰਵਿਸਿਜ਼ ਬਣਾਏ ਹਨ, ਜਿਨ੍ਹਾਂ ਵਿੱਚੋਂ ਹਰ ਇੱਕ ਨੁਕਸ-ਸਹਿਣਸ਼ੀਲ ਅਤੇ ਸਿਸਟਮ ਵਿੱਚ ਵਸਤੂਆਂ ਦੀ ਸਥਿਤੀ ਬਾਰੇ ਭਰੋਸੇਯੋਗ ਜਾਣਕਾਰੀ ਦੇ ਉੱਚ ਉਪਲਬਧ ਸਰੋਤ ਵਜੋਂ ਕੰਮ ਕਰਦਾ ਹੈ। ਸਾਡੇ ਲਈ, ਇਹ ਭਰੋਸੇਯੋਗਤਾ ਅਤੇ ਸਹਾਇਤਾ ਦੀ ਸੌਖ ਦੋਵਾਂ ਪੱਖੋਂ ਇੱਕ ਕਦਮ ਅੱਗੇ ਹੈ।

ਜੇ ਤੁਸੀਂ ਇੱਕ ਵਿਕਲਪਿਕ ਪਹੁੰਚ ਵਿੱਚ ਦਿਲਚਸਪੀ ਰੱਖਦੇ ਹੋ ਜੋ ਤੁਹਾਨੂੰ ਤੁਹਾਡੀਆਂ ਵਸਤੂਆਂ ਦੀ ਰਸਮੀ ਸਥਿਤੀ ਦਾ ਸਮਰਥਨ ਕਰਨ ਲਈ ਇੱਕ ਸਿੰਗਲ ਕੇਂਦਰੀ ਡੇਟਾਬੇਸ ਦੀ ਵਰਤੋਂ ਕਰਨ ਦੀ ਇਜਾਜ਼ਤ ਦਿੰਦਾ ਹੈ, ਤਾਂ ਇਸਨੂੰ ਪੜ੍ਹੋ, ਇਹ ਦਿਲਚਸਪ ਹੋਵੇਗਾ ...

ਅਸੀਂ ਕਿਉਂ ਸੋਚਿਆ ਕਿ ਸਾਂਝਾ ਰਾਜ ਨਾਲ ਕੰਮ ਕਰਨ ਦੇ ਤਰੀਕੇ ਨੂੰ ਬਦਲਣ ਦਾ ਸਮਾਂ ਆ ਗਿਆ ਹੈ

ਸਾਨੂੰ ਏਜੰਟ ਦੀਆਂ ਰਿਪੋਰਟਾਂ ਦੇ ਆਧਾਰ 'ਤੇ ਵੱਖ-ਵੱਖ ਵਸਤੂਆਂ ਦੀ ਸਥਿਤੀ ਨੂੰ ਕਾਇਮ ਰੱਖਣ ਦੀ ਲੋੜ ਸੀ (ਉਦਾਹਰਨ ਲਈ: ਕੀ ਸਾਈਟ ਹਮਲੇ ਅਧੀਨ ਸੀ)? ਕਾਫਕਾ ਸਟ੍ਰੀਮਜ਼ ਵਿੱਚ ਜਾਣ ਤੋਂ ਪਹਿਲਾਂ, ਅਸੀਂ ਅਕਸਰ ਰਾਜ ਪ੍ਰਬੰਧਨ ਲਈ ਇੱਕ ਸਿੰਗਲ ਕੇਂਦਰੀ ਡੇਟਾਬੇਸ (+ ਸੇਵਾ API) 'ਤੇ ਨਿਰਭਰ ਕਰਦੇ ਹਾਂ। ਇਸ ਪਹੁੰਚ ਦੀਆਂ ਆਪਣੀਆਂ ਕਮੀਆਂ ਹਨ: ਮਿਤੀ ਤੀਬਰ ਸਥਿਤੀਆਂ ਇਕਸਾਰਤਾ ਅਤੇ ਸਿੰਕ੍ਰੋਨਾਈਜ਼ੇਸ਼ਨ ਨੂੰ ਕਾਇਮ ਰੱਖਣਾ ਇੱਕ ਅਸਲ ਚੁਣੌਤੀ ਬਣ ਜਾਂਦੀ ਹੈ। ਡੇਟਾਬੇਸ ਇੱਕ ਰੁਕਾਵਟ ਬਣ ਸਕਦਾ ਹੈ ਜਾਂ ਇਸ ਵਿੱਚ ਖਤਮ ਹੋ ਸਕਦਾ ਹੈ ਦੌੜ ਦੀ ਸਥਿਤੀ ਅਤੇ ਅਨਿਸ਼ਚਿਤਤਾ ਤੋਂ ਪੀੜਤ ਹੈ।

ਚਿੱਤਰ 1: ਵਿੱਚ ਤਬਦੀਲੀ ਤੋਂ ਪਹਿਲਾਂ ਦੇਖਿਆ ਗਿਆ ਇੱਕ ਆਮ ਸਪਲਿਟ-ਸਟੇਟ ਦ੍ਰਿਸ਼
ਕਾਫਕਾ ਅਤੇ ਕਾਫਕਾ ਸਟ੍ਰੀਮਜ਼: ਏਜੰਟ API ਦੁਆਰਾ ਆਪਣੇ ਵਿਚਾਰਾਂ ਨੂੰ ਸੰਚਾਰ ਕਰਦੇ ਹਨ, ਅਪਡੇਟ ਕੀਤੀ ਸਥਿਤੀ ਦੀ ਗਣਨਾ ਕੇਂਦਰੀ ਡੇਟਾਬੇਸ ਦੁਆਰਾ ਕੀਤੀ ਜਾਂਦੀ ਹੈ

ਕਾਫਕਾ ਸਟ੍ਰੀਮਜ਼ ਨੂੰ ਮਿਲੋ, ਸ਼ੇਅਰਡ ਸਟੇਟ ਮਾਈਕ੍ਰੋ ਸਰਵਿਸਿਜ਼ ਬਣਾਉਣਾ ਆਸਾਨ ਬਣਾਉਂਦੇ ਹੋਏ

ਲਗਭਗ ਇੱਕ ਸਾਲ ਪਹਿਲਾਂ, ਅਸੀਂ ਇਹਨਾਂ ਮੁੱਦਿਆਂ ਨੂੰ ਹੱਲ ਕਰਨ ਲਈ ਸਾਡੇ ਸਾਂਝੇ ਰਾਜ ਦੇ ਦ੍ਰਿਸ਼ਾਂ 'ਤੇ ਸਖਤ ਨਜ਼ਰ ਮਾਰਨ ਦਾ ਫੈਸਲਾ ਕੀਤਾ ਸੀ। ਅਸੀਂ ਤੁਰੰਤ ਕਾਫਕਾ ਸਟ੍ਰੀਮਜ਼ ਨੂੰ ਅਜ਼ਮਾਉਣ ਦਾ ਫੈਸਲਾ ਕੀਤਾ - ਅਸੀਂ ਜਾਣਦੇ ਹਾਂ ਕਿ ਇਹ ਕਿੰਨੀ ਮਾਪਯੋਗ, ਬਹੁਤ ਜ਼ਿਆਦਾ ਉਪਲਬਧ ਅਤੇ ਨੁਕਸ-ਸਹਿਣਸ਼ੀਲ ਹੈ, ਇਸ ਵਿੱਚ ਕਿੰਨੀ ਅਮੀਰ ਸਟ੍ਰੀਮਿੰਗ ਕਾਰਜਸ਼ੀਲਤਾ ਹੈ (ਪਰਿਵਰਤਨ, ਸਟੇਟਫੁਲ ਸਮੇਤ)। ਬੱਸ ਸਾਨੂੰ ਕੀ ਚਾਹੀਦਾ ਸੀ, ਇਹ ਦੱਸਣ ਦੀ ਲੋੜ ਨਹੀਂ ਕਿ ਕਾਫਕਾ ਵਿੱਚ ਸੁਨੇਹਾ ਪ੍ਰਣਾਲੀ ਕਿੰਨੀ ਪਰਿਪੱਕ ਅਤੇ ਭਰੋਸੇਮੰਦ ਬਣ ਗਈ ਹੈ।

ਸਾਡੇ ਦੁਆਰਾ ਬਣਾਈਆਂ ਗਈਆਂ ਸਟੇਟਫੁਲ ਮਾਈਕ੍ਰੋ ਸਰਵਿਸਿਜ਼ਾਂ ਵਿੱਚੋਂ ਹਰ ਇੱਕ ਕਾਫਕਾ ਸਟ੍ਰੀਮਜ਼ ਦੇ ਸਿਖਰ 'ਤੇ ਕਾਫ਼ੀ ਸਧਾਰਨ ਟੌਪੋਲੋਜੀ ਦੇ ਨਾਲ ਬਣਾਈ ਗਈ ਸੀ। ਇਸ ਵਿੱਚ 1) ਇੱਕ ਸਰੋਤ 2) ਇੱਕ ਨਿਰੰਤਰ ਕੁੰਜੀ-ਮੁੱਲ ਸਟੋਰ ਵਾਲਾ ਇੱਕ ਪ੍ਰੋਸੈਸਰ 3) ਇੱਕ ਸਿੰਕ:

ਚਿੱਤਰ 2: ਸਟੇਟਫੁੱਲ ਮਾਈਕ੍ਰੋ ਸਰਵਿਸਿਜ਼ ਲਈ ਸਾਡੀਆਂ ਸਟ੍ਰੀਮਿੰਗ ਉਦਾਹਰਨਾਂ ਦੀ ਡਿਫੌਲਟ ਟੌਪੋਲੋਜੀ। ਨੋਟ ਕਰੋ ਕਿ ਇੱਥੇ ਇੱਕ ਰਿਪੋਜ਼ਟਰੀ ਵੀ ਹੈ ਜਿਸ ਵਿੱਚ ਪਲੈਨਿੰਗ ਮੈਟਾਡੇਟਾ ਸ਼ਾਮਲ ਹੈ।

ਇਸ ਨਵੀਂ ਪਹੁੰਚ ਵਿੱਚ, ਏਜੰਟ ਸੁਨੇਹੇ ਲਿਖਦੇ ਹਨ ਜੋ ਸਰੋਤ ਵਿਸ਼ੇ ਵਿੱਚ ਫੀਡ ਕੀਤੇ ਜਾਂਦੇ ਹਨ, ਅਤੇ ਖਪਤਕਾਰ - ਕਹਿੰਦੇ ਹਨ, ਇੱਕ ਮੇਲ ਸੂਚਨਾ ਸੇਵਾ - ਸਿੰਕ (ਆਉਟਪੁੱਟ ਵਿਸ਼ਾ) ਦੁਆਰਾ ਕੰਪਿਊਟਿਡ ਸ਼ੇਅਰਡ ਸਟੇਟ ਪ੍ਰਾਪਤ ਕਰਦੇ ਹਨ।

ਚਿੱਤਰ 3: ਸ਼ੇਅਰਡ ਮਾਈਕਰੋ ਸਰਵਿਸਿਜ਼ ਦੇ ਨਾਲ ਇੱਕ ਦ੍ਰਿਸ਼ ਲਈ ਨਵਾਂ ਉਦਾਹਰਨ ਕਾਰਜ ਪ੍ਰਵਾਹ: 1) ਏਜੰਟ ਇੱਕ ਸੁਨੇਹਾ ਤਿਆਰ ਕਰਦਾ ਹੈ ਜੋ ਕਾਫਕਾ ਸਰੋਤ ਵਿਸ਼ੇ 'ਤੇ ਪਹੁੰਚਦਾ ਹੈ; 2) ਸ਼ੇਅਰਡ ਸਟੇਟ (ਕਾਫਕਾ ਸਟ੍ਰੀਮਜ਼ ਦੀ ਵਰਤੋਂ ਕਰਦੇ ਹੋਏ) ਵਾਲੀ ਇੱਕ ਮਾਈਕ੍ਰੋਸਰਵਿਸ ਇਸ ਨੂੰ ਪ੍ਰੋਸੈਸ ਕਰਦੀ ਹੈ ਅਤੇ ਗਣਨਾ ਕੀਤੀ ਸਥਿਤੀ ਨੂੰ ਕਾਫਕਾ ਵਿਸ਼ੇ 'ਤੇ ਲਿਖਦੀ ਹੈ; ਜਿਸ ਤੋਂ ਬਾਅਦ 3) ਖਪਤਕਾਰ ਨਵੀਂ ਸਥਿਤੀ ਨੂੰ ਸਵੀਕਾਰ ਕਰਦੇ ਹਨ

ਹੇ, ਇਹ ਬਿਲਟ-ਇਨ ਕੀ-ਵੈਲਯੂ ਸਟੋਰ ਅਸਲ ਵਿੱਚ ਬਹੁਤ ਉਪਯੋਗੀ ਹੈ!

ਜਿਵੇਂ ਕਿ ਉੱਪਰ ਦੱਸਿਆ ਗਿਆ ਹੈ, ਸਾਡੀ ਸਾਂਝੀ ਸਟੇਟ ਟੋਪੋਲੋਜੀ ਵਿੱਚ ਇੱਕ ਮੁੱਖ-ਮੁੱਲ ਸਟੋਰ ਹੈ। ਸਾਨੂੰ ਇਸਨੂੰ ਵਰਤਣ ਲਈ ਕਈ ਵਿਕਲਪ ਮਿਲੇ ਹਨ, ਅਤੇ ਉਹਨਾਂ ਵਿੱਚੋਂ ਦੋ ਦਾ ਵਰਣਨ ਹੇਠਾਂ ਦਿੱਤਾ ਗਿਆ ਹੈ।

ਵਿਕਲਪ #1: ਗਣਨਾ ਲਈ ਇੱਕ ਮੁੱਖ-ਮੁੱਲ ਸਟੋਰ ਦੀ ਵਰਤੋਂ ਕਰੋ

ਸਾਡੇ ਪਹਿਲੇ ਮੁੱਖ-ਮੁੱਲ ਸਟੋਰ ਵਿੱਚ ਗਣਨਾਵਾਂ ਲਈ ਲੋੜੀਂਦਾ ਸਹਾਇਕ ਡੇਟਾ ਸੀ। ਉਦਾਹਰਨ ਲਈ, ਕੁਝ ਮਾਮਲਿਆਂ ਵਿੱਚ ਸਾਂਝਾ ਰਾਜ "ਬਹੁਗਿਣਤੀ ਵੋਟਾਂ" ਦੇ ਸਿਧਾਂਤ ਦੁਆਰਾ ਨਿਰਧਾਰਤ ਕੀਤਾ ਗਿਆ ਸੀ। ਰਿਪੋਜ਼ਟਰੀ ਕਿਸੇ ਵਸਤੂ ਦੀ ਸਥਿਤੀ ਬਾਰੇ ਸਾਰੀਆਂ ਨਵੀਨਤਮ ਏਜੰਟ ਰਿਪੋਰਟਾਂ ਰੱਖ ਸਕਦੀ ਹੈ। ਫਿਰ, ਜਦੋਂ ਸਾਨੂੰ ਇੱਕ ਏਜੰਟ ਜਾਂ ਕਿਸੇ ਹੋਰ ਤੋਂ ਨਵੀਂ ਰਿਪੋਰਟ ਮਿਲਦੀ ਹੈ, ਤਾਂ ਅਸੀਂ ਇਸਨੂੰ ਸੁਰੱਖਿਅਤ ਕਰ ਸਕਦੇ ਹਾਂ, ਸਟੋਰੇਜ ਤੋਂ ਉਸੇ ਵਸਤੂ ਦੀ ਸਥਿਤੀ ਬਾਰੇ ਹੋਰ ਸਾਰੇ ਏਜੰਟਾਂ ਤੋਂ ਰਿਪੋਰਟਾਂ ਪ੍ਰਾਪਤ ਕਰ ਸਕਦੇ ਹਾਂ, ਅਤੇ ਗਣਨਾ ਨੂੰ ਦੁਹਰਾ ਸਕਦੇ ਹਾਂ।
ਹੇਠਾਂ ਚਿੱਤਰ 4 ਦਿਖਾਉਂਦਾ ਹੈ ਕਿ ਕਿਵੇਂ ਅਸੀਂ ਪ੍ਰੋਸੈਸਰ ਦੀ ਪ੍ਰੋਸੈਸਿੰਗ ਵਿਧੀ ਨਾਲ ਕੁੰਜੀ/ਮੁੱਲ ਸਟੋਰ ਦਾ ਪਰਦਾਫਾਸ਼ ਕੀਤਾ ਤਾਂ ਜੋ ਨਵੇਂ ਸੁਨੇਹੇ ਦੀ ਪ੍ਰਕਿਰਿਆ ਕੀਤੀ ਜਾ ਸਕੇ।

ਉਦਾਹਰਣ 4: ਅਸੀਂ ਪ੍ਰੋਸੈਸਰ ਦੀ ਪ੍ਰੋਸੈਸਿੰਗ ਵਿਧੀ ਲਈ ਕੁੰਜੀ-ਮੁੱਲ ਸਟੋਰ ਤੱਕ ਪਹੁੰਚ ਖੋਲ੍ਹਦੇ ਹਾਂ (ਇਸ ਤੋਂ ਬਾਅਦ, ਸ਼ੇਅਰਡ ਸਟੇਟ ਨਾਲ ਕੰਮ ਕਰਨ ਵਾਲੀ ਹਰੇਕ ਸਕ੍ਰਿਪਟ ਨੂੰ ਵਿਧੀ ਨੂੰ ਲਾਗੂ ਕਰਨਾ ਚਾਹੀਦਾ ਹੈ। doProcess)

ਵਿਕਲਪ #2: ਕਾਫਕਾ ਸਟ੍ਰੀਮਜ਼ ਦੇ ਸਿਖਰ 'ਤੇ ਇੱਕ CRUD API ਬਣਾਉਣਾ

ਸਾਡੇ ਬੁਨਿਆਦੀ ਕਾਰਜ ਪ੍ਰਵਾਹ ਨੂੰ ਸਥਾਪਿਤ ਕਰਨ ਤੋਂ ਬਾਅਦ, ਅਸੀਂ ਆਪਣੀਆਂ ਸਾਂਝੀਆਂ ਸਟੇਟ ਮਾਈਕ੍ਰੋ ਸਰਵਿਸਿਜ਼ ਲਈ ਇੱਕ RESTful CRUD API ਲਿਖਣ ਦੀ ਕੋਸ਼ਿਸ਼ ਕਰਨੀ ਸ਼ੁਰੂ ਕੀਤੀ। ਅਸੀਂ ਕੁਝ ਜਾਂ ਸਾਰੀਆਂ ਵਸਤੂਆਂ ਦੀ ਸਥਿਤੀ ਨੂੰ ਮੁੜ ਪ੍ਰਾਪਤ ਕਰਨ ਦੇ ਯੋਗ ਹੋਣਾ ਚਾਹੁੰਦੇ ਸੀ, ਨਾਲ ਹੀ ਕਿਸੇ ਵਸਤੂ ਦੀ ਸਥਿਤੀ ਨੂੰ ਸੈੱਟ ਜਾਂ ਹਟਾਉਣਾ (ਬੈਕਐਂਡ ਸਮਰਥਨ ਲਈ ਉਪਯੋਗੀ)।

ਸਾਰੇ Get State APIs ਦਾ ਸਮਰਥਨ ਕਰਨ ਲਈ, ਜਦੋਂ ਵੀ ਸਾਨੂੰ ਪ੍ਰੋਸੈਸਿੰਗ ਦੇ ਦੌਰਾਨ ਰਾਜ ਦੀ ਮੁੜ ਗਣਨਾ ਕਰਨ ਦੀ ਲੋੜ ਹੁੰਦੀ ਹੈ, ਅਸੀਂ ਇਸਨੂੰ ਇੱਕ ਬਿਲਟ-ਇਨ ਕੀ-ਵੈਲਯੂ ਸਟੋਰ ਵਿੱਚ ਲੰਬੇ ਸਮੇਂ ਲਈ ਸਟੋਰ ਕਰਦੇ ਹਾਂ। ਇਸ ਸਥਿਤੀ ਵਿੱਚ, ਕਾਫਕਾ ਸਟ੍ਰੀਮਜ਼ ਦੀ ਇੱਕ ਇੱਕਲੀ ਉਦਾਹਰਣ ਦੀ ਵਰਤੋਂ ਕਰਕੇ ਅਜਿਹੇ API ਨੂੰ ਲਾਗੂ ਕਰਨਾ ਬਹੁਤ ਸੌਖਾ ਹੋ ਜਾਂਦਾ ਹੈ, ਜਿਵੇਂ ਕਿ ਹੇਠਾਂ ਦਿੱਤੀ ਸੂਚੀ ਵਿੱਚ ਦਿਖਾਇਆ ਗਿਆ ਹੈ:

ਚਿੱਤਰ 5: ਕਿਸੇ ਵਸਤੂ ਦੀ ਪ੍ਰੀ-ਕੰਪਿਊਟਿਡ ਸਥਿਤੀ ਨੂੰ ਪ੍ਰਾਪਤ ਕਰਨ ਲਈ ਬਿਲਟ-ਇਨ ਕੀ-ਵੈਲਯੂ ਸਟੋਰ ਦੀ ਵਰਤੋਂ ਕਰਨਾ

API ਦੁਆਰਾ ਕਿਸੇ ਵਸਤੂ ਦੀ ਸਥਿਤੀ ਨੂੰ ਅਪਡੇਟ ਕਰਨਾ ਵੀ ਲਾਗੂ ਕਰਨਾ ਆਸਾਨ ਹੈ। ਅਸਲ ਵਿੱਚ, ਤੁਹਾਨੂੰ ਬਸ ਇੱਕ ਕਾਫਕਾ ਨਿਰਮਾਤਾ ਬਣਾਉਣ ਦੀ ਲੋੜ ਹੈ ਅਤੇ ਇੱਕ ਰਿਕਾਰਡ ਬਣਾਉਣ ਲਈ ਇਸਦੀ ਵਰਤੋਂ ਕਰੋ ਜਿਸ ਵਿੱਚ ਨਵਾਂ ਰਾਜ ਸ਼ਾਮਲ ਹੈ। ਇਹ ਯਕੀਨੀ ਬਣਾਉਂਦਾ ਹੈ ਕਿ API ਦੁਆਰਾ ਤਿਆਰ ਕੀਤੇ ਗਏ ਸਾਰੇ ਸੁਨੇਹਿਆਂ ਦੀ ਕਾਰਵਾਈ ਉਸੇ ਤਰ੍ਹਾਂ ਕੀਤੀ ਜਾਵੇਗੀ ਜਿਵੇਂ ਕਿ ਦੂਜੇ ਉਤਪਾਦਕਾਂ (ਜਿਵੇਂ ਕਿ ਏਜੰਟਾਂ) ਤੋਂ ਪ੍ਰਾਪਤ ਕੀਤੇ ਗਏ ਹਨ।

ਚਿੱਤਰ 6: ਤੁਸੀਂ ਕਾਫਕਾ ਨਿਰਮਾਤਾ ਦੀ ਵਰਤੋਂ ਕਰਕੇ ਕਿਸੇ ਵਸਤੂ ਦੀ ਸਥਿਤੀ ਨੂੰ ਸੈੱਟ ਕਰ ਸਕਦੇ ਹੋ

ਛੋਟੀ ਪੇਚੀਦਗੀ: ਕਾਫਕਾ ਦੇ ਬਹੁਤ ਸਾਰੇ ਭਾਗ ਹਨ

ਅੱਗੇ, ਅਸੀਂ ਪ੍ਰੋਸੈਸਿੰਗ ਲੋਡ ਨੂੰ ਵੰਡਣਾ ਚਾਹੁੰਦੇ ਸੀ ਅਤੇ ਸ਼ੇਅਰਡ-ਸਟੇਟ ਮਾਈਕ੍ਰੋ ਸਰਵਿਸਿਜ਼ ਪ੍ਰਤੀ ਦ੍ਰਿਸ਼ਟੀਕੋਣ ਦਾ ਇੱਕ ਕਲੱਸਟਰ ਪ੍ਰਦਾਨ ਕਰਕੇ ਉਪਲਬਧਤਾ ਵਿੱਚ ਸੁਧਾਰ ਕਰਨਾ ਚਾਹੁੰਦੇ ਸੀ। ਸੈਟਅਪ ਇੱਕ ਹਵਾ ਸੀ: ਇੱਕ ਵਾਰ ਜਦੋਂ ਅਸੀਂ ਇੱਕੋ ਐਪਲੀਕੇਸ਼ਨ ਆਈਡੀ (ਅਤੇ ਉਹੀ ਬੂਟਸਟਰੈਪ ਸਰਵਰਾਂ) ਦੇ ਅਧੀਨ ਚੱਲਣ ਲਈ ਸਾਰੀਆਂ ਉਦਾਹਰਣਾਂ ਨੂੰ ਕੌਂਫਿਗਰ ਕਰ ਲਿਆ, ਤਾਂ ਲਗਭਗ ਬਾਕੀ ਸਭ ਕੁਝ ਆਪਣੇ ਆਪ ਹੀ ਹੋ ਗਿਆ। ਅਸੀਂ ਇਹ ਵੀ ਨਿਰਧਾਰਿਤ ਕੀਤਾ ਹੈ ਕਿ ਹਰੇਕ ਸਰੋਤ ਵਿਸ਼ੇ ਵਿੱਚ ਕਈ ਭਾਗ ਹੋਣਗੇ, ਤਾਂ ਜੋ ਹਰੇਕ ਉਦਾਹਰਨ ਨੂੰ ਅਜਿਹੇ ਭਾਗਾਂ ਦਾ ਸਬਸੈੱਟ ਦਿੱਤਾ ਜਾ ਸਕੇ।

ਮੈਂ ਇਹ ਵੀ ਦੱਸਾਂਗਾ ਕਿ ਸਟੇਟ ਸਟੋਰ ਦੀ ਬੈਕਅਪ ਕਾਪੀ ਬਣਾਉਣਾ ਆਮ ਅਭਿਆਸ ਹੈ ਤਾਂ ਜੋ, ਉਦਾਹਰਨ ਲਈ, ਅਸਫਲਤਾ ਤੋਂ ਬਾਅਦ ਰਿਕਵਰੀ ਦੇ ਮਾਮਲੇ ਵਿੱਚ, ਇਸ ਕਾਪੀ ਨੂੰ ਕਿਸੇ ਹੋਰ ਸਥਿਤੀ ਵਿੱਚ ਟ੍ਰਾਂਸਫਰ ਕਰੋ। ਕਾਫਕਾ ਸਟ੍ਰੀਮਜ਼ ਵਿੱਚ ਹਰੇਕ ਸਟੇਟ ਸਟੋਰ ਲਈ, ਇੱਕ ਪਰਿਵਰਤਨ ਲੌਗ (ਜੋ ਸਥਾਨਕ ਅੱਪਡੇਟਾਂ ਨੂੰ ਟਰੈਕ ਕਰਦਾ ਹੈ) ਦੇ ਨਾਲ ਇੱਕ ਦੁਹਰਾਇਆ ਵਿਸ਼ਾ ਬਣਾਇਆ ਗਿਆ ਹੈ। ਇਸ ਤਰ੍ਹਾਂ, ਕਾਫਕਾ ਲਗਾਤਾਰ ਸਟੇਟ ਸਟੋਰ ਦਾ ਸਮਰਥਨ ਕਰਦਾ ਹੈ। ਇਸ ਲਈ, ਇੱਕ ਜਾਂ ਕਿਸੇ ਹੋਰ ਕਾਫਕਾ ਸਟ੍ਰੀਮਜ਼ ਦੀ ਫੇਲ੍ਹ ਹੋਣ ਦੀ ਸਥਿਤੀ ਵਿੱਚ, ਸਟੇਟ ਸਟੋਰ ਨੂੰ ਕਿਸੇ ਹੋਰ ਮੌਕੇ 'ਤੇ ਤੇਜ਼ੀ ਨਾਲ ਬਹਾਲ ਕੀਤਾ ਜਾ ਸਕਦਾ ਹੈ, ਜਿੱਥੇ ਅਨੁਸਾਰੀ ਭਾਗ ਜਾਣਗੇ। ਸਾਡੇ ਟੈਸਟਾਂ ਨੇ ਦਿਖਾਇਆ ਹੈ ਕਿ ਇਹ ਕੁਝ ਸਕਿੰਟਾਂ ਵਿੱਚ ਕੀਤਾ ਜਾਂਦਾ ਹੈ, ਭਾਵੇਂ ਸਟੋਰ ਵਿੱਚ ਲੱਖਾਂ ਰਿਕਾਰਡ ਹੋਣ।

ਸ਼ੇਅਰਡ ਸਟੇਟ ਦੇ ਨਾਲ ਇੱਕ ਸਿੰਗਲ ਮਾਈਕ੍ਰੋਸਰਵਿਸ ਤੋਂ ਮਾਈਕ੍ਰੋ ਸਰਵਿਸਿਜ਼ ਦੇ ਇੱਕ ਕਲੱਸਟਰ ਵਿੱਚ ਜਾਣਾ, Get State API ਨੂੰ ਲਾਗੂ ਕਰਨਾ ਘੱਟ ਮਾਮੂਲੀ ਬਣ ਜਾਂਦਾ ਹੈ। ਨਵੀਂ ਸਥਿਤੀ ਵਿੱਚ, ਹਰੇਕ ਮਾਈਕ੍ਰੋਸਰਵਿਸ ਦੇ ਸਟੇਟ ਸਟੋਰ ਵਿੱਚ ਸਮੁੱਚੀ ਤਸਵੀਰ ਦਾ ਸਿਰਫ ਇੱਕ ਹਿੱਸਾ ਹੁੰਦਾ ਹੈ (ਉਹ ਵਸਤੂਆਂ ਜਿਨ੍ਹਾਂ ਦੀਆਂ ਕੁੰਜੀਆਂ ਇੱਕ ਖਾਸ ਭਾਗ ਨਾਲ ਮੈਪ ਕੀਤੀਆਂ ਗਈਆਂ ਸਨ)। ਸਾਨੂੰ ਇਹ ਨਿਰਧਾਰਤ ਕਰਨਾ ਸੀ ਕਿ ਕਿਹੜੀ ਉਦਾਹਰਨ ਵਿੱਚ ਸਾਨੂੰ ਲੋੜੀਂਦੀ ਵਸਤੂ ਦੀ ਸਥਿਤੀ ਸ਼ਾਮਲ ਹੈ, ਅਤੇ ਅਸੀਂ ਇਹ ਥ੍ਰੈਡ ਮੈਟਾਡੇਟਾ ਦੇ ਅਧਾਰ ਤੇ ਕੀਤਾ, ਜਿਵੇਂ ਕਿ ਹੇਠਾਂ ਦਿਖਾਇਆ ਗਿਆ ਹੈ:

ਚਿੱਤਰ 7: ਸਟ੍ਰੀਮ ਮੈਟਾਡੇਟਾ ਦੀ ਵਰਤੋਂ ਕਰਦੇ ਹੋਏ, ਅਸੀਂ ਇਹ ਨਿਰਧਾਰਤ ਕਰਦੇ ਹਾਂ ਕਿ ਕਿਸ ਉਦਾਹਰਨ ਤੋਂ ਲੋੜੀਂਦੀ ਵਸਤੂ ਦੀ ਸਥਿਤੀ ਬਾਰੇ ਪੁੱਛਗਿੱਛ ਕਰਨੀ ਹੈ; GET ALL API ਦੇ ਨਾਲ ਇੱਕ ਸਮਾਨ ਪਹੁੰਚ ਵਰਤੀ ਗਈ ਸੀ

ਮੁੱਖ ਲੱਭਤਾਂ

ਕਾਫਕਾ ਸਟ੍ਰੀਮਜ਼ ਵਿੱਚ ਸਟੇਟ ਸਟੋਰ ਇੱਕ ਡਿਫੈਕਟੋ ਡਿਸਟ੍ਰੀਬਿਊਟਡ ਡੇਟਾਬੇਸ ਵਜੋਂ ਕੰਮ ਕਰ ਸਕਦੇ ਹਨ,

• ਕਾਫਕਾ ਵਿੱਚ ਲਗਾਤਾਰ ਦੁਹਰਾਇਆ ਗਿਆ
• ਇੱਕ CRUD API ਨੂੰ ਅਜਿਹੇ ਸਿਸਟਮ ਦੇ ਸਿਖਰ 'ਤੇ ਆਸਾਨੀ ਨਾਲ ਬਣਾਇਆ ਜਾ ਸਕਦਾ ਹੈ
• ਮਲਟੀਪਲ ਭਾਗਾਂ ਨੂੰ ਸੰਭਾਲਣਾ ਥੋੜਾ ਹੋਰ ਗੁੰਝਲਦਾਰ ਹੈ
• ਸਹਾਇਕ ਡੇਟਾ ਨੂੰ ਸਟੋਰ ਕਰਨ ਲਈ ਸਟ੍ਰੀਮਿੰਗ ਟੋਪੋਲੋਜੀ ਵਿੱਚ ਇੱਕ ਜਾਂ ਇੱਕ ਤੋਂ ਵੱਧ ਸਟੇਟ ਸਟੋਰਾਂ ਨੂੰ ਜੋੜਨਾ ਵੀ ਸੰਭਵ ਹੈ। ਇਹ ਵਿਕਲਪ ਇਹਨਾਂ ਲਈ ਵਰਤਿਆ ਜਾ ਸਕਦਾ ਹੈ:
• ਸਟ੍ਰੀਮ ਪ੍ਰੋਸੈਸਿੰਗ ਦੌਰਾਨ ਗਣਨਾਵਾਂ ਲਈ ਲੋੜੀਂਦੇ ਡੇਟਾ ਦੀ ਲੰਬੇ ਸਮੇਂ ਦੀ ਸਟੋਰੇਜ
• ਡਾਟੇ ਦੀ ਲੰਬੀ ਮਿਆਦ ਦੀ ਸਟੋਰੇਜ ਜੋ ਕਿ ਅਗਲੀ ਵਾਰ ਸਟ੍ਰੀਮਿੰਗ ਉਦਾਹਰਨ ਦੇ ਪ੍ਰਬੰਧ ਕੀਤੇ ਜਾਣ 'ਤੇ ਉਪਯੋਗੀ ਹੋ ਸਕਦੀ ਹੈ
• ਹੋਰ ਜਿਆਦਾ...

ਇਹ ਅਤੇ ਹੋਰ ਫਾਇਦੇ ਕਾਫਕਾ ਸਟ੍ਰੀਮਜ਼ ਨੂੰ ਸਾਡੇ ਵਰਗੀ ਵਿਤਰਿਤ ਪ੍ਰਣਾਲੀ ਵਿੱਚ ਗਲੋਬਲ ਸਟੇਟ ਨੂੰ ਬਣਾਈ ਰੱਖਣ ਲਈ ਅਨੁਕੂਲ ਬਣਾਉਂਦੇ ਹਨ। ਕਾਫਕਾ ਸਟ੍ਰੀਮਜ਼ ਉਤਪਾਦਨ ਵਿੱਚ ਬਹੁਤ ਭਰੋਸੇਮੰਦ ਸਾਬਤ ਹੋਇਆ ਹੈ (ਇਸ ਨੂੰ ਲਾਗੂ ਕਰਨ ਤੋਂ ਬਾਅਦ ਸਾਨੂੰ ਅਸਲ ਵਿੱਚ ਕੋਈ ਸੁਨੇਹਾ ਨੁਕਸਾਨ ਨਹੀਂ ਹੋਇਆ ਹੈ), ਅਤੇ ਸਾਨੂੰ ਭਰੋਸਾ ਹੈ ਕਿ ਇਸ ਦੀਆਂ ਸਮਰੱਥਾਵਾਂ ਇੱਥੇ ਨਹੀਂ ਰੁਕਣਗੀਆਂ!

ਸਰੋਤ: www.habr.com