ਸਰਵਰ ਵਿਸ਼ਲੇਸ਼ਣ ਸਿਸਟਮ

ਇਹ ਵਿਸ਼ਲੇਸ਼ਣਾਤਮਕ ਪ੍ਰਣਾਲੀਆਂ ਬਾਰੇ ਲੇਖਾਂ ਦੀ ਲੜੀ ਦਾ ਦੂਜਾ ਹਿੱਸਾ ਹੈ (ਭਾਗ 1 ਲਈ ਲਿੰਕ).

ਅੱਜ ਇਸ ਵਿੱਚ ਕੋਈ ਸ਼ੱਕ ਨਹੀਂ ਹੈ ਕਿ ਸਾਵਧਾਨ ਡੇਟਾ ਪ੍ਰੋਸੈਸਿੰਗ ਅਤੇ ਨਤੀਜਿਆਂ ਦੀ ਵਿਆਖਿਆ ਲਗਭਗ ਕਿਸੇ ਵੀ ਕਿਸਮ ਦੇ ਕਾਰੋਬਾਰ ਦੀ ਮਦਦ ਕਰ ਸਕਦੀ ਹੈ. ਇਸ ਸਬੰਧ ਵਿੱਚ, ਵਿਸ਼ਲੇਸ਼ਣਾਤਮਕ ਪ੍ਰਣਾਲੀਆਂ ਪੈਰਾਮੀਟਰਾਂ ਨਾਲ ਤੇਜ਼ੀ ਨਾਲ ਲੋਡ ਹੋ ਰਹੀਆਂ ਹਨ, ਅਤੇ ਐਪਲੀਕੇਸ਼ਨਾਂ ਵਿੱਚ ਟਰਿਗਰਸ ਅਤੇ ਉਪਭੋਗਤਾ ਇਵੈਂਟਸ ਦੀ ਗਿਣਤੀ ਵਧ ਰਹੀ ਹੈ.
ਇਸਦੇ ਕਾਰਨ, ਕੰਪਨੀਆਂ ਆਪਣੇ ਵਿਸ਼ਲੇਸ਼ਕਾਂ ਨੂੰ ਵਿਸ਼ਲੇਸ਼ਣ ਕਰਨ ਅਤੇ ਸਹੀ ਫੈਸਲਿਆਂ ਵਿੱਚ ਬਦਲਣ ਲਈ ਵੱਧ ਤੋਂ ਵੱਧ ਕੱਚੀ ਜਾਣਕਾਰੀ ਦੇ ਰਹੀਆਂ ਹਨ। ਕਿਸੇ ਕੰਪਨੀ ਲਈ ਵਿਸ਼ਲੇਸ਼ਣ ਪ੍ਰਣਾਲੀ ਦੀ ਮਹੱਤਤਾ ਨੂੰ ਘੱਟ ਨਹੀਂ ਸਮਝਿਆ ਜਾਣਾ ਚਾਹੀਦਾ ਹੈ, ਅਤੇ ਸਿਸਟਮ ਆਪਣੇ ਆਪ ਵਿੱਚ ਭਰੋਸੇਯੋਗ ਅਤੇ ਸਥਿਰ ਹੋਣਾ ਚਾਹੀਦਾ ਹੈ।

ਗਾਹਕ ਵਿਸ਼ਲੇਸ਼ਕ

ਗਾਹਕ ਵਿਸ਼ਲੇਸ਼ਣ ਇੱਕ ਸੇਵਾ ਹੈ ਜੋ ਇੱਕ ਕੰਪਨੀ ਅਧਿਕਾਰਤ SDK ਦੁਆਰਾ ਆਪਣੀ ਵੈਬਸਾਈਟ ਜਾਂ ਐਪਲੀਕੇਸ਼ਨ ਨਾਲ ਜੁੜਦੀ ਹੈ, ਆਪਣੇ ਖੁਦ ਦੇ ਕੋਡਬੇਸ ਵਿੱਚ ਏਕੀਕ੍ਰਿਤ ਹੁੰਦੀ ਹੈ ਅਤੇ ਇਵੈਂਟ ਟਰਿਗਰਸ ਦੀ ਚੋਣ ਕਰਦੀ ਹੈ। ਇਸ ਪਹੁੰਚ ਦਾ ਇੱਕ ਸਪੱਸ਼ਟ ਨਨੁਕਸਾਨ ਹੈ: ਤੁਹਾਡੇ ਦੁਆਰਾ ਚੁਣੀ ਗਈ ਕਿਸੇ ਵੀ ਸੇਵਾ ਦੀਆਂ ਸੀਮਾਵਾਂ ਦੇ ਕਾਰਨ ਇਕੱਠੇ ਕੀਤੇ ਸਾਰੇ ਡੇਟਾ 'ਤੇ ਬਿਲਕੁਲ ਉਸੇ ਤਰ੍ਹਾਂ ਪ੍ਰਕਿਰਿਆ ਨਹੀਂ ਕੀਤੀ ਜਾ ਸਕਦੀ ਹੈ ਜਿਵੇਂ ਤੁਸੀਂ ਚਾਹੁੰਦੇ ਹੋ। ਉਦਾਹਰਨ ਲਈ, ਇੱਕ ਸਿਸਟਮ 'ਤੇ MapReduce ਕਾਰਜਾਂ ਨੂੰ ਚਲਾਉਣਾ ਆਸਾਨ ਨਹੀਂ ਹੋਵੇਗਾ, ਦੂਜੇ 'ਤੇ ਤੁਸੀਂ ਆਪਣੇ ਮਾਡਲ ਨੂੰ ਚਲਾਉਣ ਦੇ ਯੋਗ ਨਹੀਂ ਹੋਵੋਗੇ। ਇੱਕ ਹੋਰ ਨੁਕਸਾਨ ਸੇਵਾਵਾਂ ਲਈ ਨਿਯਮਤ (ਪ੍ਰਭਾਵਸ਼ਾਲੀ) ਬਿੱਲ ਹੋਵੇਗਾ।
ਮਾਰਕੀਟ ਵਿੱਚ ਬਹੁਤ ਸਾਰੇ ਗਾਹਕ ਵਿਸ਼ਲੇਸ਼ਣ ਹੱਲ ਹਨ, ਪਰ ਜਲਦੀ ਜਾਂ ਬਾਅਦ ਵਿੱਚ ਵਿਸ਼ਲੇਸ਼ਕਾਂ ਨੂੰ ਇਸ ਤੱਥ ਦਾ ਸਾਹਮਣਾ ਕਰਨਾ ਪੈਂਦਾ ਹੈ ਕਿ ਹਰ ਕੰਮ ਲਈ ਕੋਈ ਵੀ ਸਰਵ ਵਿਆਪਕ ਸੇਵਾ ਨਹੀਂ ਹੈ (ਜਦੋਂ ਕਿ ਇਹਨਾਂ ਸਾਰੀਆਂ ਸੇਵਾਵਾਂ ਦੀਆਂ ਕੀਮਤਾਂ ਹਰ ਸਮੇਂ ਵੱਧ ਰਹੀਆਂ ਹਨ)। ਅਜਿਹੀ ਸਥਿਤੀ ਵਿੱਚ, ਕੰਪਨੀਆਂ ਅਕਸਰ ਸਾਰੀਆਂ ਲੋੜੀਂਦੀਆਂ ਕਸਟਮ ਸੈਟਿੰਗਾਂ ਅਤੇ ਸਮਰੱਥਾਵਾਂ ਦੇ ਨਾਲ ਆਪਣਾ ਵਿਸ਼ਲੇਸ਼ਣ ਸਿਸਟਮ ਬਣਾਉਣ ਦਾ ਫੈਸਲਾ ਕਰਦੀਆਂ ਹਨ।

ਸਰਵਰ ਵਿਸ਼ਲੇਸ਼ਕ

ਸਰਵਰ-ਸਾਈਡ ਵਿਸ਼ਲੇਸ਼ਣ ਇੱਕ ਅਜਿਹੀ ਸੇਵਾ ਹੈ ਜੋ ਕਿਸੇ ਕੰਪਨੀ ਦੇ ਅੰਦਰ ਇਸਦੇ ਆਪਣੇ ਸਰਵਰਾਂ ਤੇ ਅਤੇ (ਆਮ ਤੌਰ 'ਤੇ) ਇਸਦੇ ਆਪਣੇ ਯਤਨਾਂ ਨਾਲ ਤਾਇਨਾਤ ਕੀਤੀ ਜਾ ਸਕਦੀ ਹੈ। ਇਸ ਮਾਡਲ ਵਿੱਚ, ਸਾਰੇ ਉਪਭੋਗਤਾ ਇਵੈਂਟਾਂ ਨੂੰ ਅੰਦਰੂਨੀ ਸਰਵਰਾਂ 'ਤੇ ਸਟੋਰ ਕੀਤਾ ਜਾਂਦਾ ਹੈ, ਜਿਸ ਨਾਲ ਡਿਵੈਲਪਰਾਂ ਨੂੰ ਵੱਖ-ਵੱਖ ਸਟੋਰੇਜ ਡੇਟਾਬੇਸ ਦੀ ਕੋਸ਼ਿਸ਼ ਕਰਨ ਅਤੇ ਸਭ ਤੋਂ ਸੁਵਿਧਾਜਨਕ ਆਰਕੀਟੈਕਚਰ ਦੀ ਚੋਣ ਕਰਨ ਦੀ ਇਜਾਜ਼ਤ ਮਿਲਦੀ ਹੈ। ਅਤੇ ਭਾਵੇਂ ਤੁਸੀਂ ਅਜੇ ਵੀ ਕੁਝ ਕਾਰਜਾਂ ਲਈ ਤੀਜੀ-ਧਿਰ ਕਲਾਇੰਟ ਵਿਸ਼ਲੇਸ਼ਣ ਦੀ ਵਰਤੋਂ ਕਰਨਾ ਚਾਹੁੰਦੇ ਹੋ, ਇਹ ਅਜੇ ਵੀ ਸੰਭਵ ਹੋਵੇਗਾ.
ਸਰਵਰ-ਸਾਈਡ ਵਿਸ਼ਲੇਸ਼ਣ ਨੂੰ ਦੋ ਤਰੀਕਿਆਂ ਨਾਲ ਤੈਨਾਤ ਕੀਤਾ ਜਾ ਸਕਦਾ ਹੈ। ਪਹਿਲਾਂ: ਕੁਝ ਓਪਨ ਸੋਰਸ ਉਪਯੋਗਤਾਵਾਂ ਦੀ ਚੋਣ ਕਰੋ, ਉਹਨਾਂ ਨੂੰ ਆਪਣੀਆਂ ਮਸ਼ੀਨਾਂ 'ਤੇ ਤੈਨਾਤ ਕਰੋ ਅਤੇ ਵਪਾਰਕ ਤਰਕ ਵਿਕਸਿਤ ਕਰੋ।

Плюсы
Минусы

ਤੁਸੀਂ ਕਿਸੇ ਵੀ ਚੀਜ਼ ਨੂੰ ਅਨੁਕੂਲਿਤ ਕਰ ਸਕਦੇ ਹੋ ਜੋ ਤੁਸੀਂ ਚਾਹੁੰਦੇ ਹੋ
ਇਹ ਅਕਸਰ ਬਹੁਤ ਮੁਸ਼ਕਲ ਹੁੰਦਾ ਹੈ ਅਤੇ ਵੱਖਰੇ ਡਿਵੈਲਪਰਾਂ ਦੀ ਲੋੜ ਹੁੰਦੀ ਹੈ

ਦੂਜਾ: ਸਾਸ ਸੇਵਾਵਾਂ (ਐਮਾਜ਼ਾਨ, ਗੂਗਲ, ​​ਅਜ਼ੂਰ) ਨੂੰ ਆਪਣੇ ਆਪ ਲਗਾਉਣ ਦੀ ਬਜਾਏ ਲਓ। ਅਸੀਂ ਤੀਜੇ ਭਾਗ ਵਿੱਚ ਵਧੇਰੇ ਵਿਸਥਾਰ ਵਿੱਚ SaaS ਬਾਰੇ ਗੱਲ ਕਰਾਂਗੇ।

Плюсы
Минусы

ਇਹ ਮੱਧਮ ਮਾਤਰਾ 'ਤੇ ਸਸਤਾ ਹੋ ਸਕਦਾ ਹੈ, ਪਰ ਵੱਡੇ ਵਾਧੇ ਦੇ ਨਾਲ ਇਹ ਅਜੇ ਵੀ ਬਹੁਤ ਮਹਿੰਗਾ ਹੋ ਜਾਵੇਗਾ
ਸਾਰੇ ਮਾਪਦੰਡਾਂ ਨੂੰ ਨਿਯੰਤਰਿਤ ਕਰਨਾ ਸੰਭਵ ਨਹੀਂ ਹੋਵੇਗਾ

ਪ੍ਰਸ਼ਾਸਨ ਪੂਰੀ ਤਰ੍ਹਾਂ ਸੇਵਾ ਪ੍ਰਦਾਤਾ ਦੇ ਮੋਢਿਆਂ 'ਤੇ ਤਬਦੀਲ ਹੋ ਗਿਆ ਹੈ
ਇਹ ਹਮੇਸ਼ਾ ਪਤਾ ਨਹੀਂ ਹੁੰਦਾ ਕਿ ਸੇਵਾ ਦੇ ਅੰਦਰ ਕੀ ਹੈ (ਇਸਦੀ ਲੋੜ ਨਹੀਂ ਹੋ ਸਕਦੀ)

ਸਰਵਰ ਵਿਸ਼ਲੇਸ਼ਣ ਨੂੰ ਕਿਵੇਂ ਇਕੱਠਾ ਕਰਨਾ ਹੈ

ਜੇ ਅਸੀਂ ਕਲਾਇੰਟ ਵਿਸ਼ਲੇਸ਼ਣ ਦੀ ਵਰਤੋਂ ਕਰਨ ਤੋਂ ਦੂਰ ਜਾਣਾ ਚਾਹੁੰਦੇ ਹਾਂ ਅਤੇ ਆਪਣਾ ਖੁਦ ਦਾ ਨਿਰਮਾਣ ਕਰਨਾ ਚਾਹੁੰਦੇ ਹਾਂ, ਤਾਂ ਸਭ ਤੋਂ ਪਹਿਲਾਂ ਸਾਨੂੰ ਨਵੀਂ ਪ੍ਰਣਾਲੀ ਦੇ ਢਾਂਚੇ ਦੁਆਰਾ ਸੋਚਣ ਦੀ ਲੋੜ ਹੈ। ਹੇਠਾਂ ਮੈਂ ਤੁਹਾਨੂੰ ਕਦਮ-ਦਰ-ਕਦਮ ਦੱਸਾਂਗਾ ਕਿ ਤੁਹਾਨੂੰ ਕਿਹੜੀਆਂ ਗੱਲਾਂ 'ਤੇ ਵਿਚਾਰ ਕਰਨ ਦੀ ਲੋੜ ਹੈ, ਹਰੇਕ ਕਦਮ ਦੀ ਲੋੜ ਕਿਉਂ ਹੈ ਅਤੇ ਤੁਸੀਂ ਕਿਹੜੇ ਸਾਧਨਾਂ ਦੀ ਵਰਤੋਂ ਕਰ ਸਕਦੇ ਹੋ।

1. ਡਾਟਾ ਪ੍ਰਾਪਤ ਕਰਨਾ

ਜਿਵੇਂ ਕਿ ਗਾਹਕ ਵਿਸ਼ਲੇਸ਼ਣ ਦੇ ਮਾਮਲੇ ਵਿੱਚ, ਸਭ ਤੋਂ ਪਹਿਲਾਂ, ਕੰਪਨੀ ਵਿਸ਼ਲੇਸ਼ਕ ਉਹਨਾਂ ਘਟਨਾਵਾਂ ਦੀਆਂ ਕਿਸਮਾਂ ਦੀ ਚੋਣ ਕਰਦੇ ਹਨ ਜਿਹਨਾਂ ਦਾ ਉਹ ਭਵਿੱਖ ਵਿੱਚ ਅਧਿਐਨ ਕਰਨਾ ਚਾਹੁੰਦੇ ਹਨ ਅਤੇ ਉਹਨਾਂ ਨੂੰ ਇੱਕ ਸੂਚੀ ਵਿੱਚ ਇਕੱਠਾ ਕਰਦੇ ਹਨ. ਆਮ ਤੌਰ 'ਤੇ, ਇਹ ਘਟਨਾਵਾਂ ਇੱਕ ਖਾਸ ਕ੍ਰਮ ਵਿੱਚ ਵਾਪਰਦੀਆਂ ਹਨ, ਜਿਸਨੂੰ "ਇਵੈਂਟ ਪੈਟਰਨ" ਕਿਹਾ ਜਾਂਦਾ ਹੈ।
ਅੱਗੇ, ਕਲਪਨਾ ਕਰੋ ਕਿ ਇੱਕ ਮੋਬਾਈਲ ਐਪਲੀਕੇਸ਼ਨ (ਵੈਬਸਾਈਟ) ਦੇ ਨਿਯਮਤ ਉਪਭੋਗਤਾ (ਡਿਵਾਈਸ) ਅਤੇ ਬਹੁਤ ਸਾਰੇ ਸਰਵਰ ਹਨ. ਈਵੈਂਟਸ ਨੂੰ ਡਿਵਾਈਸਾਂ ਤੋਂ ਸਰਵਰ ਤੱਕ ਸੁਰੱਖਿਅਤ ਰੂਪ ਨਾਲ ਟ੍ਰਾਂਸਫਰ ਕਰਨ ਲਈ, ਇੱਕ ਵਿਚਕਾਰਲੀ ਪਰਤ ਦੀ ਲੋੜ ਹੁੰਦੀ ਹੈ। ਆਰਕੀਟੈਕਚਰ 'ਤੇ ਨਿਰਭਰ ਕਰਦਿਆਂ, ਕਈ ਵੱਖ-ਵੱਖ ਇਵੈਂਟ ਕਤਾਰਾਂ ਹੋ ਸਕਦੀਆਂ ਹਨ।
ਅਪਾਚੇ ਕਾਫਕਾ ਹੈ ਪੱਬ/ਉਪ ਕਤਾਰ, ਜੋ ਕਿ ਘਟਨਾਵਾਂ ਨੂੰ ਇਕੱਠਾ ਕਰਨ ਲਈ ਇੱਕ ਕਤਾਰ ਵਜੋਂ ਵਰਤਿਆ ਜਾਂਦਾ ਹੈ।

ਦੇ ਅਨੁਸਾਰ Quora 'ਤੇ ਪੋਸਟ ਕਰੋ 2014 ਵਿੱਚ, ਅਪਾਚੇ ਕਾਫਕਾ ਦੇ ਸਿਰਜਣਹਾਰ ਨੇ ਸਾਫਟਵੇਅਰ ਦਾ ਨਾਂ ਫ੍ਰਾਂਜ਼ ਕਾਫਕਾ ਦੇ ਨਾਂ 'ਤੇ ਰੱਖਣ ਦਾ ਫੈਸਲਾ ਕੀਤਾ ਕਿਉਂਕਿ "ਇਹ ਲਿਖਣ ਲਈ ਅਨੁਕੂਲਿਤ ਸਿਸਟਮ ਹੈ" ਅਤੇ ਕਿਉਂਕਿ ਉਹ ਕਾਫਕਾ ਦੀਆਂ ਰਚਨਾਵਾਂ ਨੂੰ ਪਿਆਰ ਕਰਦਾ ਸੀ। - ਵਿਕੀਪੀਡੀਆ

ਸਾਡੇ ਉਦਾਹਰਨ ਵਿੱਚ, ਬਹੁਤ ਸਾਰੇ ਡੇਟਾ ਉਤਪਾਦਕ ਅਤੇ ਡੇਟਾ ਖਪਤਕਾਰ (ਡਿਵਾਈਸ ਅਤੇ ਸਰਵਰ) ਹਨ, ਅਤੇ ਕਾਫਕਾ ਉਹਨਾਂ ਨੂੰ ਇੱਕ ਦੂਜੇ ਨਾਲ ਜੋੜਨ ਵਿੱਚ ਮਦਦ ਕਰਦਾ ਹੈ। ਖਪਤਕਾਰਾਂ ਨੂੰ ਹੇਠਾਂ ਦਿੱਤੇ ਪੜਾਵਾਂ ਵਿੱਚ ਵਧੇਰੇ ਵਿਸਥਾਰ ਵਿੱਚ ਦੱਸਿਆ ਜਾਵੇਗਾ, ਜਿੱਥੇ ਉਹ ਮੁੱਖ ਵਿਸ਼ੇ ਹੋਣਗੇ। ਹੁਣ ਅਸੀਂ ਸਿਰਫ ਡੇਟਾ ਉਤਪਾਦਕਾਂ (ਘਟਨਾਵਾਂ) 'ਤੇ ਵਿਚਾਰ ਕਰਾਂਗੇ.
ਕਾਫਕਾ ਕਤਾਰ ਅਤੇ ਵੰਡ ਦੇ ਸੰਕਲਪਾਂ ਨੂੰ ਸ਼ਾਮਲ ਕਰਦਾ ਹੈ; ਇਸ ਬਾਰੇ ਹੋਰ ਕਿਤੇ ਹੋਰ ਪੜ੍ਹਨਾ ਬਿਹਤਰ ਹੈ (ਉਦਾਹਰਨ ਲਈ, ਵਿੱਚ ਦਸਤਾਵੇਜ਼). ਵੇਰਵਿਆਂ ਵਿੱਚ ਜਾਣ ਤੋਂ ਬਿਨਾਂ, ਆਓ ਕਲਪਨਾ ਕਰੀਏ ਕਿ ਇੱਕ ਮੋਬਾਈਲ ਐਪਲੀਕੇਸ਼ਨ ਦੋ ਵੱਖ-ਵੱਖ OS ਲਈ ਲਾਂਚ ਕੀਤੀ ਗਈ ਹੈ। ਫਿਰ ਹਰੇਕ ਸੰਸਕਰਣ ਆਪਣੀ ਵੱਖਰੀ ਇਵੈਂਟ ਸਟ੍ਰੀਮ ਬਣਾਉਂਦਾ ਹੈ। ਨਿਰਮਾਤਾ ਕਾਫਕਾ ਨੂੰ ਘਟਨਾਵਾਂ ਭੇਜਦੇ ਹਨ, ਉਹਨਾਂ ਨੂੰ ਇੱਕ ਢੁਕਵੀਂ ਕਤਾਰ ਵਿੱਚ ਦਰਜ ਕੀਤਾ ਜਾਂਦਾ ਹੈ।

(ਤਸਵੀਰ ਇੱਥੋਂ)

ਉਸੇ ਸਮੇਂ, ਕਾਫਕਾ ਤੁਹਾਨੂੰ ਟੁਕੜਿਆਂ ਵਿੱਚ ਪੜ੍ਹਨ ਅਤੇ ਮਿੰਨੀ-ਬੈਚਾਂ ਵਿੱਚ ਘਟਨਾਵਾਂ ਦੀ ਇੱਕ ਧਾਰਾ ਦੀ ਪ੍ਰਕਿਰਿਆ ਕਰਨ ਦੀ ਆਗਿਆ ਦਿੰਦਾ ਹੈ। ਕਾਫਕਾ ਇੱਕ ਬਹੁਤ ਹੀ ਸੁਵਿਧਾਜਨਕ ਸਾਧਨ ਹੈ ਜੋ ਵਧਦੀਆਂ ਲੋੜਾਂ (ਉਦਾਹਰਨ ਲਈ, ਘਟਨਾਵਾਂ ਦੇ ਭੂ-ਸਥਾਨ ਦੁਆਰਾ) ਨਾਲ ਚੰਗੀ ਤਰ੍ਹਾਂ ਮਾਪਦਾ ਹੈ।
ਆਮ ਤੌਰ 'ਤੇ ਇੱਕ ਸ਼ਾਰਡ ਕਾਫ਼ੀ ਹੁੰਦਾ ਹੈ, ਪਰ ਸਕੇਲਿੰਗ ਕਰਨ ਵੇਲੇ ਚੀਜ਼ਾਂ ਹੋਰ ਗੁੰਝਲਦਾਰ ਹੋ ਜਾਂਦੀਆਂ ਹਨ (ਜਿਵੇਂ ਕਿ ਉਹ ਹਮੇਸ਼ਾ ਕਰਦੇ ਹਨ)। ਸੰਭਵ ਤੌਰ 'ਤੇ ਕੋਈ ਵੀ ਉਤਪਾਦਨ ਵਿੱਚ ਸਿਰਫ਼ ਇੱਕ ਭੌਤਿਕ ਸ਼ਾਰਡ ਦੀ ਵਰਤੋਂ ਨਹੀਂ ਕਰਨਾ ਚਾਹੇਗਾ, ਕਿਉਂਕਿ ਆਰਕੀਟੈਕਚਰ ਨੁਕਸ-ਸਹਿਣਸ਼ੀਲ ਹੋਣਾ ਚਾਹੀਦਾ ਹੈ। ਕਾਫਕਾ ਤੋਂ ਇਲਾਵਾ, ਇੱਕ ਹੋਰ ਜਾਣਿਆ-ਪਛਾਣਿਆ ਹੱਲ ਹੈ - RabbitMQ. ਅਸੀਂ ਇਸ ਨੂੰ ਉਤਪਾਦਨ ਵਿੱਚ ਇਵੈਂਟ ਵਿਸ਼ਲੇਸ਼ਣ ਲਈ ਇੱਕ ਕਤਾਰ ਵਜੋਂ ਨਹੀਂ ਵਰਤਿਆ (ਜੇ ਤੁਹਾਡੇ ਕੋਲ ਅਜਿਹਾ ਅਨੁਭਵ ਹੈ, ਤਾਂ ਸਾਨੂੰ ਟਿੱਪਣੀਆਂ ਵਿੱਚ ਇਸ ਬਾਰੇ ਦੱਸੋ!). ਹਾਲਾਂਕਿ, ਅਸੀਂ AWS Kinesis ਦੀ ਵਰਤੋਂ ਕੀਤੀ.

ਅਗਲੇ ਪੜਾਅ 'ਤੇ ਜਾਣ ਤੋਂ ਪਹਿਲਾਂ, ਸਾਨੂੰ ਸਿਸਟਮ ਦੀ ਇੱਕ ਹੋਰ ਵਾਧੂ ਪਰਤ ਦਾ ਜ਼ਿਕਰ ਕਰਨ ਦੀ ਲੋੜ ਹੈ - raw log storage। ਇਹ ਲੋੜੀਂਦੀ ਪਰਤ ਨਹੀਂ ਹੈ, ਪਰ ਇਹ ਉਪਯੋਗੀ ਹੋਵੇਗੀ ਜੇਕਰ ਕੁਝ ਗਲਤ ਹੋ ਜਾਂਦਾ ਹੈ ਅਤੇ ਕਾਫਕਾ ਵਿੱਚ ਇਵੈਂਟ ਕਤਾਰਾਂ ਨੂੰ ਰੀਸੈਟ ਕੀਤਾ ਜਾਂਦਾ ਹੈ। ਕੱਚੇ ਲੌਗਸ ਨੂੰ ਸਟੋਰ ਕਰਨ ਲਈ ਇੱਕ ਗੁੰਝਲਦਾਰ ਅਤੇ ਮਹਿੰਗੇ ਹੱਲ ਦੀ ਲੋੜ ਨਹੀਂ ਹੁੰਦੀ; ਤੁਸੀਂ ਉਹਨਾਂ ਨੂੰ ਸਹੀ ਕ੍ਰਮ ਵਿੱਚ ਕਿਤੇ ਵੀ ਲਿਖ ਸਕਦੇ ਹੋ (ਭਾਵੇਂ ਇੱਕ ਹਾਰਡ ਡਰਾਈਵ ਤੇ ਵੀ)।

2. ਇਵੈਂਟ ਸਟ੍ਰੀਮ ਦੀ ਪ੍ਰਕਿਰਿਆ ਕਰ ਰਿਹਾ ਹੈ

ਜਦੋਂ ਅਸੀਂ ਸਾਰੀਆਂ ਘਟਨਾਵਾਂ ਨੂੰ ਤਿਆਰ ਕਰ ਲੈਂਦੇ ਹਾਂ ਅਤੇ ਉਹਨਾਂ ਨੂੰ ਢੁਕਵੀਆਂ ਕਤਾਰਾਂ ਵਿੱਚ ਰੱਖ ਲੈਂਦੇ ਹਾਂ, ਅਸੀਂ ਪ੍ਰਕਿਰਿਆ ਦੇ ਪੜਾਅ 'ਤੇ ਅੱਗੇ ਵਧਦੇ ਹਾਂ। ਇੱਥੇ ਮੈਂ ਤੁਹਾਨੂੰ ਦੋ ਸਭ ਤੋਂ ਆਮ ਪ੍ਰੋਸੈਸਿੰਗ ਵਿਕਲਪਾਂ ਬਾਰੇ ਦੱਸਾਂਗਾ।
ਪਹਿਲਾ ਵਿਕਲਪ ਅਪਾਚੇ ਸਿਸਟਮ ਵਿੱਚ ਸਪਾਰਕ ਸਟ੍ਰੀਮਿੰਗ ਨੂੰ ਸਮਰੱਥ ਕਰਨਾ ਹੈ। ਸਾਰੇ ਅਪਾਚੇ ਉਤਪਾਦ HDFS 'ਤੇ ਰਹਿੰਦੇ ਹਨ, ਫਾਈਲ ਪ੍ਰਤੀਕ੍ਰਿਤੀਆਂ ਵਾਲਾ ਇੱਕ ਸੁਰੱਖਿਅਤ ਫਾਈਲ ਸਿਸਟਮ। ਸਪਾਰਕ ਸਟ੍ਰੀਮਿੰਗ ਇੱਕ ਵਰਤੋਂ ਵਿੱਚ ਆਸਾਨ ਟੂਲ ਹੈ ਜੋ ਸਟ੍ਰੀਮਿੰਗ ਡੇਟਾ ਅਤੇ ਸਕੇਲ ਨੂੰ ਚੰਗੀ ਤਰ੍ਹਾਂ ਸੰਭਾਲਦਾ ਹੈ। ਹਾਲਾਂਕਿ, ਇਸਨੂੰ ਬਰਕਰਾਰ ਰੱਖਣਾ ਮੁਸ਼ਕਲ ਹੋ ਸਕਦਾ ਹੈ।
ਇੱਕ ਹੋਰ ਵਿਕਲਪ ਹੈ ਆਪਣਾ ਖੁਦ ਦਾ ਇਵੈਂਟ ਹੈਂਡਲਰ ਬਣਾਉਣਾ। ਅਜਿਹਾ ਕਰਨ ਲਈ, ਤੁਹਾਨੂੰ, ਉਦਾਹਰਨ ਲਈ, ਇੱਕ ਪਾਈਥਨ ਐਪਲੀਕੇਸ਼ਨ ਲਿਖਣ ਲਈ, ਇਸਨੂੰ ਡੌਕਰ ਵਿੱਚ ਬਣਾਉਣ ਅਤੇ ਕਾਫਕਾ ਕਤਾਰ ਵਿੱਚ ਗਾਹਕ ਬਣਨ ਦੀ ਲੋੜ ਹੈ। ਜਦੋਂ ਟਰਿਗਰ ਡੌਕਰ ਹੈਂਡਲਰਾਂ 'ਤੇ ਪਹੁੰਚਦੇ ਹਨ, ਤਾਂ ਪ੍ਰਕਿਰਿਆ ਸ਼ੁਰੂ ਹੋ ਜਾਵੇਗੀ। ਇਸ ਵਿਧੀ ਨਾਲ, ਤੁਹਾਨੂੰ ਐਪਲੀਕੇਸ਼ਨਾਂ ਨੂੰ ਹਰ ਸਮੇਂ ਚੱਲਦਾ ਰੱਖਣ ਦੀ ਲੋੜ ਹੁੰਦੀ ਹੈ।
ਚਲੋ ਇਹ ਮੰਨ ਲਓ ਕਿ ਅਸੀਂ ਉੱਪਰ ਦੱਸੇ ਗਏ ਵਿਕਲਪਾਂ ਵਿੱਚੋਂ ਇੱਕ ਨੂੰ ਚੁਣਿਆ ਹੈ ਅਤੇ ਖੁਦ ਪ੍ਰੋਸੈਸਿੰਗ ਵੱਲ ਵਧਦੇ ਹਾਂ। ਪ੍ਰੋਸੈਸਰਾਂ ਨੂੰ ਡੇਟਾ ਦੀ ਵੈਧਤਾ ਦੀ ਜਾਂਚ ਕਰਕੇ, ਕੂੜੇ ਨੂੰ ਫਿਲਟਰ ਕਰਨ ਅਤੇ "ਟੁੱਟੇ" ਇਵੈਂਟਾਂ ਦੁਆਰਾ ਸ਼ੁਰੂ ਕਰਨਾ ਚਾਹੀਦਾ ਹੈ। ਪ੍ਰਮਾਣਿਕਤਾ ਲਈ ਅਸੀਂ ਆਮ ਤੌਰ 'ਤੇ ਵਰਤਦੇ ਹਾਂ ਸੇਰਬਰਸ. ਇਸ ਤੋਂ ਬਾਅਦ, ਤੁਸੀਂ ਡੇਟਾ ਮੈਪਿੰਗ ਕਰ ਸਕਦੇ ਹੋ: ਇੱਕ ਆਮ ਸਾਰਣੀ ਵਿੱਚ ਜੋੜਨ ਲਈ ਵੱਖ-ਵੱਖ ਸਰੋਤਾਂ ਤੋਂ ਡੇਟਾ ਨੂੰ ਆਮ ਅਤੇ ਮਾਨਕੀਕ੍ਰਿਤ ਕੀਤਾ ਜਾਂਦਾ ਹੈ।

3. ਡਾਟਾਬੇਸ

ਤੀਜਾ ਕਦਮ ਸਧਾਰਣ ਘਟਨਾਵਾਂ ਨੂੰ ਕਾਇਮ ਰੱਖਣਾ ਹੈ। ਇੱਕ ਤਿਆਰ-ਕੀਤੀ ਵਿਸ਼ਲੇਸ਼ਣ ਪ੍ਰਣਾਲੀ ਦੇ ਨਾਲ ਕੰਮ ਕਰਦੇ ਸਮੇਂ, ਸਾਨੂੰ ਅਕਸਰ ਉਹਨਾਂ ਤੱਕ ਪਹੁੰਚ ਕਰਨੀ ਪਵੇਗੀ, ਇਸ ਲਈ ਇੱਕ ਸੁਵਿਧਾਜਨਕ ਡੇਟਾਬੇਸ ਦੀ ਚੋਣ ਕਰਨਾ ਮਹੱਤਵਪੂਰਨ ਹੈ।
ਜੇਕਰ ਡੇਟਾ ਇੱਕ ਨਿਸ਼ਚਿਤ ਸਕੀਮ ਵਿੱਚ ਚੰਗੀ ਤਰ੍ਹਾਂ ਫਿੱਟ ਬੈਠਦਾ ਹੈ, ਤਾਂ ਤੁਸੀਂ ਚੁਣ ਸਕਦੇ ਹੋ ਕਲਿੱਕਹਾਊਸ ਜਾਂ ਕੁਝ ਹੋਰ ਕਾਲਮ ਡੇਟਾਬੇਸ। ਇਸ ਤਰ੍ਹਾਂ ਐਗਰੀਗੇਸ਼ਨ ਬਹੁਤ ਤੇਜ਼ੀ ਨਾਲ ਕੰਮ ਕਰਨਗੇ। ਨਨੁਕਸਾਨ ਇਹ ਹੈ ਕਿ ਸਕੀਮ ਸਖ਼ਤੀ ਨਾਲ ਨਿਸ਼ਚਿਤ ਕੀਤੀ ਗਈ ਹੈ ਅਤੇ ਇਸਲਈ ਸੋਧ ਤੋਂ ਬਿਨਾਂ ਮਨਮਾਨੇ ਵਸਤੂਆਂ ਨੂੰ ਜੋੜਨਾ ਸੰਭਵ ਨਹੀਂ ਹੋਵੇਗਾ (ਉਦਾਹਰਣ ਲਈ, ਜਦੋਂ ਕੋਈ ਗੈਰ-ਮਿਆਰੀ ਘਟਨਾ ਵਾਪਰਦੀ ਹੈ)। ਪਰ ਤੁਸੀਂ ਅਸਲ ਵਿੱਚ ਬਹੁਤ ਜਲਦੀ ਗਿਣ ਸਕਦੇ ਹੋ।
ਗੈਰ-ਸੰਗਠਿਤ ਡੇਟਾ ਲਈ, ਤੁਸੀਂ NoSQL ਲੈ ਸਕਦੇ ਹੋ, ਉਦਾਹਰਨ ਲਈ, ਅਪਾਚੇ ਕੈਸੈਂਡਰਾ. ਇਹ HDFS 'ਤੇ ਚੱਲਦਾ ਹੈ, ਚੰਗੀ ਤਰ੍ਹਾਂ ਦੁਹਰਾਉਂਦਾ ਹੈ, ਤੁਸੀਂ ਬਹੁਤ ਸਾਰੀਆਂ ਉਦਾਹਰਣਾਂ ਨੂੰ ਵਧਾ ਸਕਦੇ ਹੋ, ਅਤੇ ਨੁਕਸ-ਸਹਿਣਸ਼ੀਲ ਹੈ।
ਤੁਸੀਂ ਕੁਝ ਸਧਾਰਨ ਵੀ ਵਧਾ ਸਕਦੇ ਹੋ, ਉਦਾਹਰਨ ਲਈ, MongoDB. ਇਹ ਕਾਫ਼ੀ ਹੌਲੀ ਅਤੇ ਛੋਟੇ ਵਾਲੀਅਮ ਲਈ ਹੈ. ਪਰ ਪਲੱਸ ਇਹ ਹੈ ਕਿ ਇਹ ਬਹੁਤ ਸਧਾਰਨ ਹੈ ਅਤੇ ਇਸਲਈ ਸ਼ੁਰੂ ਕਰਨ ਲਈ ਢੁਕਵਾਂ ਹੈ.

4. ਏਕੀਕਰਣ

ਸਾਰੀਆਂ ਘਟਨਾਵਾਂ ਨੂੰ ਧਿਆਨ ਨਾਲ ਸੰਭਾਲਣ ਤੋਂ ਬਾਅਦ, ਅਸੀਂ ਆਏ ਹੋਏ ਬੈਚ ਤੋਂ ਸਾਰੀ ਮਹੱਤਵਪੂਰਨ ਜਾਣਕਾਰੀ ਇਕੱਠੀ ਕਰਨਾ ਚਾਹੁੰਦੇ ਹਾਂ ਅਤੇ ਡੇਟਾਬੇਸ ਨੂੰ ਅਪਡੇਟ ਕਰਨਾ ਚਾਹੁੰਦੇ ਹਾਂ। ਵਿਸ਼ਵ ਪੱਧਰ 'ਤੇ, ਅਸੀਂ ਸੰਬੰਧਿਤ ਡੈਸ਼ਬੋਰਡ ਅਤੇ ਮੈਟ੍ਰਿਕਸ ਪ੍ਰਾਪਤ ਕਰਨਾ ਚਾਹੁੰਦੇ ਹਾਂ। ਉਦਾਹਰਨ ਲਈ, ਘਟਨਾਵਾਂ ਤੋਂ ਇੱਕ ਉਪਭੋਗਤਾ ਪ੍ਰੋਫਾਈਲ ਇਕੱਠਾ ਕਰੋ ਅਤੇ ਕਿਸੇ ਤਰ੍ਹਾਂ ਵਿਵਹਾਰ ਨੂੰ ਮਾਪੋ। ਇਵੈਂਟਾਂ ਨੂੰ ਇਕੱਠਾ ਕੀਤਾ ਜਾਂਦਾ ਹੈ, ਇਕੱਠਾ ਕੀਤਾ ਜਾਂਦਾ ਹੈ, ਅਤੇ ਦੁਬਾਰਾ ਸੁਰੱਖਿਅਤ ਕੀਤਾ ਜਾਂਦਾ ਹੈ (ਉਪਭੋਗਤਾ ਟੇਬਲ ਵਿੱਚ)। ਇਸ ਦੇ ਨਾਲ ਹੀ, ਤੁਸੀਂ ਇੱਕ ਸਿਸਟਮ ਬਣਾ ਸਕਦੇ ਹੋ ਤਾਂ ਜੋ ਤੁਸੀਂ ਇੱਕ ਫਿਲਟਰ ਨੂੰ ਐਗਰੀਗੇਟਰ-ਕੋਆਰਡੀਨੇਟਰ ਨਾਲ ਵੀ ਜੋੜ ਸਕੋ: ਸਿਰਫ਼ ਇੱਕ ਖਾਸ ਕਿਸਮ ਦੀ ਘਟਨਾ ਤੋਂ ਉਪਭੋਗਤਾਵਾਂ ਨੂੰ ਇਕੱਠਾ ਕਰੋ।
ਉਸ ਤੋਂ ਬਾਅਦ, ਜੇਕਰ ਟੀਮ 'ਤੇ ਕਿਸੇ ਨੂੰ ਸਿਰਫ ਉੱਚ-ਪੱਧਰੀ ਵਿਸ਼ਲੇਸ਼ਣ ਦੀ ਲੋੜ ਹੈ, ਤਾਂ ਬਾਹਰੀ ਵਿਸ਼ਲੇਸ਼ਣ ਪ੍ਰਣਾਲੀਆਂ ਨੂੰ ਜੋੜਿਆ ਜਾ ਸਕਦਾ ਹੈ. ਤੁਸੀਂ Mixpanel ਨੂੰ ਦੁਬਾਰਾ ਲੈ ਸਕਦੇ ਹੋ। ਪਰ ਕਿਉਂਕਿ ਇਹ ਕਾਫ਼ੀ ਮਹਿੰਗਾ ਹੈ, ਸਾਰੇ ਉਪਭੋਗਤਾ ਇਵੈਂਟਾਂ ਨੂੰ ਉੱਥੇ ਨਹੀਂ ਭੇਜਿਆ ਜਾਂਦਾ ਹੈ, ਪਰ ਸਿਰਫ ਉਹੀ ਜੋ ਲੋੜੀਂਦਾ ਹੈ. ਅਜਿਹਾ ਕਰਨ ਲਈ, ਸਾਨੂੰ ਇੱਕ ਕੋਆਰਡੀਨੇਟਰ ਬਣਾਉਣ ਦੀ ਜ਼ਰੂਰਤ ਹੈ ਜੋ ਕੁਝ ਕੱਚੀਆਂ ਘਟਨਾਵਾਂ ਜਾਂ ਕੁਝ ਅਜਿਹਾ ਟ੍ਰਾਂਸਫਰ ਕਰੇਗਾ ਜੋ ਅਸੀਂ ਪਹਿਲਾਂ ਬਾਹਰੀ ਪ੍ਰਣਾਲੀਆਂ, API ਜਾਂ ਵਿਗਿਆਪਨ ਪਲੇਟਫਾਰਮਾਂ 'ਤੇ ਇਕੱਠੇ ਕੀਤੇ ਹਨ।

5. ਫਰੰਟਐਂਡ

ਤੁਹਾਨੂੰ ਫਰੰਟਐਂਡ ਨੂੰ ਬਣਾਏ ਸਿਸਟਮ ਨਾਲ ਕਨੈਕਟ ਕਰਨ ਦੀ ਲੋੜ ਹੈ। ਇੱਕ ਵਧੀਆ ਉਦਾਹਰਣ ਸੇਵਾ ਹੈ redash, ਇੱਕ ਡਾਟਾਬੇਸ GUI ਹੈ ਜੋ ਡੈਸ਼ਬੋਰਡ ਬਣਾਉਣ ਵਿੱਚ ਮਦਦ ਕਰਦਾ ਹੈ। ਪਰਸਪਰ ਪ੍ਰਭਾਵ ਕਿਵੇਂ ਕੰਮ ਕਰਦਾ ਹੈ:

1. ਉਪਭੋਗਤਾ ਇੱਕ SQL ਪੁੱਛਗਿੱਛ ਕਰਦਾ ਹੈ।
2. ਜਵਾਬ ਵਿੱਚ ਉਸਨੂੰ ਇੱਕ ਨਿਸ਼ਾਨ ਮਿਲਦਾ ਹੈ।
3. ਇਹ ਇਸਦੇ ਲਈ ਇੱਕ 'ਨਵਾਂ ਦ੍ਰਿਸ਼ਟੀਕੋਣ' ਬਣਾਉਂਦਾ ਹੈ ਅਤੇ ਇੱਕ ਸੁੰਦਰ ਗ੍ਰਾਫ ਪ੍ਰਾਪਤ ਕਰਦਾ ਹੈ ਜਿਸ ਨੂੰ ਤੁਸੀਂ ਆਪਣੇ ਲਈ ਬਚਾ ਸਕਦੇ ਹੋ।

ਸੇਵਾ ਵਿੱਚ ਵਿਜ਼ੂਅਲਾਈਜ਼ੇਸ਼ਨ ਆਟੋ-ਅੱਪਡੇਟ ਹੋ ਰਹੇ ਹਨ, ਤੁਸੀਂ ਆਪਣੀ ਨਿਗਰਾਨੀ ਨੂੰ ਅਨੁਕੂਲਿਤ ਅਤੇ ਟਰੈਕ ਕਰ ਸਕਦੇ ਹੋ। Redash ਮੁਫ਼ਤ ਹੈ ਜੇਕਰ ਸਵੈ-ਮੇਜ਼ਬਾਨੀ ਕੀਤੀ ਜਾਂਦੀ ਹੈ, ਪਰ SaaS ਵਜੋਂ ਇਸਦੀ ਕੀਮਤ $50 ਪ੍ਰਤੀ ਮਹੀਨਾ ਹੋਵੇਗੀ।

ਸਿੱਟਾ

ਉਪਰੋਕਤ ਸਾਰੇ ਕਦਮਾਂ ਨੂੰ ਪੂਰਾ ਕਰਨ ਤੋਂ ਬਾਅਦ, ਤੁਸੀਂ ਆਪਣਾ ਸਰਵਰ ਵਿਸ਼ਲੇਸ਼ਣ ਬਣਾਓਗੇ। ਕਿਰਪਾ ਕਰਕੇ ਨੋਟ ਕਰੋ ਕਿ ਇਹ ਗਾਹਕ ਵਿਸ਼ਲੇਸ਼ਣ ਨੂੰ ਜੋੜਨ ਜਿੰਨਾ ਸੌਖਾ ਨਹੀਂ ਹੈ, ਕਿਉਂਕਿ ਹਰ ਚੀਜ਼ ਨੂੰ ਆਪਣੇ ਆਪ ਨੂੰ ਕੌਂਫਿਗਰ ਕਰਨ ਦੀ ਲੋੜ ਹੁੰਦੀ ਹੈ। ਇਸ ਲਈ, ਆਪਣੀ ਖੁਦ ਦੀ ਪ੍ਰਣਾਲੀ ਬਣਾਉਣ ਤੋਂ ਪਹਿਲਾਂ, ਇੱਕ ਗੰਭੀਰ ਵਿਸ਼ਲੇਸ਼ਣ ਪ੍ਰਣਾਲੀ ਦੀ ਲੋੜ ਦੀ ਤੁਲਨਾ ਉਹਨਾਂ ਸਰੋਤਾਂ ਨਾਲ ਕਰਨ ਦੇ ਯੋਗ ਹੈ ਜੋ ਤੁਸੀਂ ਇਸ ਨੂੰ ਨਿਰਧਾਰਤ ਕਰਨ ਲਈ ਤਿਆਰ ਹੋ।
ਜੇ ਤੁਸੀਂ ਗਣਿਤ ਕੀਤਾ ਹੈ ਅਤੇ ਪਾਇਆ ਹੈ ਕਿ ਲਾਗਤਾਂ ਬਹੁਤ ਜ਼ਿਆਦਾ ਹਨ, ਤਾਂ ਅਗਲੇ ਹਿੱਸੇ ਵਿੱਚ ਮੈਂ ਇਸ ਬਾਰੇ ਗੱਲ ਕਰਾਂਗਾ ਕਿ ਸਰਵਰ-ਸਾਈਡ ਵਿਸ਼ਲੇਸ਼ਣ ਦਾ ਇੱਕ ਸਸਤਾ ਸੰਸਕਰਣ ਕਿਵੇਂ ਬਣਾਇਆ ਜਾਵੇ।

ਪੜ੍ਹਨ ਲਈ ਧੰਨਵਾਦ! ਮੈਨੂੰ ਟਿੱਪਣੀਆਂ ਵਿੱਚ ਸਵਾਲ ਪੁੱਛ ਕੇ ਖੁਸ਼ੀ ਹੋਵੇਗੀ।

ਸਰੋਤ: www.habr.com