ਐਮਾਜ਼ਾਨ ਰੈੱਡਸ਼ਿਫਟ ਪੈਰਲਲ ਸਕੇਲਿੰਗ ਗਾਈਡ ਅਤੇ ਟੈਸਟ ਨਤੀਜੇ

Skyeng ਵਿਖੇ ਅਸੀਂ ਸਮਾਨਾਂਤਰ ਸਕੇਲਿੰਗ ਸਮੇਤ Amazon Redshift ਦੀ ਵਰਤੋਂ ਕਰਦੇ ਹਾਂ, ਇਸਲਈ ਸਾਨੂੰ intermix.io ਦਿਲਚਸਪ ਲਈ dotgo.com ਦੇ ਸੰਸਥਾਪਕ, Stefan Gromoll ਦਾ ਇਹ ਲੇਖ ਮਿਲਿਆ। ਅਨੁਵਾਦ ਤੋਂ ਬਾਅਦ, ਡੇਟਾ ਇੰਜੀਨੀਅਰ ਦਾਨਿਆਰ ਬੇਲਖੋਦਜ਼ਾਏਵ ਤੋਂ ਸਾਡੇ ਅਨੁਭਵ ਦਾ ਇੱਕ ਛੋਟਾ ਜਿਹਾ ਹਿੱਸਾ.

ਐਮਾਜ਼ਾਨ ਰੈੱਡਸ਼ਿਫਟ ਆਰਕੀਟੈਕਚਰ ਕਲੱਸਟਰ ਵਿੱਚ ਨਵੇਂ ਨੋਡ ਜੋੜ ਕੇ ਸਕੇਲਿੰਗ ਦੀ ਆਗਿਆ ਦਿੰਦਾ ਹੈ। ਬੇਨਤੀਆਂ ਦੀ ਸਿਖਰ ਸੰਖਿਆ ਨਾਲ ਨਜਿੱਠਣ ਦੀ ਜ਼ਰੂਰਤ ਨੋਡਾਂ ਦੀ ਓਵਰ-ਪ੍ਰੋਵਿਜ਼ਨਿੰਗ ਦਾ ਕਾਰਨ ਬਣ ਸਕਦੀ ਹੈ। ਕਨਕਰੰਸੀ ਸਕੇਲਿੰਗ, ਨਵੇਂ ਨੋਡਸ ਨੂੰ ਜੋੜਨ ਦੇ ਉਲਟ, ਲੋੜ ਅਨੁਸਾਰ ਕੰਪਿਊਟਿੰਗ ਪਾਵਰ ਵਧਾਉਂਦੀ ਹੈ।

ਐਮਾਜ਼ਾਨ ਰੈੱਡਸ਼ਿਫਟ ਪੈਰਲਲ ਸਕੇਲਿੰਗ ਰੈੱਡਸ਼ਿਫਟ ਕਲੱਸਟਰਾਂ ਨੂੰ ਪੀਕ ਬੇਨਤੀ ਵਾਲੀਅਮ ਨੂੰ ਸੰਭਾਲਣ ਲਈ ਵਾਧੂ ਸਮਰੱਥਾ ਪ੍ਰਦਾਨ ਕਰਦੀ ਹੈ। ਇਹ ਬੈਕਗ੍ਰਾਉਂਡ ਵਿੱਚ ਨਵੇਂ "ਸਮਾਂਤਰ" ਕਲੱਸਟਰਾਂ ਵਿੱਚ ਬੇਨਤੀਆਂ ਨੂੰ ਮੂਵ ਕਰਕੇ ਕੰਮ ਕਰਦਾ ਹੈ। ਬੇਨਤੀਆਂ ਨੂੰ WLM ਸੰਰਚਨਾ ਅਤੇ ਨਿਯਮਾਂ ਦੇ ਆਧਾਰ 'ਤੇ ਰੂਟ ਕੀਤਾ ਜਾਂਦਾ ਹੈ।

ਸਮਾਨਾਂਤਰ ਸਕੇਲਿੰਗ ਕੀਮਤ ਇੱਕ ਮੁਫਤ ਟੀਅਰ ਵਾਲੇ ਕ੍ਰੈਡਿਟ ਮਾਡਲ 'ਤੇ ਅਧਾਰਤ ਹੈ। ਮੁਫਤ ਕ੍ਰੈਡਿਟ ਦੇ ਉੱਪਰ, ਭੁਗਤਾਨ ਪੈਰਲਲ ਸਕੇਲਿੰਗ ਕਲੱਸਟਰ ਦੁਆਰਾ ਬੇਨਤੀਆਂ ਦੀ ਪ੍ਰਕਿਰਿਆ ਦੇ ਸਮੇਂ 'ਤੇ ਅਧਾਰਤ ਹੈ।

ਲੇਖਕ ਨੇ ਅੰਦਰੂਨੀ ਕਲੱਸਟਰਾਂ ਵਿੱਚੋਂ ਇੱਕ 'ਤੇ ਸਮਾਨਾਂਤਰ ਸਕੇਲਿੰਗ ਦੀ ਜਾਂਚ ਕੀਤੀ। ਇਸ ਪੋਸਟ ਵਿੱਚ, ਉਹ ਟੈਸਟ ਦੇ ਨਤੀਜਿਆਂ ਬਾਰੇ ਗੱਲ ਕਰੇਗਾ ਅਤੇ ਸ਼ੁਰੂਆਤ ਕਰਨ ਬਾਰੇ ਸੁਝਾਅ ਦੇਵੇਗਾ।

ਕਲੱਸਟਰ ਲੋੜਾਂ

ਸਮਾਨਾਂਤਰ ਸਕੇਲਿੰਗ ਦੀ ਵਰਤੋਂ ਕਰਨ ਲਈ, ਤੁਹਾਡੇ Amazon Redshift ਕਲੱਸਟਰ ਨੂੰ ਹੇਠ ਲਿਖੀਆਂ ਲੋੜਾਂ ਪੂਰੀਆਂ ਕਰਨੀਆਂ ਚਾਹੀਦੀਆਂ ਹਨ:

- ਪਲੇਟਫਾਰਮ: EC2-VPC;
- ਨੋਡ ਕਿਸਮ: dc2.8xlarge, ds2.8xlarge, dc2.large ਜਾਂ ds2.xlarge;
- ਨੋਡਾਂ ਦੀ ਗਿਣਤੀ: 2 ਤੋਂ 32 ਤੱਕ (ਸਿੰਗਲ ਨੋਡ ਕਲੱਸਟਰ ਸਮਰਥਿਤ ਨਹੀਂ ਹਨ)।

ਸਵੀਕਾਰਯੋਗ ਬੇਨਤੀ ਕਿਸਮਾਂ

ਪੈਰਲਲ ਸਕੇਲਿੰਗ ਸਾਰੀਆਂ ਕਿਸਮਾਂ ਦੀਆਂ ਪੁੱਛਗਿੱਛਾਂ ਲਈ ਢੁਕਵੀਂ ਨਹੀਂ ਹੈ। ਪਹਿਲੇ ਸੰਸਕਰਣ ਵਿੱਚ, ਇਹ ਸਿਰਫ ਪੜ੍ਹਨ ਦੀਆਂ ਬੇਨਤੀਆਂ ਦੀ ਪ੍ਰਕਿਰਿਆ ਕਰਦਾ ਹੈ ਜੋ ਤਿੰਨ ਸ਼ਰਤਾਂ ਨੂੰ ਪੂਰਾ ਕਰਦੇ ਹਨ:

— SELECT ਸਵਾਲ ਸਿਰਫ਼ ਪੜ੍ਹਨ ਲਈ ਹਨ (ਹਾਲਾਂਕਿ ਹੋਰ ਕਿਸਮਾਂ ਦੀ ਯੋਜਨਾ ਬਣਾਈ ਗਈ ਹੈ);
- ਪੁੱਛਗਿੱਛ INTERLEAVED ਲੜੀਬੱਧ ਸ਼ੈਲੀ ਦੇ ਨਾਲ ਇੱਕ ਸਾਰਣੀ ਦਾ ਹਵਾਲਾ ਨਹੀਂ ਦਿੰਦੀ ਹੈ;
- ਪੁੱਛਗਿੱਛ ਬਾਹਰੀ ਟੇਬਲਾਂ ਦਾ ਹਵਾਲਾ ਦੇਣ ਲਈ ਐਮਾਜ਼ਾਨ ਰੈੱਡਸ਼ਿਫਟ ਸਪੈਕਟ੍ਰਮ ਦੀ ਵਰਤੋਂ ਨਹੀਂ ਕਰਦੀ ਹੈ।

ਪੈਰਲਲ ਸਕੇਲਿੰਗ ਕਲੱਸਟਰ 'ਤੇ ਜਾਣ ਲਈ, ਬੇਨਤੀ ਨੂੰ ਕਤਾਰਬੱਧ ਕੀਤਾ ਜਾਣਾ ਚਾਹੀਦਾ ਹੈ। ਇਸ ਤੋਂ ਇਲਾਵਾ, ਕਤਾਰ ਲਈ ਯੋਗ ਸਵਾਲ SQA (ਛੋਟੀ ਪੁੱਛਗਿੱਛ ਪ੍ਰਵੇਗ), ਸਮਾਨਾਂਤਰ ਸਕੇਲ ਕਲੱਸਟਰਾਂ 'ਤੇ ਨਹੀਂ ਚੱਲੇਗਾ।

ਕਤਾਰਾਂ ਅਤੇ SQA ਨੂੰ ਸਹੀ ਸੰਰਚਨਾ ਦੀ ਲੋੜ ਹੁੰਦੀ ਹੈ ਰੈੱਡਸ਼ਿਫਟ ਵਰਕਲੋਡ ਪ੍ਰਬੰਧਨ (WLM). ਅਸੀਂ ਪਹਿਲਾਂ ਤੁਹਾਡੇ WLM ਨੂੰ ਅਨੁਕੂਲ ਬਣਾਉਣ ਦੀ ਸਿਫ਼ਾਰਿਸ਼ ਕਰਦੇ ਹਾਂ - ਇਹ ਸਮਾਂਤਰ ਸਕੇਲਿੰਗ ਦੀ ਲੋੜ ਨੂੰ ਘਟਾ ਦੇਵੇਗਾ। ਅਤੇ ਇਹ ਮਹੱਤਵਪੂਰਨ ਹੈ ਕਿਉਂਕਿ ਸਮਾਂਤਰ ਸਕੇਲਿੰਗ ਸਿਰਫ ਕੁਝ ਘੰਟਿਆਂ ਲਈ ਮੁਫਤ ਹੈ। AWS ਦਾਅਵਾ ਕਰਦਾ ਹੈ ਕਿ ਸਮਾਨਾਂਤਰ ਸਕੇਲਿੰਗ 97% ਗਾਹਕਾਂ ਲਈ ਮੁਫਤ ਹੋਵੇਗੀ, ਜੋ ਸਾਨੂੰ ਕੀਮਤ ਦੇ ਮੁੱਦੇ 'ਤੇ ਲਿਆਉਂਦਾ ਹੈ।

ਸਮਾਨਾਂਤਰ ਸਕੇਲਿੰਗ ਦੀ ਲਾਗਤ

AWS ਸਮਾਨਾਂਤਰ ਸਕੇਲਿੰਗ ਲਈ ਇੱਕ ਕ੍ਰੈਡਿਟ ਮਾਡਲ ਪੇਸ਼ ਕਰਦਾ ਹੈ। ਹਰੇਕ ਕਿਰਿਆਸ਼ੀਲ ਕਲੱਸਟਰ ਐਮਾਜ਼ਾਨ ਰੈਡਸ਼ੀਫਟ ਕ੍ਰੈਡਿਟ ਪ੍ਰਤੀ ਘੰਟਾ, ਪ੍ਰਤੀ ਦਿਨ ਇੱਕ ਘੰਟੇ ਤੱਕ ਮੁਫਤ ਸਮਾਨਾਂਤਰ ਸਕੇਲਿੰਗ ਕ੍ਰੈਡਿਟ ਇਕੱਠੇ ਕਰਦਾ ਹੈ।

ਤੁਸੀਂ ਸਿਰਫ਼ ਉਦੋਂ ਹੀ ਭੁਗਤਾਨ ਕਰਦੇ ਹੋ ਜਦੋਂ ਤੁਹਾਡੀ ਪੈਰਲਲ ਸਕੇਲਿੰਗ ਕਲੱਸਟਰਾਂ ਦੀ ਵਰਤੋਂ ਤੁਹਾਨੂੰ ਪ੍ਰਾਪਤ ਹੋਏ ਕ੍ਰੈਡਿਟ ਦੀ ਮਾਤਰਾ ਤੋਂ ਵੱਧ ਜਾਂਦੀ ਹੈ।

ਲਾਗਤ ਦੀ ਗਣਨਾ ਇੱਕ ਸਮਾਨਾਂਤਰ ਕਲੱਸਟਰ ਲਈ ਪ੍ਰਤੀ-ਸਕਿੰਟ ਆਨ-ਡਿਮਾਂਡ ਦਰ 'ਤੇ ਕੀਤੀ ਜਾਂਦੀ ਹੈ ਜੋ ਮੁਫਤ ਦਰ ਤੋਂ ਉੱਪਰ ਵਰਤੀ ਜਾਂਦੀ ਹੈ। ਤੁਹਾਡੇ ਤੋਂ ਸਿਰਫ਼ ਤੁਹਾਡੀਆਂ ਬੇਨਤੀਆਂ ਦੀ ਮਿਆਦ ਲਈ ਚਾਰਜ ਕੀਤਾ ਜਾਂਦਾ ਹੈ, ਹਰ ਵਾਰ ਪੈਰਲਲ ਸਕੇਲਿੰਗ ਕਲੱਸਟਰ ਦੇ ਕਿਰਿਆਸ਼ੀਲ ਹੋਣ 'ਤੇ ਘੱਟੋ-ਘੱਟ ਇੱਕ ਮਿੰਟ ਦੇ ਚਾਰਜ ਦੇ ਨਾਲ। ਪ੍ਰਤੀ-ਸਕਿੰਟ ਆਨ-ਡਿਮਾਂਡ ਦਰ ਦੀ ਗਣਨਾ ਆਮ ਕੀਮਤ ਦੇ ਸਿਧਾਂਤਾਂ ਦੇ ਆਧਾਰ 'ਤੇ ਕੀਤੀ ਜਾਂਦੀ ਹੈ ਐਮਾਜ਼ਾਨ ਰੈਡਸ਼ੀਫਟ, ਯਾਨੀ, ਇਹ ਤੁਹਾਡੇ ਕਲੱਸਟਰ ਵਿੱਚ ਨੋਡ ਦੀ ਕਿਸਮ ਅਤੇ ਨੋਡਾਂ ਦੀ ਗਿਣਤੀ 'ਤੇ ਨਿਰਭਰ ਕਰਦਾ ਹੈ।

ਪੈਰਲਲ ਸਕੇਲਿੰਗ ਸ਼ੁਰੂ ਕੀਤੀ ਜਾ ਰਹੀ ਹੈ

ਹਰੇਕ WLM ਕਤਾਰ ਲਈ ਪੈਰਲਲ ਸਕੇਲਿੰਗ ਸ਼ੁਰੂ ਕੀਤੀ ਜਾਂਦੀ ਹੈ। AWS Redshift ਕੰਸੋਲ 'ਤੇ ਜਾਓ ਅਤੇ ਖੱਬੇ ਨੈਵੀਗੇਸ਼ਨ ਮੀਨੂ ਤੋਂ ਵਰਕਲੋਡ ਪ੍ਰਬੰਧਨ ਚੁਣੋ। ਹੇਠਾਂ ਦਿੱਤੇ ਡ੍ਰੌਪ-ਡਾਉਨ ਮੀਨੂ ਤੋਂ ਆਪਣੇ ਕਲੱਸਟਰ ਦੇ WLM ਪੈਰਾਮੀਟਰ ਸਮੂਹ ਨੂੰ ਚੁਣੋ।

ਤੁਸੀਂ ਹਰੇਕ ਕਤਾਰ ਦੇ ਅੱਗੇ "ਕਨਕਰੰਸੀ ਸਕੇਲਿੰਗ ਮੋਡ" ਨਾਮਕ ਇੱਕ ਨਵਾਂ ਕਾਲਮ ਵੇਖੋਗੇ। ਡਿਫੌਲਟ "ਅਯੋਗ" ਹੈ। "ਸੰਪਾਦਨ" 'ਤੇ ਕਲਿੱਕ ਕਰੋ ਅਤੇ ਤੁਸੀਂ ਹਰੇਕ ਕਤਾਰ ਲਈ ਸੈਟਿੰਗਾਂ ਨੂੰ ਬਦਲ ਸਕਦੇ ਹੋ।

ਕੌਨਫਿਗਰੇਸ਼ਨ

ਪੈਰਲਲ ਸਕੇਲਿੰਗ ਨਵੇਂ ਸਮਰਪਿਤ ਕਲੱਸਟਰਾਂ ਨੂੰ ਉਚਿਤ ਬੇਨਤੀਆਂ ਨੂੰ ਅੱਗੇ ਭੇਜ ਕੇ ਕੰਮ ਕਰਦੀ ਹੈ। ਨਵੇਂ ਕਲੱਸਟਰਾਂ ਦਾ ਆਕਾਰ (ਨੋਡਾਂ ਦੀ ਕਿਸਮ ਅਤੇ ਸੰਖਿਆ) ਮੁੱਖ ਕਲੱਸਟਰ ਦੇ ਸਮਾਨ ਹੈ।

ਸਮਾਨਾਂਤਰ ਸਕੇਲਿੰਗ ਲਈ ਵਰਤੇ ਗਏ ਕਲੱਸਟਰਾਂ ਦੀ ਡਿਫੌਲਟ ਸੰਖਿਆ ਇੱਕ (1) ਹੈ, ਜਿਸ ਵਿੱਚ ਕੁੱਲ ਦਸ (10) ਕਲੱਸਟਰਾਂ ਦੀ ਸੰਰਚਨਾ ਕਰਨ ਦੀ ਸਮਰੱਥਾ ਹੈ।
ਸਮਾਂਤਰ ਸਕੇਲਿੰਗ ਲਈ ਕਲੱਸਟਰਾਂ ਦੀ ਕੁੱਲ ਸੰਖਿਆ ਨੂੰ max_concurrency_scaling_cluster ਪੈਰਾਮੀਟਰ ਦੁਆਰਾ ਸੈੱਟ ਕੀਤਾ ਜਾ ਸਕਦਾ ਹੈ। ਇਸ ਪੈਰਾਮੀਟਰ ਦੇ ਮੁੱਲ ਨੂੰ ਵਧਾਉਣਾ ਵਾਧੂ ਬੇਲੋੜੇ ਕਲੱਸਟਰ ਪ੍ਰਦਾਨ ਕਰਦਾ ਹੈ।

ਨਿਗਰਾਨੀ

AWS Redshift ਕੰਸੋਲ ਵਿੱਚ ਕਈ ਵਾਧੂ ਗ੍ਰਾਫ਼ ਉਪਲਬਧ ਹਨ। ਅਧਿਕਤਮ ਸੰਰਚਿਤ ਸਮਕਾਲੀ ਸਕੇਲਿੰਗ ਕਲੱਸਟਰ ਚਾਰਟ ਸਮੇਂ ਦੇ ਨਾਲ max_concurrency_scaling_clusters ਦਾ ਮੁੱਲ ਪ੍ਰਦਰਸ਼ਿਤ ਕਰਦਾ ਹੈ।

ਸਰਗਰਮ ਸਕੇਲਿੰਗ ਕਲੱਸਟਰਾਂ ਦੀ ਸੰਖਿਆ ਯੂਜ਼ਰ ਇੰਟਰਫੇਸ ਵਿੱਚ "ਕਨਕਰੰਸੀ ਸਕੇਲਿੰਗ ਗਤੀਵਿਧੀ" ਭਾਗ ਵਿੱਚ ਪ੍ਰਦਰਸ਼ਿਤ ਕੀਤੀ ਜਾਂਦੀ ਹੈ:

ਪੁੱਛਗਿੱਛ ਟੈਬ ਵਿੱਚ, ਇੱਕ ਕਾਲਮ ਹੈ ਜੋ ਇਹ ਦਰਸਾਉਂਦਾ ਹੈ ਕਿ ਕੀ ਪੁੱਛਗਿੱਛ ਮੁੱਖ ਕਲੱਸਟਰ ਵਿੱਚ ਚਲਾਈ ਗਈ ਸੀ ਜਾਂ ਪੈਰਲਲ ਸਕੇਲਿੰਗ ਕਲੱਸਟਰ ਵਿੱਚ:

ਭਾਵੇਂ ਕੋਈ ਖਾਸ ਪੁੱਛਗਿੱਛ ਮੁੱਖ ਕਲੱਸਟਰ ਵਿੱਚ ਚਲਾਈ ਗਈ ਸੀ ਜਾਂ ਇੱਕ ਸਮਾਨਾਂਤਰ ਸਕੇਲਿੰਗ ਕਲੱਸਟਰ ਰਾਹੀਂ, ਇਹ stl_query.concurrency_scaling_status ਵਿੱਚ ਸਟੋਰ ਕੀਤੀ ਜਾਂਦੀ ਹੈ।

1 ਦਾ ਮੁੱਲ ਦਰਸਾਉਂਦਾ ਹੈ ਕਿ ਪੁੱਛਗਿੱਛ ਨੂੰ ਪੈਰਲਲ ਸਕੇਲ ਕਲੱਸਟਰ ਵਿੱਚ ਚਲਾਇਆ ਗਿਆ ਸੀ, ਜਦੋਂ ਕਿ ਹੋਰ ਮੁੱਲ ਦਰਸਾਉਂਦੇ ਹਨ ਕਿ ਇਸਨੂੰ ਪ੍ਰਾਇਮਰੀ ਕਲੱਸਟਰ ਵਿੱਚ ਚਲਾਇਆ ਗਿਆ ਸੀ।

ਉਦਾਹਰਨ:

ਸਮਰੂਪਤਾ ਸਕੇਲਿੰਗ ਜਾਣਕਾਰੀ ਨੂੰ ਕੁਝ ਹੋਰ ਸਾਰਣੀਆਂ ਅਤੇ ਦ੍ਰਿਸ਼ਾਂ ਵਿੱਚ ਵੀ ਸਟੋਰ ਕੀਤਾ ਜਾਂਦਾ ਹੈ, ਜਿਵੇਂ ਕਿ SVCS_CONCURRENCY_SCALING_USAGE। ਇਸ ਤੋਂ ਇਲਾਵਾ, ਇੱਥੇ ਕਈ ਕੈਟਾਲਾਗ ਟੇਬਲ ਹਨ ਜੋ ਸਮਾਨਾਂਤਰ ਸਕੇਲਿੰਗ ਬਾਰੇ ਜਾਣਕਾਰੀ ਸਟੋਰ ਕਰਦੇ ਹਨ।

Результаты

ਲੇਖਕਾਂ ਨੇ 18/30/00 ਨੂੰ ਲਗਭਗ 29.03.2019:3:20 GMT 'ਤੇ ਅੰਦਰੂਨੀ ਕਲੱਸਟਰ ਵਿੱਚ ਇੱਕ ਕਤਾਰ ਲਈ ਸਮਾਨਾਂਤਰ ਸਕੇਲਿੰਗ ਸ਼ੁਰੂ ਕੀਤੀ। 30/00/29.03.2019 ਨੂੰ ਲਗਭਗ XNUMX:XNUMX:XNUMX ਵਜੇ max_concurrency_scaling_clusters ਪੈਰਾਮੀਟਰ ਨੂੰ XNUMX ਵਿੱਚ ਬਦਲ ਦਿੱਤਾ।

ਬੇਨਤੀ ਕਤਾਰ ਦੀ ਨਕਲ ਕਰਨ ਲਈ, ਅਸੀਂ ਇਸ ਕਤਾਰ ਲਈ ਸਲਾਟਾਂ ਦੀ ਗਿਣਤੀ 15 ਤੋਂ ਘਟਾ ਕੇ 5 ਕਰ ਦਿੱਤੀ ਹੈ।

ਹੇਠਾਂ ਇੱਕ intermix.io ਡੈਸ਼ਬੋਰਡ ਚਾਰਟ ਹੈ ਜੋ ਸਲਾਟਾਂ ਦੀ ਗਿਣਤੀ ਨੂੰ ਘਟਾਉਣ ਤੋਂ ਬਾਅਦ ਚੱਲ ਰਹੀਆਂ ਬੇਨਤੀਆਂ ਅਤੇ ਕਤਾਰਾਂ ਦੀ ਗਿਣਤੀ ਨੂੰ ਦਰਸਾਉਂਦਾ ਹੈ।

ਅਸੀਂ ਦੇਖਦੇ ਹਾਂ ਕਿ ਕਤਾਰ ਵਿੱਚ ਬੇਨਤੀਆਂ ਲਈ ਉਡੀਕ ਸਮਾਂ ਵੱਧ ਗਿਆ ਹੈ, ਵੱਧ ਤੋਂ ਵੱਧ ਸਮਾਂ 5 ਮਿੰਟ ਤੋਂ ਵੱਧ ਹੈ।

ਇਸ ਸਮੇਂ ਦੌਰਾਨ ਕੀ ਹੋਇਆ ਇਸ ਬਾਰੇ AWS ਕੰਸੋਲ ਤੋਂ ਸੰਬੰਧਿਤ ਜਾਣਕਾਰੀ ਇੱਥੇ ਹੈ:

ਰੈੱਡਸ਼ਿਫਟ ਨੇ ਤਿੰਨ (3) ਸਮਾਨਾਂਤਰ ਸਕੇਲਿੰਗ ਕਲੱਸਟਰਾਂ ਨੂੰ ਸੰਰਚਿਤ ਕੀਤਾ ਹੈ। ਇਹ ਜਾਪਦਾ ਹੈ ਕਿ ਇਹਨਾਂ ਕਲੱਸਟਰਾਂ ਦੀ ਘੱਟ ਵਰਤੋਂ ਕੀਤੀ ਗਈ ਸੀ, ਭਾਵੇਂ ਸਾਡੇ ਕਲੱਸਟਰ ਵਿੱਚ ਬਹੁਤ ਸਾਰੀਆਂ ਬੇਨਤੀਆਂ ਕਤਾਰ ਵਿੱਚ ਸਨ।

ਵਰਤੋਂ ਗ੍ਰਾਫ ਸਕੇਲਿੰਗ ਗਤੀਵਿਧੀ ਗ੍ਰਾਫ ਨਾਲ ਸਬੰਧਿਤ ਹੈ:

ਕੁਝ ਘੰਟਿਆਂ ਬਾਅਦ, ਲੇਖਕਾਂ ਨੇ ਕਤਾਰ ਦੀ ਜਾਂਚ ਕੀਤੀ ਅਤੇ ਅਜਿਹਾ ਲਗਦਾ ਹੈ ਕਿ 6 ਬੇਨਤੀਆਂ ਸਮਾਨਾਂਤਰ ਸਕੇਲਿੰਗ 'ਤੇ ਚੱਲ ਰਹੀਆਂ ਸਨ। ਅਸੀਂ ਯੂਜ਼ਰ ਇੰਟਰਫੇਸ ਰਾਹੀਂ ਬੇਤਰਤੀਬੇ ਤੌਰ 'ਤੇ ਦੋ ਬੇਨਤੀਆਂ ਦੀ ਜਾਂਚ ਕੀਤੀ। ਅਸੀਂ ਜਾਂਚ ਨਹੀਂ ਕੀਤੀ ਹੈ ਕਿ ਇਹਨਾਂ ਮੁੱਲਾਂ ਨੂੰ ਕਿਵੇਂ ਵਰਤਣਾ ਹੈ ਜਦੋਂ ਕਈ ਸਮਾਨਾਂਤਰ ਕਲੱਸਟਰ ਇੱਕੋ ਸਮੇਂ ਸਰਗਰਮ ਹੁੰਦੇ ਹਨ।

ਸਿੱਟਾ

ਪੈਰਲਲ ਸਕੇਲਿੰਗ ਪੀਕ ਲੋਡ ਦੌਰਾਨ ਕਤਾਰ ਵਿੱਚ ਬਿਤਾਉਣ ਲਈ ਬੇਨਤੀਆਂ ਦੇ ਸਮੇਂ ਨੂੰ ਘਟਾ ਸਕਦੀ ਹੈ।

ਮੁਢਲੇ ਟੈਸਟ ਦੇ ਨਤੀਜਿਆਂ ਦੇ ਆਧਾਰ 'ਤੇ, ਇਹ ਪਤਾ ਲੱਗਾ ਕਿ ਲੋਡਿੰਗ ਬੇਨਤੀਆਂ ਦੀ ਸਥਿਤੀ ਵਿੱਚ ਅੰਸ਼ਕ ਤੌਰ 'ਤੇ ਸੁਧਾਰ ਹੋਇਆ ਹੈ। ਹਾਲਾਂਕਿ, ਇਕੱਲੇ ਸਮਾਨਾਂਤਰ ਸਕੇਲਿੰਗ ਨੇ ਸਾਰੀਆਂ ਸਮਕਾਲੀ ਸਮੱਸਿਆਵਾਂ ਨੂੰ ਹੱਲ ਨਹੀਂ ਕੀਤਾ।

ਇਹ ਸਵਾਲਾਂ ਦੀਆਂ ਕਿਸਮਾਂ 'ਤੇ ਪਾਬੰਦੀਆਂ ਦੇ ਕਾਰਨ ਹੈ ਜੋ ਸਮਾਨਾਂਤਰ ਸਕੇਲਿੰਗ ਦੀ ਵਰਤੋਂ ਕਰ ਸਕਦੇ ਹਨ। ਉਦਾਹਰਨ ਲਈ, ਲੇਖਕਾਂ ਕੋਲ ਇੰਟਰਲੀਵਡ ਕ੍ਰਮਬੱਧ ਕੁੰਜੀਆਂ ਦੇ ਨਾਲ ਬਹੁਤ ਸਾਰੀਆਂ ਟੇਬਲ ਹਨ, ਅਤੇ ਸਾਡਾ ਜ਼ਿਆਦਾਤਰ ਕੰਮ ਦਾ ਬੋਝ ਲਿਖਣਾ ਹੈ।

ਹਾਲਾਂਕਿ ਪੈਰਲਲ ਸਕੇਲਿੰਗ ਡਬਲਯੂਐਲਐਮ ਸਥਾਪਤ ਕਰਨ ਲਈ ਇੱਕ ਵਿਆਪਕ ਹੱਲ ਨਹੀਂ ਹੈ, ਇਸ ਵਿਸ਼ੇਸ਼ਤਾ ਦੀ ਵਰਤੋਂ ਕਰਨਾ ਸਧਾਰਨ ਅਤੇ ਸਿੱਧਾ ਹੈ।

ਇਸ ਲਈ, ਲੇਖਕ ਤੁਹਾਡੀਆਂ WLM ਕਤਾਰਾਂ ਲਈ ਇਸਦੀ ਵਰਤੋਂ ਕਰਨ ਦੀ ਸਿਫਾਰਸ਼ ਕਰਦਾ ਹੈ. ਇੱਕ ਸਮਾਨਾਂਤਰ ਕਲੱਸਟਰ ਨਾਲ ਸ਼ੁਰੂ ਕਰੋ ਅਤੇ ਕੰਸੋਲ ਦੁਆਰਾ ਪੀਕ ਲੋਡ ਦੀ ਨਿਗਰਾਨੀ ਕਰੋ ਤਾਂ ਜੋ ਇਹ ਪਤਾ ਲਗਾਇਆ ਜਾ ਸਕੇ ਕਿ ਕੀ ਨਵੇਂ ਕਲੱਸਟਰ ਪੂਰੀ ਤਰ੍ਹਾਂ ਵਰਤੇ ਜਾ ਰਹੇ ਹਨ।

ਜਿਵੇਂ ਕਿ AWS ਵਾਧੂ ਪੁੱਛਗਿੱਛ ਕਿਸਮਾਂ ਅਤੇ ਟੇਬਲਾਂ ਲਈ ਸਮਰਥਨ ਜੋੜਦਾ ਹੈ, ਪੈਰਲਲ ਸਕੇਲਿੰਗ ਹੌਲੀ-ਹੌਲੀ ਵੱਧ ਤੋਂ ਵੱਧ ਕੁਸ਼ਲ ਬਣਨਾ ਚਾਹੀਦਾ ਹੈ।

ਦਾਨਿਆਰ ਬੇਲਖੋਦਜ਼ਹੇਵ, ਸਕਾਈਂਗ ਡੇਟਾ ਇੰਜੀਨੀਅਰ ਦੀ ਟਿੱਪਣੀ

ਅਸੀਂ ਸਕਾਈਂਗ ਵਿਖੇ ਵੀ ਪੈਰਲਲ ਸਕੇਲਿੰਗ ਦੀ ਉੱਭਰਦੀ ਸੰਭਾਵਨਾ ਨੂੰ ਤੁਰੰਤ ਦੇਖਿਆ।
ਕਾਰਜਕੁਸ਼ਲਤਾ ਬਹੁਤ ਆਕਰਸ਼ਕ ਹੈ, ਖਾਸ ਕਰਕੇ AWS ਦਾ ਅੰਦਾਜ਼ਾ ਹੈ ਕਿ ਜ਼ਿਆਦਾਤਰ ਉਪਭੋਗਤਾਵਾਂ ਨੂੰ ਇਸਦੇ ਲਈ ਵਾਧੂ ਭੁਗਤਾਨ ਵੀ ਨਹੀਂ ਕਰਨਾ ਪਵੇਗਾ।

ਅਜਿਹਾ ਹੋਇਆ ਕਿ ਅਪ੍ਰੈਲ ਦੇ ਅੱਧ ਵਿੱਚ ਸਾਡੇ ਕੋਲ ਰੈੱਡਸ਼ਿਫਟ ਕਲੱਸਟਰ ਲਈ ਬੇਨਤੀਆਂ ਦੀ ਇੱਕ ਅਸਾਧਾਰਨ ਭੜਕਾਹਟ ਸੀ। ਇਸ ਮਿਆਦ ਦੇ ਦੌਰਾਨ, ਅਸੀਂ ਅਕਸਰ ਕਨਕਰੰਸੀ ਸਕੇਲਿੰਗ ਦਾ ਸਹਾਰਾ ਲੈਂਦੇ ਹਾਂ; ਕਈ ਵਾਰ ਇੱਕ ਵਾਧੂ ਕਲੱਸਟਰ ਦਿਨ ਵਿੱਚ 24 ਘੰਟੇ ਬਿਨਾਂ ਰੁਕੇ ਕੰਮ ਕਰਦਾ ਹੈ।

ਇਸ ਨੇ ਇਹ ਸੰਭਵ ਬਣਾਇਆ, ਜੇਕਰ ਕਤਾਰਾਂ ਨਾਲ ਸਮੱਸਿਆ ਨੂੰ ਪੂਰੀ ਤਰ੍ਹਾਂ ਹੱਲ ਨਹੀਂ ਕਰਨਾ, ਤਾਂ ਘੱਟੋ ਘੱਟ ਸਥਿਤੀ ਨੂੰ ਸਵੀਕਾਰਯੋਗ ਬਣਾਉਣ ਲਈ.

ਸਾਡੇ ਨਿਰੀਖਣ ਮੁੱਖ ਤੌਰ 'ਤੇ intermix.io ਤੋਂ ਮੁੰਡਿਆਂ ਦੇ ਪ੍ਰਭਾਵ ਨਾਲ ਮੇਲ ਖਾਂਦੇ ਹਨ।

ਅਸੀਂ ਇਹ ਵੀ ਦੇਖਿਆ ਕਿ ਹਾਲਾਂਕਿ ਕਤਾਰ ਵਿੱਚ ਬੇਨਤੀਆਂ ਉਡੀਕ ਰਹੀਆਂ ਸਨ, ਪਰ ਸਾਰੀਆਂ ਬੇਨਤੀਆਂ ਤੁਰੰਤ ਸਮਾਨਾਂਤਰ ਕਲੱਸਟਰ ਨੂੰ ਅੱਗੇ ਨਹੀਂ ਭੇਜੀਆਂ ਗਈਆਂ ਸਨ। ਜ਼ਾਹਰ ਤੌਰ 'ਤੇ ਅਜਿਹਾ ਇਸ ਲਈ ਹੁੰਦਾ ਹੈ ਕਿਉਂਕਿ ਪੈਰਲਲ ਕਲੱਸਟਰ ਨੂੰ ਸ਼ੁਰੂ ਹੋਣ ਲਈ ਅਜੇ ਵੀ ਸਮਾਂ ਲੱਗਦਾ ਹੈ। ਨਤੀਜੇ ਵਜੋਂ, ਥੋੜ੍ਹੇ ਸਮੇਂ ਦੇ ਪੀਕ ਲੋਡ ਦੇ ਦੌਰਾਨ ਸਾਡੇ ਕੋਲ ਅਜੇ ਵੀ ਛੋਟੀਆਂ ਕਤਾਰਾਂ ਹਨ, ਅਤੇ ਸੰਬੰਧਿਤ ਅਲਾਰਮਾਂ ਕੋਲ ਟਰਿੱਗਰ ਹੋਣ ਦਾ ਸਮਾਂ ਹੁੰਦਾ ਹੈ।

ਅਪ੍ਰੈਲ ਵਿੱਚ ਅਸਧਾਰਨ ਲੋਡ ਤੋਂ ਛੁਟਕਾਰਾ ਪਾਉਣ ਤੋਂ ਬਾਅਦ, ਅਸੀਂ, ਜਿਵੇਂ ਕਿ AWS ਦੀ ਉਮੀਦ ਸੀ, ਕਦੇ-ਕਦਾਈਂ ਵਰਤੋਂ ਦੇ ਮੋਡ ਵਿੱਚ ਦਾਖਲ ਹੋਏ - ਮੁਫਤ ਨਿਯਮ ਦੇ ਅੰਦਰ।
ਤੁਸੀਂ AWS ਲਾਗਤ ਐਕਸਪਲੋਰਰ ਵਿੱਚ ਆਪਣੇ ਸਮਾਨਾਂਤਰ ਸਕੇਲਿੰਗ ਲਾਗਤਾਂ ਨੂੰ ਟਰੈਕ ਕਰ ਸਕਦੇ ਹੋ। ਤੁਹਾਨੂੰ ਸੇਵਾ - Redshift, ਵਰਤੋਂ ਦੀ ਕਿਸਮ - CS, ਉਦਾਹਰਨ ਲਈ USW2-CS:dc2.large ਚੁਣਨ ਦੀ ਲੋੜ ਹੈ।

ਤੁਸੀਂ ਰੂਸੀ ਵਿੱਚ ਕੀਮਤਾਂ ਬਾਰੇ ਹੋਰ ਪੜ੍ਹ ਸਕਦੇ ਹੋ ਇੱਥੇ.

ਸਰੋਤ: www.habr.com