ਅਪਾਚੇ ਇਗਨਾਈਟ ਵਿੱਚ ਡੇਟਾ ਕੰਪਰੈਸ਼ਨ। Sber ਦਾ ਅਨੁਭਵ

ਵੱਡੀ ਮਾਤਰਾ ਵਿੱਚ ਡੇਟਾ ਦੇ ਨਾਲ ਕੰਮ ਕਰਦੇ ਸਮੇਂ, ਡਿਸਕ ਸਪੇਸ ਦੀ ਘਾਟ ਦੀ ਸਮੱਸਿਆ ਕਈ ਵਾਰ ਪੈਦਾ ਹੋ ਸਕਦੀ ਹੈ. ਇਸ ਸਮੱਸਿਆ ਨੂੰ ਹੱਲ ਕਰਨ ਦਾ ਇੱਕ ਤਰੀਕਾ ਹੈ ਕੰਪਰੈਸ਼ਨ, ਜਿਸਦਾ ਧੰਨਵਾਦ, ਉਸੇ ਸਾਜ਼-ਸਾਮਾਨ 'ਤੇ, ਤੁਸੀਂ ਸਟੋਰੇਜ ਵਾਲੀਅਮ ਨੂੰ ਵਧਾਉਣ ਦੇ ਸਮਰੱਥ ਹੋ ਸਕਦੇ ਹੋ. ਇਸ ਲੇਖ ਵਿੱਚ, ਅਸੀਂ ਦੇਖਾਂਗੇ ਕਿ ਅਪਾਚੇ ਇਗਨਾਈਟ ਵਿੱਚ ਡੇਟਾ ਕੰਪਰੈਸ਼ਨ ਕਿਵੇਂ ਕੰਮ ਕਰਦਾ ਹੈ। ਇਹ ਲੇਖ ਉਤਪਾਦ ਦੇ ਅੰਦਰ ਲਾਗੂ ਕੀਤੇ ਗਏ ਡਿਸਕ ਕੰਪਰੈਸ਼ਨ ਢੰਗਾਂ ਦਾ ਵਰਣਨ ਕਰੇਗਾ। ਡਾਟਾ ਸੰਕੁਚਨ ਦੇ ਹੋਰ ਤਰੀਕੇ (ਨੈੱਟਵਰਕ ਉੱਤੇ, ਮੈਮੋਰੀ ਵਿੱਚ), ਭਾਵੇਂ ਲਾਗੂ ਕੀਤੇ ਗਏ ਹਨ ਜਾਂ ਨਹੀਂ, ਦਾਇਰੇ ਤੋਂ ਬਾਹਰ ਰਹਿਣਗੇ।

ਇਸ ਲਈ, ਸਥਿਰਤਾ ਮੋਡ ਸਮਰੱਥ ਹੋਣ ਦੇ ਨਾਲ, ਕੈਚਾਂ ਵਿੱਚ ਡੇਟਾ ਵਿੱਚ ਤਬਦੀਲੀਆਂ ਦੇ ਨਤੀਜੇ ਵਜੋਂ, ਇਗਨਾਈਟ ਡਿਸਕ ਤੇ ਲਿਖਣਾ ਸ਼ੁਰੂ ਕਰਦਾ ਹੈ:

1. ਕੈਚ ਦੀ ਸਮੱਗਰੀ
2. ਅੱਗੇ ਲੌਗ ਲਿਖੋ (ਇਸ ਤੋਂ ਬਾਅਦ ਸਿਰਫ਼ WAL)

ਪਿਛਲੇ ਕਾਫ਼ੀ ਸਮੇਂ ਤੋਂ WAL ਕੰਪਰੈਸ਼ਨ ਲਈ ਇੱਕ ਵਿਧੀ ਹੈ, ਜਿਸਨੂੰ WAL ਕੰਪੈਕਸ਼ਨ ਕਿਹਾ ਜਾਂਦਾ ਹੈ। ਹਾਲ ਹੀ ਵਿੱਚ ਜਾਰੀ ਕੀਤੇ ਅਪਾਚੇ ਇਗਨਾਈਟ 2.8 ਨੇ ਦੋ ਹੋਰ ਵਿਧੀਆਂ ਪੇਸ਼ ਕੀਤੀਆਂ ਹਨ ਜੋ ਤੁਹਾਨੂੰ ਡਿਸਕ 'ਤੇ ਡੇਟਾ ਨੂੰ ਸੰਕੁਚਿਤ ਕਰਨ ਦੀ ਆਗਿਆ ਦਿੰਦੀਆਂ ਹਨ: ਕੈਚਾਂ ਦੀ ਸਮੱਗਰੀ ਨੂੰ ਸੰਕੁਚਿਤ ਕਰਨ ਲਈ ਡਿਸਕ ਪੇਜ ਕੰਪਰੈਸ਼ਨ ਅਤੇ ਕੁਝ WAL ਐਂਟਰੀਆਂ ਨੂੰ ਸੰਕੁਚਿਤ ਕਰਨ ਲਈ WAL ਪੇਜ ਸਨੈਪਸ਼ਾਟ ਕੰਪਰੈਸ਼ਨ। ਹੇਠਾਂ ਇਹਨਾਂ ਤਿੰਨਾਂ ਵਿਧੀਆਂ ਬਾਰੇ ਹੋਰ ਵੇਰਵੇ।

ਡਿਸਕ ਪੇਜ ਕੰਪਰੈਸ਼ਨ

ਇਹ ਕੰਮ ਕਰਦਾ ਹੈ

ਪਹਿਲਾਂ, ਆਓ ਇੱਕ ਬਹੁਤ ਹੀ ਸੰਖੇਪ ਝਾਤ ਮਾਰੀਏ ਕਿ ਇਗਨਾਈਟ ਡੇਟਾ ਨੂੰ ਕਿਵੇਂ ਸਟੋਰ ਕਰਦਾ ਹੈ। ਪੰਨਾ ਮੈਮੋਰੀ ਸਟੋਰੇਜ਼ ਲਈ ਵਰਤੀ ਜਾਂਦੀ ਹੈ। ਪੰਨੇ ਦਾ ਆਕਾਰ ਨੋਡ ਦੀ ਸ਼ੁਰੂਆਤ 'ਤੇ ਸੈੱਟ ਕੀਤਾ ਗਿਆ ਹੈ ਅਤੇ ਬਾਅਦ ਦੇ ਪੜਾਵਾਂ 'ਤੇ ਬਦਲਿਆ ਨਹੀਂ ਜਾ ਸਕਦਾ ਹੈ; ਨਾਲ ਹੀ, ਪੰਨੇ ਦਾ ਆਕਾਰ ਦੋ ਦੀ ਸ਼ਕਤੀ ਅਤੇ ਫਾਈਲ ਸਿਸਟਮ ਬਲਾਕ ਆਕਾਰ ਦਾ ਮਲਟੀਪਲ ਹੋਣਾ ਚਾਹੀਦਾ ਹੈ। ਪੰਨਿਆਂ ਨੂੰ ਲੋੜ ਅਨੁਸਾਰ ਡਿਸਕ ਤੋਂ RAM ਵਿੱਚ ਲੋਡ ਕੀਤਾ ਜਾਂਦਾ ਹੈ; ਡਿਸਕ ਉੱਤੇ ਡੇਟਾ ਦਾ ਆਕਾਰ ਨਿਰਧਾਰਤ RAM ਦੀ ਮਾਤਰਾ ਤੋਂ ਵੱਧ ਹੋ ਸਕਦਾ ਹੈ। ਜੇਕਰ ਡਿਸਕ ਤੋਂ ਪੰਨੇ ਨੂੰ ਲੋਡ ਕਰਨ ਲਈ RAM ਵਿੱਚ ਲੋੜੀਂਦੀ ਥਾਂ ਨਹੀਂ ਹੈ, ਤਾਂ ਪੁਰਾਣੇ, ਨਾ ਵਰਤੇ ਗਏ ਪੰਨਿਆਂ ਨੂੰ RAM ਤੋਂ ਬੇਦਖਲ ਕਰ ਦਿੱਤਾ ਜਾਵੇਗਾ।

ਡਾਟੇ ਨੂੰ ਡਿਸਕ ਉੱਤੇ ਹੇਠਾਂ ਦਿੱਤੇ ਰੂਪ ਵਿੱਚ ਸਟੋਰ ਕੀਤਾ ਜਾਂਦਾ ਹੈ: ਹਰੇਕ ਕੈਸ਼ ਸਮੂਹ ਦੇ ਹਰੇਕ ਭਾਗ ਲਈ ਇੱਕ ਵੱਖਰੀ ਫਾਈਲ ਬਣਾਈ ਜਾਂਦੀ ਹੈ; ਇਸ ਫਾਈਲ ਵਿੱਚ, ਪੰਨੇ ਇੱਕ ਤੋਂ ਬਾਅਦ ਇੱਕ ਵਧਦੇ ਸੂਚਕਾਂਕ ਕ੍ਰਮ ਵਿੱਚ ਦਿਖਾਈ ਦਿੰਦੇ ਹਨ। ਪੂਰੇ ਪੇਜ ਆਈਡੈਂਟੀਫਾਇਰ ਵਿੱਚ ਫਾਈਲ ਵਿੱਚ ਕੈਸ਼ ਗਰੁੱਪ ਆਈਡੈਂਟੀਫਾਇਰ, ਪਾਰਟੀਸ਼ਨ ਨੰਬਰ, ਅਤੇ ਪੇਜ ਇੰਡੈਕਸ ਹੁੰਦਾ ਹੈ। ਇਸ ਤਰ੍ਹਾਂ, ਪੂਰੇ ਪੰਨੇ ਦੀ ਪਛਾਣਕਰਤਾ ਦੀ ਵਰਤੋਂ ਕਰਦੇ ਹੋਏ, ਅਸੀਂ ਹਰੇਕ ਪੰਨੇ ਲਈ ਫਾਈਲ ਵਿੱਚ ਫਾਈਲ ਅਤੇ ਆਫਸੈੱਟ ਨੂੰ ਵਿਲੱਖਣ ਰੂਪ ਵਿੱਚ ਨਿਰਧਾਰਤ ਕਰ ਸਕਦੇ ਹਾਂ। ਤੁਸੀਂ ਅਪਾਚੇ ਇਗਨਾਈਟ ਵਿਕੀ ਲੇਖ ਵਿੱਚ ਪੇਜਿੰਗ ਮੈਮੋਰੀ ਬਾਰੇ ਹੋਰ ਪੜ੍ਹ ਸਕਦੇ ਹੋ: ਪਰਸਿਸਟੈਂਟ ਸਟੋਰ ਨੂੰ ਅੱਗ ਲਗਾਓ - ਹੁੱਡ ਦੇ ਹੇਠਾਂ.

ਡਿਸਕ ਪੇਜ ਕੰਪਰੈਸ਼ਨ ਵਿਧੀ, ਜਿਵੇਂ ਕਿ ਤੁਸੀਂ ਨਾਮ ਤੋਂ ਅੰਦਾਜ਼ਾ ਲਗਾ ਸਕਦੇ ਹੋ, ਪੰਨਾ ਪੱਧਰ 'ਤੇ ਕੰਮ ਕਰਦਾ ਹੈ। ਜਦੋਂ ਇਹ ਵਿਧੀ ਸਮਰਥਿਤ ਹੁੰਦੀ ਹੈ, ਤਾਂ RAM ਵਿੱਚ ਡੇਟਾ ਨੂੰ ਬਿਨਾਂ ਕਿਸੇ ਕੰਪਰੈਸ਼ਨ ਦੇ ਉਸੇ ਤਰ੍ਹਾਂ ਪ੍ਰੋਸੈਸ ਕੀਤਾ ਜਾਂਦਾ ਹੈ, ਪਰ ਜਦੋਂ ਪੰਨਿਆਂ ਨੂੰ RAM ਤੋਂ ਡਿਸਕ ਤੱਕ ਸੁਰੱਖਿਅਤ ਕੀਤਾ ਜਾਂਦਾ ਹੈ, ਤਾਂ ਉਹ ਸੰਕੁਚਿਤ ਹੋ ਜਾਂਦੇ ਹਨ।

ਪਰ ਹਰੇਕ ਪੰਨੇ ਨੂੰ ਵੱਖਰੇ ਤੌਰ 'ਤੇ ਸੰਕੁਚਿਤ ਕਰਨਾ ਸਮੱਸਿਆ ਦਾ ਹੱਲ ਨਹੀਂ ਹੈ; ਤੁਹਾਨੂੰ ਨਤੀਜੇ ਵਜੋਂ ਡਾਟਾ ਫਾਈਲਾਂ ਦਾ ਆਕਾਰ ਘਟਾਉਣ ਦੀ ਜ਼ਰੂਰਤ ਹੈ. ਜੇਕਰ ਪੰਨੇ ਦਾ ਆਕਾਰ ਹੁਣ ਸਥਿਰ ਨਹੀਂ ਹੈ, ਤਾਂ ਅਸੀਂ ਹੁਣ ਇੱਕ ਤੋਂ ਬਾਅਦ ਇੱਕ ਫਾਈਲ ਵਿੱਚ ਪੰਨੇ ਨਹੀਂ ਲਿਖ ਸਕਦੇ, ਕਿਉਂਕਿ ਇਸ ਨਾਲ ਕਈ ਸਮੱਸਿਆਵਾਂ ਪੈਦਾ ਹੋ ਸਕਦੀਆਂ ਹਨ:

• ਪੇਜ ਇੰਡੈਕਸ ਦੀ ਵਰਤੋਂ ਕਰਦੇ ਹੋਏ, ਅਸੀਂ ਆਫਸੈੱਟ ਦੀ ਗਣਨਾ ਕਰਨ ਦੇ ਯੋਗ ਨਹੀਂ ਹੋਵਾਂਗੇ ਜਿਸ ਦੁਆਰਾ ਇਹ ਫਾਈਲ ਵਿੱਚ ਸਥਿਤ ਹੈ.
• ਇਹ ਸਪਸ਼ਟ ਨਹੀਂ ਹੈ ਕਿ ਉਹਨਾਂ ਪੰਨਿਆਂ ਦਾ ਕੀ ਕਰਨਾ ਹੈ ਜੋ ਫਾਈਲ ਦੇ ਅੰਤ ਵਿੱਚ ਨਹੀਂ ਹਨ ਅਤੇ ਉਹਨਾਂ ਦੇ ਆਕਾਰ ਨੂੰ ਬਦਲਦੇ ਹਨ. ਜੇਕਰ ਪੰਨੇ ਦਾ ਆਕਾਰ ਘਟਦਾ ਹੈ, ਤਾਂ ਇਸਨੇ ਖਾਲੀ ਕੀਤੀ ਸਪੇਸ ਗਾਇਬ ਹੋ ਜਾਂਦੀ ਹੈ। ਜੇਕਰ ਪੰਨੇ ਦਾ ਆਕਾਰ ਵਧਦਾ ਹੈ, ਤਾਂ ਤੁਹਾਨੂੰ ਇਸਦੇ ਲਈ ਫਾਈਲ ਵਿੱਚ ਇੱਕ ਨਵੀਂ ਜਗ੍ਹਾ ਲੱਭਣ ਦੀ ਲੋੜ ਹੈ।
• ਜੇਕਰ ਕੋਈ ਪੰਨਾ ਕਈ ਬਾਈਟਾਂ ਦੁਆਰਾ ਚਲਦਾ ਹੈ ਜੋ ਕਿ ਫਾਈਲ ਸਿਸਟਮ ਬਲਾਕ ਸਾਈਜ਼ ਦਾ ਮਲਟੀਪਲ ਨਹੀਂ ਹੈ, ਤਾਂ ਇਸਨੂੰ ਪੜ੍ਹਨ ਜਾਂ ਲਿਖਣ ਲਈ ਇੱਕ ਹੋਰ ਫਾਈਲ ਸਿਸਟਮ ਬਲਾਕ ਨੂੰ ਛੂਹਣ ਦੀ ਲੋੜ ਹੋਵੇਗੀ, ਜਿਸ ਨਾਲ ਕਾਰਗੁਜ਼ਾਰੀ ਵਿੱਚ ਗਿਰਾਵਟ ਆ ਸਕਦੀ ਹੈ।

ਇਹਨਾਂ ਸਮੱਸਿਆਵਾਂ ਨੂੰ ਆਪਣੇ ਪੱਧਰ 'ਤੇ ਹੱਲ ਕਰਨ ਤੋਂ ਬਚਣ ਲਈ, ਅਪਾਚੇ ਇਗਨਾਈਟ ਵਿੱਚ ਡਿਸਕ ਪੇਜ ਕੰਪਰੈਸ਼ਨ ਇੱਕ ਫਾਈਲ ਸਿਸਟਮ ਵਿਧੀ ਦੀ ਵਰਤੋਂ ਕਰਦਾ ਹੈ ਜਿਸਨੂੰ ਸਪਾਰਸ ਫਾਈਲਾਂ ਕਿਹਾ ਜਾਂਦਾ ਹੈ। ਇੱਕ ਸਪਾਰਸ ਫਾਈਲ ਉਹ ਹੁੰਦੀ ਹੈ ਜਿਸ ਵਿੱਚ ਕੁਝ ਜ਼ੀਰੋ-ਭਰੇ ਖੇਤਰਾਂ ਨੂੰ "ਮੋਰੀਆਂ" ਵਜੋਂ ਚਿੰਨ੍ਹਿਤ ਕੀਤਾ ਜਾ ਸਕਦਾ ਹੈ। ਇਸ ਸਥਿਤੀ ਵਿੱਚ, ਇਹਨਾਂ ਛੇਕਾਂ ਨੂੰ ਸਟੋਰ ਕਰਨ ਲਈ ਕੋਈ ਫਾਈਲ ਸਿਸਟਮ ਬਲਾਕ ਨਹੀਂ ਦਿੱਤੇ ਜਾਣਗੇ, ਨਤੀਜੇ ਵਜੋਂ ਡਿਸਕ ਸਪੇਸ ਦੀ ਬਚਤ ਹੋਵੇਗੀ।

ਇਹ ਤਰਕਪੂਰਨ ਹੈ ਕਿ ਇੱਕ ਫਾਈਲ ਸਿਸਟਮ ਬਲਾਕ ਨੂੰ ਖਾਲੀ ਕਰਨ ਲਈ, ਮੋਰੀ ਦਾ ਆਕਾਰ ਫਾਈਲ ਸਿਸਟਮ ਬਲਾਕ ਤੋਂ ਵੱਧ ਜਾਂ ਬਰਾਬਰ ਹੋਣਾ ਚਾਹੀਦਾ ਹੈ, ਜੋ ਪੰਨੇ ਦੇ ਆਕਾਰ ਅਤੇ ਅਪਾਚੇ ਇਗਨਾਈਟ 'ਤੇ ਇੱਕ ਵਾਧੂ ਸੀਮਾ ਲਗਾਉਂਦਾ ਹੈ: ਕੰਪਰੈਸ਼ਨ ਨੂੰ ਕੋਈ ਪ੍ਰਭਾਵ ਪਾਉਣ ਲਈ, ਪੰਨੇ ਦਾ ਆਕਾਰ ਫਾਈਲ ਸਿਸਟਮ ਬਲਾਕ ਦੇ ਆਕਾਰ ਨਾਲੋਂ ਸਖਤੀ ਨਾਲ ਵੱਡਾ ਹੋਣਾ ਚਾਹੀਦਾ ਹੈ। ਜੇਕਰ ਪੰਨੇ ਦਾ ਆਕਾਰ ਬਲਾਕ ਆਕਾਰ ਦੇ ਬਰਾਬਰ ਹੈ, ਤਾਂ ਅਸੀਂ ਕਦੇ ਵੀ ਇੱਕ ਬਲਾਕ ਨੂੰ ਖਾਲੀ ਕਰਨ ਦੇ ਯੋਗ ਨਹੀਂ ਹੋਵਾਂਗੇ, ਕਿਉਂਕਿ ਇੱਕ ਸਿੰਗਲ ਬਲਾਕ ਨੂੰ ਖਾਲੀ ਕਰਨ ਲਈ, ਸੰਕੁਚਿਤ ਪੰਨੇ ਨੂੰ 0 ਬਾਈਟਾਂ 'ਤੇ ਕਬਜ਼ਾ ਕਰਨਾ ਚਾਹੀਦਾ ਹੈ। ਜੇਕਰ ਪੰਨੇ ਦਾ ਆਕਾਰ 2 ਜਾਂ 4 ਬਲਾਕਾਂ ਦੇ ਆਕਾਰ ਦੇ ਬਰਾਬਰ ਹੈ, ਤਾਂ ਅਸੀਂ ਪਹਿਲਾਂ ਹੀ ਘੱਟੋ-ਘੱਟ ਇੱਕ ਬਲਾਕ ਨੂੰ ਖਾਲੀ ਕਰਨ ਦੇ ਯੋਗ ਹੋਵਾਂਗੇ ਜੇਕਰ ਸਾਡੇ ਪੰਨੇ ਨੂੰ ਕ੍ਰਮਵਾਰ ਘੱਟੋ-ਘੱਟ 50% ਜਾਂ 75% ਤੱਕ ਸੰਕੁਚਿਤ ਕੀਤਾ ਗਿਆ ਹੈ।

ਇਸ ਤਰ੍ਹਾਂ, ਵਿਧੀ ਕਿਵੇਂ ਕੰਮ ਕਰਦੀ ਹੈ ਦਾ ਅੰਤਮ ਵੇਰਵਾ: ਜਦੋਂ ਇੱਕ ਪੰਨੇ ਨੂੰ ਡਿਸਕ ਤੇ ਲਿਖਦੇ ਹੋ, ਤਾਂ ਪੰਨੇ ਨੂੰ ਸੰਕੁਚਿਤ ਕਰਨ ਦੀ ਕੋਸ਼ਿਸ਼ ਕੀਤੀ ਜਾਂਦੀ ਹੈ। ਜੇਕਰ ਸੰਕੁਚਿਤ ਪੰਨੇ ਦਾ ਆਕਾਰ ਇੱਕ ਜਾਂ ਇੱਕ ਤੋਂ ਵੱਧ ਫਾਈਲ ਸਿਸਟਮ ਬਲਾਕਾਂ ਨੂੰ ਮੁਕਤ ਕਰਨ ਦੀ ਆਗਿਆ ਦਿੰਦਾ ਹੈ, ਤਾਂ ਪੰਨੇ ਨੂੰ ਸੰਕੁਚਿਤ ਰੂਪ ਵਿੱਚ ਲਿਖਿਆ ਜਾਂਦਾ ਹੈ, ਅਤੇ ਮੁਕਤ ਕੀਤੇ ਬਲਾਕਾਂ ਦੀ ਥਾਂ ਇੱਕ "ਮੋਰੀ" ਬਣਾਇਆ ਜਾਂਦਾ ਹੈ (ਇੱਕ ਸਿਸਟਮ ਕਾਲ ਚਲਾਇਆ ਜਾਂਦਾ ਹੈ। fallocate() ਪੰਚ ਹੋਲ ਫਲੈਗ ਨਾਲ)। ਜੇਕਰ ਸੰਕੁਚਿਤ ਪੰਨੇ ਦਾ ਆਕਾਰ ਬਲਾਕਾਂ ਨੂੰ ਮੁਕਤ ਕਰਨ ਦੀ ਇਜਾਜ਼ਤ ਨਹੀਂ ਦਿੰਦਾ ਹੈ, ਤਾਂ ਪੰਨਾ ਇਸ ਤਰ੍ਹਾਂ ਸੁਰੱਖਿਅਤ ਕੀਤਾ ਜਾਂਦਾ ਹੈ, ਜਿਵੇਂ ਕਿ ਅਣਕੰਪਰੈੱਸਡ। ਸਾਰੇ ਪੇਜ ਆਫਸੈੱਟਾਂ ਦੀ ਗਣਨਾ ਉਸੇ ਤਰ੍ਹਾਂ ਕੀਤੀ ਜਾਂਦੀ ਹੈ ਜਿਵੇਂ ਕਿ ਬਿਨਾਂ ਕੰਪਰੈਸ਼ਨ ਦੇ, ਪੰਨਾ ਸੂਚਕਾਂਕ ਨੂੰ ਪੰਨੇ ਦੇ ਆਕਾਰ ਨਾਲ ਗੁਣਾ ਕਰਕੇ। ਪੰਨਿਆਂ ਨੂੰ ਆਪਣੇ ਆਪ ਬਦਲਣ ਦੀ ਲੋੜ ਨਹੀਂ ਹੈ। ਪੇਜ ਆਫਸੈੱਟ, ਜਿਵੇਂ ਕਿ ਕੰਪਰੈਸ਼ਨ ਤੋਂ ਬਿਨਾਂ, ਫਾਈਲ ਸਿਸਟਮ ਬਲਾਕਾਂ ਦੀਆਂ ਸੀਮਾਵਾਂ 'ਤੇ ਆਉਂਦੇ ਹਨ।

ਮੌਜੂਦਾ ਸਥਾਪਨ ਵਿੱਚ, Ignite ਸਿਰਫ Linux OS ਦੇ ਅਧੀਨ ਸਪਾਰਸ ਫਾਈਲਾਂ ਨਾਲ ਕੰਮ ਕਰ ਸਕਦਾ ਹੈ; ਇਸ ਅਨੁਸਾਰ, ਡਿਸਕ ਪੇਜ ਕੰਪਰੈਸ਼ਨ ਨੂੰ ਸਿਰਫ ਇਸ ਓਪਰੇਟਿੰਗ ਸਿਸਟਮ 'ਤੇ ਇਗਨਾਈਟ ਦੀ ਵਰਤੋਂ ਕਰਨ ਵੇਲੇ ਹੀ ਯੋਗ ਕੀਤਾ ਜਾ ਸਕਦਾ ਹੈ।

ਕੰਪਰੈਸ਼ਨ ਐਲਗੋਰਿਦਮ ਜੋ ਡਿਸਕ ਪੇਜ ਕੰਪਰੈਸ਼ਨ ਲਈ ਵਰਤੇ ਜਾ ਸਕਦੇ ਹਨ: ZSTD, LZ4, ਸਨੈਪੀ। ਇਸ ਤੋਂ ਇਲਾਵਾ, ਇੱਕ ਓਪਰੇਟਿੰਗ ਮੋਡ (SKIP_GARBAGE) ਹੈ, ਜਿਸ ਵਿੱਚ ਬਾਕੀ ਬਚੇ ਡੇਟਾ 'ਤੇ ਕੰਪਰੈਸ਼ਨ ਲਾਗੂ ਕੀਤੇ ਬਿਨਾਂ ਪੰਨੇ ਵਿੱਚ ਸਿਰਫ਼ ਅਣਵਰਤੀ ਸਪੇਸ ਨੂੰ ਸੁੱਟ ਦਿੱਤਾ ਜਾਂਦਾ ਹੈ, ਜੋ ਪਹਿਲਾਂ ਸੂਚੀਬੱਧ ਐਲਗੋਰਿਦਮ ਦੇ ਮੁਕਾਬਲੇ CPU 'ਤੇ ਲੋਡ ਨੂੰ ਘਟਾਉਂਦਾ ਹੈ।

ਪ੍ਰਦਰਸ਼ਨ ਪ੍ਰਭਾਵ

ਬਦਕਿਸਮਤੀ ਨਾਲ, ਮੈਂ ਅਸਲ ਸਟੈਂਡਾਂ 'ਤੇ ਅਸਲ ਪ੍ਰਦਰਸ਼ਨ ਮਾਪਾਂ ਦਾ ਸੰਚਾਲਨ ਨਹੀਂ ਕੀਤਾ, ਕਿਉਂਕਿ ਅਸੀਂ ਉਤਪਾਦਨ ਵਿੱਚ ਇਸ ਵਿਧੀ ਦੀ ਵਰਤੋਂ ਕਰਨ ਦੀ ਯੋਜਨਾ ਨਹੀਂ ਬਣਾਉਂਦੇ, ਪਰ ਅਸੀਂ ਸਿਧਾਂਤਕ ਤੌਰ 'ਤੇ ਅੰਦਾਜ਼ਾ ਲਗਾ ਸਕਦੇ ਹਾਂ ਕਿ ਅਸੀਂ ਕਿੱਥੇ ਹਾਰਾਂਗੇ ਅਤੇ ਕਿੱਥੇ ਜਿੱਤਾਂਗੇ।

ਅਜਿਹਾ ਕਰਨ ਲਈ, ਸਾਨੂੰ ਇਹ ਯਾਦ ਰੱਖਣ ਦੀ ਲੋੜ ਹੈ ਕਿ ਕਿਵੇਂ ਪੰਨੇ ਪੜ੍ਹੇ ਅਤੇ ਲਿਖੇ ਜਾਂਦੇ ਹਨ ਜਦੋਂ ਐਕਸੈਸ ਕੀਤਾ ਜਾਂਦਾ ਹੈ:

• ਰੀਡ ਓਪਰੇਸ਼ਨ ਕਰਦੇ ਸਮੇਂ, ਇਸਨੂੰ ਪਹਿਲਾਂ ਰੈਮ ਵਿੱਚ ਖੋਜਿਆ ਜਾਂਦਾ ਹੈ; ਜੇਕਰ ਖੋਜ ਅਸਫਲ ਹੁੰਦੀ ਹੈ, ਤਾਂ ਪੰਨੇ ਨੂੰ ਉਸੇ ਥਰਿੱਡ ਦੁਆਰਾ ਡਿਸਕ ਤੋਂ ਰੈਮ ਵਿੱਚ ਲੋਡ ਕੀਤਾ ਜਾਂਦਾ ਹੈ ਜੋ ਰੀਡ ਕਰਦਾ ਹੈ।
• ਜਦੋਂ ਇੱਕ ਲਿਖਣ ਦੀ ਕਾਰਵਾਈ ਕੀਤੀ ਜਾਂਦੀ ਹੈ, ਤਾਂ RAM ਵਿੱਚ ਪੰਨੇ ਨੂੰ ਗੰਦੇ ਵਜੋਂ ਚਿੰਨ੍ਹਿਤ ਕੀਤਾ ਜਾਂਦਾ ਹੈ, ਪਰ ਸਫ਼ੇ ਨੂੰ ਲਿਖਣ ਵਾਲੇ ਥ੍ਰੈਡ ਦੁਆਰਾ ਤੁਰੰਤ ਡਿਸਕ ਵਿੱਚ ਸੁਰੱਖਿਅਤ ਨਹੀਂ ਕੀਤਾ ਜਾਂਦਾ ਹੈ। ਸਾਰੇ ਗੰਦੇ ਪੰਨਿਆਂ ਨੂੰ ਵੱਖਰੇ ਥ੍ਰੈਡਾਂ ਵਿੱਚ ਚੈੱਕਪੁਆਇੰਟ ਪ੍ਰਕਿਰਿਆ ਵਿੱਚ ਬਾਅਦ ਵਿੱਚ ਡਿਸਕ ਵਿੱਚ ਸੁਰੱਖਿਅਤ ਕੀਤਾ ਜਾਂਦਾ ਹੈ।

ਇਸ ਲਈ ਰੀਡ ਓਪਰੇਸ਼ਨਾਂ 'ਤੇ ਪ੍ਰਭਾਵ ਹੈ:

• ਸਕਾਰਾਤਮਕ (ਡਿਸਕ IO), ਰੀਡ ਫਾਈਲ ਸਿਸਟਮ ਬਲਾਕਾਂ ਦੀ ਗਿਣਤੀ ਵਿੱਚ ਕਮੀ ਦੇ ਕਾਰਨ.
• ਨੈਗੇਟਿਵ (CPU), ਸਪਾਰਸ ਫਾਈਲਾਂ ਨਾਲ ਕੰਮ ਕਰਨ ਲਈ ਓਪਰੇਟਿੰਗ ਸਿਸਟਮ ਦੁਆਰਾ ਲੋੜੀਂਦੇ ਵਾਧੂ ਲੋਡ ਦੇ ਕਾਰਨ। ਇਹ ਵੀ ਸੰਭਵ ਹੈ ਕਿ ਵਾਧੂ IO ਓਪਰੇਸ਼ਨ ਵਧੇਰੇ ਗੁੰਝਲਦਾਰ ਸਪਾਰਸ ਫਾਈਲ ਢਾਂਚੇ ਨੂੰ ਸੁਰੱਖਿਅਤ ਕਰਨ ਲਈ ਇੱਥੇ ਸਪਸ਼ਟ ਤੌਰ 'ਤੇ ਦਿਖਾਈ ਦੇਣਗੇ (ਬਦਕਿਸਮਤੀ ਨਾਲ, ਮੈਂ ਸਪਾਰਸ ਫਾਈਲਾਂ ਦੇ ਕੰਮ ਕਰਨ ਦੇ ਸਾਰੇ ਵੇਰਵਿਆਂ ਤੋਂ ਜਾਣੂ ਨਹੀਂ ਹਾਂ)।
• ਨੈਗੇਟਿਵ (CPU), ਪੰਨਿਆਂ ਨੂੰ ਡੀਕੰਪ੍ਰੈਸ ਕਰਨ ਦੀ ਲੋੜ ਦੇ ਕਾਰਨ।
• ਲਿਖਣ ਦੇ ਕੰਮ 'ਤੇ ਕੋਈ ਅਸਰ ਨਹੀਂ ਹੁੰਦਾ।
• ਚੈੱਕਪੁਆਇੰਟ ਪ੍ਰਕਿਰਿਆ 'ਤੇ ਪ੍ਰਭਾਵ (ਇੱਥੇ ਹਰ ਚੀਜ਼ ਰੀਡ ਓਪਰੇਸ਼ਨਾਂ ਦੇ ਸਮਾਨ ਹੈ):
• ਸਕਾਰਾਤਮਕ (ਡਿਸਕ IO), ਲਿਖਤੀ ਫਾਈਲ ਸਿਸਟਮ ਬਲਾਕਾਂ ਦੀ ਗਿਣਤੀ ਵਿੱਚ ਕਮੀ ਦੇ ਕਾਰਨ.
• ਨੈਗੇਟਿਵ (CPU, ਸੰਭਵ ਤੌਰ 'ਤੇ ਡਿਸਕ IO), ਸਪਾਰਸ ਫਾਈਲਾਂ ਨਾਲ ਕੰਮ ਕਰਨ ਦੇ ਕਾਰਨ।
• ਨੈਗੇਟਿਵ (CPU), ਪੇਜ ਕੰਪਰੈਸ਼ਨ ਦੀ ਲੋੜ ਦੇ ਕਾਰਨ.

ਪੈਮਾਨੇ ਦਾ ਕਿਹੜਾ ਪਾਸਾ ਪੈਮਾਨੇ ਨੂੰ ਟਿਪ ਕਰੇਗਾ? ਇਹ ਸਭ ਕੁਝ ਵਾਤਾਵਰਣ 'ਤੇ ਨਿਰਭਰ ਕਰਦਾ ਹੈ, ਪਰ ਮੈਂ ਇਹ ਮੰਨਣ ਲਈ ਝੁਕਾਅ ਰੱਖਦਾ ਹਾਂ ਕਿ ਡਿਸਕ ਪੇਜ ਕੰਪਰੈਸ਼ਨ ਜ਼ਿਆਦਾਤਰ ਸਿਸਟਮਾਂ 'ਤੇ ਪ੍ਰਦਰਸ਼ਨ ਨੂੰ ਘਟਾਏਗਾ। ਇਸ ਤੋਂ ਇਲਾਵਾ, ਹੋਰ DBMSs 'ਤੇ ਟੈਸਟ ਜੋ ਸਪਾਰਸ ਫਾਈਲਾਂ ਦੇ ਨਾਲ ਸਮਾਨ ਪਹੁੰਚ ਦੀ ਵਰਤੋਂ ਕਰਦੇ ਹਨ, ਜਦੋਂ ਕੰਪਰੈਸ਼ਨ ਸਮਰੱਥ ਹੁੰਦੀ ਹੈ ਤਾਂ ਪ੍ਰਦਰਸ਼ਨ ਵਿੱਚ ਗਿਰਾਵਟ ਦਿਖਾਉਂਦੀ ਹੈ।

ਕਿਵੇਂ ਸਮਰੱਥ ਅਤੇ ਕੌਂਫਿਗਰ ਕਰਨਾ ਹੈ

ਜਿਵੇਂ ਕਿ ਉੱਪਰ ਦੱਸਿਆ ਗਿਆ ਹੈ, ਅਪਾਚੇ ਇਗਨਾਈਟ ਦਾ ਘੱਟੋ-ਘੱਟ ਸੰਸਕਰਣ ਜੋ ਡਿਸਕ ਪੇਜ ਕੰਪਰੈਸ਼ਨ ਦਾ ਸਮਰਥਨ ਕਰਦਾ ਹੈ 2.8 ਹੈ ਅਤੇ ਸਿਰਫ ਲੀਨਕਸ ਓਪਰੇਟਿੰਗ ਸਿਸਟਮ ਸਮਰਥਿਤ ਹੈ। ਹੇਠਾਂ ਦਿੱਤੇ ਅਨੁਸਾਰ ਸਮਰੱਥ ਅਤੇ ਸੰਰਚਿਤ ਕਰੋ:

• ਕਲਾਸ-ਪਾਥ ਵਿੱਚ ਇੱਕ ਇਗਨਾਈਟ-ਕੰਪਰੈਸ਼ਨ ਮੋਡੀਊਲ ਹੋਣਾ ਚਾਹੀਦਾ ਹੈ। ਮੂਲ ਰੂਪ ਵਿੱਚ, ਇਹ libs/ਵਿਕਲਪਿਕ ਡਾਇਰੈਕਟਰੀ ਵਿੱਚ Apache Ignite ਡਿਸਟਰੀਬਿਊਸ਼ਨ ਵਿੱਚ ਸਥਿਤ ਹੈ ਅਤੇ ਕਲਾਸ-ਪਾਥ ਵਿੱਚ ਸ਼ਾਮਲ ਨਹੀਂ ਹੈ। ਤੁਸੀਂ ਸਿਰਫ਼ ਡਾਇਰੈਕਟਰੀ ਨੂੰ ਇੱਕ ਪੱਧਰ ਉੱਤੇ libs ਵਿੱਚ ਲੈ ਜਾ ਸਕਦੇ ਹੋ ਅਤੇ ਫਿਰ ਜਦੋਂ ਤੁਸੀਂ ਇਸਨੂੰ ignite.sh ਦੁਆਰਾ ਚਲਾਉਂਦੇ ਹੋ ਤਾਂ ਇਹ ਆਪਣੇ ਆਪ ਹੀ ਯੋਗ ਹੋ ਜਾਵੇਗਾ।
• ਦ੍ਰਿੜਤਾ ਨੂੰ ਸਮਰੱਥ ਬਣਾਇਆ ਜਾਣਾ ਚਾਹੀਦਾ ਹੈ (ਦੁਆਰਾ ਸਮਰਥਿਤ DataRegionConfiguration.setPersistenceEnabled(true)).
• ਪੰਨੇ ਦਾ ਆਕਾਰ ਫਾਈਲ ਸਿਸਟਮ ਬਲਾਕ ਆਕਾਰ ਤੋਂ ਵੱਡਾ ਹੋਣਾ ਚਾਹੀਦਾ ਹੈ (ਤੁਸੀਂ ਇਸਨੂੰ ਵਰਤ ਕੇ ਸੈੱਟ ਕਰ ਸਕਦੇ ਹੋ DataStorageConfiguration.setPageSize() ).
• ਹਰੇਕ ਕੈਸ਼ ਲਈ ਜਿਸਦੇ ਡੇਟਾ ਨੂੰ ਸੰਕੁਚਿਤ ਕਰਨ ਦੀ ਲੋੜ ਹੈ, ਤੁਹਾਨੂੰ ਕੰਪਰੈਸ਼ਨ ਵਿਧੀ ਅਤੇ (ਵਿਕਲਪਿਕ ਤੌਰ 'ਤੇ) ਸੰਕੁਚਨ ਪੱਧਰ (ਤਰੀਕਿਆਂ) ਦੀ ਸੰਰਚਨਾ ਕਰਨੀ ਚਾਹੀਦੀ ਹੈ CacheConfiguration.setDiskPageCompression() , CacheConfiguration.setDiskPageCompressionLevel()).

WAL ਕੰਪੈਕਸ਼ਨ

ਇਹ ਕੰਮ ਕਰਦਾ ਹੈ

WAL ਕੀ ਹੈ ਅਤੇ ਇਸਦੀ ਲੋੜ ਕਿਉਂ ਹੈ? ਬਹੁਤ ਸੰਖੇਪ ਵਿੱਚ: ਇਹ ਇੱਕ ਲੌਗ ਹੈ ਜਿਸ ਵਿੱਚ ਸਾਰੀਆਂ ਘਟਨਾਵਾਂ ਸ਼ਾਮਲ ਹੁੰਦੀਆਂ ਹਨ ਜੋ ਅੰਤ ਵਿੱਚ ਪੰਨੇ ਦੀ ਸਟੋਰੇਜ ਨੂੰ ਬਦਲਦੀਆਂ ਹਨ। ਡਿੱਗਣ ਦੀ ਸਥਿਤੀ ਵਿੱਚ ਠੀਕ ਹੋਣ ਦੇ ਯੋਗ ਹੋਣ ਲਈ ਇਹ ਮੁੱਖ ਤੌਰ 'ਤੇ ਲੋੜੀਂਦਾ ਹੈ। ਕੋਈ ਵੀ ਓਪਰੇਸ਼ਨ, ਉਪਭੋਗਤਾ ਨੂੰ ਨਿਯੰਤਰਣ ਦੇਣ ਤੋਂ ਪਹਿਲਾਂ, ਪਹਿਲਾਂ WAL ਵਿੱਚ ਇੱਕ ਇਵੈਂਟ ਨੂੰ ਰਿਕਾਰਡ ਕਰਨਾ ਚਾਹੀਦਾ ਹੈ, ਤਾਂ ਜੋ ਅਸਫਲ ਹੋਣ ਦੀ ਸਥਿਤੀ ਵਿੱਚ, ਇਸਨੂੰ ਲੌਗ ਵਿੱਚ ਵਾਪਸ ਚਲਾਇਆ ਜਾ ਸਕੇ ਅਤੇ ਉਹਨਾਂ ਸਾਰੇ ਓਪਰੇਸ਼ਨਾਂ ਨੂੰ ਬਹਾਲ ਕੀਤਾ ਜਾ ਸਕੇ ਜਿਸ ਲਈ ਉਪਭੋਗਤਾ ਨੂੰ ਸਫਲ ਜਵਾਬ ਮਿਲਿਆ, ਭਾਵੇਂ ਇਹ ਓਪਰੇਸ਼ਨ ਡਿਸਕ 'ਤੇ ਪੇਜ ਸਟੋਰੇਜ ਵਿੱਚ ਪ੍ਰਤੀਬਿੰਬਿਤ ਹੋਣ ਦਾ ਸਮਾਂ ਨਹੀਂ ਸੀ (ਪਹਿਲਾਂ ਹੀ ਉੱਪਰ ਦੱਸਿਆ ਗਿਆ ਹੈ ਕਿ ਪੇਜ ਸਟੋਰ ਨੂੰ ਅਸਲ ਲਿਖਤ "ਚੈੱਕਪੁਆਇੰਟਿੰਗ" ਨਾਮਕ ਪ੍ਰਕਿਰਿਆ ਵਿੱਚ ਵੱਖਰੇ ਥ੍ਰੈਡਾਂ ਦੁਆਰਾ ਕੁਝ ਦੇਰੀ ਨਾਲ ਕੀਤੀ ਜਾਂਦੀ ਹੈ)।

WAL ਵਿੱਚ ਐਂਟਰੀਆਂ ਨੂੰ ਲਾਜ਼ੀਕਲ ਅਤੇ ਭੌਤਿਕ ਵਿੱਚ ਵੰਡਿਆ ਗਿਆ ਹੈ। ਬੁਲੀਅਨ ਵਾਲੇ ਆਪਣੇ ਆਪ ਵਿੱਚ ਕੁੰਜੀਆਂ ਅਤੇ ਮੁੱਲ ਹਨ। ਭੌਤਿਕ - ਪੇਜ ਸਟੋਰ ਵਿੱਚ ਪੰਨਿਆਂ ਵਿੱਚ ਤਬਦੀਲੀਆਂ ਨੂੰ ਦਰਸਾਉਂਦਾ ਹੈ। ਜਦੋਂ ਕਿ ਲਾਜ਼ੀਕਲ ਰਿਕਾਰਡ ਕੁਝ ਹੋਰ ਮਾਮਲਿਆਂ ਲਈ ਲਾਭਦਾਇਕ ਹੋ ਸਕਦੇ ਹਨ, ਭੌਤਿਕ ਰਿਕਾਰਡਾਂ ਦੀ ਲੋੜ ਸਿਰਫ਼ ਇੱਕ ਕਰੈਸ਼ ਦੀ ਸਥਿਤੀ ਵਿੱਚ ਰਿਕਵਰੀ ਲਈ ਹੁੰਦੀ ਹੈ ਅਤੇ ਰਿਕਾਰਡਾਂ ਦੀ ਲੋੜ ਸਿਰਫ਼ ਆਖਰੀ ਸਫਲ ਚੈਕਪੁਆਇੰਟ ਤੋਂ ਹੁੰਦੀ ਹੈ। ਇੱਥੇ ਅਸੀਂ ਵਿਸਤਾਰ ਵਿੱਚ ਨਹੀਂ ਜਾਵਾਂਗੇ ਅਤੇ ਇਹ ਨਹੀਂ ਦੱਸਾਂਗੇ ਕਿ ਇਹ ਇਸ ਤਰ੍ਹਾਂ ਕਿਉਂ ਕੰਮ ਕਰਦਾ ਹੈ, ਪਰ ਦਿਲਚਸਪੀ ਰੱਖਣ ਵਾਲੇ ਅਪਾਚੇ ਇਗਨਾਈਟ ਵਿਕੀ 'ਤੇ ਪਹਿਲਾਂ ਹੀ ਜ਼ਿਕਰ ਕੀਤੇ ਲੇਖ ਦਾ ਹਵਾਲਾ ਦੇ ਸਕਦੇ ਹਨ: ਪਰਸਿਸਟੈਂਟ ਸਟੋਰ ਨੂੰ ਅੱਗ ਲਗਾਓ - ਹੁੱਡ ਦੇ ਹੇਠਾਂ.

ਪ੍ਰਤੀ ਲਾਜ਼ੀਕਲ ਰਿਕਾਰਡ ਅਕਸਰ ਕਈ ਭੌਤਿਕ ਰਿਕਾਰਡ ਹੁੰਦੇ ਹਨ। ਭਾਵ, ਉਦਾਹਰਨ ਲਈ, ਕੈਸ਼ ਵਿੱਚ ਇੱਕ ਪੁਟ ਓਪਰੇਸ਼ਨ ਪੇਜ ਮੈਮੋਰੀ ਵਿੱਚ ਕਈ ਪੰਨਿਆਂ ਨੂੰ ਪ੍ਰਭਾਵਿਤ ਕਰਦਾ ਹੈ (ਇੱਕ ਪੰਨਾ ਆਪਣੇ ਆਪ ਵਿੱਚ ਡੇਟਾ ਵਾਲਾ ਪੰਨਾ, ਸੂਚਕਾਂਕ ਵਾਲੇ ਪੰਨੇ, ਫ੍ਰੀ-ਸੂਚੀ ਵਾਲੇ ਪੰਨੇ)। ਕੁਝ ਸਿੰਥੈਟਿਕ ਟੈਸਟਾਂ ਵਿੱਚ, ਮੈਂ ਪਾਇਆ ਕਿ ਭੌਤਿਕ ਰਿਕਾਰਡਾਂ ਨੇ WAL ਫਾਈਲ ਦੇ 90% ਤੱਕ ਕਬਜ਼ਾ ਕਰ ਲਿਆ ਹੈ। ਹਾਲਾਂਕਿ, ਉਹਨਾਂ ਨੂੰ ਬਹੁਤ ਥੋੜੇ ਸਮੇਂ ਲਈ ਲੋੜੀਂਦਾ ਹੈ (ਮੂਲ ਰੂਪ ਵਿੱਚ, ਚੈਕਪੁਆਇੰਟਾਂ ਵਿਚਕਾਰ ਅੰਤਰਾਲ 3 ਮਿੰਟ ਹੈ)। ਇਸ ਦੀ ਸਾਰਥਕਤਾ ਗੁਆਉਣ ਤੋਂ ਬਾਅਦ ਇਸ ਡੇਟਾ ਤੋਂ ਛੁਟਕਾਰਾ ਪਾਉਣਾ ਤਰਕਪੂਰਨ ਹੋਵੇਗਾ। ਇਹ ਬਿਲਕੁਲ ਉਹੀ ਹੈ ਜੋ WAL ਕੰਪੈਕਸ਼ਨ ਵਿਧੀ ਕਰਦਾ ਹੈ: ਇਹ ਭੌਤਿਕ ਰਿਕਾਰਡਾਂ ਤੋਂ ਛੁਟਕਾਰਾ ਪਾਉਂਦਾ ਹੈ ਅਤੇ ਜ਼ਿਪ ਦੀ ਵਰਤੋਂ ਕਰਦੇ ਹੋਏ ਬਾਕੀ ਬਚੇ ਲਾਜ਼ੀਕਲ ਰਿਕਾਰਡਾਂ ਨੂੰ ਸੰਕੁਚਿਤ ਕਰਦਾ ਹੈ, ਜਦੋਂ ਕਿ ਫਾਈਲ ਦਾ ਆਕਾਰ ਬਹੁਤ ਮਹੱਤਵਪੂਰਨ ਤੌਰ 'ਤੇ ਘਟਾਇਆ ਜਾਂਦਾ ਹੈ (ਕਈ ਵਾਰ ਕਈ ਵਾਰ)।

ਭੌਤਿਕ ਤੌਰ 'ਤੇ, WAL ਵਿੱਚ ਇੱਕ ਨਿਸ਼ਚਤ ਆਕਾਰ (ਡਿਫੌਲਟ ਰੂਪ ਵਿੱਚ 10MB) ਦੇ ਕਈ ਹਿੱਸੇ (64 ਮੂਲ ਰੂਪ ਵਿੱਚ) ਹੁੰਦੇ ਹਨ, ਜੋ ਇੱਕ ਸਰਕੂਲਰ ਤਰੀਕੇ ਨਾਲ ਓਵਰਰਾਈਟ ਹੁੰਦੇ ਹਨ। ਜਿਵੇਂ ਹੀ ਮੌਜੂਦਾ ਖੰਡ ਭਰਿਆ ਜਾਂਦਾ ਹੈ, ਅਗਲਾ ਖੰਡ ਮੌਜੂਦਾ ਦੇ ਤੌਰ ਤੇ ਨਿਰਧਾਰਤ ਕੀਤਾ ਜਾਂਦਾ ਹੈ, ਅਤੇ ਭਰੇ ਹੋਏ ਹਿੱਸੇ ਨੂੰ ਇੱਕ ਵੱਖਰੇ ਥ੍ਰੈਡ ਦੁਆਰਾ ਪੁਰਾਲੇਖ ਵਿੱਚ ਕਾਪੀ ਕੀਤਾ ਜਾਂਦਾ ਹੈ। WAL ਕੰਪੈਕਸ਼ਨ ਪਹਿਲਾਂ ਹੀ ਪੁਰਾਲੇਖ ਹਿੱਸਿਆਂ ਨਾਲ ਕੰਮ ਕਰਦਾ ਹੈ। ਨਾਲ ਹੀ, ਇੱਕ ਵੱਖਰੇ ਥ੍ਰੈਡ ਵਜੋਂ, ਇਹ ਚੈਕਪੁਆਇੰਟ ਦੇ ਐਗਜ਼ੀਕਿਊਸ਼ਨ ਦੀ ਨਿਗਰਾਨੀ ਕਰਦਾ ਹੈ ਅਤੇ ਪੁਰਾਲੇਖ ਹਿੱਸਿਆਂ ਵਿੱਚ ਸੰਕੁਚਨ ਸ਼ੁਰੂ ਕਰਦਾ ਹੈ ਜਿਸ ਲਈ ਭੌਤਿਕ ਰਿਕਾਰਡਾਂ ਦੀ ਹੁਣ ਲੋੜ ਨਹੀਂ ਹੈ।

ਪ੍ਰਦਰਸ਼ਨ ਪ੍ਰਭਾਵ

ਕਿਉਂਕਿ WAL ਕੰਪੈਕਸ਼ਨ ਇੱਕ ਵੱਖਰੇ ਥ੍ਰੈੱਡ ਦੇ ਤੌਰ 'ਤੇ ਚੱਲਦਾ ਹੈ, ਇਸ ਲਈ ਕੀਤੇ ਜਾ ਰਹੇ ਓਪਰੇਸ਼ਨਾਂ 'ਤੇ ਕੋਈ ਸਿੱਧਾ ਪ੍ਰਭਾਵ ਨਹੀਂ ਹੋਣਾ ਚਾਹੀਦਾ ਹੈ। ਪਰ ਇਹ ਅਜੇ ਵੀ CPU (ਕੰਪਰੈਸ਼ਨ) ਅਤੇ ਡਿਸਕ 'ਤੇ ਵਾਧੂ ਬੈਕਗਰਾਊਂਡ ਲੋਡ ਰੱਖਦਾ ਹੈ (ਆਰਕਾਈਵ ਤੋਂ ਹਰੇਕ WAL ਹਿੱਸੇ ਨੂੰ ਪੜ੍ਹਨਾ ਅਤੇ ਕੰਪਰੈੱਸਡ ਖੰਡਾਂ ਨੂੰ ਲਿਖਣਾ), ਇਸ ਲਈ ਜੇਕਰ ਸਿਸਟਮ ਆਪਣੀ ਵੱਧ ਤੋਂ ਵੱਧ ਸਮਰੱਥਾ 'ਤੇ ਚੱਲ ਰਿਹਾ ਹੈ, ਤਾਂ ਇਹ ਕਾਰਗੁਜ਼ਾਰੀ ਵਿੱਚ ਗਿਰਾਵਟ ਵੱਲ ਵੀ ਅਗਵਾਈ ਕਰੇਗਾ।

ਕਿਵੇਂ ਸਮਰੱਥ ਅਤੇ ਕੌਂਫਿਗਰ ਕਰਨਾ ਹੈ

ਤੁਸੀਂ ਜਾਇਦਾਦ ਦੀ ਵਰਤੋਂ ਕਰਕੇ WAL ਕੰਪੈਕਸ਼ਨ ਨੂੰ ਸਮਰੱਥ ਕਰ ਸਕਦੇ ਹੋ WalCompactionEnabled в DataStorageConfiguration (DataStorageConfiguration.setWalCompactionEnabled(true)). ਨਾਲ ਹੀ, DataStorageConfiguration.setWalCompactionLevel() ਵਿਧੀ ਦੀ ਵਰਤੋਂ ਕਰਦੇ ਹੋਏ, ਜੇਕਰ ਤੁਸੀਂ ਡਿਫਾਲਟ ਮੁੱਲ (BEST_SPEED) ਤੋਂ ਸੰਤੁਸ਼ਟ ਨਹੀਂ ਹੋ ਤਾਂ ਤੁਸੀਂ ਕੰਪਰੈਸ਼ਨ ਪੱਧਰ ਸੈੱਟ ਕਰ ਸਕਦੇ ਹੋ।

WAL ਪੇਜ ਸਨੈਪਸ਼ਾਟ ਕੰਪਰੈਸ਼ਨ

ਇਹ ਕੰਮ ਕਰਦਾ ਹੈ

ਅਸੀਂ ਪਹਿਲਾਂ ਹੀ ਪਤਾ ਲਗਾ ਚੁੱਕੇ ਹਾਂ ਕਿ WAL ਵਿੱਚ ਰਿਕਾਰਡਾਂ ਨੂੰ ਤਰਕਪੂਰਨ ਅਤੇ ਭੌਤਿਕ ਵਿੱਚ ਵੰਡਿਆ ਗਿਆ ਹੈ। ਹਰੇਕ ਪੰਨੇ ਵਿੱਚ ਹਰੇਕ ਤਬਦੀਲੀ ਲਈ, ਪੰਨਾ ਮੈਮੋਰੀ ਵਿੱਚ ਇੱਕ ਭੌਤਿਕ WAL ਰਿਕਾਰਡ ਤਿਆਰ ਕੀਤਾ ਜਾਂਦਾ ਹੈ। ਭੌਤਿਕ ਰਿਕਾਰਡ, ਬਦਲੇ ਵਿੱਚ, 2 ਉਪ-ਕਿਸਮਾਂ ਵਿੱਚ ਵੀ ਵੰਡੇ ਗਏ ਹਨ: ਪੰਨਾ ਸਨੈਪਸ਼ਾਟ ਰਿਕਾਰਡ ਅਤੇ ਡੈਲਟਾ ਰਿਕਾਰਡ। ਹਰ ਵਾਰ ਜਦੋਂ ਅਸੀਂ ਕਿਸੇ ਪੰਨੇ 'ਤੇ ਕੁਝ ਬਦਲਦੇ ਹਾਂ ਅਤੇ ਇਸਨੂੰ ਸਾਫ਼ ਸਥਿਤੀ ਤੋਂ ਗੰਦੇ ਸਥਿਤੀ ਵਿੱਚ ਟ੍ਰਾਂਸਫਰ ਕਰਦੇ ਹਾਂ, ਤਾਂ ਇਸ ਪੰਨੇ ਦੀ ਇੱਕ ਪੂਰੀ ਕਾਪੀ WAL (ਪੇਜ ਸਨੈਪਸ਼ਾਟ ਰਿਕਾਰਡ) ਵਿੱਚ ਸਟੋਰ ਕੀਤੀ ਜਾਂਦੀ ਹੈ। ਭਾਵੇਂ ਅਸੀਂ WAL ਵਿੱਚ ਸਿਰਫ਼ ਇੱਕ ਬਾਈਟ ਬਦਲਦੇ ਹਾਂ, ਰਿਕਾਰਡ ਪੰਨੇ ਦੇ ਆਕਾਰ ਤੋਂ ਥੋੜ੍ਹਾ ਵੱਡਾ ਹੋਵੇਗਾ। ਜੇਕਰ ਅਸੀਂ ਪਹਿਲਾਂ ਤੋਂ ਹੀ ਗੰਦੇ ਪੰਨੇ 'ਤੇ ਕੁਝ ਬਦਲਦੇ ਹਾਂ, ਤਾਂ WAL ਵਿੱਚ ਇੱਕ ਡੈਲਟਾ ਰਿਕਾਰਡ ਬਣਦਾ ਹੈ, ਜੋ ਕਿ ਪੰਨੇ ਦੀ ਪਿਛਲੀ ਸਥਿਤੀ ਦੇ ਮੁਕਾਬਲੇ ਸਿਰਫ ਤਬਦੀਲੀਆਂ ਨੂੰ ਦਰਸਾਉਂਦਾ ਹੈ, ਪਰ ਪੂਰੇ ਪੰਨੇ ਨੂੰ ਨਹੀਂ। ਕਿਉਂਕਿ ਚੈਕਪੁਆਇੰਟ ਦੀ ਪ੍ਰਕਿਰਿਆ ਦੌਰਾਨ ਪੰਨਿਆਂ ਦੀ ਸਥਿਤੀ ਨੂੰ ਗੰਦੇ ਤੋਂ ਸਾਫ਼ ਕਰਨ ਲਈ ਰੀਸੈਟ ਕੀਤਾ ਜਾਂਦਾ ਹੈ, ਚੈਕਪੁਆਇੰਟ ਦੀ ਸ਼ੁਰੂਆਤ ਤੋਂ ਤੁਰੰਤ ਬਾਅਦ, ਲਗਭਗ ਸਾਰੇ ਭੌਤਿਕ ਰਿਕਾਰਡਾਂ ਵਿੱਚ ਸਿਰਫ਼ ਪੰਨਿਆਂ ਦੇ ਸਨੈਪਸ਼ਾਟ ਸ਼ਾਮਲ ਹੋਣਗੇ (ਕਿਉਂਕਿ ਚੈਕਪੁਆਇੰਟ ਦੀ ਸ਼ੁਰੂਆਤ ਤੋਂ ਤੁਰੰਤ ਬਾਅਦ ਸਾਰੇ ਪੰਨੇ ਸਾਫ਼ ਹਨ) , ਫਿਰ ਜਿਵੇਂ ਹੀ ਅਸੀਂ ਅਗਲੀ ਚੈਕਪੁਆਇੰਟ 'ਤੇ ਪਹੁੰਚਦੇ ਹਾਂ, ਡੈਲਟਾ ਰਿਕਾਰਡ ਫਰੈਕਸ਼ਨ ਵਧਣਾ ਸ਼ੁਰੂ ਹੋ ਜਾਂਦਾ ਹੈ ਅਤੇ ਅਗਲੀ ਚੈਕਪੁਆਇੰਟ ਦੀ ਸ਼ੁਰੂਆਤ 'ਤੇ ਦੁਬਾਰਾ ਰੀਸੈਟ ਹੁੰਦਾ ਹੈ। ਕੁਝ ਸਿੰਥੈਟਿਕ ਟੈਸਟਾਂ ਵਿੱਚ ਮਾਪਾਂ ਨੇ ਦਿਖਾਇਆ ਕਿ ਭੌਤਿਕ ਰਿਕਾਰਡਾਂ ਦੀ ਕੁੱਲ ਮਾਤਰਾ ਵਿੱਚ ਪੇਜ ਸਨੈਪਸ਼ਾਟ ਦਾ ਹਿੱਸਾ 90% ਤੱਕ ਪਹੁੰਚਦਾ ਹੈ।

WAL ਪੇਜ ਸਨੈਪਸ਼ਾਟ ਕੰਪਰੈਸ਼ਨ ਦਾ ਵਿਚਾਰ ਇੱਕ ਰੈਡੀਮੇਡ ਪੇਜ ਕੰਪਰੈਸ਼ਨ ਟੂਲ (ਡਿਸਕ ਪੇਜ ਕੰਪਰੈਸ਼ਨ ਦੇਖੋ) ਦੀ ਵਰਤੋਂ ਕਰਕੇ ਪੇਜ ਸਨੈਪਸ਼ਾਟ ਨੂੰ ਸੰਕੁਚਿਤ ਕਰਨਾ ਹੈ। ਇਸ ਦੇ ਨਾਲ ਹੀ, WAL ਵਿੱਚ, ਰਿਕਾਰਡਾਂ ਨੂੰ ਕ੍ਰਮਵਾਰ ਸਿਰਫ-ਅਪੈਂਡ ਮੋਡ ਵਿੱਚ ਸੁਰੱਖਿਅਤ ਕੀਤਾ ਜਾਂਦਾ ਹੈ ਅਤੇ ਫਾਈਲ ਸਿਸਟਮ ਬਲਾਕਾਂ ਦੀਆਂ ਸੀਮਾਵਾਂ ਨਾਲ ਰਿਕਾਰਡਾਂ ਨੂੰ ਬੰਨ੍ਹਣ ਦੀ ਕੋਈ ਲੋੜ ਨਹੀਂ ਹੁੰਦੀ ਹੈ, ਇਸਲਈ, ਇੱਥੇ, ਡਿਸਕ ਪੇਜ ਕੰਪਰੈਸ਼ਨ ਵਿਧੀ ਦੇ ਉਲਟ, ਸਾਨੂੰ ਇੱਥੇ ਸਪਾਰਸ ਫਾਈਲਾਂ ਦੀ ਲੋੜ ਨਹੀਂ ਹੈ। ਸਭ; ਇਸ ਅਨੁਸਾਰ, ਇਹ ਵਿਧੀ ਨਾ ਸਿਰਫ਼ OS Linux 'ਤੇ ਕੰਮ ਕਰੇਗੀ। ਇਸ ਤੋਂ ਇਲਾਵਾ, ਇਹ ਹੁਣ ਸਾਡੇ ਲਈ ਮਾਇਨੇ ਨਹੀਂ ਰੱਖਦਾ ਕਿ ਅਸੀਂ ਪੰਨੇ ਨੂੰ ਕਿੰਨਾ ਕੁ ਸੰਕੁਚਿਤ ਕਰਨ ਦੇ ਯੋਗ ਸੀ। ਭਾਵੇਂ ਅਸੀਂ 1 ਬਾਈਟ ਨੂੰ ਮੁਕਤ ਕੀਤਾ ਹੈ, ਇਹ ਪਹਿਲਾਂ ਹੀ ਇੱਕ ਸਕਾਰਾਤਮਕ ਨਤੀਜਾ ਹੈ ਅਤੇ ਅਸੀਂ ਡਿਸਕ ਪੇਜ ਕੰਪਰੈਸ਼ਨ ਦੇ ਉਲਟ, WAL ਵਿੱਚ ਸੰਕੁਚਿਤ ਡੇਟਾ ਨੂੰ ਸੁਰੱਖਿਅਤ ਕਰ ਸਕਦੇ ਹਾਂ, ਜਿੱਥੇ ਅਸੀਂ ਸੰਕੁਚਿਤ ਪੰਨੇ ਨੂੰ ਕੇਵਲ ਤਾਂ ਹੀ ਸੁਰੱਖਿਅਤ ਕਰਦੇ ਹਾਂ ਜੇਕਰ ਅਸੀਂ 1 ਤੋਂ ਵੱਧ ਫਾਈਲ ਸਿਸਟਮ ਬਲਾਕ ਨੂੰ ਮੁਕਤ ਕਰਦੇ ਹਾਂ।

ਪੰਨੇ ਬਹੁਤ ਜ਼ਿਆਦਾ ਸੰਕੁਚਿਤ ਡੇਟਾ ਹੁੰਦੇ ਹਨ, ਕੁੱਲ WAL ਵਾਲੀਅਮ ਵਿੱਚ ਉਹਨਾਂ ਦੀ ਹਿੱਸੇਦਾਰੀ ਬਹੁਤ ਜ਼ਿਆਦਾ ਹੁੰਦੀ ਹੈ, ਇਸਲਈ WAL ਫਾਈਲ ਫਾਰਮੈਟ ਨੂੰ ਬਦਲੇ ਬਿਨਾਂ ਅਸੀਂ ਇਸਦੇ ਆਕਾਰ ਵਿੱਚ ਇੱਕ ਮਹੱਤਵਪੂਰਨ ਕਮੀ ਪ੍ਰਾਪਤ ਕਰ ਸਕਦੇ ਹਾਂ। ਸੰਕੁਚਨ, ਲਾਜ਼ੀਕਲ ਰਿਕਾਰਡਾਂ ਸਮੇਤ, ਨੂੰ ਫਾਰਮੈਟ ਵਿੱਚ ਤਬਦੀਲੀ ਅਤੇ ਅਨੁਕੂਲਤਾ ਦੇ ਨੁਕਸਾਨ ਦੀ ਲੋੜ ਹੋਵੇਗੀ, ਉਦਾਹਰਨ ਲਈ, ਬਾਹਰੀ ਖਪਤਕਾਰਾਂ ਲਈ ਜੋ ਲਾਜ਼ੀਕਲ ਰਿਕਾਰਡਾਂ ਵਿੱਚ ਦਿਲਚਸਪੀ ਰੱਖਦੇ ਹਨ, ਪਰ ਫਾਈਲ ਆਕਾਰ ਵਿੱਚ ਮਹੱਤਵਪੂਰਨ ਕਮੀ ਨਹੀਂ ਕਰਨਗੇ।

ਜਿਵੇਂ ਕਿ ਡਿਸਕ ਪੇਜ ਕੰਪਰੈਸ਼ਨ ਦੇ ਨਾਲ, WAL ਪੇਜ ਸਨੈਪਸ਼ਾਟ ਕੰਪਰੈਸ਼ਨ ZSTD, LZ4, ਸਨੈਪੀ ਕੰਪਰੈਸ਼ਨ ਐਲਗੋਰਿਦਮ, ਅਤੇ ਨਾਲ ਹੀ SKIP_GARBAGE ਮੋਡ ਦੀ ਵਰਤੋਂ ਕਰ ਸਕਦਾ ਹੈ।

ਪ੍ਰਦਰਸ਼ਨ ਪ੍ਰਭਾਵ

ਇਹ ਧਿਆਨ ਦੇਣਾ ਔਖਾ ਨਹੀਂ ਹੈ ਕਿ WAL ਪੇਜ ਸਨੈਪਸ਼ਾਟ ਕੰਪਰੈਸ਼ਨ ਨੂੰ ਸਿੱਧੇ ਤੌਰ 'ਤੇ ਸਮਰੱਥ ਕਰਨਾ ਸਿਰਫ਼ ਉਹਨਾਂ ਥਰਿੱਡਾਂ ਨੂੰ ਪ੍ਰਭਾਵਿਤ ਕਰਦਾ ਹੈ ਜੋ ਪੇਜ ਮੈਮੋਰੀ ਵਿੱਚ ਡੇਟਾ ਲਿਖਦੇ ਹਨ, ਯਾਨੀ ਉਹ ਥ੍ਰੈਡ ਜੋ ਕੈਚ ਵਿੱਚ ਡੇਟਾ ਨੂੰ ਬਦਲਦੇ ਹਨ। WAL ਤੋਂ ਭੌਤਿਕ ਰਿਕਾਰਡਾਂ ਨੂੰ ਪੜ੍ਹਨਾ ਸਿਰਫ਼ ਇੱਕ ਵਾਰ ਹੁੰਦਾ ਹੈ, ਇਸ ਸਮੇਂ ਨੋਡ ਡਿੱਗਣ ਤੋਂ ਬਾਅਦ ਉਭਾਰਿਆ ਜਾਂਦਾ ਹੈ (ਅਤੇ ਕੇਵਲ ਤਾਂ ਹੀ ਜੇਕਰ ਇਹ ਚੈਕਪੁਆਇੰਟ ਦੌਰਾਨ ਡਿੱਗਦਾ ਹੈ)।

ਇਹ ਉਹਨਾਂ ਥਰਿੱਡਾਂ ਨੂੰ ਪ੍ਰਭਾਵਿਤ ਕਰਦਾ ਹੈ ਜੋ ਡੇਟਾ ਨੂੰ ਹੇਠਾਂ ਦਿੱਤੇ ਤਰੀਕੇ ਨਾਲ ਬਦਲਦੇ ਹਨ: ਸਾਨੂੰ ਹਰ ਵਾਰ ਡਿਸਕ ਤੇ ਲਿਖਣ ਤੋਂ ਪਹਿਲਾਂ ਪੰਨੇ ਨੂੰ ਸੰਕੁਚਿਤ ਕਰਨ ਦੀ ਲੋੜ ਦੇ ਕਾਰਨ ਇੱਕ ਨਕਾਰਾਤਮਕ ਪ੍ਰਭਾਵ (CPU) ਮਿਲਦਾ ਹੈ, ਅਤੇ ਇੱਕ ਸਕਾਰਾਤਮਕ ਪ੍ਰਭਾਵ (ਡਿਸਕ IO) ਦੀ ਮਾਤਰਾ ਵਿੱਚ ਕਮੀ ਦੇ ਕਾਰਨ. ਡਾਟਾ ਲਿਖਿਆ. ਇਸ ਅਨੁਸਾਰ, ਇੱਥੇ ਸਭ ਕੁਝ ਸਧਾਰਨ ਹੈ: ਜੇਕਰ ਸਿਸਟਮ ਦੀ ਕਾਰਗੁਜ਼ਾਰੀ CPU ਦੁਆਰਾ ਸੀਮਿਤ ਹੈ, ਤਾਂ ਸਾਨੂੰ ਇੱਕ ਮਾਮੂਲੀ ਗਿਰਾਵਟ ਮਿਲਦੀ ਹੈ, ਜੇਕਰ ਇਹ ਡਿਸਕ I/O ਦੁਆਰਾ ਸੀਮਿਤ ਹੈ, ਤਾਂ ਸਾਨੂੰ ਵਾਧਾ ਮਿਲਦਾ ਹੈ।

ਅਸਿੱਧੇ ਤੌਰ 'ਤੇ, WAL ਆਕਾਰ ਨੂੰ ਘਟਾਉਣਾ (ਸਕਾਰਾਤਮਕ ਤੌਰ' ਤੇ) ਸਟ੍ਰੀਮਾਂ ਨੂੰ ਵੀ ਪ੍ਰਭਾਵਿਤ ਕਰਦਾ ਹੈ ਜੋ WAL ਹਿੱਸਿਆਂ ਨੂੰ ਆਰਕਾਈਵ ਅਤੇ WAL ਕੰਪੈਕਸ਼ਨ ਸਟ੍ਰੀਮ ਵਿੱਚ ਡੰਪ ਕਰਦੇ ਹਨ।

ਸਿੰਥੈਟਿਕ ਡੇਟਾ ਦੀ ਵਰਤੋਂ ਕਰਦੇ ਹੋਏ ਸਾਡੇ ਵਾਤਾਵਰਣ ਵਿੱਚ ਅਸਲ ਪ੍ਰਦਰਸ਼ਨ ਟੈਸਟਾਂ ਵਿੱਚ ਮਾਮੂਲੀ ਵਾਧਾ ਦਿਖਾਇਆ ਗਿਆ (ਥਰੂਪੁੱਟ ਵਿੱਚ 10% -15% ਦਾ ਵਾਧਾ ਹੋਇਆ, ਲੇਟੈਂਸੀ 10% -15% ਘਟੀ)।

ਕਿਵੇਂ ਸਮਰੱਥ ਅਤੇ ਕੌਂਫਿਗਰ ਕਰਨਾ ਹੈ

ਨਿਊਨਤਮ ਅਪਾਚੇ ਇਗਨਾਈਟ ਸੰਸਕਰਣ: 2.8. ਹੇਠਾਂ ਦਿੱਤੇ ਅਨੁਸਾਰ ਸਮਰੱਥ ਅਤੇ ਸੰਰਚਿਤ ਕਰੋ:

• ਕਲਾਸ-ਪਾਥ ਵਿੱਚ ਇੱਕ ਇਗਨਾਈਟ-ਕੰਪਰੈਸ਼ਨ ਮੋਡੀਊਲ ਹੋਣਾ ਚਾਹੀਦਾ ਹੈ। ਮੂਲ ਰੂਪ ਵਿੱਚ, ਇਹ libs/ਵਿਕਲਪਿਕ ਡਾਇਰੈਕਟਰੀ ਵਿੱਚ Apache Ignite ਡਿਸਟਰੀਬਿਊਸ਼ਨ ਵਿੱਚ ਸਥਿਤ ਹੈ ਅਤੇ ਕਲਾਸ-ਪਾਥ ਵਿੱਚ ਸ਼ਾਮਲ ਨਹੀਂ ਹੈ। ਤੁਸੀਂ ਸਿਰਫ਼ ਡਾਇਰੈਕਟਰੀ ਨੂੰ ਇੱਕ ਪੱਧਰ ਉੱਤੇ libs ਵਿੱਚ ਲੈ ਜਾ ਸਕਦੇ ਹੋ ਅਤੇ ਫਿਰ ਜਦੋਂ ਤੁਸੀਂ ਇਸਨੂੰ ignite.sh ਦੁਆਰਾ ਚਲਾਉਂਦੇ ਹੋ ਤਾਂ ਇਹ ਆਪਣੇ ਆਪ ਹੀ ਯੋਗ ਹੋ ਜਾਵੇਗਾ।
• ਦ੍ਰਿੜਤਾ ਨੂੰ ਸਮਰੱਥ ਬਣਾਇਆ ਜਾਣਾ ਚਾਹੀਦਾ ਹੈ (ਦੁਆਰਾ ਸਮਰਥਿਤ DataRegionConfiguration.setPersistenceEnabled(true)).
• ਕੰਪਰੈਸ਼ਨ ਮੋਡ ਵਿਧੀ ਦੀ ਵਰਤੋਂ ਕਰਕੇ ਸੈੱਟ ਕੀਤਾ ਜਾਣਾ ਚਾਹੀਦਾ ਹੈ DataStorageConfiguration.setWalPageCompression(), ਕੰਪਰੈਸ਼ਨ ਮੂਲ ਰੂਪ ਵਿੱਚ ਅਯੋਗ ਹੈ (ਅਯੋਗ ਮੋਡ)।
• ਵਿਕਲਪਿਕ ਤੌਰ 'ਤੇ, ਤੁਸੀਂ ਵਿਧੀ ਦੀ ਵਰਤੋਂ ਕਰਕੇ ਕੰਪਰੈਸ਼ਨ ਪੱਧਰ ਸੈੱਟ ਕਰ ਸਕਦੇ ਹੋ DataStorageConfiguration.setWalPageCompression(), ਹਰੇਕ ਮੋਡ ਲਈ ਵੈਧ ਮੁੱਲਾਂ ਲਈ ਵਿਧੀ ਲਈ javadoc ਵੇਖੋ।

ਸਿੱਟਾ

ਅਪਾਚੇ ਇਗਨਾਈਟ ਵਿੱਚ ਵਿਚਾਰੇ ਗਏ ਡੇਟਾ ਕੰਪਰੈਸ਼ਨ ਵਿਧੀਆਂ ਨੂੰ ਇੱਕ ਦੂਜੇ ਤੋਂ ਸੁਤੰਤਰ ਤੌਰ 'ਤੇ ਵਰਤਿਆ ਜਾ ਸਕਦਾ ਹੈ, ਪਰ ਉਹਨਾਂ ਦਾ ਕੋਈ ਵੀ ਸੁਮੇਲ ਵੀ ਸਵੀਕਾਰਯੋਗ ਹੈ। ਇਹ ਸਮਝਣਾ ਕਿ ਉਹ ਕਿਵੇਂ ਕੰਮ ਕਰਦੇ ਹਨ ਤੁਹਾਨੂੰ ਇਹ ਨਿਰਧਾਰਤ ਕਰਨ ਦੀ ਇਜਾਜ਼ਤ ਦੇਵੇਗਾ ਕਿ ਉਹ ਤੁਹਾਡੇ ਵਾਤਾਵਰਣ ਵਿੱਚ ਤੁਹਾਡੇ ਕੰਮਾਂ ਲਈ ਕਿੰਨੇ ਢੁਕਵੇਂ ਹਨ ਅਤੇ ਉਹਨਾਂ ਦੀ ਵਰਤੋਂ ਕਰਦੇ ਸਮੇਂ ਤੁਹਾਨੂੰ ਕੀ ਕੁਰਬਾਨੀ ਕਰਨੀ ਪਵੇਗੀ। ਡਿਸਕ ਪੇਜ ਕੰਪਰੈਸ਼ਨ ਮੁੱਖ ਸਟੋਰੇਜ ਨੂੰ ਸੰਕੁਚਿਤ ਕਰਨ ਲਈ ਤਿਆਰ ਕੀਤਾ ਗਿਆ ਹੈ ਅਤੇ ਇੱਕ ਮੱਧਮ ਕੰਪਰੈਸ਼ਨ ਅਨੁਪਾਤ ਦੇ ਸਕਦਾ ਹੈ। WAL ਪੇਜ ਸਨੈਪਸ਼ਾਟ ਕੰਪਰੈਸ਼ਨ WAL ਫਾਈਲਾਂ ਲਈ ਔਸਤਨ ਸੰਕੁਚਨ ਦੀ ਡਿਗਰੀ ਪ੍ਰਦਾਨ ਕਰੇਗਾ, ਅਤੇ ਸੰਭਾਵਤ ਤੌਰ 'ਤੇ ਪ੍ਰਦਰਸ਼ਨ ਵਿੱਚ ਸੁਧਾਰ ਕਰੇਗਾ। WAL ਕੰਪੈਕਸ਼ਨ ਦਾ ਪ੍ਰਦਰਸ਼ਨ 'ਤੇ ਸਕਾਰਾਤਮਕ ਪ੍ਰਭਾਵ ਨਹੀਂ ਪਵੇਗਾ, ਪਰ ਭੌਤਿਕ ਰਿਕਾਰਡਾਂ ਨੂੰ ਹਟਾ ਕੇ WAL ਫਾਈਲਾਂ ਦੇ ਆਕਾਰ ਨੂੰ ਜਿੰਨਾ ਸੰਭਵ ਹੋ ਸਕੇ ਘਟਾ ਦੇਵੇਗਾ।

ਸਰੋਤ: www.habr.com