ਓਪਨਜ਼ੈਡਐਲ 0.2.0

ਸੱਤ ਮਹੀਨਿਆਂ ਦੇ ਵਿਕਾਸ ਤੋਂ ਬਾਅਦ, ਫਰੇਮਵਰਕ ਦਾ ਸੰਸਕਰਣ 0.2.0 ਜਾਰੀ ਕੀਤਾ ਗਿਆ। ਓਪਨਜ਼ੈਡਐਲ, ਜੋ ਕਿ ਨੁਕਸਾਨ ਰਹਿਤ ਡਾਟਾ ਕੰਪ੍ਰੈਸ਼ਰ ਬਣਾਉਣ ਲਈ ਤਿਆਰ ਕੀਤਾ ਗਿਆ ਹੈ।

ਇਸ ਢਾਂਚੇ ਵਿੱਚ ਇੱਕ ਬੇਸ ਲਾਇਬ੍ਰੇਰੀ ਅਤੇ ਭਾਸ਼ਾ ਵਿੱਚ ਵਰਣਿਤ ਵਿਸ਼ੇਸ਼ ਕੰਪ੍ਰੈਸਰ ਬਣਾਉਣ ਲਈ ਟੂਲ ਸ਼ਾਮਲ ਹਨ। ਐਸ.ਡੀ.ਡੀ.ਐਲ..
ਇੱਕ ਚੰਗਾ ਸਮਰਪਿਤ ਕੰਪ੍ਰੈਸਰ ਬਣਾਉਣ ਦੇ ਦੋ ਕਦਮ ਹਨ:

1. ਬਣਤਰ ਕੱਢਣ ਲਈ ਡਾਟਾ ਵਿਸ਼ਲੇਸ਼ਣ।
2. ਚੰਗੇ ਬੈਕਐਂਡ ਕੰਪ੍ਰੈਸਰਾਂ ਦੀ ਵਰਤੋਂ ਕਰਨਾ ਜੋ ਚੰਗੇ ਸੰਕੁਚਨ ਨੂੰ ਪ੍ਰਾਪਤ ਕਰਨ ਲਈ ਨਤੀਜੇ ਵਜੋਂ ਬਣਤਰ ਦਾ ਸ਼ੋਸ਼ਣ ਕਰਦੇ ਹਨ।

OpenZL ਦੋਵਾਂ ਪੜਾਵਾਂ ਲਈ ਟੂਲ ਪ੍ਰਦਾਨ ਕਰਦਾ ਹੈ।

ਇਹ ਪ੍ਰੋਜੈਕਟ C ਅਤੇ C++ ਵਿੱਚ ਲਿਖਿਆ ਗਿਆ ਹੈ ਅਤੇ BSD ਲਾਇਸੈਂਸ ਦੇ ਤਹਿਤ ਵੰਡਿਆ ਗਿਆ ਹੈ।

ਵੱਡੀਆਂ ਤਬਦੀਲੀਆਂ

SDDL2

SDDL ਨੂੰ ਇਸਦੇ ਅਸਲ ਡਿਜ਼ਾਈਨ ਟੀਚਿਆਂ ਨੂੰ ਪ੍ਰਾਪਤ ਕਰਨ ਲਈ ਪੂਰੀ ਤਰ੍ਹਾਂ ਜ਼ਮੀਨ ਤੋਂ ਦੁਬਾਰਾ ਲਿਖਿਆ ਗਿਆ ਸੀ। ਜਦੋਂ ਕਿ ਅਸਲ ਡੈਮੋ ਇੱਕ ਸਰਲ ਰਨਟਾਈਮ ਵਾਤਾਵਰਣ ਸੀ, SDDL2 ਇੱਕ ਪੂਰਾ ਕੰਪਾਈਲਰ ਹੈ: ਪਾਰਸਰ ਡੇਟਾ ਨੂੰ ਸਿਮੈਂਟਿਕ ਐਨਾਲਾਈਜ਼ਰ ਨੂੰ ਪਾਸ ਕਰਦਾ ਹੈ, ਜੋ ਬਦਲੇ ਵਿੱਚ ਇੱਕ ਟਾਈਪ ਕੀਤਾ ਐਬਸਟਰੈਕਟ ਸਿੰਟੈਕਸ ਟ੍ਰੀ (AST) ਆਪਟੀਮਾਈਜ਼ਰ ਨੂੰ ਪਾਸ ਕਰਦਾ ਹੈ, ਅਤੇ ਆਪਟੀਮਾਈਜ਼ਰ ਕੋਡ ਜਨਰੇਟਰ ਨੂੰ ਨਿਯੰਤਰਿਤ ਕਰਦਾ ਹੈ, ਜੋ ਵਰਚੁਅਲ ਮਸ਼ੀਨ ਬਾਈਟਕੋਡ ਤਿਆਰ ਕਰਦਾ ਹੈ।

ਮੁੱਖ ਨਤੀਜਾ ਤੁਰੰਤ ਪਾਰਸਿੰਗ ਹੈ। ਜਦੋਂ ਕਿਸੇ ਰਿਕਾਰਡ ਦੀ ਸਥਿਤੀ ਨੂੰ ਸਿਰਫ਼ ਪੈਰਾਮੀਟਰਾਂ ਅਤੇ ਸਥਿਰਾਂਕਾਂ ਦੀ ਵਰਤੋਂ ਕਰਕੇ ਪੂਰੀ ਤਰ੍ਹਾਂ ਨਿਰਧਾਰਤ ਕੀਤਾ ਜਾ ਸਕਦਾ ਹੈ, ਤਾਂ ਇੰਜਣ ਪਿਛਲੇ ਬਾਈਟਾਂ ਨੂੰ ਸਕੈਨ ਕੀਤੇ ਬਿਨਾਂ ਸਿੱਧੇ ਕਿਸੇ ਵੀ ਖੇਤਰ ਵਿੱਚ ਛਾਲ ਮਾਰਦਾ ਹੈ, ਜਿਸ ਨਾਲ ਕਾਪੀ-ਰਹਿਤ ਪਹੁੰਚ ਅਤੇ ਕਈ GB/s ਦੀ ਥਰੂਪੁੱਟ ਸੰਭਵ ਹੋ ਜਾਂਦੀ ਹੈ।

ਇਹ ਭਾਸ਼ਾ ਆਪਣੇ ਟੂਲਸੈੱਟ ਦੇ ਨਾਲ-ਨਾਲ ਵਿਕਸਤ ਹੋਈ ਹੈ। ਇਹ ਹੁਣ ਕੰਡੀਸ਼ਨਲ ਸਟੇਟਮੈਂਟਾਂ, ਪੈਰਾਮੀਟਰਾਈਜ਼ਡ ਅਤੇ ਅਗਿਆਤ ਰਿਕਾਰਡਾਂ, ਰਿਕਾਰਡ ਫੀਲਡ ਮੈਂਬਰਾਂ ਤੱਕ ਪਹੁੰਚ, ਅਤੇ ਬਿੱਟਵਾਈਜ਼ ਅਤੇ ਲਾਜ਼ੀਕਲ ਓਪਰੇਟਰਾਂ ਲਈ ਧਾਰਾਵਾਂ ਦਾ ਸਮਰਥਨ ਕਰਦੀ ਹੈ।

ਡਿਵੈਲਪਰ ਵਾਲੇ ਪਾਸੇ, ਅਰਥ ਵਿਸ਼ਲੇਸ਼ਣ ਕਦਮ ਹੁਣ ਰਨਟਾਈਮ ਦੀ ਬਜਾਏ ਕੰਪਾਈਲ ਸਮੇਂ - ਸਰੋਤ ਕੋਡ ਸਥਾਨ ਦੇ ਨਾਲ - ਅਣ-ਪ੍ਰਭਾਸ਼ਿਤ ਹਵਾਲਿਆਂ, ਕਿਸਮ ਦੇ ਮੇਲ-ਜੋਲ, ਅਤੇ ਐਰੀਟੀ ਗਲਤੀਆਂ ਦੀ ਪਛਾਣ ਕਰਦਾ ਹੈ, ਅਤੇ .sddl ਫਾਈਲਾਂ ਦੇ ਸਿੰਟੈਕਸ ਹਾਈਲਾਈਟਿੰਗ ਲਈ ਇੱਕ VS ਕੋਡ ਐਕਸਟੈਂਸ਼ਨ ਜਾਰੀ ਕੀਤਾ ਗਿਆ ਹੈ।

ਨਵਾਂ ਬਿਲਟ-ਇਨ LZ ਕੋਡੇਕ

OpenZL ਵਿੱਚ ਹੁਣ ਆਪਣਾ LZ ਕੋਡੇਕ ਸ਼ਾਮਲ ਹੈ, ਜਿਸਨੂੰ ZL_GRAPH_LZ ਵਜੋਂ ਦਰਸਾਇਆ ਗਿਆ ਹੈ, ਅਤੇ ਨਾਲ ਹੀ zli ਉਪਯੋਗਤਾ ਵਿੱਚ ਇੱਕ ਕ੍ਰਮਵਾਰ ਕੰਪਰੈਸ਼ਨ ਪ੍ਰੋਫਾਈਲ ਵੀ ਸ਼ਾਮਲ ਹੈ। ਕੋਡੇਕ 'ਤੇ ਕੰਮ ਜਾਰੀ ਹੈ, ਇਸਦੇ ਫੀਚਰ ਸੈੱਟ ਦਾ ਵਿਸਤਾਰ ਕਰ ਰਿਹਾ ਹੈ ਅਤੇ ਛੋਟੇ ਇਨਪੁਟ ਡੇਟਾ ਨੂੰ ਪ੍ਰੋਸੈਸ ਕਰਨ ਵੇਲੇ ਪ੍ਰਦਰਸ਼ਨ ਵਿੱਚ ਸੁਧਾਰ ਕਰ ਰਿਹਾ ਹੈ। ਵਰਤਮਾਨ ਵਿੱਚ, ਇਹ 64 KB ਕੰਪਰੈਸ਼ਨ ਵਿੰਡੋ ਦੇ ਨਾਲ, zstd ਪੱਧਰ 1 ਦੇ ਬਰਾਬਰ ਕਾਰਜਸ਼ੀਲਤਾ ਦਾ ਸਮਰਥਨ ਕਰਦਾ ਹੈ।

OpenZL LZ ਪਾਈਪਲਾਈਨ ਦੇ ਹਰੇਕ ਪੜਾਅ ਨੂੰ ਗਤੀ ਲਈ ਦੁਬਾਰਾ ਡਿਜ਼ਾਈਨ ਕਰਨ ਦੀ ਆਗਿਆ ਦਿੰਦਾ ਹੈ। ਇਸਦਾ ਗ੍ਰਾਫ ਆਰਕੀਟੈਕਚਰ ਐਂਟਰੋਪੀ ਏਨਕੋਡਿੰਗ ਪੜਾਵਾਂ ਨੂੰ ਜੋੜਨ ਦੀ ਵੀ ਆਗਿਆ ਦਿੰਦਾ ਹੈ, ਇੱਕ ਸਿੰਗਲ ਪਾਈਪਲਾਈਨ ਦੀ ਵਰਤੋਂ ਕਰਨ ਦੀ ਬਜਾਏ ਜੋ ਸਾਰੇ ਵਰਤੋਂ ਦੇ ਮਾਮਲਿਆਂ ਲਈ ਬਰਾਬਰ ਢੁਕਵੀਂ ਹੈ। ਫਿਰ ਪ੍ਰੋਸੈਸਿੰਗ ਸਪੀਡ ਨੂੰ ਬਿਹਤਰ ਬਣਾਉਣ ਲਈ ਕਈ ਪੜਾਵਾਂ ਨੂੰ ਇੱਕ ਸਿੰਗਲ ਓਪਰੇਸ਼ਨ ਵਿੱਚ ਜੋੜਿਆ ਜਾ ਸਕਦਾ ਹੈ। ਇਹ OpenZL ਨੂੰ ਸਿਲੇਸੀਆ ਕਾਰਪਸ 'ਤੇ Zstandard ਪੱਧਰ 1 ਦੇ ਮੁਕਾਬਲੇ 10% ਤੇਜ਼ ਕੰਪਰੈਸ਼ਨ ਅਤੇ 70% ਤੇਜ਼ ਡੀਕੰਪ੍ਰੇਸ਼ਨ ਪ੍ਰਾਪਤ ਕਰਨ ਦੀ ਆਗਿਆ ਦਿੰਦਾ ਹੈ। ਸਾਡੇ ਟੈਸਟ:

ਬਹੁਤ ਵੱਡੇ ਇਨਪੁੱਟ ਡੇਟਾ ਲਈ ਸਮਰਥਨ

zli ਹੁਣ ਵੱਡੇ ਇਨਪੁਟ ਡੇਟਾ (ਕਈ ਗੀਗਾਬਾਈਟ ਆਕਾਰ) ਦੀ ਪ੍ਰਕਿਰਿਆ ਦਾ ਸਮਰਥਨ ਕਰਦਾ ਹੈ। ਕੰਪ੍ਰੈਸ਼ਨ ਤੋਂ ਪਹਿਲਾਂ, ਅਜਿਹਾ ਡੇਟਾ ਹੁਣ ਆਪਣੇ ਆਪ ਪ੍ਰਬੰਧਨਯੋਗ ਆਕਾਰ ਦੇ ਹਿੱਸਿਆਂ ਵਿੱਚ ਵੰਡਿਆ ਜਾਂਦਾ ਹੈ (ਡਿਫਾਲਟ ਰੂਪ ਵਿੱਚ ਲਗਭਗ 16 MB), ਮੈਮੋਰੀ ਵਰਤੋਂ ਨੂੰ ਸੀਮਤ ਕਰਦਾ ਹੈ, ਡੇਟਾ ਸਥਾਨ ਨੂੰ ਬਿਹਤਰ ਬਣਾਉਂਦਾ ਹੈ, ਅਤੇ ਸਮਾਨਾਂਤਰ ਪ੍ਰੋਸੈਸਿੰਗ ਨੂੰ ਸਮਰੱਥ ਬਣਾਉਂਦਾ ਹੈ। SDDL2 ਸਕੀਮਾ ਨਾਲ ਕੰਮ ਕਰਦੇ ਸਮੇਂ ਇੱਕ ਸਮਾਨ ਆਟੋਮੈਟਿਕ ਚੰਕਿੰਗ ਵਿਸ਼ੇਸ਼ਤਾ ਲਾਗੂ ਕਰਦਾ ਹੈ। ਪ੍ਰਕਿਰਿਆ ਵਿੱਚ ਨਵੇਂ ਸੈਗਮੈਂਟਰ ਬਣਾਏ ਜਾਂ ਅਪਡੇਟ ਕੀਤੇ ਗਏ ਸਨ - CSV, Parquet, ਅਤੇ ਸਟੈਂਡਰਡ ਸੰਖਿਆਤਮਕ ਡੇਟਾ ਲਈ - ਅਤੇ ਸਾਰੇ ਸੈਗਮੈਂਟਰ ਹੁਣ ਸੀਰੀਅਲਾਈਜ਼ੇਬਲ ਅਤੇ ਕੌਂਫਿਗਰ ਕਰਨ ਯੋਗ ਹਨ, ਇਸ ਲਈ ਚੁਣੇ ਹੋਏ ਲੇਆਉਟ ਨੂੰ ਕੰਪ੍ਰੈਸ਼ਰ ਵਿੱਚ ਸੁਰੱਖਿਅਤ ਕੀਤਾ ਜਾ ਸਕਦਾ ਹੈ ਅਤੇ ਬਾਅਦ ਵਿੱਚ ਦੁਬਾਰਾ ਵਰਤਿਆ ਜਾ ਸਕਦਾ ਹੈ।

ਇਹ ਕੰਪਰੈਸ਼ਨ ਦੌਰਾਨ ਪਾਰਦਰਸ਼ੀ ਢੰਗ ਨਾਲ ਲਾਗੂ ਕੀਤਾ ਜਾਂਦਾ ਹੈ। ਧਿਆਨ ਦਿਓ ਕਿ ਸਿਖਲਾਈ ਪਾਈਪਲਾਈਨ ਵੱਖਰੀ ਹੈ ਅਤੇ ਪ੍ਰਭਾਵਿਤ ਨਹੀਂ ਰਹਿੰਦੀ, ਇਸ ਲਈ ਇਸਨੂੰ ਸਿਖਲਾਈ ਸਮੱਗਰੀ ਦੇ ਤੌਰ 'ਤੇ ਵਿਸ਼ਾਲ ਇਨਪੁਟ ਡੇਟਾ ਨੂੰ ਸਵੀਕਾਰ ਕਰਨ ਲਈ ਤਿਆਰ ਨਹੀਂ ਕੀਤਾ ਗਿਆ ਹੈ।

ਔਨਲਾਈਨ ਗ੍ਰਾਫ ਵਿਜ਼ੂਅਲਾਈਜ਼ਰ ਵਿੱਚ ਸੁਧਾਰ (ਕੋਸ਼ਿਸ਼ ਕਰੋ)
ਵਿਜ਼ੂਅਲਾਈਜ਼ਰ ਹੁਣ ਸ਼ੁਰੂ ਤੋਂ ਅੰਤ ਤੱਕ ਕੰਪਰੈਸ਼ਨ ਅਤੇ ਡੀਕੰਪ੍ਰੇਸ਼ਨ ਟ੍ਰੇਸ ਨੂੰ ਪਛਾਣਦਾ ਹੈ।

ਸਟ੍ਰੀਮ ਪ੍ਰੀਵਿਊ ਪੈਨਲ ਤੁਹਾਨੂੰ ਹਰੇਕ ਕਿਨਾਰੇ ਦੇ ਨਾਲ-ਨਾਲ ਵਹਿ ਰਹੇ ਬਾਈਟਾਂ ਨੂੰ ਦੇਖਣ ਦਿੰਦਾ ਹੈ, ਅਤੇ ਟ੍ਰਿਮਿੰਗ ਕੰਟਰੋਲ ਵੱਡੀਆਂ ਸਟ੍ਰੀਮਾਂ ਨਾਲ ਵੀ ਕੰਮ ਕਰਨਾ ਆਸਾਨ ਰੱਖਦੇ ਹਨ।

ਸੈਟਿੰਗ ਪੈਨਲ ਸਾਰੇ ਡਿਸਪਲੇ ਵਿਕਲਪਾਂ ਨੂੰ ਇੱਕ ਥਾਂ 'ਤੇ ਇਕੱਠਾ ਕਰਦਾ ਹੈ, ਅਤੇ ਹੌਟਕੀਜ਼ ਦਾ ਇੱਕ ਪੂਰਾ ਸੈੱਟ—ਦਿਸ਼ਾਵੀ ਨੈਵੀਗੇਸ਼ਨ, ਕ੍ਰਮਬੱਧ ਟ੍ਰਾਵਰਸਲ, ਫੈਲਾਉਣਾ ਅਤੇ ਸਮੇਟਣਾ, ਅਤੇ ਨੋਡ ਚੋਣ—ਤੁਹਾਨੂੰ ਮਾਊਸ ਤੋਂ ਬਿਨਾਂ ਟੂਲ ਨਾਲ ਸੁਵਿਧਾਜਨਕ ਤੌਰ 'ਤੇ ਕੰਮ ਕਰਨ ਦੀ ਆਗਿਆ ਦਿੰਦਾ ਹੈ।

ਟਰੇਸ ਹੁਣ ਵਰਜਨ ਕੀਤੇ ਗਏ ਹਨ, ਬਲਾਕ-ਅਧਾਰਿਤ ਕੰਪਰੈਸ਼ਨ ਸਹੀ ਢੰਗ ਨਾਲ ਪ੍ਰਦਰਸ਼ਿਤ ਕੀਤਾ ਗਿਆ ਹੈ, ਅਤੇ zli ਅੰਤ ਵਿੱਚ ਨਵੇਂ --trace ਅਤੇ --trace-streams-dir ਫਲੈਗਾਂ ਦੀ ਵਰਤੋਂ ਕਰਕੇ ਆਪਣੇ ਖੁਦ ਦੇ ਟਰੇਸ ਤਿਆਰ ਕਰ ਸਕਦਾ ਹੈ।

Разное

• ਕੈਟਾਲਾਗ ਵਿੱਚ ਕਈ ਕੋਡੇਕ ਜੋੜੇ ਗਏ ਹਨ। ਪਾਰਟੀਸ਼ਨ ਅਤੇ ਬਿੱਟਪੈਕ ਕੋਡੇਕ ਹੁਣ ਇੱਕ ਯੂਨੀਫਾਈਡ ਡੀਕੋਡਰ ਦੀ ਵਰਤੋਂ ਕਰਦੇ ਹਨ। ਫਲੋਟਿੰਗ-ਪੁਆਇੰਟ ਬਿੱਟਸਪਲਿੱਟ ਕੋਡੇਕ ਵਿੱਚ ਹੁਣ ਵਿਸ਼ੇਸ਼ ਪ੍ਰਵੇਗ ਦੇ ਨਾਲ fp16, fp32, fp64, ਅਤੇ bf16 ਫਾਰਮੈਟਾਂ ਲਈ ਸਮਰਪਿਤ ਏਨਕੋਡਰ ਅਤੇ ਡੀਕੋਡਰ ਸ਼ਾਮਲ ਹਨ। ਰੇਂਜ-ਜਾਗਰੂਕ ਵੰਡ (split_byrange), ਇੱਕ ਲੰਬਾਈ ਮਲਟੀਪਲੈਕਸਰ, ਸੈਂਟੀਨੇਲ ਕੋਡੇਕ, ਇੱਕ lz4 ਗ੍ਰਾਫ, ਅਤੇ ਛੋਟੇ ਸਹਾਇਕ ਫੰਕਸ਼ਨ ਜਿਵੇਂ ਕਿ tryParseInt ਅਤੇ splitByParam ਸ਼ਾਮਲ ਕੀਤੇ ਗਏ ਹਨ।
• API ਨੂੰ ਸੁਚਾਰੂ ਬਣਾਇਆ ਗਿਆ ਹੈ।
• ਬਿਹਤਰ ਫਜ਼ ਟੈਸਟਿੰਗ।
• ਹੋਰ ਪਲੇਟਫਾਰਮਾਂ ਲਈ ਬਿਹਤਰ ਬਿਲਡ ਅਤੇ ਪੈਕੇਜਿੰਗ ਪ੍ਰਕਿਰਿਆ।

ਸਰੋਤ: linux.org.ru