ਵੱਡੇ ਡੇਟਾ ਵਿੱਚ ਫਾਈਲ ਫਾਰਮੈਟ: ਇੱਕ ਸੰਖੇਪ ਵਿਦਿਅਕ ਪ੍ਰੋਗਰਾਮ

ਰੀਮਾਰਿਨ ਦੁਆਰਾ ਮੌਸਮ ਦੇਵਤਾ

ਦੀ ਟੀਮ Mail.ru ਕਲਾਉਡ ਹੱਲ ਪੇਸ਼ਕਸ਼ ਕਰਦਾ ਹੈ ਲੇਖ ਦਾ ਅਨੁਵਾਦ Clairvoyant ਤੋਂ ਇੰਜੀਨੀਅਰ ਰਾਹੁਲ ਭਾਟੀਆ ਨੇ ਦੱਸਿਆ ਕਿ ਵੱਡੇ ਡੇਟਾ ਵਿੱਚ ਕਿਹੜੇ ਫਾਈਲ ਫਾਰਮੈਟ ਹਨ, Hadoop ਫਾਰਮੈਟਾਂ ਦੀਆਂ ਸਭ ਤੋਂ ਆਮ ਵਿਸ਼ੇਸ਼ਤਾਵਾਂ ਕੀ ਹਨ ਅਤੇ ਕਿਹੜਾ ਫਾਰਮੈਟ ਵਰਤਣਾ ਬਿਹਤਰ ਹੈ।

ਵੱਖ-ਵੱਖ ਫਾਈਲ ਫਾਰਮੈਟਾਂ ਦੀ ਲੋੜ ਕਿਉਂ ਹੈ?

HDFS-ਸਮਰੱਥ ਐਪਲੀਕੇਸ਼ਨਾਂ ਜਿਵੇਂ ਕਿ MapReduce ਅਤੇ Spark ਲਈ ਇੱਕ ਪ੍ਰਮੁੱਖ ਪ੍ਰਦਰਸ਼ਨ ਰੁਕਾਵਟ ਹੈ ਜੋ ਡਾਟਾ ਖੋਜਣ, ਪੜ੍ਹਨ ਅਤੇ ਲਿਖਣ ਵਿੱਚ ਲੱਗਦਾ ਹੈ। ਇਹ ਸਮੱਸਿਆਵਾਂ ਵੱਡੇ ਡੇਟਾ ਸੈੱਟਾਂ ਦੇ ਪ੍ਰਬੰਧਨ ਵਿੱਚ ਮੁਸ਼ਕਲ ਨਾਲ ਵਧੀਆਂ ਹੁੰਦੀਆਂ ਹਨ ਜੇਕਰ ਸਾਡੇ ਕੋਲ ਇੱਕ ਨਿਸ਼ਚਿਤ ਦੀ ਬਜਾਏ ਇੱਕ ਵਿਕਸਤ ਸਕੀਮਾ ਹੈ, ਜਾਂ ਜੇ ਕੁਝ ਸਟੋਰੇਜ ਸੀਮਾਵਾਂ ਹਨ।

ਵੱਡੇ ਡੇਟਾ ਨੂੰ ਪ੍ਰੋਸੈਸ ਕਰਨਾ ਸਟੋਰੇਜ ਸਬਸਿਸਟਮ 'ਤੇ ਲੋਡ ਨੂੰ ਵਧਾਉਂਦਾ ਹੈ - ਹਾਡੂਪ ਨੁਕਸ ਸਹਿਣਸ਼ੀਲਤਾ ਪ੍ਰਾਪਤ ਕਰਨ ਲਈ ਬੇਲੋੜੇ ਡੇਟਾ ਨੂੰ ਸਟੋਰ ਕਰਦਾ ਹੈ। ਡਿਸਕਾਂ ਤੋਂ ਇਲਾਵਾ, ਪ੍ਰੋਸੈਸਰ, ਨੈੱਟਵਰਕ, ਇਨਪੁਟ/ਆਊਟਪੁੱਟ ਸਿਸਟਮ, ਅਤੇ ਹੋਰ ਵੀ ਲੋਡ ਕੀਤੇ ਜਾਂਦੇ ਹਨ। ਜਿਵੇਂ ਜਿਵੇਂ ਡੇਟਾ ਦੀ ਮਾਤਰਾ ਵਧਦੀ ਹੈ, ਉਸੇ ਤਰ੍ਹਾਂ ਇਸ ਨੂੰ ਪ੍ਰੋਸੈਸ ਕਰਨ ਅਤੇ ਸਟੋਰ ਕਰਨ ਦੀ ਲਾਗਤ ਵੀ ਵਧਦੀ ਹੈ।

ਵਿੱਚ ਵੱਖ-ਵੱਖ ਫਾਈਲ ਫਾਰਮੈਟ ਹਾਡੋਪ ਇਹਨਾਂ ਸਮੱਸਿਆਵਾਂ ਨੂੰ ਠੀਕ ਹੱਲ ਕਰਨ ਲਈ ਖੋਜ ਕੀਤੀ ਗਈ ਹੈ। ਉਚਿਤ ਫਾਈਲ ਫਾਰਮੈਟ ਦੀ ਚੋਣ ਕਰਨ ਨਾਲ ਕੁਝ ਮਹੱਤਵਪੂਰਨ ਲਾਭ ਮਿਲ ਸਕਦੇ ਹਨ:

1. ਤੇਜ਼ ਪੜ੍ਹਨ ਦਾ ਸਮਾਂ.
2. ਤੇਜ਼ ਰਿਕਾਰਡਿੰਗ ਸਮਾਂ।
3. ਸਾਂਝੀਆਂ ਫਾਈਲਾਂ।
4. ਸਕੀਮਾ ਵਿਕਾਸ ਲਈ ਸਮਰਥਨ।
5. ਫੈਲਾਇਆ ਕੰਪਰੈਸ਼ਨ ਸਹਿਯੋਗ.

ਕੁਝ ਫਾਈਲ ਫਾਰਮੈਟ ਆਮ ਵਰਤੋਂ ਲਈ ਬਣਾਏ ਗਏ ਹਨ, ਕੁਝ ਹੋਰ ਖਾਸ ਵਰਤੋਂ ਲਈ, ਅਤੇ ਕੁਝ ਖਾਸ ਡਾਟਾ ਵਿਸ਼ੇਸ਼ਤਾਵਾਂ ਨੂੰ ਪੂਰਾ ਕਰਨ ਲਈ ਤਿਆਰ ਕੀਤੇ ਗਏ ਹਨ। ਇਸ ਲਈ ਚੋਣ ਅਸਲ ਵਿੱਚ ਕਾਫ਼ੀ ਵੱਡੀ ਹੈ.

Avro ਫਾਈਲ ਫਾਰਮੈਟ

ਕਰਨ ਲਈ ਡਾਟਾ ਸੀਰੀਅਲਾਈਜ਼ੇਸ਼ਨ Avro ਵਿਆਪਕ ਤੌਰ 'ਤੇ ਵਰਤਿਆ ਗਿਆ ਹੈ - ਇਸ ਨੂੰ ਸਤਰ ਅਧਾਰਿਤ, ਯਾਨੀ Hadoop ਵਿੱਚ ਇੱਕ ਸਤਰ ਡਾਟਾ ਸਟੋਰੇਜ਼ ਫਾਰਮੈਟ ਹੈ। ਇਹ ਸਕੀਮਾ ਨੂੰ JSON ਫਾਰਮੈਟ ਵਿੱਚ ਸਟੋਰ ਕਰਦਾ ਹੈ, ਕਿਸੇ ਵੀ ਪ੍ਰੋਗਰਾਮ ਦੁਆਰਾ ਇਸਨੂੰ ਪੜ੍ਹਨਾ ਅਤੇ ਵਿਆਖਿਆ ਕਰਨਾ ਆਸਾਨ ਬਣਾਉਂਦਾ ਹੈ। ਡੇਟਾ ਖੁਦ ਬਾਈਨਰੀ ਫਾਰਮੈਟ, ਸੰਖੇਪ ਅਤੇ ਕੁਸ਼ਲ ਹੈ।

ਐਵਰੋ ਦੀ ਸੀਰੀਅਲਾਈਜ਼ੇਸ਼ਨ ਪ੍ਰਣਾਲੀ ਭਾਸ਼ਾ ਨਿਰਪੱਖ ਹੈ। ਫਾਈਲਾਂ ਨੂੰ ਕਈ ਭਾਸ਼ਾਵਾਂ ਵਿੱਚ ਸੰਸਾਧਿਤ ਕੀਤਾ ਜਾ ਸਕਦਾ ਹੈ, ਵਰਤਮਾਨ ਵਿੱਚ C, C++, C#, Java, Python ਅਤੇ Ruby.

ਐਵਰੋ ਦੀ ਇੱਕ ਮੁੱਖ ਵਿਸ਼ੇਸ਼ਤਾ ਡਾਟਾ ਸਕੀਮਾਂ ਲਈ ਇਸਦਾ ਮਜ਼ਬੂਤ ​​ਸਮਰਥਨ ਹੈ ਜੋ ਸਮੇਂ ਦੇ ਨਾਲ ਬਦਲਦੇ ਹਨ, ਯਾਨੀ ਕਿ ਵਿਕਾਸ ਕਰਦੇ ਹਨ। ਐਵਰੋ ਸਕੀਮਾ ਤਬਦੀਲੀਆਂ ਨੂੰ ਸਮਝਦਾ ਹੈ — ਮਿਟਾਉਣਾ, ਜੋੜਨਾ, ਜਾਂ ਖੇਤਰਾਂ ਨੂੰ ਬਦਲਣਾ।

ਐਵਰੋ ਕਈ ਤਰ੍ਹਾਂ ਦੇ ਡੇਟਾ ਢਾਂਚੇ ਦਾ ਸਮਰਥਨ ਕਰਦਾ ਹੈ। ਉਦਾਹਰਨ ਲਈ, ਤੁਸੀਂ ਇੱਕ ਰਿਕਾਰਡ ਬਣਾ ਸਕਦੇ ਹੋ ਜਿਸ ਵਿੱਚ ਇੱਕ ਐਰੇ, ਇੱਕ ਗਣਿਤ ਕਿਸਮ, ਅਤੇ ਇੱਕ ਸਬ-ਰਿਕਾਰਡ ਸ਼ਾਮਲ ਹੁੰਦਾ ਹੈ।

ਇਹ ਫਾਰਮੈਟ ਇੱਕ ਡੇਟਾ ਝੀਲ ਦੇ ਲੈਂਡਿੰਗ (ਪਰਿਵਰਤਨ) ਜ਼ੋਨ ਨੂੰ ਲਿਖਣ ਲਈ ਆਦਰਸ਼ ਹੈ (ਡਾਟਾ ਝੀਲ, ਜਾਂ ਡੇਟਾ ਝੀਲ - ਸਿੱਧੇ ਡੇਟਾ ਸਰੋਤਾਂ ਤੋਂ ਇਲਾਵਾ ਵੱਖ-ਵੱਖ ਕਿਸਮਾਂ ਦੇ ਡੇਟਾ ਨੂੰ ਸਟੋਰ ਕਰਨ ਲਈ ਉਦਾਹਰਣਾਂ ਦਾ ਸੰਗ੍ਰਹਿ)।

ਇਸ ਲਈ, ਇਹ ਫਾਰਮੈਟ ਹੇਠਾਂ ਦਿੱਤੇ ਕਾਰਨਾਂ ਕਰਕੇ ਡੇਟਾ ਲੇਕ ਦੇ ਲੈਂਡਿੰਗ ਜ਼ੋਨ ਨੂੰ ਲਿਖਣ ਲਈ ਸਭ ਤੋਂ ਅਨੁਕੂਲ ਹੈ:

1. ਇਸ ਜ਼ੋਨ ਤੋਂ ਡਾਟਾ ਆਮ ਤੌਰ 'ਤੇ ਡਾਊਨਸਟ੍ਰੀਮ ਸਿਸਟਮਾਂ ਦੁਆਰਾ ਅੱਗੇ ਦੀ ਪ੍ਰਕਿਰਿਆ ਲਈ ਪੂਰੀ ਤਰ੍ਹਾਂ ਪੜ੍ਹਿਆ ਜਾਂਦਾ ਹੈ - ਅਤੇ ਇੱਕ ਕਤਾਰ-ਅਧਾਰਿਤ ਫਾਰਮੈਟ ਇਸ ਕੇਸ ਵਿੱਚ ਵਧੇਰੇ ਕੁਸ਼ਲ ਹੈ।
2. ਡਾਊਨਸਟ੍ਰੀਮ ਸਿਸਟਮ ਆਸਾਨੀ ਨਾਲ ਫਾਈਲਾਂ ਤੋਂ ਸਕੀਮਾ ਟੇਬਲ ਪ੍ਰਾਪਤ ਕਰ ਸਕਦੇ ਹਨ - ਬਾਹਰੀ ਮੈਟਾ ਸਟੋਰੇਜ ਵਿੱਚ ਸਕੀਮਾ ਨੂੰ ਵੱਖਰੇ ਤੌਰ 'ਤੇ ਸਟੋਰ ਕਰਨ ਦੀ ਕੋਈ ਲੋੜ ਨਹੀਂ ਹੈ।
3. ਮੂਲ ਸਕੀਮਾ ਵਿੱਚ ਕੋਈ ਵੀ ਤਬਦੀਲੀ ਆਸਾਨੀ ਨਾਲ ਪ੍ਰਕਿਰਿਆ ਕੀਤੀ ਜਾਂਦੀ ਹੈ (ਸਕੀਮਾ ਵਿਕਾਸ)।

Parquet ਫਾਇਲ ਫਾਰਮੈਟ

Parquet Hadoop ਲਈ ਇੱਕ ਓਪਨ ਸੋਰਸ ਫਾਈਲ ਫਾਰਮੈਟ ਹੈ ਜੋ ਸਟੋਰ ਕਰਦਾ ਹੈ ਫਲੈਟ ਕਾਲਮ ਫਾਰਮੈਟ ਵਿੱਚ ਨੇਸਟਡ ਡੇਟਾ ਸਟਰਕਚਰ.

ਪਰੰਪਰਾਗਤ ਕਤਾਰ ਪਹੁੰਚ ਦੇ ਮੁਕਾਬਲੇ, ਪਾਰਕਵੇਟ ਸਟੋਰੇਜ ਅਤੇ ਪ੍ਰਦਰਸ਼ਨ ਦੇ ਮਾਮਲੇ ਵਿੱਚ ਵਧੇਰੇ ਕੁਸ਼ਲ ਹੈ।

ਇਹ ਖਾਸ ਤੌਰ 'ਤੇ ਉਹਨਾਂ ਸਵਾਲਾਂ ਲਈ ਲਾਭਦਾਇਕ ਹੈ ਜੋ ਇੱਕ ਵਿਆਪਕ (ਕਈ ਕਾਲਮ) ਸਾਰਣੀ ਤੋਂ ਖਾਸ ਕਾਲਮ ਪੜ੍ਹਦੀਆਂ ਹਨ। ਫਾਈਲ ਫਾਰਮੈਟ ਲਈ ਧੰਨਵਾਦ, ਸਿਰਫ ਲੋੜੀਂਦੇ ਕਾਲਮ ਪੜ੍ਹੇ ਜਾਂਦੇ ਹਨ, ਇਸਲਈ I/O ਨੂੰ ਘੱਟ ਤੋਂ ਘੱਟ ਰੱਖਿਆ ਜਾਂਦਾ ਹੈ।

ਇੱਕ ਛੋਟਾ ਜਿਹਾ ਧਿਆਨ ਅਤੇ ਵਿਆਖਿਆ: Hadoop ਵਿੱਚ Parquet ਫਾਈਲ ਫਾਰਮੈਟ ਨੂੰ ਬਿਹਤਰ ਢੰਗ ਨਾਲ ਸਮਝਣ ਲਈ, ਆਓ ਦੇਖੀਏ ਕਿ ਇੱਕ ਕਾਲਮ-ਅਧਾਰਿਤ - ਅਰਥਾਤ ਕਾਲਮ - ਫਾਰਮੈਟ ਕੀ ਹੈ। ਇਹ ਫਾਰਮੈਟ ਹਰੇਕ ਕਾਲਮ ਲਈ ਸਮਾਨ ਮੁੱਲ ਇਕੱਠੇ ਸਟੋਰ ਕਰਦਾ ਹੈ।

ਉਦਾਹਰਨ ਲਈ, ਰਿਕਾਰਡ ਵਿੱਚ ID, ਨਾਮ, ਅਤੇ ਵਿਭਾਗ ਖੇਤਰ ਸ਼ਾਮਲ ਹੁੰਦੇ ਹਨ। ਇਸ ਸਥਿਤੀ ਵਿੱਚ, ਸਾਰੇ ID ਕਾਲਮ ਮੁੱਲ ਇਕੱਠੇ ਸਟੋਰ ਕੀਤੇ ਜਾਣਗੇ, ਜਿਵੇਂ ਕਿ ਨਾਮ ਕਾਲਮ ਮੁੱਲ, ਆਦਿ। ਸਾਰਣੀ ਕੁਝ ਇਸ ਤਰ੍ਹਾਂ ਦਿਖਾਈ ਦੇਵੇਗੀ:

ID
ਨਾਮ
ਵਿਭਾਗ

1
emp1
d1

2
emp2
d2

3
emp3
d3

ਸਟ੍ਰਿੰਗ ਫਾਰਮੈਟ ਵਿੱਚ, ਡੇਟਾ ਨੂੰ ਇਸ ਤਰ੍ਹਾਂ ਸੁਰੱਖਿਅਤ ਕੀਤਾ ਜਾਵੇਗਾ:

1
emp1
d1
2
emp2
d2
3
emp3
d3

ਇੱਕ ਕਾਲਮ ਫਾਈਲ ਫਾਰਮੈਟ ਵਿੱਚ, ਉਹੀ ਡੇਟਾ ਇਸ ਤਰ੍ਹਾਂ ਸੁਰੱਖਿਅਤ ਕੀਤਾ ਜਾਵੇਗਾ:

1
2
3
emp1
emp2
emp3
d1
d2
d3

ਕਾਲਮ ਫਾਰਮੈਟ ਵਧੇਰੇ ਕੁਸ਼ਲ ਹੁੰਦਾ ਹੈ ਜਦੋਂ ਤੁਹਾਨੂੰ ਇੱਕ ਸਾਰਣੀ ਤੋਂ ਕਈ ਕਾਲਮਾਂ ਦੀ ਪੁੱਛਗਿੱਛ ਕਰਨ ਦੀ ਲੋੜ ਹੁੰਦੀ ਹੈ। ਇਹ ਸਿਰਫ਼ ਲੋੜੀਂਦੇ ਕਾਲਮਾਂ ਨੂੰ ਪੜ੍ਹੇਗਾ ਕਿਉਂਕਿ ਉਹ ਨਾਲ ਲੱਗਦੇ ਹਨ। ਇਸ ਤਰ੍ਹਾਂ, I/O ਓਪਰੇਸ਼ਨਾਂ ਨੂੰ ਘੱਟੋ-ਘੱਟ ਰੱਖਿਆ ਜਾਂਦਾ ਹੈ।

ਉਦਾਹਰਨ ਲਈ, ਤੁਹਾਨੂੰ ਸਿਰਫ਼ NAME ਕਾਲਮ ਦੀ ਲੋੜ ਹੈ। IN ਸਤਰ ਫਾਰਮੈਟ ਡੇਟਾਸੈਟ ਵਿੱਚ ਹਰੇਕ ਰਿਕਾਰਡ ਨੂੰ ਲੋਡ ਕਰਨ, ਖੇਤਰ ਦੁਆਰਾ ਪਾਰਸ ਕਰਨ, ਅਤੇ ਫਿਰ NAME ਡੇਟਾ ਨੂੰ ਐਕਸਟਰੈਕਟ ਕਰਨ ਦੀ ਲੋੜ ਹੈ। ਕਾਲਮ ਫਾਰਮੈਟ ਤੁਹਾਨੂੰ ਸਿੱਧੇ ਨਾਮ ਕਾਲਮ ਵਿੱਚ ਡਰਿੱਲ ਕਰਨ ਦੀ ਇਜਾਜ਼ਤ ਦਿੰਦਾ ਹੈ ਕਿਉਂਕਿ ਉਸ ਕਾਲਮ ਦੇ ਸਾਰੇ ਮੁੱਲ ਇਕੱਠੇ ਸਟੋਰ ਕੀਤੇ ਜਾਂਦੇ ਹਨ। ਤੁਹਾਨੂੰ ਪੂਰੀ ਰਿਕਾਰਡਿੰਗ ਨੂੰ ਸਕੈਨ ਕਰਨ ਦੀ ਲੋੜ ਨਹੀਂ ਹੈ।

ਇਸ ਤਰ੍ਹਾਂ, ਕਾਲਮ ਫਾਰਮੈਟ ਪੁੱਛਗਿੱਛ ਦੀ ਕਾਰਗੁਜ਼ਾਰੀ ਵਿੱਚ ਸੁਧਾਰ ਕਰਦਾ ਹੈ ਕਿਉਂਕਿ ਇਸ ਨੂੰ ਲੋੜੀਂਦੇ ਕਾਲਮਾਂ ਤੱਕ ਪਹੁੰਚਣ ਲਈ ਘੱਟ ਖੋਜ ਸਮਾਂ ਦੀ ਲੋੜ ਹੁੰਦੀ ਹੈ ਅਤੇ I/O ਓਪਰੇਸ਼ਨਾਂ ਦੀ ਗਿਣਤੀ ਨੂੰ ਘਟਾਉਂਦਾ ਹੈ ਕਿਉਂਕਿ ਸਿਰਫ਼ ਲੋੜੀਂਦੇ ਕਾਲਮ ਪੜ੍ਹੇ ਜਾਂਦੇ ਹਨ।

ਵਿਲੱਖਣ ਵਿਸ਼ੇਸ਼ਤਾਵਾਂ ਵਿੱਚੋਂ ਇੱਕ ਪਰਚੀ ਕੀ ਇਸ ਫਾਰਮੈਟ ਵਿੱਚ ਇਹ ਹੋ ਸਕਦਾ ਹੈ ਨੇਸਟਡ ਢਾਂਚੇ ਦੇ ਨਾਲ ਡਾਟਾ ਸਟੋਰ ਕਰੋ. ਇਸਦਾ ਮਤਲਬ ਹੈ ਕਿ ਇੱਕ Parquet ਫਾਈਲ ਵਿੱਚ, ਨੇਸਟਡ ਢਾਂਚੇ ਵਿੱਚ ਸਾਰੇ ਖੇਤਰਾਂ ਨੂੰ ਪੜ੍ਹੇ ਬਿਨਾਂ ਵੀ ਨੇਸਟਡ ਫੀਲਡਾਂ ਨੂੰ ਵੱਖਰੇ ਤੌਰ 'ਤੇ ਪੜ੍ਹਿਆ ਜਾ ਸਕਦਾ ਹੈ। ਪੈਰਾਕੁਏਟ ਨੇਸਟਡ ਢਾਂਚੇ ਨੂੰ ਸਟੋਰ ਕਰਨ ਲਈ ਸ਼ਰੈਡਿੰਗ ਅਤੇ ਅਸੈਂਬਲੀ ਐਲਗੋਰਿਦਮ ਦੀ ਵਰਤੋਂ ਕਰਦਾ ਹੈ।

Hadoop ਵਿੱਚ Parquet ਫਾਈਲ ਫਾਰਮੈਟ ਨੂੰ ਸਮਝਣ ਲਈ, ਤੁਹਾਨੂੰ ਹੇਠਾਂ ਦਿੱਤੇ ਸ਼ਬਦਾਂ ਨੂੰ ਜਾਣਨ ਦੀ ਲੋੜ ਹੈ:

1. ਤਾਰਾਂ ਦਾ ਸਮੂਹ (ਕਤਾਰ ਸਮੂਹ): ਕਤਾਰਾਂ ਵਿੱਚ ਡੇਟਾ ਦੀ ਲਾਜ਼ੀਕਲ ਹਰੀਜੱਟਲ ਵੰਡ। ਇੱਕ ਕਤਾਰ ਸਮੂਹ ਵਿੱਚ ਡੇਟਾ ਸੈੱਟ ਵਿੱਚ ਹਰੇਕ ਕਾਲਮ ਦਾ ਇੱਕ ਟੁਕੜਾ ਹੁੰਦਾ ਹੈ।
2. ਕਾਲਮ ਦਾ ਟੁਕੜਾ (ਕਾਲਮ ਦਾ ਹਿੱਸਾ): ਇੱਕ ਖਾਸ ਕਾਲਮ ਦਾ ਇੱਕ ਟੁਕੜਾ। ਇਹ ਕਾਲਮ ਦੇ ਟੁਕੜੇ ਕਤਾਰਾਂ ਦੇ ਇੱਕ ਖਾਸ ਸਮੂਹ ਵਿੱਚ ਰਹਿੰਦੇ ਹਨ ਅਤੇ ਫਾਈਲ ਵਿੱਚ ਇਕਸਾਰ ਹੋਣ ਦੀ ਗਾਰੰਟੀ ਦਿੱਤੀ ਜਾਂਦੀ ਹੈ।
3. ਪੰਨਾ (ਪੰਨਾ): ਕਾਲਮ ਦੇ ਟੁਕੜਿਆਂ ਨੂੰ ਇੱਕ ਤੋਂ ਬਾਅਦ ਇੱਕ ਲਿਖੇ ਪੰਨਿਆਂ ਵਿੱਚ ਵੰਡਿਆ ਜਾਂਦਾ ਹੈ। ਪੰਨਿਆਂ ਦਾ ਇੱਕ ਸਾਂਝਾ ਸਿਰਲੇਖ ਹੈ, ਇਸਲਈ ਤੁਸੀਂ ਪੜ੍ਹਦੇ ਸਮੇਂ ਬੇਲੋੜੇ ਨੂੰ ਛੱਡ ਸਕਦੇ ਹੋ।

ਇੱਥੇ ਸਿਰਲੇਖ ਵਿੱਚ ਸਿਰਫ਼ ਮੈਜਿਕ ਨੰਬਰ ਹੈ PAR1 (4 ਬਾਈਟ) ਜੋ ਕਿ ਫਾਈਲ ਨੂੰ ਇੱਕ Parquet ਫਾਈਲ ਵਜੋਂ ਪਛਾਣਦਾ ਹੈ।

ਫੁੱਟਰ ਹੇਠ ਲਿਖਿਆ ਹੈ:

1. ਫਾਈਲ ਮੈਟਾਡੇਟਾ ਜਿਸ ਵਿੱਚ ਹਰੇਕ ਕਾਲਮ ਦੇ ਮੈਟਾਡੇਟਾ ਦੇ ਸ਼ੁਰੂਆਤੀ ਕੋਆਰਡੀਨੇਟ ਸ਼ਾਮਲ ਹੁੰਦੇ ਹਨ। ਪੜ੍ਹਦੇ ਸਮੇਂ, ਤੁਹਾਨੂੰ ਦਿਲਚਸਪੀ ਦੇ ਸਾਰੇ ਕਾਲਮ ਦੇ ਟੁਕੜਿਆਂ ਨੂੰ ਲੱਭਣ ਲਈ ਪਹਿਲਾਂ ਫਾਈਲ ਦਾ ਮੈਟਾਡੇਟਾ ਪੜ੍ਹਨਾ ਚਾਹੀਦਾ ਹੈ। ਕਾਲਮ ਦੇ ਹਿੱਸੇ ਫਿਰ ਕ੍ਰਮਵਾਰ ਪੜ੍ਹੇ ਜਾਣੇ ਚਾਹੀਦੇ ਹਨ। ਹੋਰ ਮੈਟਾਡੇਟਾ ਵਿੱਚ ਫਾਰਮੈਟ ਸੰਸਕਰਣ, ਸਕੀਮਾ, ਅਤੇ ਕੋਈ ਵੀ ਵਾਧੂ ਕੁੰਜੀ-ਮੁੱਲ ਜੋੜੇ ਸ਼ਾਮਲ ਹਨ।
2. ਮੈਟਾਡੇਟਾ ਲੰਬਾਈ (4 ਬਾਈਟ)।
3. ਮੈਜਿਕ ਨੰਬਰ PAR1 (4 ਬਾਈਟ)।

ORC ਫਾਈਲ ਫਾਰਮੈਟ

ਅਨੁਕੂਲਿਤ ਕਤਾਰ-ਕਾਲਮ ਫਾਈਲ ਫਾਰਮੈਟ (ਅਨੁਕੂਲ ਕਤਾਰ ਕਾਲਮ, ਓਆਰਸੀ) ਡੇਟਾ ਨੂੰ ਸਟੋਰ ਕਰਨ ਦਾ ਇੱਕ ਬਹੁਤ ਕੁਸ਼ਲ ਤਰੀਕਾ ਪੇਸ਼ ਕਰਦਾ ਹੈ ਅਤੇ ਹੋਰ ਫਾਰਮੈਟਾਂ ਦੀਆਂ ਸੀਮਾਵਾਂ ਨੂੰ ਦੂਰ ਕਰਨ ਲਈ ਤਿਆਰ ਕੀਤਾ ਗਿਆ ਸੀ। ਡੇਟਾ ਨੂੰ ਇੱਕ ਬਿਲਕੁਲ ਸੰਖੇਪ ਰੂਪ ਵਿੱਚ ਸਟੋਰ ਕਰਦਾ ਹੈ, ਤੁਹਾਨੂੰ ਬੇਲੋੜੇ ਵੇਰਵਿਆਂ ਨੂੰ ਛੱਡਣ ਦੀ ਇਜਾਜ਼ਤ ਦਿੰਦਾ ਹੈ - ਵੱਡੇ, ਗੁੰਝਲਦਾਰ ਜਾਂ ਹੱਥੀਂ ਬਣਾਏ ਸੂਚਕਾਂਕ ਦੇ ਨਿਰਮਾਣ ਦੀ ਲੋੜ ਤੋਂ ਬਿਨਾਂ।

ORC ਫਾਰਮੈਟ ਦੇ ਫਾਇਦੇ:

1. ਇੱਕ ਫਾਈਲ ਹਰੇਕ ਕੰਮ ਦੀ ਆਉਟਪੁੱਟ ਹੁੰਦੀ ਹੈ, ਜੋ NameNode (ਨਾਮ ਨੋਡ) ਉੱਤੇ ਲੋਡ ਨੂੰ ਘਟਾਉਂਦੀ ਹੈ।
2. Hive ਡੇਟਾ ਕਿਸਮਾਂ ਲਈ ਸਮਰਥਨ, ਜਿਸ ਵਿੱਚ ਮਿਤੀ ਸਮਾਂ, ਦਸ਼ਮਲਵ ਅਤੇ ਗੁੰਝਲਦਾਰ ਡੇਟਾ ਕਿਸਮਾਂ (ਸੰਰਚਨਾ, ਸੂਚੀ, ਨਕਸ਼ਾ ਅਤੇ ਯੂਨੀਅਨ) ਸ਼ਾਮਲ ਹਨ।
3. ਵੱਖ-ਵੱਖ RecordReader ਪ੍ਰਕਿਰਿਆਵਾਂ ਦੁਆਰਾ ਇੱਕੋ ਫਾਈਲ ਨੂੰ ਇੱਕੋ ਸਮੇਂ ਪੜ੍ਹਨਾ।
4. ਮਾਰਕਰਾਂ ਲਈ ਸਕੈਨ ਕੀਤੇ ਬਿਨਾਂ ਫਾਈਲਾਂ ਨੂੰ ਵੰਡਣ ਦੀ ਸਮਰੱਥਾ.
5. ਫਾਈਲ ਫੁੱਟਰ ਵਿੱਚ ਜਾਣਕਾਰੀ ਦੇ ਆਧਾਰ 'ਤੇ ਰੀਡ/ਰਾਈਟ ਪ੍ਰਕਿਰਿਆਵਾਂ ਲਈ ਵੱਧ ਤੋਂ ਵੱਧ ਸੰਭਵ ਹੀਪ ਮੈਮੋਰੀ ਵੰਡ ਦਾ ਅਨੁਮਾਨ।
6. ਮੈਟਾਡੇਟਾ ਪ੍ਰੋਟੋਕੋਲ ਬਫਰਸ ਬਾਈਨਰੀ ਸੀਰੀਅਲਾਈਜ਼ੇਸ਼ਨ ਫਾਰਮੈਟ ਵਿੱਚ ਸਟੋਰ ਕੀਤਾ ਜਾਂਦਾ ਹੈ, ਜੋ ਕਿ ਖੇਤਰਾਂ ਨੂੰ ਜੋੜਨ ਅਤੇ ਹਟਾਉਣ ਦੀ ਇਜਾਜ਼ਤ ਦਿੰਦਾ ਹੈ।

ORC ਇੱਕ ਸਿੰਗਲ ਫਾਈਲ ਵਿੱਚ ਸਤਰ ਦੇ ਸੰਗ੍ਰਹਿ ਨੂੰ ਸਟੋਰ ਕਰਦਾ ਹੈ, ਅਤੇ ਸੰਗ੍ਰਹਿ ਦੇ ਅੰਦਰ, ਸਤਰ ਡੇਟਾ ਇੱਕ ਕਾਲਮ ਫਾਰਮੈਟ ਵਿੱਚ ਸਟੋਰ ਕੀਤਾ ਜਾਂਦਾ ਹੈ।

ਇੱਕ ORC ਫਾਈਲ ਫਾਈਲ ਦੇ ਫੁੱਟਰ ਵਿੱਚ ਲਾਈਨਾਂ ਦੇ ਸਮੂਹਾਂ ਨੂੰ ਸਟੋਰ ਕਰਦੀ ਹੈ ਜਿਨ੍ਹਾਂ ਨੂੰ ਪੱਟੀਆਂ ਅਤੇ ਸਹਾਇਕ ਜਾਣਕਾਰੀ ਕਿਹਾ ਜਾਂਦਾ ਹੈ। ਫਾਈਲ ਦੇ ਅੰਤ ਵਿੱਚ ਪੋਸਟਸਕਰਿਪਟ ਵਿੱਚ ਕੰਪਰੈਸ਼ਨ ਪੈਰਾਮੀਟਰ ਅਤੇ ਸੰਕੁਚਿਤ ਫੁੱਟਰ ਦਾ ਆਕਾਰ ਸ਼ਾਮਲ ਹੁੰਦਾ ਹੈ।

ਪੂਰਵ-ਨਿਰਧਾਰਤ ਪੱਟੀ ਦਾ ਆਕਾਰ 250 MB ਹੈ। ਅਜਿਹੀਆਂ ਵੱਡੀਆਂ ਪੱਟੀਆਂ ਦੇ ਕਾਰਨ, ਐਚਡੀਐਫਐਸ ਤੋਂ ਰੀਡਿੰਗ ਵਧੇਰੇ ਕੁਸ਼ਲਤਾ ਨਾਲ ਕੀਤੀ ਜਾਂਦੀ ਹੈ: ਵੱਡੇ ਇਕਸਾਰ ਬਲਾਕਾਂ ਵਿੱਚ।

ਫਾਈਲ ਫੁੱਟਰ ਫਾਈਲ ਵਿੱਚ ਲੇਨਾਂ ਦੀ ਸੂਚੀ, ਪ੍ਰਤੀ ਲੇਨ ਦੀਆਂ ਕਤਾਰਾਂ ਦੀ ਗਿਣਤੀ, ਅਤੇ ਹਰੇਕ ਕਾਲਮ ਦੀ ਡਾਟਾ ਕਿਸਮ ਨੂੰ ਰਿਕਾਰਡ ਕਰਦਾ ਹੈ। ਹਰੇਕ ਕਾਲਮ ਲਈ ਗਿਣਤੀ, ਘੱਟੋ-ਘੱਟ, ਅਧਿਕਤਮ ਅਤੇ ਜੋੜ ਦਾ ਨਤੀਜਾ ਮੁੱਲ ਵੀ ਉੱਥੇ ਲਿਖਿਆ ਜਾਂਦਾ ਹੈ।

ਸਟ੍ਰਿਪ ਦੇ ਫੁੱਟਰ ਵਿੱਚ ਸਟ੍ਰੀਮ ਸਥਾਨਾਂ ਦੀ ਇੱਕ ਡਾਇਰੈਕਟਰੀ ਸ਼ਾਮਲ ਹੁੰਦੀ ਹੈ।

ਟੇਬਲਾਂ ਨੂੰ ਸਕੈਨ ਕਰਨ ਵੇਲੇ ਕਤਾਰ ਡੇਟਾ ਵਰਤਿਆ ਜਾਂਦਾ ਹੈ।

ਸੂਚਕਾਂਕ ਡੇਟਾ ਵਿੱਚ ਹਰੇਕ ਕਾਲਮ ਲਈ ਘੱਟੋ-ਘੱਟ ਅਤੇ ਵੱਧ ਤੋਂ ਵੱਧ ਮੁੱਲ ਅਤੇ ਹਰੇਕ ਕਾਲਮ ਵਿੱਚ ਕਤਾਰਾਂ ਦੀ ਸਥਿਤੀ ਸ਼ਾਮਲ ਹੁੰਦੀ ਹੈ। ORC ਸੂਚਕਾਂਕ ਦੀ ਵਰਤੋਂ ਸਿਰਫ਼ ਪੱਟੀਆਂ ਅਤੇ ਕਤਾਰਾਂ ਦੇ ਸਮੂਹਾਂ ਨੂੰ ਚੁਣਨ ਲਈ ਕੀਤੀ ਜਾਂਦੀ ਹੈ, ਸਵਾਲਾਂ ਦੇ ਜਵਾਬ ਦੇਣ ਲਈ ਨਹੀਂ।

ਵੱਖ-ਵੱਖ ਫਾਈਲ ਫਾਰਮੈਟਾਂ ਦੀ ਤੁਲਨਾ

Parquet ਦੇ ਮੁਕਾਬਲੇ Avro

1. ਐਵਰੋ ਇੱਕ ਕਤਾਰ ਸਟੋਰੇਜ ਫਾਰਮੈਟ ਹੈ, ਜਦੋਂ ਕਿ Parquet ਕਾਲਮਾਂ ਵਿੱਚ ਡੇਟਾ ਸਟੋਰ ਕਰਦਾ ਹੈ।
2. ਪੈਰਕੇਟ ਵਿਸ਼ਲੇਸ਼ਣਾਤਮਕ ਸਵਾਲਾਂ ਲਈ ਬਿਹਤਰ ਅਨੁਕੂਲ ਹੈ, ਭਾਵ ਰੀਡ ਓਪਰੇਸ਼ਨ ਅਤੇ ਪੁੱਛਗਿੱਛ ਡੇਟਾ ਲਿਖਣ ਨਾਲੋਂ ਬਹੁਤ ਜ਼ਿਆਦਾ ਕੁਸ਼ਲ ਹਨ।
3. ਐਵਰੋ ਵਿੱਚ ਲਿਖਣ ਦੇ ਕੰਮ Parquet ਨਾਲੋਂ ਵਧੇਰੇ ਕੁਸ਼ਲਤਾ ਨਾਲ ਕੀਤੇ ਜਾਂਦੇ ਹਨ।
4. ਐਵਰੋ ਸਰਕਟ ਵਿਕਾਸ ਨਾਲ ਵਧੇਰੇ ਪਰਿਪੱਕਤਾ ਨਾਲ ਨਜਿੱਠਦਾ ਹੈ। Parquet ਸਿਰਫ ਸਕੀਮਾ ਜੋੜਨ ਦਾ ਸਮਰਥਨ ਕਰਦਾ ਹੈ, ਜਦੋਂ ਕਿ Avro ਮਲਟੀਫੰਕਸ਼ਨਲ ਈਵੇਲੂਸ਼ਨ ਦਾ ਸਮਰਥਨ ਕਰਦਾ ਹੈ, ਯਾਨੀ ਕਿ ਕਾਲਮ ਜੋੜਨਾ ਜਾਂ ਬਦਲਣਾ।
5. ਬਹੁ-ਕਾਲਮ ਟੇਬਲ ਵਿੱਚ ਕਾਲਮਾਂ ਦੇ ਸਬਸੈੱਟ ਦੀ ਪੁੱਛਗਿੱਛ ਲਈ Parquet ਆਦਰਸ਼ ਹੈ। Avro ETL ਓਪਰੇਸ਼ਨਾਂ ਲਈ ਢੁਕਵਾਂ ਹੈ ਜਿੱਥੇ ਅਸੀਂ ਸਾਰੇ ਕਾਲਮਾਂ ਦੀ ਪੁੱਛਗਿੱਛ ਕਰਦੇ ਹਾਂ।

ORC ਬਨਾਮ Parquet

1. Parquet ਨੇਸਟਡ ਡੇਟਾ ਨੂੰ ਬਿਹਤਰ ਢੰਗ ਨਾਲ ਸਟੋਰ ਕੀਤਾ।
2. ORC ਪੁਸ਼ਡਾਊਨ ਦੀ ਭਵਿੱਖਬਾਣੀ ਕਰਨ ਲਈ ਬਿਹਤਰ ਅਨੁਕੂਲ ਹੈ।
3. ORC ACID ਵਿਸ਼ੇਸ਼ਤਾਵਾਂ ਦਾ ਸਮਰਥਨ ਕਰਦਾ ਹੈ।
4. ORC ਡਾਟਾ ਨੂੰ ਬਿਹਤਰ ਢੰਗ ਨਾਲ ਸੰਕੁਚਿਤ ਕਰਦਾ ਹੈ।

ਵਿਸ਼ੇ 'ਤੇ ਹੋਰ ਕੀ ਪੜ੍ਹਨਾ ਹੈ:

1. ਕਲਾਉਡ ਵਿੱਚ ਵੱਡਾ ਡੇਟਾ ਵਿਸ਼ਲੇਸ਼ਣ: ਇੱਕ ਕੰਪਨੀ ਡੇਟਾ-ਅਧਾਰਿਤ ਕਿਵੇਂ ਬਣ ਸਕਦੀ ਹੈ.
2. ਡੇਟਾਬੇਸ ਸਕੀਮਾਂ ਲਈ ਇੱਕ ਨਿਮਰ ਗਾਈਡ.
3. ਡਿਜੀਟਲ ਪਰਿਵਰਤਨ ਬਾਰੇ ਸਾਡਾ ਟੈਲੀਗ੍ਰਾਮ ਚੈਨਲ.

ਸਰੋਤ: www.habr.com