Cloudera ਬਾਰੇ ਕੀ ਖਾਸ ਹੈ ਅਤੇ ਇਸਨੂੰ ਕਿਵੇਂ ਪਕਾਉਣਾ ਹੈ

ਦੇ ਅਨੁਸਾਰ, ਡਿਸਟਰੀਬਿਊਟਿਡ ਕੰਪਿਊਟਿੰਗ ਅਤੇ ਵੱਡੇ ਡੇਟਾ ਲਈ ਮਾਰਕੀਟ ਅੰਕੜੇ, ਪ੍ਰਤੀ ਸਾਲ 18-19% ਵਧ ਰਹੀ ਹੈ। ਇਸਦਾ ਮਤਲਬ ਹੈ ਕਿ ਇਹਨਾਂ ਉਦੇਸ਼ਾਂ ਲਈ ਸਾਫਟਵੇਅਰ ਚੁਣਨ ਦਾ ਮੁੱਦਾ ਪ੍ਰਸੰਗਿਕ ਰਹਿੰਦਾ ਹੈ। ਇਸ ਪੋਸਟ ਵਿੱਚ, ਅਸੀਂ ਇਸ ਨਾਲ ਸ਼ੁਰੂ ਕਰਾਂਗੇ ਕਿ ਡਿਸਟਰੀਬਿਊਟਿਡ ਕੰਪਿਊਟਿੰਗ ਦੀ ਲੋੜ ਕਿਉਂ ਹੈ, ਸੌਫਟਵੇਅਰ ਦੀ ਚੋਣ ਕਰਨ ਬਾਰੇ ਹੋਰ ਵਿਸਥਾਰ ਵਿੱਚ ਜਾਓ, ਕਲਾਉਡੇਰਾ ਦੀ ਵਰਤੋਂ ਕਰਦੇ ਹੋਏ ਹੈਡੂਪ ਦੀ ਵਰਤੋਂ ਕਰਨ ਬਾਰੇ ਗੱਲ ਕਰੋ, ਅਤੇ ਅੰਤ ਵਿੱਚ ਹਾਰਡਵੇਅਰ ਦੀ ਚੋਣ ਕਰਨ ਬਾਰੇ ਗੱਲ ਕਰੋ ਅਤੇ ਇਹ ਵੱਖ-ਵੱਖ ਤਰੀਕਿਆਂ ਨਾਲ ਪ੍ਰਦਰਸ਼ਨ ਨੂੰ ਕਿਵੇਂ ਪ੍ਰਭਾਵਿਤ ਕਰਦਾ ਹੈ।

ਨਿਯਮਤ ਕਾਰੋਬਾਰ ਵਿੱਚ ਵੰਡੀ ਕੰਪਿਊਟਿੰਗ ਦੀ ਲੋੜ ਕਿਉਂ ਹੈ? ਇੱਥੇ ਸਭ ਕੁਝ ਇੱਕੋ ਸਮੇਂ 'ਤੇ ਸਧਾਰਨ ਅਤੇ ਗੁੰਝਲਦਾਰ ਹੈ. ਸਧਾਰਨ - ਕਿਉਂਕਿ ਜ਼ਿਆਦਾਤਰ ਮਾਮਲਿਆਂ ਵਿੱਚ ਅਸੀਂ ਜਾਣਕਾਰੀ ਦੀ ਪ੍ਰਤੀ ਇਕਾਈ ਮੁਕਾਬਲਤਨ ਸਧਾਰਨ ਗਣਨਾ ਕਰਦੇ ਹਾਂ। ਇਹ ਮੁਸ਼ਕਲ ਹੈ ਕਿਉਂਕਿ ਇੱਥੇ ਬਹੁਤ ਸਾਰੀ ਜਾਣਕਾਰੀ ਹੈ। ਇਨੇ ਸਾਰੇ. ਨਤੀਜੇ ਵਜੋਂ, ਇਹ ਜ਼ਰੂਰੀ ਹੈ 1000 ਥਰਿੱਡਾਂ ਵਿੱਚ ਟੈਰਾਬਾਈਟ ਡੇਟਾ ਦੀ ਪ੍ਰਕਿਰਿਆ ਕਰੋ. ਇਸ ਤਰ੍ਹਾਂ, ਵਰਤੋਂ ਦੇ ਮਾਮਲੇ ਕਾਫ਼ੀ ਵਿਆਪਕ ਹਨ: ਗਣਨਾਵਾਂ ਦੀ ਵਰਤੋਂ ਕੀਤੀ ਜਾ ਸਕਦੀ ਹੈ ਜਿੱਥੇ ਵੀ ਡੇਟਾ ਦੀ ਇੱਕ ਵੱਡੀ ਐਰੇ 'ਤੇ ਵੱਡੀ ਗਿਣਤੀ ਵਿੱਚ ਮੈਟ੍ਰਿਕਸ ਨੂੰ ਧਿਆਨ ਵਿੱਚ ਰੱਖਣਾ ਜ਼ਰੂਰੀ ਹੈ।

ਤਾਜ਼ਾ ਉਦਾਹਰਣਾਂ ਵਿੱਚੋਂ ਇੱਕ: ਪੀਜ਼ੇਰੀਆ ਚੇਨ ਡੋਡੋ ਪੀਜ਼ਾ ਨਿਰਧਾਰਤ ਕੀਤਾ ਗਾਹਕ ਆਰਡਰ ਡੇਟਾਬੇਸ ਦੇ ਵਿਸ਼ਲੇਸ਼ਣ ਦੇ ਆਧਾਰ 'ਤੇ, ਕਿ ਜਦੋਂ ਇੱਕ ਬੇਤਰਤੀਬ ਟੌਪਿੰਗ ਦੇ ਨਾਲ ਇੱਕ ਪੀਜ਼ਾ ਚੁਣਦੇ ਹੋ, ਤਾਂ ਉਪਭੋਗਤਾ ਆਮ ਤੌਰ 'ਤੇ ਸਮੱਗਰੀ ਦੇ ਸਿਰਫ ਛੇ ਮੂਲ ਸੈੱਟਾਂ ਦੇ ਨਾਲ-ਨਾਲ ਕੁਝ ਬੇਤਰਤੀਬੇ ਦੇ ਨਾਲ ਕੰਮ ਕਰਦੇ ਹਨ। ਇਸ ਦੇ ਅਨੁਸਾਰ, ਪੀਜ਼ੇਰੀਆ ਨੇ ਆਪਣੀ ਖਰੀਦਦਾਰੀ ਨੂੰ ਐਡਜਸਟ ਕੀਤਾ. ਇਸ ਤੋਂ ਇਲਾਵਾ, ਉਹ ਆਰਡਰਿੰਗ ਪੜਾਅ ਦੇ ਦੌਰਾਨ ਉਪਭੋਗਤਾਵਾਂ ਨੂੰ ਪੇਸ਼ ਕੀਤੇ ਗਏ ਵਾਧੂ ਉਤਪਾਦਾਂ ਦੀ ਬਿਹਤਰ ਸਿਫ਼ਾਰਸ਼ ਕਰਨ ਦੇ ਯੋਗ ਸੀ, ਜਿਸ ਨਾਲ ਮੁਨਾਫ਼ਾ ਵਧਿਆ।

ਇਕ ਹੋਰ ਉਦਾਹਰਣ: ਵਿਸ਼ਲੇਸ਼ਣ ਉਤਪਾਦ ਆਈਟਮਾਂ ਨੇ H&M ਸਟੋਰ ਨੂੰ ਵਿਕਰੀ ਦੇ ਪੱਧਰਾਂ ਨੂੰ ਕਾਇਮ ਰੱਖਦੇ ਹੋਏ, ਵਿਅਕਤੀਗਤ ਸਟੋਰਾਂ ਵਿੱਚ 40% ਤੱਕ ਵੰਡ ਨੂੰ ਘਟਾਉਣ ਦੀ ਇਜਾਜ਼ਤ ਦਿੱਤੀ। ਇਹ ਮਾੜੀਆਂ ਵਿਕਣ ਵਾਲੀਆਂ ਚੀਜ਼ਾਂ ਨੂੰ ਛੱਡ ਕੇ ਪ੍ਰਾਪਤ ਕੀਤਾ ਗਿਆ ਸੀ, ਅਤੇ ਗਣਨਾਵਾਂ ਵਿੱਚ ਮੌਸਮੀਤਾ ਨੂੰ ਧਿਆਨ ਵਿੱਚ ਰੱਖਿਆ ਗਿਆ ਸੀ।

ਸੰਦ ਦੀ ਚੋਣ

ਇਸ ਕਿਸਮ ਦੀ ਕੰਪਿਊਟਿੰਗ ਲਈ ਉਦਯੋਗ ਦਾ ਮਿਆਰ ਹੈਡੂਪ ਹੈ। ਕਿਉਂ? ਕਿਉਂਕਿ ਹੈਡੂਪ ਇੱਕ ਸ਼ਾਨਦਾਰ, ਚੰਗੀ ਤਰ੍ਹਾਂ ਦਸਤਾਵੇਜ਼ੀ ਢਾਂਚਾ ਹੈ (ਇਸੇ ਹੀ ਹੈਬਰ ਇਸ ਵਿਸ਼ੇ 'ਤੇ ਬਹੁਤ ਸਾਰੇ ਵਿਸਤ੍ਰਿਤ ਲੇਖ ਪ੍ਰਦਾਨ ਕਰਦਾ ਹੈ), ਜੋ ਕਿ ਉਪਯੋਗਤਾਵਾਂ ਅਤੇ ਲਾਇਬ੍ਰੇਰੀਆਂ ਦੇ ਇੱਕ ਪੂਰੇ ਸਮੂਹ ਦੇ ਨਾਲ ਹੈ। ਤੁਸੀਂ ਢਾਂਚਾਗਤ ਅਤੇ ਗੈਰ-ਸੰਗਠਿਤ ਡੇਟਾ ਦੇ ਵੱਡੇ ਸੈੱਟਾਂ ਨੂੰ ਇਨਪੁਟ ਕਰ ਸਕਦੇ ਹੋ, ਅਤੇ ਸਿਸਟਮ ਖੁਦ ਇਸਨੂੰ ਕੰਪਿਊਟਿੰਗ ਪਾਵਰ ਵਿੱਚ ਵੰਡ ਦੇਵੇਗਾ। ਇਸ ਤੋਂ ਇਲਾਵਾ, ਇਹ ਉਹੀ ਸਮਰੱਥਾਵਾਂ ਨੂੰ ਕਿਸੇ ਵੀ ਸਮੇਂ ਵਧਾਇਆ ਜਾਂ ਅਯੋਗ ਕੀਤਾ ਜਾ ਸਕਦਾ ਹੈ - ਉਹੀ ਹਰੀਜੱਟਲ ਸਕੇਲੇਬਿਲਟੀ ਕਿਰਿਆ ਵਿੱਚ ਹੈ।

2017 ਵਿੱਚ, ਪ੍ਰਭਾਵਸ਼ਾਲੀ ਸਲਾਹਕਾਰ ਕੰਪਨੀ ਗਾਰਟਨਰ ਸਿੱਟਾ ਕੱਢਿਆਕਿ ਹਡੂਪ ਜਲਦੀ ਹੀ ਪੁਰਾਣਾ ਹੋ ਜਾਵੇਗਾ। ਕਾਰਨ ਕਾਫ਼ੀ ਮਾਮੂਲੀ ਹੈ: ਵਿਸ਼ਲੇਸ਼ਕਾਂ ਦਾ ਮੰਨਣਾ ਹੈ ਕਿ ਕੰਪਨੀਆਂ ਵੱਡੇ ਪੱਧਰ 'ਤੇ ਕਲਾਉਡ 'ਤੇ ਮਾਈਗ੍ਰੇਟ ਕਰਨਗੀਆਂ, ਕਿਉਂਕਿ ਉੱਥੇ ਉਹ ਕੰਪਿਊਟਿੰਗ ਪਾਵਰ ਦੀ ਵਰਤੋਂ ਕਰਦੇ ਹੋਏ ਭੁਗਤਾਨ ਕਰਨ ਦੇ ਯੋਗ ਹੋਣਗੇ। ਦੂਜਾ ਮਹੱਤਵਪੂਰਨ ਕਾਰਕ ਜੋ ਹਡੂਪ ਨੂੰ "ਦਫਨ" ਕਰ ਸਕਦਾ ਹੈ ਉਹ ਇਸਦੀ ਗਤੀ ਹੈ। ਕਿਉਂਕਿ ਅਪਾਚੇ ਸਪਾਰਕ ਜਾਂ ਗੂਗਲ ਕਲਾਉਡ ਡੇਟਾਫਲੋ ਵਰਗੇ ਵਿਕਲਪ MapReduce ਨਾਲੋਂ ਤੇਜ਼ ਹਨ, ਜੋ ਹੈਡੂਪ ਦੇ ਅਧੀਨ ਹੈ।

ਹੈਡੂਪ ਕਈ ਥੰਮ੍ਹਾਂ 'ਤੇ ਟਿਕੀ ਹੋਈ ਹੈ, ਜਿਨ੍ਹਾਂ ਵਿੱਚੋਂ ਸਭ ਤੋਂ ਵੱਧ ਧਿਆਨ ਦੇਣ ਯੋਗ ਮੈਪਰੀਡਿਊਸ ਤਕਨਾਲੋਜੀਆਂ (ਸਰਵਰਾਂ ਵਿਚਕਾਰ ਗਣਨਾਵਾਂ ਲਈ ਡੇਟਾ ਵੰਡਣ ਲਈ ਇੱਕ ਸਿਸਟਮ) ਅਤੇ HDFS ਫਾਈਲ ਸਿਸਟਮ ਹਨ। ਬਾਅਦ ਵਾਲਾ ਵਿਸ਼ੇਸ਼ ਤੌਰ 'ਤੇ ਕਲੱਸਟਰ ਨੋਡਾਂ ਵਿਚਕਾਰ ਵੰਡੀ ਗਈ ਜਾਣਕਾਰੀ ਨੂੰ ਸਟੋਰ ਕਰਨ ਲਈ ਤਿਆਰ ਕੀਤਾ ਗਿਆ ਹੈ: ਇੱਕ ਨਿਸ਼ਚਿਤ ਆਕਾਰ ਦੇ ਹਰੇਕ ਬਲਾਕ ਨੂੰ ਕਈ ਨੋਡਾਂ 'ਤੇ ਰੱਖਿਆ ਜਾ ਸਕਦਾ ਹੈ, ਅਤੇ ਪ੍ਰਤੀਕ੍ਰਿਤੀ ਲਈ ਧੰਨਵਾਦ, ਸਿਸਟਮ ਵਿਅਕਤੀਗਤ ਨੋਡਾਂ ਦੀਆਂ ਅਸਫਲਤਾਵਾਂ ਲਈ ਲਚਕੀਲਾ ਹੈ। ਇੱਕ ਫਾਈਲ ਟੇਬਲ ਦੀ ਬਜਾਏ, NameNode ਨਾਮਕ ਇੱਕ ਵਿਸ਼ੇਸ਼ ਸਰਵਰ ਵਰਤਿਆ ਜਾਂਦਾ ਹੈ.

ਹੇਠਾਂ ਦਿੱਤੀ ਤਸਵੀਰ ਦਿਖਾਉਂਦੀ ਹੈ ਕਿ MapReduce ਕਿਵੇਂ ਕੰਮ ਕਰਦਾ ਹੈ। ਪਹਿਲੇ ਪੜਾਅ 'ਤੇ, ਡੇਟਾ ਨੂੰ ਇੱਕ ਖਾਸ ਮਾਪਦੰਡ ਅਨੁਸਾਰ ਵੰਡਿਆ ਜਾਂਦਾ ਹੈ, ਦੂਜੇ ਪੜਾਅ 'ਤੇ ਇਸਨੂੰ ਕੰਪਿਊਟਿੰਗ ਸ਼ਕਤੀ ਦੇ ਅਨੁਸਾਰ ਵੰਡਿਆ ਜਾਂਦਾ ਹੈ, ਅਤੇ ਤੀਜੇ ਪੜਾਅ 'ਤੇ ਗਣਨਾ ਹੁੰਦੀ ਹੈ।

MapReduce ਅਸਲ ਵਿੱਚ ਗੂਗਲ ਦੁਆਰਾ ਇਸਦੀਆਂ ਖੋਜ ਲੋੜਾਂ ਲਈ ਬਣਾਇਆ ਗਿਆ ਸੀ। ਫਿਰ MapReduce ਮੁਫਤ ਕੋਡ ਚਲਾ ਗਿਆ, ਅਤੇ ਅਪਾਚੇ ਨੇ ਪ੍ਰੋਜੈਕਟ ਨੂੰ ਸੰਭਾਲ ਲਿਆ। ਖੈਰ, ਗੂਗਲ ਹੌਲੀ ਹੌਲੀ ਦੂਜੇ ਹੱਲਾਂ ਵੱਲ ਮਾਈਗਰੇਟ ਹੋ ਗਿਆ. ਇੱਕ ਦਿਲਚਸਪ ਟਿਡਬਿਟ: ਗੂਗਲ ਕੋਲ ਵਰਤਮਾਨ ਵਿੱਚ ਗੂਗਲ ਕਲਾਉਡ ਡੇਟਾਫਲੋ ਨਾਮਕ ਇੱਕ ਪ੍ਰੋਜੈਕਟ ਹੈ, ਜੋ ਹੈਡੂਪ ਤੋਂ ਬਾਅਦ ਅਗਲੇ ਪੜਾਅ ਵਜੋਂ, ਇਸਦੇ ਲਈ ਇੱਕ ਤੁਰੰਤ ਬਦਲ ਵਜੋਂ ਸਥਿਤ ਹੈ.

ਇੱਕ ਨਜ਼ਦੀਕੀ ਨਜ਼ਰੀਏ ਤੋਂ ਪਤਾ ਲੱਗਦਾ ਹੈ ਕਿ ਗੂਗਲ ਕਲਾਉਡ ਡੇਟਾਫਲੋ ਅਪਾਚੇ ਬੀਮ ਦੀ ਇੱਕ ਪਰਿਵਰਤਨ 'ਤੇ ਅਧਾਰਤ ਹੈ, ਜਦੋਂ ਕਿ ਅਪਾਚੇ ਬੀਮ ਵਿੱਚ ਚੰਗੀ ਤਰ੍ਹਾਂ ਦਸਤਾਵੇਜ਼ੀ ਅਪਾਚੇ ਸਪਾਰਕ ਫਰੇਮਵਰਕ ਸ਼ਾਮਲ ਹੈ, ਜੋ ਸਾਨੂੰ ਹੱਲਾਂ ਦੀ ਲਗਭਗ ਇੱਕੋ ਐਗਜ਼ੀਕਿਊਸ਼ਨ ਸਪੀਡ ਬਾਰੇ ਗੱਲ ਕਰਨ ਦੀ ਇਜਾਜ਼ਤ ਦਿੰਦਾ ਹੈ। ਖੈਰ, ਅਪਾਚੇ ਸਪਾਰਕ HDFS ਫਾਈਲ ਸਿਸਟਮ 'ਤੇ ਪੂਰੀ ਤਰ੍ਹਾਂ ਕੰਮ ਕਰਦਾ ਹੈ, ਜੋ ਇਸਨੂੰ Hadoop ਸਰਵਰਾਂ 'ਤੇ ਤੈਨਾਤ ਕਰਨ ਦੀ ਆਗਿਆ ਦਿੰਦਾ ਹੈ।

ਇੱਥੇ ਹੈਡੂਪ ਅਤੇ ਸਪਾਰਕ ਬਨਾਮ ਗੂਗਲ ਕਲਾਉਡ ਡੇਟਾਫਲੋ ਲਈ ਦਸਤਾਵੇਜ਼ਾਂ ਦੀ ਮਾਤਰਾ ਅਤੇ ਤਿਆਰ ਕੀਤੇ ਹੱਲ ਸ਼ਾਮਲ ਕਰੋ, ਅਤੇ ਟੂਲ ਦੀ ਚੋਣ ਸਪੱਸ਼ਟ ਹੋ ਜਾਂਦੀ ਹੈ। ਇਸ ਤੋਂ ਇਲਾਵਾ, ਇੰਜੀਨੀਅਰ ਆਪਣੇ ਲਈ ਇਹ ਫੈਸਲਾ ਕਰ ਸਕਦੇ ਹਨ ਕਿ ਕਿਹੜਾ ਕੋਡ - ਹੈਡੂਪ ਜਾਂ ਸਪਾਰਕ ਲਈ - ਉਹਨਾਂ ਨੂੰ ਕੰਮ, ਅਨੁਭਵ ਅਤੇ ਯੋਗਤਾਵਾਂ 'ਤੇ ਧਿਆਨ ਕੇਂਦ੍ਰਤ ਕਰਦੇ ਹੋਏ ਚਲਾਉਣਾ ਚਾਹੀਦਾ ਹੈ।

ਕਲਾਉਡ ਜਾਂ ਸਥਾਨਕ ਸਰਵਰ

ਕਲਾਉਡ ਵਿੱਚ ਇੱਕ ਆਮ ਤਬਦੀਲੀ ਵੱਲ ਰੁਝਾਨ ਨੇ ਹਦੂਪ-ਏ-ਏ-ਸਰਵਿਸ ਵਰਗੇ ਦਿਲਚਸਪ ਸ਼ਬਦ ਨੂੰ ਵੀ ਜਨਮ ਦਿੱਤਾ ਹੈ। ਅਜਿਹੀ ਸਥਿਤੀ ਵਿੱਚ, ਜੁੜੇ ਸਰਵਰਾਂ ਦਾ ਪ੍ਰਬੰਧਨ ਬਹੁਤ ਮਹੱਤਵਪੂਰਨ ਹੋ ਗਿਆ ਹੈ। ਕਿਉਂਕਿ, ਹਾਏ, ਇਸਦੀ ਪ੍ਰਸਿੱਧੀ ਦੇ ਬਾਵਜੂਦ, ਸ਼ੁੱਧ ਹਡੂਪ ਕੌਂਫਿਗਰ ਕਰਨ ਲਈ ਇੱਕ ਮੁਸ਼ਕਲ ਸਾਧਨ ਹੈ, ਕਿਉਂਕਿ ਬਹੁਤ ਕੁਝ ਹੱਥੀਂ ਕਰਨਾ ਪੈਂਦਾ ਹੈ। ਉਦਾਹਰਨ ਲਈ, ਸਰਵਰਾਂ ਨੂੰ ਵੱਖਰੇ ਤੌਰ 'ਤੇ ਕੌਂਫਿਗਰ ਕਰੋ, ਉਹਨਾਂ ਦੀ ਕਾਰਗੁਜ਼ਾਰੀ ਦੀ ਨਿਗਰਾਨੀ ਕਰੋ, ਅਤੇ ਬਹੁਤ ਸਾਰੇ ਮਾਪਦੰਡਾਂ ਨੂੰ ਧਿਆਨ ਨਾਲ ਕੌਂਫਿਗਰ ਕਰੋ। ਆਮ ਤੌਰ 'ਤੇ, ਕੰਮ ਸ਼ੁਕੀਨ ਲਈ ਹੁੰਦਾ ਹੈ ਅਤੇ ਕਿਤੇ ਨਾ ਕਿਤੇ ਗੜਬੜ ਜਾਂ ਕੁਝ ਗੁਆਉਣ ਦੀ ਵੱਡੀ ਸੰਭਾਵਨਾ ਹੁੰਦੀ ਹੈ.

ਇਸ ਲਈ, ਵੱਖ-ਵੱਖ ਡਿਸਟ੍ਰੀਬਿਊਸ਼ਨ ਕਿੱਟਾਂ, ਜੋ ਕਿ ਸ਼ੁਰੂ ਵਿੱਚ ਸੁਵਿਧਾਜਨਕ ਤੈਨਾਤੀ ਅਤੇ ਪ੍ਰਸ਼ਾਸਨ ਦੇ ਸਾਧਨਾਂ ਨਾਲ ਲੈਸ ਹੁੰਦੀਆਂ ਹਨ, ਬਹੁਤ ਮਸ਼ਹੂਰ ਹੋ ਗਈਆਂ ਹਨ। ਸਭ ਤੋਂ ਵੱਧ ਪ੍ਰਸਿੱਧ ਡਿਸਟਰੀਬਿਊਸ਼ਨਾਂ ਵਿੱਚੋਂ ਇੱਕ ਜੋ ਸਪਾਰਕ ਦਾ ਸਮਰਥਨ ਕਰਦਾ ਹੈ ਅਤੇ ਹਰ ਚੀਜ਼ ਨੂੰ ਆਸਾਨ ਬਣਾਉਂਦਾ ਹੈ ਕਲਾਉਡੇਰਾ ਹੈ। ਇਸ ਵਿੱਚ ਅਦਾਇਗੀ ਅਤੇ ਮੁਫਤ ਸੰਸਕਰਣ ਦੋਨੋਂ ਹਨ - ਅਤੇ ਬਾਅਦ ਵਿੱਚ, ਨੋਡਾਂ ਦੀ ਗਿਣਤੀ ਨੂੰ ਸੀਮਿਤ ਕੀਤੇ ਬਿਨਾਂ, ਸਾਰੀਆਂ ਬੁਨਿਆਦੀ ਕਾਰਜਸ਼ੀਲਤਾ ਉਪਲਬਧ ਹਨ।

ਸੈੱਟਅੱਪ ਦੇ ਦੌਰਾਨ, Cloudera ਮੈਨੇਜਰ SSH ਰਾਹੀਂ ਤੁਹਾਡੇ ਸਰਵਰਾਂ ਨਾਲ ਜੁੜ ਜਾਵੇਗਾ। ਇੱਕ ਦਿਲਚਸਪ ਬਿੰਦੂ: ਇੰਸਟਾਲ ਕਰਨ ਵੇਲੇ, ਇਹ ਨਿਰਧਾਰਤ ਕਰਨਾ ਬਿਹਤਰ ਹੈ ਕਿ ਇਹ ਅਖੌਤੀ ਦੁਆਰਾ ਕੀਤਾ ਜਾਵੇ ਪਾਰਸਲ: ਵਿਸ਼ੇਸ਼ ਪੈਕੇਜ, ਜਿਨ੍ਹਾਂ ਵਿੱਚੋਂ ਹਰੇਕ ਵਿੱਚ ਇੱਕ ਦੂਜੇ ਨਾਲ ਕੰਮ ਕਰਨ ਲਈ ਸੰਰਚਿਤ ਕੀਤੇ ਸਾਰੇ ਲੋੜੀਂਦੇ ਭਾਗ ਹੁੰਦੇ ਹਨ। ਅਸਲ ਵਿੱਚ ਇਹ ਪੈਕੇਜ ਮੈਨੇਜਰ ਦਾ ਇੱਕ ਸੁਧਾਰਿਆ ਸੰਸਕਰਣ ਹੈ।

ਇੰਸਟਾਲੇਸ਼ਨ ਤੋਂ ਬਾਅਦ, ਸਾਨੂੰ ਇੱਕ ਕਲੱਸਟਰ ਪ੍ਰਬੰਧਨ ਕੰਸੋਲ ਮਿਲਦਾ ਹੈ, ਜਿੱਥੇ ਤੁਸੀਂ ਕਲੱਸਟਰ ਟੈਲੀਮੈਟਰੀ, ਸਥਾਪਿਤ ਸੇਵਾਵਾਂ ਨੂੰ ਦੇਖ ਸਕਦੇ ਹੋ, ਨਾਲ ਹੀ ਤੁਸੀਂ ਸਰੋਤ ਜੋੜ/ਹਟਾ ਸਕਦੇ ਹੋ ਅਤੇ ਕਲੱਸਟਰ ਸੰਰਚਨਾ ਨੂੰ ਸੰਪਾਦਿਤ ਕਰ ਸਕਦੇ ਹੋ।

ਨਤੀਜੇ ਵਜੋਂ, ਰਾਕੇਟ ਦਾ ਕੈਬਿਨ ਜੋ ਤੁਹਾਨੂੰ ਬਿਗਡਾਟਾ ਦੇ ਉੱਜਵਲ ਭਵਿੱਖ ਵਿੱਚ ਲੈ ਜਾਵੇਗਾ ਤੁਹਾਡੇ ਸਾਹਮਣੇ ਦਿਖਾਈ ਦਿੰਦਾ ਹੈ। ਪਰ ਇਸ ਤੋਂ ਪਹਿਲਾਂ ਕਿ ਅਸੀਂ "ਚਲੋ ਚੱਲੀਏ" ਕਹੀਏ, ਆਓ ਹੁੱਡ ਦੇ ਹੇਠਾਂ ਚੱਲੀਏ।

ਹਾਰਡਵੇਅਰ ਲੋੜਾਂ

ਇਸਦੀ ਵੈਬਸਾਈਟ 'ਤੇ, Cloudera ਵੱਖ-ਵੱਖ ਸੰਭਵ ਸੰਰਚਨਾਵਾਂ ਦਾ ਜ਼ਿਕਰ ਕਰਦਾ ਹੈ. ਆਮ ਸਿਧਾਂਤ ਜਿਨ੍ਹਾਂ ਦੁਆਰਾ ਉਹ ਬਣਾਏ ਗਏ ਹਨ, ਨੂੰ ਦ੍ਰਿਸ਼ਟਾਂਤ ਵਿੱਚ ਦਿਖਾਇਆ ਗਿਆ ਹੈ:

MapReduce ਇਸ ਆਸ਼ਾਵਾਦੀ ਤਸਵੀਰ ਨੂੰ ਧੁੰਦਲਾ ਕਰ ਸਕਦਾ ਹੈ। ਜੇਕਰ ਤੁਸੀਂ ਪਿਛਲੇ ਭਾਗ ਦੇ ਚਿੱਤਰ ਨੂੰ ਦੁਬਾਰਾ ਦੇਖਦੇ ਹੋ, ਤਾਂ ਇਹ ਸਪੱਸ਼ਟ ਹੋ ਜਾਂਦਾ ਹੈ ਕਿ ਲਗਭਗ ਸਾਰੇ ਮਾਮਲਿਆਂ ਵਿੱਚ, ਇੱਕ MapReduce ਨੌਕਰੀ ਡਿਸਕ ਜਾਂ ਨੈੱਟਵਰਕ ਤੋਂ ਡਾਟਾ ਪੜ੍ਹਦੇ ਸਮੇਂ ਇੱਕ ਰੁਕਾਵਟ ਦਾ ਸਾਹਮਣਾ ਕਰ ਸਕਦੀ ਹੈ। ਇਹ Cloudera ਬਲੌਗ ਵਿੱਚ ਵੀ ਨੋਟ ਕੀਤਾ ਗਿਆ ਹੈ. ਨਤੀਜੇ ਵਜੋਂ, ਕਿਸੇ ਵੀ ਤੇਜ਼ ਗਣਨਾ ਲਈ, ਸਪਾਰਕ ਦੁਆਰਾ, ਜੋ ਕਿ ਅਕਸਰ ਰੀਅਲ-ਟਾਈਮ ਗਣਨਾਵਾਂ ਲਈ ਵਰਤੀ ਜਾਂਦੀ ਹੈ, I/O ਸਪੀਡ ਬਹੁਤ ਮਹੱਤਵਪੂਰਨ ਹੈ। ਇਸ ਲਈ, ਹੈਡੂਪ ਦੀ ਵਰਤੋਂ ਕਰਦੇ ਸਮੇਂ, ਇਹ ਬਹੁਤ ਮਹੱਤਵਪੂਰਨ ਹੈ ਕਿ ਕਲੱਸਟਰ ਵਿੱਚ ਸੰਤੁਲਿਤ ਅਤੇ ਤੇਜ਼ ਮਸ਼ੀਨਾਂ ਸ਼ਾਮਲ ਹੋਣ, ਜੋ ਕਿ ਇਸ ਨੂੰ ਹਲਕੇ ਰੂਪ ਵਿੱਚ ਕਹਿਣ ਲਈ, ਕਲਾਉਡ ਬੁਨਿਆਦੀ ਢਾਂਚੇ ਵਿੱਚ ਹਮੇਸ਼ਾਂ ਯਕੀਨੀ ਨਹੀਂ ਹੁੰਦੀਆਂ ਹਨ।

ਲੋਡ ਵੰਡ ਵਿੱਚ ਸੰਤੁਲਨ ਸ਼ਕਤੀਸ਼ਾਲੀ ਮਲਟੀ-ਕੋਰ CPUs ਵਾਲੇ ਸਰਵਰਾਂ 'ਤੇ ਓਪਨਸਟੈਕ ਵਰਚੁਅਲਾਈਜੇਸ਼ਨ ਦੀ ਵਰਤੋਂ ਦੁਆਰਾ ਪ੍ਰਾਪਤ ਕੀਤਾ ਜਾਂਦਾ ਹੈ। ਡਾਟਾ ਨੋਡਾਂ ਨੂੰ ਉਹਨਾਂ ਦੇ ਆਪਣੇ ਪ੍ਰੋਸੈਸਰ ਸਰੋਤ ਅਤੇ ਖਾਸ ਡਿਸਕਾਂ ਨਿਰਧਾਰਤ ਕੀਤੀਆਂ ਜਾਂਦੀਆਂ ਹਨ। ਸਾਡੇ ਫੈਸਲੇ ਵਿੱਚ ਐਟੋਸ ਕੋਡੈਕਸ ਡਾਟਾ ਲੇਕ ਇੰਜਣ ਵਿਆਪਕ ਵਰਚੁਅਲਾਈਜੇਸ਼ਨ ਪ੍ਰਾਪਤ ਕੀਤੀ ਜਾਂਦੀ ਹੈ, ਜਿਸ ਕਾਰਨ ਸਾਨੂੰ ਪ੍ਰਦਰਸ਼ਨ ਦੇ ਰੂਪ ਵਿੱਚ (ਨੈੱਟਵਰਕ ਬੁਨਿਆਦੀ ਢਾਂਚੇ ਦਾ ਪ੍ਰਭਾਵ ਘੱਟ ਤੋਂ ਘੱਟ ਕੀਤਾ ਜਾਂਦਾ ਹੈ) ਅਤੇ ਟੀਸੀਓ (ਵਾਧੂ ਭੌਤਿਕ ਸਰਵਰਾਂ ਨੂੰ ਖਤਮ ਕੀਤਾ ਜਾਂਦਾ ਹੈ) ਦੋਵਾਂ ਵਿੱਚ ਫਾਇਦਾ ਹੁੰਦਾ ਹੈ।

BullSequana S200 ਸਰਵਰਾਂ ਦੀ ਵਰਤੋਂ ਕਰਦੇ ਸਮੇਂ, ਸਾਨੂੰ ਇੱਕ ਬਹੁਤ ਹੀ ਸਮਾਨ ਲੋਡ ਮਿਲਦਾ ਹੈ, ਕੁਝ ਰੁਕਾਵਟਾਂ ਤੋਂ ਰਹਿਤ। ਘੱਟੋ-ਘੱਟ ਸੰਰਚਨਾ ਵਿੱਚ 3 BullSequana S200 ਸਰਵਰ ਸ਼ਾਮਲ ਹੁੰਦੇ ਹਨ, ਹਰੇਕ ਵਿੱਚ ਦੋ JBOD, ਨਾਲ ਹੀ ਚਾਰ ਡਾਟਾ ਨੋਡਾਂ ਵਾਲੇ ਵਾਧੂ S200 ਵਿਕਲਪਿਕ ਤੌਰ 'ਤੇ ਜੁੜੇ ਹੁੰਦੇ ਹਨ। ਇੱਥੇ TeraGen ਟੈਸਟ ਵਿੱਚ ਲੋਡ ਦੀ ਇੱਕ ਉਦਾਹਰਨ ਹੈ:

ਵੱਖ-ਵੱਖ ਡਾਟਾ ਵਾਲੀਅਮ ਅਤੇ ਪ੍ਰਤੀਕ੍ਰਿਤੀ ਮੁੱਲਾਂ ਵਾਲੇ ਟੈਸਟ ਕਲੱਸਟਰ ਨੋਡਾਂ ਵਿਚਕਾਰ ਲੋਡ ਵੰਡ ਦੇ ਰੂਪ ਵਿੱਚ ਇੱਕੋ ਜਿਹੇ ਨਤੀਜੇ ਦਿਖਾਉਂਦੇ ਹਨ। ਹੇਠਾਂ ਪ੍ਰਦਰਸ਼ਨ ਟੈਸਟਾਂ ਦੁਆਰਾ ਡਿਸਕ ਪਹੁੰਚ ਦੀ ਵੰਡ ਦਾ ਇੱਕ ਗ੍ਰਾਫ ਹੈ।

ਗਣਨਾ 3 BullSequana S200 ਸਰਵਰਾਂ ਦੀ ਘੱਟੋ-ਘੱਟ ਸੰਰਚਨਾ ਦੇ ਆਧਾਰ 'ਤੇ ਕੀਤੀ ਗਈ ਸੀ। ਇਸ ਵਿੱਚ 9 ਡਾਟਾ ਨੋਡ ਅਤੇ 3 ਮਾਸਟਰ ਨੋਡ ਸ਼ਾਮਲ ਹਨ, ਨਾਲ ਹੀ ਓਪਨਸਟੈਕ ਵਰਚੁਅਲਾਈਜੇਸ਼ਨ ਦੇ ਆਧਾਰ 'ਤੇ ਸੁਰੱਖਿਆ ਦੀ ਤੈਨਾਤੀ ਦੇ ਮਾਮਲੇ ਵਿੱਚ ਰਿਜ਼ਰਵਡ ਵਰਚੁਅਲ ਮਸ਼ੀਨਾਂ ਸ਼ਾਮਲ ਹਨ। ਟੈਰਾਸੋਰਟ ਟੈਸਟ ਨਤੀਜਾ: ਏਨਕ੍ਰਿਪਸ਼ਨ ਦੇ ਨਾਲ ਤਿੰਨ ਦੇ ਬਰਾਬਰ ਬਲਾਕ ਆਕਾਰ 512 MB ਪ੍ਰਤੀਕ੍ਰਿਤੀ ਫੈਕਟਰ 23,1 ਮਿੰਟ ਹੈ।

ਸਿਸਟਮ ਦਾ ਵਿਸਥਾਰ ਕਿਵੇਂ ਕੀਤਾ ਜਾ ਸਕਦਾ ਹੈ? ਡਾਟਾ ਲੇਕ ਇੰਜਣ ਲਈ ਵੱਖ-ਵੱਖ ਕਿਸਮਾਂ ਦੀਆਂ ਐਕਸਟੈਂਸ਼ਨਾਂ ਉਪਲਬਧ ਹਨ:

• ਡਾਟਾ ਨੋਡ: ਹਰ 40 TB ਵਰਤੋਂ ਯੋਗ ਥਾਂ ਲਈ
• ਇੱਕ GPU ਸਥਾਪਤ ਕਰਨ ਦੀ ਸਮਰੱਥਾ ਵਾਲੇ ਵਿਸ਼ਲੇਸ਼ਣਾਤਮਕ ਨੋਡਸ
• ਕਾਰੋਬਾਰੀ ਲੋੜਾਂ 'ਤੇ ਨਿਰਭਰ ਕਰਦੇ ਹੋਏ ਹੋਰ ਵਿਕਲਪ (ਉਦਾਹਰਨ ਲਈ, ਜੇ ਤੁਹਾਨੂੰ ਕਾਫਕਾ ਅਤੇ ਇਸ ਤਰ੍ਹਾਂ ਦੀ ਲੋੜ ਹੈ)

Atos Codex Data Lake Engine ਵਿੱਚ ਦੋਵੇਂ ਸਰਵਰ ਆਪਣੇ ਆਪ ਅਤੇ ਪਹਿਲਾਂ ਤੋਂ ਸਥਾਪਿਤ ਸੌਫਟਵੇਅਰ ਸ਼ਾਮਲ ਹਨ, ਇੱਕ ਲਾਇਸੰਸਸ਼ੁਦਾ Cloudera ਕਿੱਟ ਸਮੇਤ; ਹਾਡੂਪ ਖੁਦ, RedHat Enterprise Linux ਕਰਨਲ, ਡਾਟਾ ਰੀਪਲੀਕੇਸ਼ਨ ਅਤੇ ਬੈਕਅੱਪ ਸਿਸਟਮ (ਬੈਕਅੱਪ ਨੋਡ ਅਤੇ Cloudera BDR - ਬੈਕਅੱਪ ਅਤੇ ਡਿਜ਼ਾਸਟਰ ਰਿਕਵਰੀ ਦੀ ਵਰਤੋਂ ਸਮੇਤ) 'ਤੇ ਆਧਾਰਿਤ ਵਰਚੁਅਲ ਮਸ਼ੀਨਾਂ ਨਾਲ ਓਪਨਸਟੈਕ। Atos Codex Data Lake Engine ਪ੍ਰਮਾਣਿਤ ਹੋਣ ਵਾਲਾ ਪਹਿਲਾ ਵਰਚੁਅਲਾਈਜੇਸ਼ਨ ਹੱਲ ਬਣ ਗਿਆ ਕਲੋਡੇਰਾ.

ਜੇ ਤੁਸੀਂ ਵੇਰਵਿਆਂ ਵਿੱਚ ਦਿਲਚਸਪੀ ਰੱਖਦੇ ਹੋ, ਤਾਂ ਸਾਨੂੰ ਟਿੱਪਣੀਆਂ ਵਿੱਚ ਸਾਡੇ ਸਵਾਲਾਂ ਦੇ ਜਵਾਬ ਦੇਣ ਵਿੱਚ ਖੁਸ਼ੀ ਹੋਵੇਗੀ।

ਸਰੋਤ: www.habr.com