ਓਪਨ ਸੋਰਸ DataHub: ਲਿੰਕਡਇਨ ਮੈਟਾਡੇਟਾ ਖੋਜ ਅਤੇ ਖੋਜ ਪਲੇਟਫਾਰਮ

ਓਪਨ ਸੋਰਸ DataHub: ਲਿੰਕਡਇਨ ਮੈਟਾਡੇਟਾ ਖੋਜ ਅਤੇ ਖੋਜ ਪਲੇਟਫਾਰਮ

ਤੁਹਾਨੂੰ ਲੋੜੀਂਦੇ ਡੇਟਾ ਨੂੰ ਤੇਜ਼ੀ ਨਾਲ ਲੱਭਣਾ ਕਿਸੇ ਵੀ ਕੰਪਨੀ ਲਈ ਜ਼ਰੂਰੀ ਹੈ ਜੋ ਡੇਟਾ-ਸੰਚਾਲਿਤ ਫੈਸਲੇ ਲੈਣ ਲਈ ਵੱਡੀ ਮਾਤਰਾ ਵਿੱਚ ਡੇਟਾ 'ਤੇ ਨਿਰਭਰ ਕਰਦੀ ਹੈ। ਇਹ ਨਾ ਸਿਰਫ਼ ਡੇਟਾ ਉਪਭੋਗਤਾਵਾਂ (ਵਿਸ਼ਲੇਸ਼ਕ, ਮਸ਼ੀਨ ਸਿਖਲਾਈ ਡਿਵੈਲਪਰ, ਡੇਟਾ ਸਾਇੰਟਿਸਟ, ਅਤੇ ਡੇਟਾ ਇੰਜਨੀਅਰਾਂ ਸਮੇਤ) ਦੀ ਉਤਪਾਦਕਤਾ ਨੂੰ ਪ੍ਰਭਾਵਤ ਕਰਦਾ ਹੈ, ਬਲਕਿ ਇਸਦਾ ਉਹਨਾਂ ਅੰਤਮ ਉਤਪਾਦਾਂ 'ਤੇ ਵੀ ਸਿੱਧਾ ਪ੍ਰਭਾਵ ਪੈਂਦਾ ਹੈ ਜੋ ਗੁਣਵੱਤਾ ਵਾਲੀ ਮਸ਼ੀਨ ਸਿਖਲਾਈ (ML) ਪਾਈਪਲਾਈਨ 'ਤੇ ਨਿਰਭਰ ਕਰਦੇ ਹਨ। ਇਸ ਤੋਂ ਇਲਾਵਾ, ਮਸ਼ੀਨ ਲਰਨਿੰਗ ਪਲੇਟਫਾਰਮਾਂ ਨੂੰ ਲਾਗੂ ਕਰਨ ਜਾਂ ਬਣਾਉਣ ਵੱਲ ਰੁਝਾਨ ਕੁਦਰਤੀ ਤੌਰ 'ਤੇ ਇਹ ਸਵਾਲ ਉਠਾਉਂਦਾ ਹੈ: ਅੰਦਰੂਨੀ ਤੌਰ 'ਤੇ ਵਿਸ਼ੇਸ਼ਤਾਵਾਂ, ਮਾਡਲਾਂ, ਮੈਟ੍ਰਿਕਸ, ਡੇਟਾਸੈਟਾਂ, ਆਦਿ ਦੀ ਖੋਜ ਕਰਨ ਲਈ ਤੁਹਾਡਾ ਤਰੀਕਾ ਕੀ ਹੈ।

ਇਸ ਲੇਖ ਵਿੱਚ ਅਸੀਂ ਇਸ ਬਾਰੇ ਗੱਲ ਕਰਾਂਗੇ ਕਿ ਅਸੀਂ ਇੱਕ ਓਪਨ ਲਾਇਸੰਸ ਦੇ ਤਹਿਤ ਇੱਕ ਡੇਟਾ ਸਰੋਤ ਨੂੰ ਕਿਵੇਂ ਪ੍ਰਕਾਸ਼ਿਤ ਕੀਤਾ ਹੈ DataHub ਸਾਡੇ ਮੈਟਾਡੇਟਾ ਖੋਜ ਅਤੇ ਖੋਜ ਪਲੇਟਫਾਰਮ ਵਿੱਚ, ਪ੍ਰੋਜੈਕਟ ਦੇ ਸ਼ੁਰੂਆਤੀ ਦਿਨਾਂ ਤੋਂ ਸ਼ੁਰੂ ਕਰਦੇ ਹੋਏ ਕਿੱਥੇ ਕਿਵੇਂ. ਲਿੰਕਡਇਨ ਓਪਨ ਸੋਰਸ ਸੰਸਕਰਣ ਤੋਂ ਵੱਖਰੇ ਤੌਰ 'ਤੇ DataHub ਦੇ ਆਪਣੇ ਸੰਸਕਰਣ ਨੂੰ ਕਾਇਮ ਰੱਖਦਾ ਹੈ। ਅਸੀਂ ਇਹ ਦੱਸ ਕੇ ਸ਼ੁਰੂ ਕਰਾਂਗੇ ਕਿ ਸਾਨੂੰ ਦੋ ਵੱਖ-ਵੱਖ ਵਿਕਾਸ ਵਾਤਾਵਰਣਾਂ ਦੀ ਕਿਉਂ ਲੋੜ ਹੈ, ਫਿਰ ਓਪਨ ਸੋਰਸ WhereHows ਦੀ ਵਰਤੋਂ ਕਰਨ ਲਈ ਸ਼ੁਰੂਆਤੀ ਪਹੁੰਚਾਂ 'ਤੇ ਚਰਚਾ ਕਰਾਂਗੇ ਅਤੇ ਡੇਟਾਹੱਬ ਦੇ ਸਾਡੇ ਅੰਦਰੂਨੀ (ਉਤਪਾਦਨ) ਸੰਸਕਰਣ ਦੀ ਤੁਲਨਾ GitHub. ਅਸੀਂ ਦੋਵੇਂ ਰਿਪੋਜ਼ਟਰੀਆਂ ਨੂੰ ਸਿੰਕ ਵਿੱਚ ਰੱਖਣ ਲਈ ਓਪਨ ਸੋਰਸ ਅੱਪਡੇਟ ਨੂੰ ਅੱਗੇ ਵਧਾਉਣ ਅਤੇ ਪ੍ਰਾਪਤ ਕਰਨ ਲਈ ਸਾਡੇ ਨਵੇਂ ਸਵੈਚਲਿਤ ਹੱਲ ਬਾਰੇ ਵੇਰਵੇ ਵੀ ਸਾਂਝੇ ਕਰਾਂਗੇ। ਅੰਤ ਵਿੱਚ, ਅਸੀਂ ਓਪਨ ਸੋਰਸ DataHub ਦੀ ਵਰਤੋਂ ਸ਼ੁਰੂ ਕਰਨ ਬਾਰੇ ਹਦਾਇਤਾਂ ਪ੍ਰਦਾਨ ਕਰਾਂਗੇ ਅਤੇ ਇਸਦੇ ਢਾਂਚੇ ਬਾਰੇ ਸੰਖੇਪ ਵਿੱਚ ਚਰਚਾ ਕਰਾਂਗੇ।

WhereHows ਹੁਣ ਇੱਕ DataHub ਹੈ!

ਲਿੰਕਡਇਨ ਦੀ ਮੈਟਾਡੇਟਾ ਟੀਮ ਨੇ ਪਹਿਲਾਂ ਪੇਸ਼ ਕੀਤਾ ਸੀ DataHub (WhereHows ਦਾ ਉੱਤਰਾਧਿਕਾਰੀ), ​​ਲਿੰਕਡਇਨ ਦਾ ਖੋਜ ਅਤੇ ਮੈਟਾਡੇਟਾ ਖੋਜ ਪਲੇਟਫਾਰਮ, ਅਤੇ ਇਸਨੂੰ ਖੋਲ੍ਹਣ ਦੀਆਂ ਯੋਜਨਾਵਾਂ ਸਾਂਝੀਆਂ ਕੀਤੀਆਂ। ਇਸ ਘੋਸ਼ਣਾ ਤੋਂ ਥੋੜ੍ਹੀ ਦੇਰ ਬਾਅਦ, ਅਸੀਂ DataHub ਦਾ ਇੱਕ ਅਲਫ਼ਾ ਸੰਸਕਰਣ ਜਾਰੀ ਕੀਤਾ ਅਤੇ ਇਸਨੂੰ ਭਾਈਚਾਰੇ ਨਾਲ ਸਾਂਝਾ ਕੀਤਾ। ਉਦੋਂ ਤੋਂ, ਅਸੀਂ ਲਗਾਤਾਰ ਰਿਪੋਜ਼ਟਰੀ ਵਿੱਚ ਯੋਗਦਾਨ ਪਾਇਆ ਹੈ ਅਤੇ ਸਭ ਤੋਂ ਵੱਧ ਬੇਨਤੀ ਕੀਤੀਆਂ ਵਿਸ਼ੇਸ਼ਤਾਵਾਂ ਨੂੰ ਜੋੜਨ ਅਤੇ ਸਮੱਸਿਆਵਾਂ ਨੂੰ ਹੱਲ ਕਰਨ ਲਈ ਦਿਲਚਸਪੀ ਰੱਖਣ ਵਾਲੇ ਉਪਭੋਗਤਾਵਾਂ ਨਾਲ ਕੰਮ ਕੀਤਾ ਹੈ। ਅਸੀਂ ਹੁਣ ਅਧਿਕਾਰਤ ਰਿਲੀਜ਼ ਦੀ ਘੋਸ਼ਣਾ ਕਰਦੇ ਹੋਏ ਖੁਸ਼ ਹਾਂ GitHub 'ਤੇ DataHub.

ਓਪਨ ਸੋਰਸ ਪਹੁੰਚ

WhereHows, ਡੇਟਾ ਲੱਭਣ ਲਈ ਲਿੰਕਡਇਨ ਦਾ ਮੂਲ ਪੋਰਟਲ ਅਤੇ ਇਹ ਕਿੱਥੋਂ ਆਉਂਦਾ ਹੈ, ਇੱਕ ਅੰਦਰੂਨੀ ਪ੍ਰੋਜੈਕਟ ਵਜੋਂ ਸ਼ੁਰੂ ਹੋਇਆ; ਮੈਟਾਡੇਟਾ ਟੀਮ ਨੇ ਇਸਨੂੰ ਖੋਲ੍ਹਿਆ 2016 ਵਿੱਚ ਸਰੋਤ ਕੋਡ. ਉਦੋਂ ਤੋਂ, ਟੀਮ ਨੇ ਹਮੇਸ਼ਾ ਦੋ ਵੱਖ-ਵੱਖ ਕੋਡਬੇਸ ਬਣਾਏ ਹਨ-ਇੱਕ ਓਪਨ ਸੋਰਸ ਲਈ ਅਤੇ ਇੱਕ ਲਿੰਕਡਇਨ ਦੀ ਅੰਦਰੂਨੀ ਵਰਤੋਂ ਲਈ-ਕਿਉਂਕਿ ਲਿੰਕਡਇਨ ਵਰਤੋਂ ਦੇ ਮਾਮਲਿਆਂ ਲਈ ਵਿਕਸਤ ਕੀਤੀਆਂ ਸਾਰੀਆਂ ਉਤਪਾਦ ਵਿਸ਼ੇਸ਼ਤਾਵਾਂ ਆਮ ਤੌਰ 'ਤੇ ਵਿਆਪਕ ਦਰਸ਼ਕਾਂ ਲਈ ਲਾਗੂ ਨਹੀਂ ਹੁੰਦੀਆਂ ਸਨ। ਇਸ ਤੋਂ ਇਲਾਵਾ, WhereHows ਦੀਆਂ ਕੁਝ ਅੰਦਰੂਨੀ ਨਿਰਭਰਤਾਵਾਂ (ਬੁਨਿਆਦੀ ਢਾਂਚਾ, ਲਾਇਬ੍ਰੇਰੀਆਂ, ਆਦਿ) ਹਨ ਜੋ ਓਪਨ ਸੋਰਸ ਨਹੀਂ ਹਨ। ਉਸ ਤੋਂ ਬਾਅਦ ਦੇ ਸਾਲਾਂ ਵਿੱਚ, ਕਿੱਥੇ ਹਾਉਜ਼ ਬਹੁਤ ਸਾਰੇ ਦੁਹਰਾਓ ਅਤੇ ਵਿਕਾਸ ਚੱਕਰਾਂ ਵਿੱਚੋਂ ਲੰਘਿਆ, ਜਿਸ ਨਾਲ ਦੋ ਕੋਡਬੇਸਾਂ ਨੂੰ ਸਮਕਾਲੀ ਬਣਾਉਣਾ ਇੱਕ ਵੱਡੀ ਚੁਣੌਤੀ ਬਣ ਗਿਆ। ਮੈਟਾਡੇਟਾ ਟੀਮ ਨੇ ਅੰਦਰੂਨੀ ਅਤੇ ਓਪਨ ਸੋਰਸ ਵਿਕਾਸ ਨੂੰ ਸਿੰਕ ਵਿੱਚ ਰੱਖਣ ਦੀ ਕੋਸ਼ਿਸ਼ ਕਰਨ ਲਈ ਕਈ ਸਾਲਾਂ ਵਿੱਚ ਵੱਖ-ਵੱਖ ਪਹੁੰਚਾਂ ਦੀ ਕੋਸ਼ਿਸ਼ ਕੀਤੀ ਹੈ।

ਪਹਿਲੀ ਕੋਸ਼ਿਸ਼: "ਪਹਿਲਾਂ ਓਪਨ ਸੋਰਸ"

ਅਸੀਂ ਸ਼ੁਰੂ ਵਿੱਚ ਇੱਕ "ਓਪਨ ਸੋਰਸ ਫਸਟ" ਵਿਕਾਸ ਮਾਡਲ ਦੀ ਪਾਲਣਾ ਕੀਤੀ, ਜਿੱਥੇ ਜ਼ਿਆਦਾਤਰ ਵਿਕਾਸ ਇੱਕ ਓਪਨ ਸੋਰਸ ਰਿਪੋਜ਼ਟਰੀ ਵਿੱਚ ਹੁੰਦਾ ਹੈ ਅਤੇ ਅੰਦਰੂਨੀ ਤੈਨਾਤੀ ਲਈ ਬਦਲਾਅ ਕੀਤੇ ਜਾਂਦੇ ਹਨ। ਇਸ ਪਹੁੰਚ ਨਾਲ ਸਮੱਸਿਆ ਇਹ ਹੈ ਕਿ ਕੋਡ ਨੂੰ ਹਮੇਸ਼ਾਂ ਪਹਿਲਾਂ GitHub ਵੱਲ ਧੱਕਿਆ ਜਾਂਦਾ ਹੈ ਇਸ ਤੋਂ ਪਹਿਲਾਂ ਕਿ ਇਸਦੀ ਅੰਦਰੂਨੀ ਤੌਰ 'ਤੇ ਪੂਰੀ ਤਰ੍ਹਾਂ ਸਮੀਖਿਆ ਕੀਤੀ ਜਾਵੇ। ਜਦੋਂ ਤੱਕ ਓਪਨ ਸੋਰਸ ਰਿਪੋਜ਼ਟਰੀ ਤੋਂ ਤਬਦੀਲੀਆਂ ਨਹੀਂ ਕੀਤੀਆਂ ਜਾਂਦੀਆਂ ਅਤੇ ਇੱਕ ਨਵੀਂ ਅੰਦਰੂਨੀ ਤੈਨਾਤੀ ਨਹੀਂ ਕੀਤੀ ਜਾਂਦੀ, ਸਾਨੂੰ ਕੋਈ ਉਤਪਾਦਨ ਸਮੱਸਿਆਵਾਂ ਨਹੀਂ ਮਿਲਣਗੀਆਂ। ਮਾੜੀ ਤਾਇਨਾਤੀ ਦੇ ਮਾਮਲੇ ਵਿੱਚ, ਦੋਸ਼ੀ ਦਾ ਪਤਾ ਲਗਾਉਣਾ ਵੀ ਬਹੁਤ ਮੁਸ਼ਕਲ ਸੀ ਕਿਉਂਕਿ ਬੈਚਾਂ ਵਿੱਚ ਤਬਦੀਲੀਆਂ ਕੀਤੀਆਂ ਗਈਆਂ ਸਨ।

ਇਸ ਤੋਂ ਇਲਾਵਾ, ਇਸ ਮਾਡਲ ਨੇ ਟੀਮ ਦੀ ਉਤਪਾਦਕਤਾ ਨੂੰ ਘਟਾ ਦਿੱਤਾ ਜਦੋਂ ਨਵੀਆਂ ਵਿਸ਼ੇਸ਼ਤਾਵਾਂ ਵਿਕਸਿਤ ਕੀਤੀਆਂ ਜਿਨ੍ਹਾਂ ਲਈ ਤੇਜ਼ੀ ਨਾਲ ਦੁਹਰਾਓ ਦੀ ਲੋੜ ਹੁੰਦੀ ਹੈ, ਕਿਉਂਕਿ ਇਸ ਨੇ ਸਾਰੀਆਂ ਤਬਦੀਲੀਆਂ ਨੂੰ ਪਹਿਲਾਂ ਇੱਕ ਓਪਨ ਸੋਰਸ ਰਿਪੋਜ਼ਟਰੀ ਵਿੱਚ ਧੱਕਣ ਲਈ ਮਜਬੂਰ ਕੀਤਾ ਅਤੇ ਫਿਰ ਇੱਕ ਅੰਦਰੂਨੀ ਰਿਪੋਜ਼ਟਰੀ ਵਿੱਚ ਧੱਕਿਆ। ਪ੍ਰੋਸੈਸਿੰਗ ਦੇ ਸਮੇਂ ਨੂੰ ਘਟਾਉਣ ਲਈ, ਪਹਿਲਾਂ ਅੰਦਰੂਨੀ ਰਿਪੋਜ਼ਟਰੀ ਵਿੱਚ ਲੋੜੀਂਦਾ ਫਿਕਸ ਜਾਂ ਬਦਲਾਅ ਕੀਤਾ ਜਾ ਸਕਦਾ ਸੀ, ਪਰ ਇਹ ਇੱਕ ਵੱਡੀ ਸਮੱਸਿਆ ਬਣ ਗਈ ਜਦੋਂ ਇਹ ਉਹਨਾਂ ਤਬਦੀਲੀਆਂ ਨੂੰ ਓਪਨ ਸੋਰਸ ਰਿਪੋਜ਼ਟਰੀ ਵਿੱਚ ਮਿਲਾਉਣ ਲਈ ਆਇਆ ਕਿਉਂਕਿ ਦੋ ਰਿਪੋਜ਼ਟਰੀਆਂ ਸਿੰਕ ਤੋਂ ਬਾਹਰ ਸਨ।

ਇਹ ਮਾਡਲ ਸਾਂਝੇ ਪਲੇਟਫਾਰਮਾਂ, ਲਾਇਬ੍ਰੇਰੀਆਂ, ਜਾਂ ਬੁਨਿਆਦੀ ਢਾਂਚੇ ਦੇ ਪ੍ਰੋਜੈਕਟਾਂ ਲਈ ਪੂਰੀ-ਵਿਸ਼ੇਸ਼ ਵਿਸ਼ੇਸ਼ਤਾ ਵਾਲੇ ਕਸਟਮ ਵੈਬ ਐਪਲੀਕੇਸ਼ਨਾਂ ਲਈ ਲਾਗੂ ਕਰਨਾ ਬਹੁਤ ਸੌਖਾ ਹੈ। ਇਸ ਤੋਂ ਇਲਾਵਾ, ਇਹ ਮਾਡਲ ਉਹਨਾਂ ਪ੍ਰੋਜੈਕਟਾਂ ਲਈ ਆਦਰਸ਼ ਹੈ ਜੋ ਪਹਿਲੇ ਦਿਨ ਤੋਂ ਓਪਨ ਸੋਰਸ ਸ਼ੁਰੂ ਕਰਦੇ ਹਨ, ਪਰ ਕਿੱਥੇ ਹਾਉਸ ਨੂੰ ਪੂਰੀ ਤਰ੍ਹਾਂ ਅੰਦਰੂਨੀ ਵੈਬ ਐਪਲੀਕੇਸ਼ਨ ਵਜੋਂ ਬਣਾਇਆ ਗਿਆ ਸੀ। ਸਾਰੀਆਂ ਅੰਦਰੂਨੀ ਨਿਰਭਰਤਾਵਾਂ ਨੂੰ ਪੂਰੀ ਤਰ੍ਹਾਂ ਦੂਰ ਕਰਨਾ ਅਸਲ ਵਿੱਚ ਮੁਸ਼ਕਲ ਸੀ, ਇਸਲਈ ਸਾਨੂੰ ਅੰਦਰੂਨੀ ਫੋਰਕ ਨੂੰ ਰੱਖਣ ਦੀ ਲੋੜ ਸੀ, ਪਰ ਅੰਦਰੂਨੀ ਫੋਰਕ ਨੂੰ ਰੱਖਣਾ ਅਤੇ ਜ਼ਿਆਦਾਤਰ ਓਪਨ ਸੋਰਸ ਨੂੰ ਵਿਕਸਤ ਕਰਨਾ ਕਾਫ਼ੀ ਕੰਮ ਨਹੀਂ ਕਰ ਸਕਿਆ।

ਦੂਜੀ ਕੋਸ਼ਿਸ਼: "ਅੰਦਰੂਨੀ ਪਹਿਲਾ"

**ਦੂਜੀ ਕੋਸ਼ਿਸ਼ ਦੇ ਤੌਰ 'ਤੇ, ਅਸੀਂ ਇੱਕ "ਅੰਦਰੂਨੀ ਪਹਿਲੇ" ਵਿਕਾਸ ਮਾਡਲ 'ਤੇ ਚਲੇ ਗਏ, ਜਿੱਥੇ ਜ਼ਿਆਦਾਤਰ ਵਿਕਾਸ ਅੰਦਰੂਨੀ ਤੌਰ 'ਤੇ ਹੁੰਦਾ ਹੈ ਅਤੇ ਓਪਨ ਸੋਰਸ ਕੋਡ ਵਿੱਚ ਨਿਯਮਿਤ ਤੌਰ 'ਤੇ ਬਦਲਾਅ ਕੀਤੇ ਜਾਂਦੇ ਹਨ। ਹਾਲਾਂਕਿ ਇਹ ਮਾਡਲ ਸਾਡੇ ਵਰਤੋਂ ਦੇ ਕੇਸ ਲਈ ਸਭ ਤੋਂ ਅਨੁਕੂਲ ਹੈ, ਇਸ ਵਿੱਚ ਅੰਦਰੂਨੀ ਸਮੱਸਿਆਵਾਂ ਹਨ। ਸਿੱਧੇ ਤੌਰ 'ਤੇ ਸਾਰੇ ਅੰਤਰਾਂ ਨੂੰ ਓਪਨ ਸੋਰਸ ਰਿਪੋਜ਼ਟਰੀ ਵੱਲ ਧੱਕਣਾ ਅਤੇ ਫਿਰ ਬਾਅਦ ਵਿੱਚ ਅਭੇਦ ਵਿਵਾਦਾਂ ਨੂੰ ਹੱਲ ਕਰਨ ਦੀ ਕੋਸ਼ਿਸ਼ ਕਰਨਾ ਇੱਕ ਵਿਕਲਪ ਹੈ, ਪਰ ਇਹ ਸਮਾਂ ਲੈਣ ਵਾਲਾ ਹੈ। ਜ਼ਿਆਦਾਤਰ ਮਾਮਲਿਆਂ ਵਿੱਚ ਡਿਵੈਲਪਰ ਹਰ ਵਾਰ ਆਪਣੇ ਕੋਡ ਦੀ ਸਮੀਖਿਆ ਕਰਨ 'ਤੇ ਅਜਿਹਾ ਨਾ ਕਰਨ ਦੀ ਕੋਸ਼ਿਸ਼ ਕਰਦੇ ਹਨ। ਨਤੀਜੇ ਵਜੋਂ, ਇਹ ਬਹੁਤ ਘੱਟ ਵਾਰ-ਵਾਰ, ਬੈਚਾਂ ਵਿੱਚ ਕੀਤਾ ਜਾਵੇਗਾ, ਅਤੇ ਇਸ ਤਰ੍ਹਾਂ ਬਾਅਦ ਵਿੱਚ ਅਭੇਦ ਵਿਵਾਦਾਂ ਨੂੰ ਹੱਲ ਕਰਨਾ ਵਧੇਰੇ ਮੁਸ਼ਕਲ ਬਣਾਉਂਦਾ ਹੈ।

ਤੀਜੀ ਵਾਰ ਇਸ ਨੇ ਕੰਮ ਕੀਤਾ!

ਉੱਪਰ ਦੱਸੇ ਗਏ ਦੋ ਅਸਫਲ ਯਤਨਾਂ ਦੇ ਨਤੀਜੇ ਵਜੋਂ ਕਿੱਥੇ ਹੋਵਸ ਗਿਟਹਬ ਰਿਪੋਜ਼ਟਰੀ ਲੰਬੇ ਸਮੇਂ ਲਈ ਪੁਰਾਣੀ ਰਹੀ। ਟੀਮ ਨੇ ਉਤਪਾਦ ਦੀਆਂ ਵਿਸ਼ੇਸ਼ਤਾਵਾਂ ਅਤੇ ਆਰਕੀਟੈਕਚਰ ਵਿੱਚ ਸੁਧਾਰ ਕਰਨਾ ਜਾਰੀ ਰੱਖਿਆ, ਤਾਂ ਜੋ ਲਿੰਕਡਇਨ ਲਈ WhereHows ਦਾ ਅੰਦਰੂਨੀ ਸੰਸਕਰਣ ਓਪਨ ਸੋਰਸ ਸੰਸਕਰਣ ਨਾਲੋਂ ਵਧੇਰੇ ਉੱਨਤ ਹੋ ਗਿਆ। ਇਸਦਾ ਇੱਕ ਨਵਾਂ ਨਾਮ ਵੀ ਸੀ - DataHub. ਪਿਛਲੀਆਂ ਅਸਫਲ ਕੋਸ਼ਿਸ਼ਾਂ ਦੇ ਆਧਾਰ 'ਤੇ, ਟੀਮ ਨੇ ਇੱਕ ਸਕੇਲੇਬਲ, ਲੰਬੇ ਸਮੇਂ ਦੇ ਹੱਲ ਨੂੰ ਵਿਕਸਤ ਕਰਨ ਦਾ ਫੈਸਲਾ ਕੀਤਾ।

ਕਿਸੇ ਵੀ ਨਵੇਂ ਓਪਨ ਸੋਰਸ ਪ੍ਰੋਜੈਕਟ ਲਈ, ਲਿੰਕਡਇਨ ਦੀ ਓਪਨ ਸੋਰਸ ਟੀਮ ਇੱਕ ਵਿਕਾਸ ਮਾਡਲ ਦੀ ਸਲਾਹ ਅਤੇ ਸਮਰਥਨ ਕਰਦੀ ਹੈ ਜਿਸ ਵਿੱਚ ਪ੍ਰੋਜੈਕਟ ਦੇ ਮੋਡੀਊਲ ਪੂਰੀ ਤਰ੍ਹਾਂ ਓਪਨ ਸੋਰਸ ਵਿੱਚ ਵਿਕਸਤ ਕੀਤੇ ਜਾਂਦੇ ਹਨ। ਸੰਸਕਰਣ ਵਾਲੀਆਂ ਕਲਾਕ੍ਰਿਤੀਆਂ ਨੂੰ ਇੱਕ ਜਨਤਕ ਭੰਡਾਰ ਵਿੱਚ ਤੈਨਾਤ ਕੀਤਾ ਜਾਂਦਾ ਹੈ ਅਤੇ ਫਿਰ ਅੰਦਰੂਨੀ ਲਿੰਕਡਇਨ ਆਰਟੀਫੈਕਟ ਵਿੱਚ ਵਾਪਸ ਜਾਂਚ ਕੀਤੀ ਜਾਂਦੀ ਹੈ ਬਾਹਰੀ ਲਾਇਬ੍ਰੇਰੀ ਬੇਨਤੀ (ELR). ਇਸ ਵਿਕਾਸ ਮਾਡਲ ਦਾ ਪਾਲਣ ਕਰਨਾ ਨਾ ਸਿਰਫ਼ ਓਪਨ ਸੋਰਸ ਦੀ ਵਰਤੋਂ ਕਰਨ ਵਾਲਿਆਂ ਲਈ ਚੰਗਾ ਹੈ, ਸਗੋਂ ਇੱਕ ਹੋਰ ਮਾਡਯੂਲਰ, ਐਕਸਟੈਂਸੀਬਲ, ਅਤੇ ਪਲੱਗੇਬਲ ਆਰਕੀਟੈਕਚਰ ਵਿੱਚ ਵੀ ਨਤੀਜਾ ਹੁੰਦਾ ਹੈ।

ਹਾਲਾਂਕਿ, ਇੱਕ ਪਰਿਪੱਕ ਬੈਕ-ਐਂਡ ਐਪਲੀਕੇਸ਼ਨ ਜਿਵੇਂ ਕਿ DataHub ਨੂੰ ਇਸ ਸਥਿਤੀ ਤੱਕ ਪਹੁੰਚਣ ਲਈ ਕਾਫ਼ੀ ਸਮਾਂ ਚਾਹੀਦਾ ਹੈ। ਇਹ ਸਾਰੀਆਂ ਅੰਦਰੂਨੀ ਨਿਰਭਰਤਾਵਾਂ ਨੂੰ ਪੂਰੀ ਤਰ੍ਹਾਂ ਅਬਸਟਰੈਕਟ ਕਰਨ ਤੋਂ ਪਹਿਲਾਂ ਓਪਨ ਸੋਰਸਿੰਗ ਨੂੰ ਪੂਰੀ ਤਰ੍ਹਾਂ ਕਾਰਜਸ਼ੀਲ ਲਾਗੂ ਕਰਨ ਦੀ ਸੰਭਾਵਨਾ ਨੂੰ ਵੀ ਰੋਕਦਾ ਹੈ। ਇਸ ਲਈ ਅਸੀਂ ਟੂਲ ਵਿਕਸਿਤ ਕੀਤੇ ਹਨ ਜੋ ਓਪਨ ਸੋਰਸ ਯੋਗਦਾਨਾਂ ਨੂੰ ਤੇਜ਼ੀ ਨਾਲ ਅਤੇ ਬਹੁਤ ਘੱਟ ਦਰਦ ਦੇ ਨਾਲ ਕਰਨ ਵਿੱਚ ਸਾਡੀ ਮਦਦ ਕਰਦੇ ਹਨ। ਇਹ ਹੱਲ ਮੈਟਾਡੇਟਾ ਟੀਮ (DataHub ਡਿਵੈਲਪਰ) ਅਤੇ ਓਪਨ ਸੋਰਸ ਕਮਿਊਨਿਟੀ ਦੋਵਾਂ ਨੂੰ ਲਾਭ ਪਹੁੰਚਾਉਂਦਾ ਹੈ। ਹੇਠਾਂ ਦਿੱਤੇ ਭਾਗ ਇਸ ਨਵੀਂ ਪਹੁੰਚ ਬਾਰੇ ਚਰਚਾ ਕਰਨਗੇ।

ਓਪਨ ਸੋਰਸ ਪਬਲਿਸ਼ਿੰਗ ਆਟੋਮੇਸ਼ਨ

ਓਪਨ ਸੋਰਸ DataHub ਲਈ ਮੈਟਾਡੇਟਾ ਟੀਮ ਦੀ ਨਵੀਨਤਮ ਪਹੁੰਚ ਇੱਕ ਅਜਿਹਾ ਟੂਲ ਵਿਕਸਿਤ ਕਰਨਾ ਹੈ ਜੋ ਆਪਣੇ ਆਪ ਹੀ ਅੰਦਰੂਨੀ ਕੋਡਬੇਸ ਅਤੇ ਓਪਨ ਸੋਰਸ ਰਿਪੋਜ਼ਟਰੀ ਨੂੰ ਸਿੰਕ ਕਰਦਾ ਹੈ। ਇਸ ਟੂਲਕਿੱਟ ਦੀਆਂ ਉੱਚ ਪੱਧਰੀ ਵਿਸ਼ੇਸ਼ਤਾਵਾਂ ਵਿੱਚ ਸ਼ਾਮਲ ਹਨ:

1. ਲਿੰਕਡਇਨ ਕੋਡ ਨੂੰ ਓਪਨ ਸੋਰਸ ਨਾਲ/ਤੋਂ, ਸਮਾਨ ਸਿੰਕ ਕਰੋ rsync.
2. ਲਾਇਸੈਂਸ ਹੈਡਰ ਜਨਰੇਸ਼ਨ, ਦੇ ਸਮਾਨ ਅਪਾਚੇ ਚੂਹਾ.
3. ਅੰਦਰੂਨੀ ਕਮਿਟ ਲੌਗਸ ਤੋਂ ਆਟੋਮੈਟਿਕਲੀ ਓਪਨ ਸੋਰਸ ਕਮਿਟ ਲੌਗ ਤਿਆਰ ਕਰੋ।
4. ਓਪਨ ਸੋਰਸ ਬਿਲਡ ਨੂੰ ਤੋੜਨ ਵਾਲੀਆਂ ਅੰਦਰੂਨੀ ਤਬਦੀਲੀਆਂ ਨੂੰ ਰੋਕੋ ਨਿਰਭਰਤਾ ਟੈਸਟਿੰਗ.

ਹੇਠਾਂ ਦਿੱਤੇ ਉਪ-ਭਾਗ ਉੱਪਰ ਦੱਸੇ ਗਏ ਫੰਕਸ਼ਨਾਂ ਦੀ ਖੋਜ ਕਰਨਗੇ ਜਿਨ੍ਹਾਂ ਵਿੱਚ ਦਿਲਚਸਪ ਸਮੱਸਿਆਵਾਂ ਹਨ।

ਸਰੋਤ ਕੋਡ ਸਿੰਕ੍ਰੋਨਾਈਜ਼ੇਸ਼ਨ

DataHub ਦੇ ਓਪਨ ਸੋਰਸ ਸੰਸਕਰਣ ਦੇ ਉਲਟ, ਜੋ ਕਿ ਇੱਕ ਸਿੰਗਲ GitHub ਰਿਪੋਜ਼ਟਰੀ ਹੈ, DataHub ਦਾ ਲਿੰਕਡਇਨ ਸੰਸਕਰਣ ਮਲਟੀਪਲ ਰਿਪੋਜ਼ਟਰੀਆਂ ਦਾ ਸੁਮੇਲ ਹੈ (ਜਿਸਨੂੰ ਅੰਦਰੂਨੀ ਤੌਰ 'ਤੇ ਕਿਹਾ ਜਾਂਦਾ ਹੈ। ਬਹੁ-ਉਤਪਾਦ). DataHub ਇੰਟਰਫੇਸ, ਮੈਟਾਡੇਟਾ ਮਾਡਲ ਲਾਇਬ੍ਰੇਰੀ, ਮੈਟਾਡੇਟਾ ਵੇਅਰਹਾਊਸ ਬੈਕਐਂਡ ਸੇਵਾ, ਅਤੇ ਸਟ੍ਰੀਮਿੰਗ ਨੌਕਰੀਆਂ ਲਿੰਕਡਇਨ 'ਤੇ ਵੱਖਰੇ ਰਿਪੋਜ਼ਟਰੀਆਂ ਵਿੱਚ ਰਹਿੰਦੀਆਂ ਹਨ। ਹਾਲਾਂਕਿ, ਓਪਨ ਸੋਰਸ ਉਪਭੋਗਤਾਵਾਂ ਲਈ ਇਸਨੂੰ ਆਸਾਨ ਬਣਾਉਣ ਲਈ, ਸਾਡੇ ਕੋਲ DataHub ਦੇ ਓਪਨ ਸੋਰਸ ਸੰਸਕਰਣ ਲਈ ਇੱਕ ਸਿੰਗਲ ਰਿਪੋਜ਼ਟਰੀ ਹੈ।

ਚਿੱਤਰ 1: ਰਿਪੋਜ਼ਟਰੀਆਂ ਵਿਚਕਾਰ ਸਮਕਾਲੀਕਰਨ ਸਬੰਧਤ DataHub ਅਤੇ ਇੱਕ ਸਿੰਗਲ ਰਿਪੋਜ਼ਟਰੀ DataHub ਓਪਨ ਸੋਰਸ

ਆਟੋਮੇਟਿਡ ਬਿਲਡ, ਪੁਸ਼ ਅਤੇ ਪੁੱਲ ਵਰਕਫਲੋਜ਼ ਦਾ ਸਮਰਥਨ ਕਰਨ ਲਈ, ਸਾਡਾ ਨਵਾਂ ਟੂਲ ਆਟੋਮੈਟਿਕਲੀ ਹਰੇਕ ਸਰੋਤ ਫਾਈਲ ਦੇ ਅਨੁਸਾਰੀ ਇੱਕ ਫਾਈਲ-ਪੱਧਰ ਦੀ ਮੈਪਿੰਗ ਬਣਾਉਂਦਾ ਹੈ। ਹਾਲਾਂਕਿ, ਟੂਲਕਿੱਟ ਨੂੰ ਸ਼ੁਰੂਆਤੀ ਸੰਰਚਨਾ ਦੀ ਲੋੜ ਹੁੰਦੀ ਹੈ ਅਤੇ ਉਪਭੋਗਤਾਵਾਂ ਨੂੰ ਹੇਠਾਂ ਦਰਸਾਏ ਅਨੁਸਾਰ ਉੱਚ-ਪੱਧਰੀ ਮੋਡੀਊਲ ਮੈਪਿੰਗ ਪ੍ਰਦਾਨ ਕਰਨੀ ਚਾਹੀਦੀ ਹੈ।

{
  "datahub-dao": [
    "${datahub-frontend}/datahub-dao"
  ],
  "gms/impl": [
    "${dataset-gms}/impl",
    "${user-gms}/impl"
  ],
  "metadata-dao": [
    "${metadata-models}/metadata-dao"
  ],
  "metadata-builders": [
    "${metadata-models}/metadata-builders"
  ]
}

ਮੋਡੀਊਲ-ਪੱਧਰ ਦੀ ਮੈਪਿੰਗ ਇੱਕ ਸਧਾਰਨ JSON ਹੈ ਜਿਸ ਦੀਆਂ ਕੁੰਜੀਆਂ ਓਪਨ ਸੋਰਸ ਰਿਪੋਜ਼ਟਰੀ ਵਿੱਚ ਟਾਰਗੇਟ ਮੈਡਿਊਲ ਹਨ ਅਤੇ ਮੁੱਲ ਲਿੰਕਡਇਨ ਰਿਪੋਜ਼ਟਰੀ ਵਿੱਚ ਸਰੋਤ ਮੋਡੀਊਲ ਦੀ ਸੂਚੀ ਹਨ। ਇੱਕ ਓਪਨ ਸੋਰਸ ਰਿਪੋਜ਼ਟਰੀ ਵਿੱਚ ਕੋਈ ਵੀ ਟੀਚਾ ਮੋਡੀਊਲ ਕਿਸੇ ਵੀ ਸਰੋਤ ਮੋਡੀਊਲ ਦੁਆਰਾ ਖੁਆਇਆ ਜਾ ਸਕਦਾ ਹੈ। ਸਰੋਤ ਮੋਡੀਊਲ ਵਿੱਚ ਰਿਪੋਜ਼ਟਰੀਆਂ ਦੇ ਅੰਦਰੂਨੀ ਨਾਂ ਦਰਸਾਉਣ ਲਈ, ਵਰਤੋਂ ਸਟਰਿੰਗ ਇੰਟਰਪੋਲੇਸ਼ਨ Bash ਸ਼ੈਲੀ ਵਿੱਚ. ਇੱਕ ਮੋਡੀਊਲ-ਪੱਧਰ ਦੀ ਮੈਪਿੰਗ ਫਾਈਲ ਦੀ ਵਰਤੋਂ ਕਰਦੇ ਹੋਏ, ਟੂਲ ਸਬੰਧਿਤ ਡਾਇਰੈਕਟਰੀਆਂ ਵਿੱਚ ਸਾਰੀਆਂ ਫਾਈਲਾਂ ਨੂੰ ਸਕੈਨ ਕਰਕੇ ਇੱਕ ਫਾਈਲ-ਪੱਧਰ ਦੀ ਮੈਪਿੰਗ ਫਾਈਲ ਬਣਾਉਂਦੇ ਹਨ।

{
  "${metadata-models}/metadata-builders/src/main/java/com/linkedin/Foo.java":
"metadata-builders/src/main/java/com/linkedin/Foo.java",
  "${metadata-models}/metadata-builders/src/main/java/com/linkedin/Bar.java":
"metadata-builders/src/main/java/com/linkedin/Bar.java",
  "${metadata-models}/metadata-builders/build.gradle": null,
}

ਫਾਈਲ ਲੈਵਲ ਮੈਪਿੰਗ ਟੂਲਸ ਦੁਆਰਾ ਆਟੋਮੈਟਿਕਲੀ ਬਣਾਈ ਜਾਂਦੀ ਹੈ; ਹਾਲਾਂਕਿ, ਇਸਨੂੰ ਉਪਭੋਗਤਾ ਦੁਆਰਾ ਹੱਥੀਂ ਵੀ ਅਪਡੇਟ ਕੀਤਾ ਜਾ ਸਕਦਾ ਹੈ। ਇਹ ਓਪਨ ਸੋਰਸ ਰਿਪੋਜ਼ਟਰੀ ਵਿੱਚ ਇੱਕ ਫਾਈਲ ਨਾਲ ਲਿੰਕਡਇਨ ਸਰੋਤ ਫਾਈਲ ਦੀ 1:1 ਮੈਪਿੰਗ ਹੈ। ਫਾਈਲ ਐਸੋਸੀਏਸ਼ਨਾਂ ਦੀ ਇਸ ਆਟੋਮੈਟਿਕ ਰਚਨਾ ਨਾਲ ਜੁੜੇ ਕਈ ਨਿਯਮ ਹਨ:

• ਓਪਨ ਸੋਰਸ ਵਿੱਚ ਇੱਕ ਟਾਰਗੇਟ ਮੋਡੀਊਲ ਲਈ ਮਲਟੀਪਲ ਸਰੋਤ ਮੋਡੀਊਲ ਦੇ ਮਾਮਲੇ ਵਿੱਚ, ਵਿਵਾਦ ਪੈਦਾ ਹੋ ਸਕਦੇ ਹਨ, ਉਦਾਹਰਨ ਲਈ ਉਹੀ FQCN, ਇੱਕ ਤੋਂ ਵੱਧ ਸਰੋਤ ਮੋਡੀਊਲ ਵਿੱਚ ਮੌਜੂਦ ਹੈ। ਇੱਕ ਟਕਰਾਅ ਦੇ ਹੱਲ ਦੀ ਰਣਨੀਤੀ ਦੇ ਰੂਪ ਵਿੱਚ, ਸਾਡੇ ਟੂਲ ਡਿਫੌਲਟ "ਆਖਰੀ ਇੱਕ ਜਿੱਤ" ਵਿਕਲਪ 'ਤੇ ਹਨ।
• "null" ਦਾ ਮਤਲਬ ਹੈ ਕਿ ਸਰੋਤ ਫਾਈਲ ਓਪਨ ਸੋਰਸ ਰਿਪੋਜ਼ਟਰੀ ਦਾ ਹਿੱਸਾ ਨਹੀਂ ਹੈ।
• ਹਰੇਕ ਓਪਨ ਸੋਰਸ ਸਬਮਿਸ਼ਨ ਜਾਂ ਐਕਸਟਰੈਕਸ਼ਨ ਤੋਂ ਬਾਅਦ, ਇਹ ਮੈਪਿੰਗ ਆਪਣੇ ਆਪ ਅੱਪਡੇਟ ਹੋ ਜਾਂਦੀ ਹੈ ਅਤੇ ਇੱਕ ਸਨੈਪਸ਼ਾਟ ਬਣਾਇਆ ਜਾਂਦਾ ਹੈ। ਆਖਰੀ ਕਾਰਵਾਈ ਤੋਂ ਬਾਅਦ ਸਰੋਤ ਕੋਡ ਤੋਂ ਜੋੜਾਂ ਅਤੇ ਮਿਟਾਉਣ ਦੀ ਪਛਾਣ ਕਰਨ ਲਈ ਇਹ ਜ਼ਰੂਰੀ ਹੈ।

ਕਮਿਟ ਲੌਗਸ ਬਣਾਉਣਾ

ਓਪਨ ਸੋਰਸ ਕਮਿਟ ਲਈ ਕਮਿਟ ਲੌਗ ਵੀ ਅੰਦਰੂਨੀ ਰਿਪੋਜ਼ਟਰੀਆਂ ਦੇ ਕਮਿਟ ਲੌਗਸ ਨੂੰ ਮਿਲਾਉਣ ਦੁਆਰਾ ਆਪਣੇ ਆਪ ਤਿਆਰ ਕੀਤੇ ਜਾਂਦੇ ਹਨ। ਸਾਡੇ ਟੂਲ ਦੁਆਰਾ ਤਿਆਰ ਕੀਤੇ ਗਏ ਕਮਿਟ ਲੌਗ ਦੀ ਬਣਤਰ ਨੂੰ ਦਿਖਾਉਣ ਲਈ ਹੇਠਾਂ ਇੱਕ ਨਮੂਨਾ ਕਮਿਟ ਲੌਗ ਹੈ। ਇੱਕ ਕਮਿਟ ਸਪੱਸ਼ਟ ਤੌਰ 'ਤੇ ਦਰਸਾਉਂਦਾ ਹੈ ਕਿ ਸਰੋਤ ਰਿਪੋਜ਼ਟਰੀਆਂ ਦੇ ਕਿਹੜੇ ਸੰਸਕਰਣਾਂ ਨੂੰ ਉਸ ਪ੍ਰਤੀਬੱਧ ਵਿੱਚ ਪੈਕ ਕੀਤਾ ਗਿਆ ਹੈ ਅਤੇ ਕਮਿਟ ਲੌਗ ਦਾ ਸੰਖੇਪ ਪ੍ਰਦਾਨ ਕਰਦਾ ਹੈ। ਇਸ ਨੂੰ ਬਾਹਰ ਚੈੱਕ ਕਰੋ ਵਚਨਬੱਧ ਸਾਡੀ ਟੂਲਕਿੱਟ ਦੁਆਰਾ ਤਿਆਰ ਕੀਤੇ ਗਏ ਕਮਿਟ ਲੌਗ ਦੀ ਇੱਕ ਅਸਲ ਉਦਾਹਰਣ ਦੀ ਵਰਤੋਂ ਕਰਨਾ.

metadata-models 29.0.0 -> 30.0.0
    Added aspect model foo
    Fixed issue bar

dataset-gms 2.3.0 -> 2.3.4
    Added rest.li API to serve foo aspect

MP_VERSION=dataset-gms:2.3.4
MP_VERSION=metadata-models:30.0.0

ਨਿਰਭਰਤਾ ਟੈਸਟਿੰਗ

ਲਿੰਕਡਇਨ ਕੋਲ ਹੈ ਨਿਰਭਰਤਾ ਟੈਸਟਿੰਗ ਬੁਨਿਆਦੀ ਢਾਂਚਾ, ਜੋ ਇਹ ਯਕੀਨੀ ਬਣਾਉਣ ਵਿੱਚ ਮਦਦ ਕਰਦਾ ਹੈ ਕਿ ਇੱਕ ਅੰਦਰੂਨੀ ਮਲਟੀਪ੍ਰੋਡਕਟ ਵਿੱਚ ਬਦਲਾਅ ਨਿਰਭਰ ਮਲਟੀਪ੍ਰੋਡਕਟ ਦੇ ਅਸੈਂਬਲੀ ਨੂੰ ਨਹੀਂ ਤੋੜਦੇ ਹਨ। ਓਪਨ ਸੋਰਸ DataHub ਰਿਪੋਜ਼ਟਰੀ ਬਹੁ-ਉਤਪਾਦ ਨਹੀਂ ਹੈ, ਅਤੇ ਇਹ ਕਿਸੇ ਬਹੁ-ਉਤਪਾਦ ਦੀ ਸਿੱਧੀ ਨਿਰਭਰਤਾ ਨਹੀਂ ਹੋ ਸਕਦੀ, ਪਰ ਇੱਕ ਬਹੁ-ਉਤਪਾਦ ਰੈਪਰ ਦੀ ਮਦਦ ਨਾਲ ਜੋ ਓਪਨ ਸੋਰਸ DataHub ਸਰੋਤ ਕੋਡ ਲਿਆਉਂਦਾ ਹੈ, ਅਸੀਂ ਅਜੇ ਵੀ ਇਸ ਨਿਰਭਰਤਾ ਜਾਂਚ ਦੀ ਵਰਤੋਂ ਕਰ ਸਕਦੇ ਹਾਂ। ਸਿਸਟਮ। ਇਸ ਤਰ੍ਹਾਂ, ਓਪਨ ਸੋਰਸ DataHub ਰਿਪੋਜ਼ਟਰੀ ਨੂੰ ਫੀਡ ਕਰਨ ਵਾਲੇ ਕਿਸੇ ਵੀ ਮਲਟੀਪ੍ਰੋਡਕਟ ਵਿੱਚ ਕੋਈ ਵੀ ਬਦਲਾਅ (ਜੋ ਬਾਅਦ ਵਿੱਚ ਸਾਹਮਣੇ ਆ ਸਕਦਾ ਹੈ) ਸ਼ੈੱਲ ਮਲਟੀਪ੍ਰੋਡਕਟ ਵਿੱਚ ਇੱਕ ਬਿਲਡ ਇਵੈਂਟ ਨੂੰ ਚਾਲੂ ਕਰਦਾ ਹੈ। ਇਸਲਈ, ਕੋਈ ਵੀ ਤਬਦੀਲੀ ਜੋ ਰੈਪਰ ਉਤਪਾਦ ਬਣਾਉਣ ਵਿੱਚ ਅਸਫਲ ਰਹਿੰਦੀ ਹੈ, ਅਸਲ ਉਤਪਾਦ ਕਰਨ ਤੋਂ ਪਹਿਲਾਂ ਟੈਸਟਾਂ ਵਿੱਚ ਅਸਫਲ ਹੋ ਜਾਂਦੀ ਹੈ ਅਤੇ ਵਾਪਸ ਕਰ ਦਿੱਤੀ ਜਾਂਦੀ ਹੈ।

ਇਹ ਇੱਕ ਉਪਯੋਗੀ ਵਿਧੀ ਹੈ ਜੋ ਕਿਸੇ ਵੀ ਅੰਦਰੂਨੀ ਪ੍ਰਤੀਬੱਧਤਾ ਨੂੰ ਰੋਕਣ ਵਿੱਚ ਮਦਦ ਕਰਦੀ ਹੈ ਜੋ ਓਪਨ ਸੋਰਸ ਬਿਲਡ ਨੂੰ ਤੋੜਦੀ ਹੈ ਅਤੇ ਪ੍ਰਤੀਬੱਧ ਸਮੇਂ 'ਤੇ ਇਸਦਾ ਪਤਾ ਲਗਾਉਂਦੀ ਹੈ। ਇਸ ਤੋਂ ਬਿਨਾਂ, ਇਹ ਨਿਰਧਾਰਤ ਕਰਨਾ ਕਾਫ਼ੀ ਮੁਸ਼ਕਲ ਹੋਵੇਗਾ ਕਿ ਕਿਹੜੀ ਅੰਦਰੂਨੀ ਕਮਿਟ ਨੇ ਓਪਨ ਸੋਰਸ ਰਿਪੋਜ਼ਟਰੀ ਬਿਲਡ ਨੂੰ ਅਸਫਲ ਕੀਤਾ, ਕਿਉਂਕਿ ਅਸੀਂ ਡਾਟਾਹਬ ਓਪਨ ਸੋਰਸ ਰਿਪੋਜ਼ਟਰੀ ਵਿੱਚ ਅੰਦਰੂਨੀ ਤਬਦੀਲੀਆਂ ਨੂੰ ਬੈਚ ਕਰਦੇ ਹਾਂ।

ਓਪਨ ਸੋਰਸ DataHub ਅਤੇ ਸਾਡੇ ਉਤਪਾਦਨ ਸੰਸਕਰਣ ਵਿੱਚ ਅੰਤਰ

ਇਸ ਬਿੰਦੂ ਤੱਕ, ਅਸੀਂ DataHub ਰਿਪੋਜ਼ਟਰੀਆਂ ਦੇ ਦੋ ਸੰਸਕਰਣਾਂ ਨੂੰ ਸਮਕਾਲੀ ਕਰਨ ਲਈ ਸਾਡੇ ਹੱਲ ਬਾਰੇ ਚਰਚਾ ਕੀਤੀ ਹੈ, ਪਰ ਅਸੀਂ ਅਜੇ ਵੀ ਉਹਨਾਂ ਕਾਰਨਾਂ ਦੀ ਰੂਪਰੇਖਾ ਨਹੀਂ ਦੱਸੀ ਹੈ ਕਿ ਸਾਨੂੰ ਪਹਿਲੀ ਥਾਂ 'ਤੇ ਦੋ ਵੱਖ-ਵੱਖ ਵਿਕਾਸ ਸਟ੍ਰੀਮਾਂ ਦੀ ਕਿਉਂ ਲੋੜ ਹੈ। ਇਸ ਭਾਗ ਵਿੱਚ, ਅਸੀਂ DataHub ਦੇ ਜਨਤਕ ਸੰਸਕਰਣ ਅਤੇ LinkedIn ਸਰਵਰਾਂ 'ਤੇ ਉਤਪਾਦਨ ਸੰਸਕਰਣ ਵਿੱਚ ਅੰਤਰ ਦੀ ਸੂਚੀ ਦੇਵਾਂਗੇ, ਅਤੇ ਇਹਨਾਂ ਅੰਤਰਾਂ ਦੇ ਕਾਰਨਾਂ ਦੀ ਵਿਆਖਿਆ ਕਰਾਂਗੇ।

ਮਤਭੇਦ ਦਾ ਇੱਕ ਸਰੋਤ ਇਸ ਤੱਥ ਤੋਂ ਪੈਦਾ ਹੁੰਦਾ ਹੈ ਕਿ ਸਾਡੇ ਉਤਪਾਦਨ ਸੰਸਕਰਣ ਵਿੱਚ ਕੋਡ 'ਤੇ ਨਿਰਭਰਤਾ ਹੈ ਜੋ ਅਜੇ ਤੱਕ ਓਪਨ ਸੋਰਸ ਨਹੀਂ ਹੈ, ਜਿਵੇਂ ਕਿ ਲਿੰਕਡਇਨ ਦੀ ਔਫਸਪ੍ਰਿੰਗ (ਲਿੰਕਡਇਨ ਦਾ ਅੰਦਰੂਨੀ ਨਿਰਭਰਤਾ ਇੰਜੈਕਸ਼ਨ ਫਰੇਮਵਰਕ)। ਔਫਸਪਰਿੰਗ ਨੂੰ ਅੰਦਰੂਨੀ ਕੋਡਬੇਸਾਂ ਵਿੱਚ ਵਿਆਪਕ ਤੌਰ 'ਤੇ ਵਰਤਿਆ ਜਾਂਦਾ ਹੈ ਕਿਉਂਕਿ ਇਹ ਗਤੀਸ਼ੀਲ ਸੰਰਚਨਾ ਦੇ ਪ੍ਰਬੰਧਨ ਲਈ ਤਰਜੀਹੀ ਢੰਗ ਹੈ। ਪਰ ਇਹ ਓਪਨ ਸੋਰਸ ਨਹੀਂ ਹੈ; ਇਸ ਲਈ ਸਾਨੂੰ ਓਪਨ ਸੋਰਸ DataHub ਲਈ ਓਪਨ ਸੋਰਸ ਵਿਕਲਪ ਲੱਭਣ ਦੀ ਲੋੜ ਸੀ।

ਹੋਰ ਕਾਰਨ ਵੀ ਹਨ। ਜਿਵੇਂ ਕਿ ਅਸੀਂ ਲਿੰਕਡਇਨ ਦੀਆਂ ਲੋੜਾਂ ਲਈ ਮੈਟਾਡੇਟਾ ਮਾਡਲ ਲਈ ਐਕਸਟੈਂਸ਼ਨਾਂ ਬਣਾਉਂਦੇ ਹਾਂ, ਇਹ ਐਕਸਟੈਂਸ਼ਨਾਂ ਖਾਸ ਤੌਰ 'ਤੇ ਲਿੰਕਡਇਨ ਲਈ ਬਹੁਤ ਖਾਸ ਹੁੰਦੀਆਂ ਹਨ ਅਤੇ ਹੋ ਸਕਦਾ ਹੈ ਕਿ ਸਿੱਧੇ ਤੌਰ 'ਤੇ ਦੂਜੇ ਵਾਤਾਵਰਣਾਂ 'ਤੇ ਲਾਗੂ ਨਾ ਹੋਣ। ਉਦਾਹਰਨ ਲਈ, ਸਾਡੇ ਕੋਲ ਭਾਗੀਦਾਰ ID ਅਤੇ ਹੋਰ ਕਿਸਮਾਂ ਦੇ ਮੇਲ ਖਾਂਦੇ ਮੈਟਾਡੇਟਾ ਲਈ ਬਹੁਤ ਖਾਸ ਲੇਬਲ ਹਨ। ਇਸ ਲਈ, ਅਸੀਂ ਹੁਣ ਇਹਨਾਂ ਐਕਸਟੈਂਸ਼ਨਾਂ ਨੂੰ DataHub ਦੇ ਓਪਨ ਸੋਰਸ ਮੈਟਾਡੇਟਾ ਮਾਡਲ ਤੋਂ ਬਾਹਰ ਕਰ ਦਿੱਤਾ ਹੈ। ਜਿਵੇਂ ਕਿ ਅਸੀਂ ਭਾਈਚਾਰੇ ਨਾਲ ਜੁੜਦੇ ਹਾਂ ਅਤੇ ਉਹਨਾਂ ਦੀਆਂ ਲੋੜਾਂ ਨੂੰ ਸਮਝਦੇ ਹਾਂ, ਅਸੀਂ ਇਹਨਾਂ ਐਕਸਟੈਂਸ਼ਨਾਂ ਦੇ ਸਾਂਝੇ ਓਪਨ ਸੋਰਸ ਸੰਸਕਰਣਾਂ 'ਤੇ ਕੰਮ ਕਰਾਂਗੇ ਜਿੱਥੇ ਲੋੜ ਪਵੇਗੀ।

ਓਪਨ ਸੋਰਸ ਕਮਿਊਨਿਟੀ ਲਈ ਵਰਤੋਂ ਦੀ ਸੌਖ ਅਤੇ ਆਸਾਨ ਅਨੁਕੂਲਨ ਨੇ DataHub ਦੇ ਦੋ ਸੰਸਕਰਣਾਂ ਵਿਚਕਾਰ ਕੁਝ ਅੰਤਰਾਂ ਨੂੰ ਵੀ ਪ੍ਰੇਰਿਤ ਕੀਤਾ। ਸਟ੍ਰੀਮ ਪ੍ਰੋਸੈਸਿੰਗ ਬੁਨਿਆਦੀ ਢਾਂਚੇ ਵਿੱਚ ਅੰਤਰ ਇਸਦਾ ਇੱਕ ਵਧੀਆ ਉਦਾਹਰਣ ਹਨ। ਹਾਲਾਂਕਿ ਸਾਡਾ ਅੰਦਰੂਨੀ ਸੰਸਕਰਣ ਇੱਕ ਪ੍ਰਬੰਧਿਤ ਸਟ੍ਰੀਮ ਪ੍ਰੋਸੈਸਿੰਗ ਫਰੇਮਵਰਕ ਦੀ ਵਰਤੋਂ ਕਰਦਾ ਹੈ, ਅਸੀਂ ਓਪਨ ਸੋਰਸ ਸੰਸਕਰਣ ਲਈ ਬਿਲਟ-ਇਨ (ਸਟੈਂਡਅਲੋਨ) ਸਟ੍ਰੀਮ ਪ੍ਰੋਸੈਸਿੰਗ ਦੀ ਵਰਤੋਂ ਕਰਨਾ ਚੁਣਿਆ ਹੈ ਕਿਉਂਕਿ ਇਹ ਇੱਕ ਹੋਰ ਬੁਨਿਆਦੀ ਢਾਂਚਾ ਨਿਰਭਰਤਾ ਬਣਾਉਣ ਤੋਂ ਬਚਦਾ ਹੈ।

ਅੰਤਰ ਦੀ ਇੱਕ ਹੋਰ ਉਦਾਹਰਨ ਇੱਕ ਤੋਂ ਵੱਧ GMS ਦੀ ਬਜਾਏ ਇੱਕ ਓਪਨ ਸੋਰਸ ਸਥਾਪਨ ਵਿੱਚ ਇੱਕ ਸਿੰਗਲ GMS (ਜਨਰਲਾਈਜ਼ਡ ਮੈਟਾਡੇਟਾ ਸਟੋਰ) ਹੋਣਾ ਹੈ। GMA (ਜਨਰਲਾਈਜ਼ਡ ਮੈਟਾਡੇਟਾ ਆਰਕੀਟੈਕਚਰ) DataHub ਲਈ ਬੈਕ-ਐਂਡ ਆਰਕੀਟੈਕਚਰ ਦਾ ਨਾਮ ਹੈ, ਅਤੇ GMS GMA ਦੇ ਸੰਦਰਭ ਵਿੱਚ ਮੈਟਾਡੇਟਾ ਸਟੋਰ ਹੈ। GMA ਇੱਕ ਬਹੁਤ ਹੀ ਲਚਕਦਾਰ ਆਰਕੀਟੈਕਚਰ ਹੈ ਜੋ ਤੁਹਾਨੂੰ ਹਰੇਕ ਡੇਟਾ ਨਿਰਮਾਣ (ਉਦਾਹਰਨ ਲਈ ਡੇਟਾਸੈੱਟ, ਉਪਭੋਗਤਾ, ਆਦਿ) ਨੂੰ ਇਸਦੇ ਆਪਣੇ ਮੈਟਾਡੇਟਾ ਸਟੋਰ ਵਿੱਚ ਵੰਡਣ ਦੀ ਇਜਾਜ਼ਤ ਦਿੰਦਾ ਹੈ, ਜਾਂ ਇੱਕ ਸਿੰਗਲ ਮੈਟਾਡੇਟਾ ਸਟੋਰ ਵਿੱਚ ਮਲਟੀਪਲ ਡੇਟਾ ਕੰਸਟਰੱਕਟਸ ਨੂੰ ਸਟੋਰ ਕਰਨ ਦੀ ਇਜਾਜ਼ਤ ਦਿੰਦਾ ਹੈ ਜਦੋਂ ਤੱਕ ਰਜਿਸਟਰੀ ਵਿੱਚ ਡਾਟਾ ਬਣਤਰ ਮੈਪਿੰਗ ਸ਼ਾਮਲ ਹੁੰਦੀ ਹੈ. GMS ਅੱਪਡੇਟ ਕੀਤਾ ਗਿਆ ਹੈ। ਵਰਤੋਂ ਦੀ ਸੌਖ ਲਈ, ਅਸੀਂ ਇੱਕ ਸਿੰਗਲ GMS ਉਦਾਹਰਨ ਚੁਣੀ ਹੈ ਜੋ ਓਪਨ ਸੋਰਸ DataHub ਵਿੱਚ ਸਾਰੇ ਵੱਖ-ਵੱਖ ਡਾਟਾ ਕੰਸਟਰੱਕਟਸ ਨੂੰ ਸਟੋਰ ਕਰਦੀ ਹੈ।

ਹੇਠਾਂ ਦਿੱਤੀ ਸਾਰਣੀ ਵਿੱਚ ਦੋ ਲਾਗੂਕਰਨਾਂ ਵਿੱਚ ਅੰਤਰ ਦੀ ਇੱਕ ਪੂਰੀ ਸੂਚੀ ਦਿੱਤੀ ਗਈ ਹੈ।

ਉਤਪਾਦ ਫੀਚਰ
LinkedIn DataHub
ਓਪਨ ਸੋਰਸ DataHub

ਸਮਰਥਿਤ ਡਾਟਾ ਕੰਸਟਰੱਕਟਸ
1) ਡੇਟਾਸੈੱਟ 2) ਉਪਭੋਗਤਾ 3) ਮੈਟ੍ਰਿਕਸ 4) ML ਵਿਸ਼ੇਸ਼ਤਾਵਾਂ 5) ਚਾਰਟ 6) ਡੈਸ਼ਬੋਰਡ
1) ਡੇਟਾਸੈੱਟ 2) ਉਪਭੋਗਤਾ

ਡਾਟਾਸੈੱਟਾਂ ਲਈ ਸਮਰਥਿਤ ਮੈਟਾਡੇਟਾ ਸਰੋਤ
1) ਅੰਬਰੀ 2) ਕਾਉਚਬੇਸ 3) ਡਾਲਿਡਸ 4) espresso 5) HDFS 6) Hive 7) ਕਾਫਕਾ 8) MongoDB 9) MySQL 10) Oracle 11) Pinot 12) ਪ੍ਰੈਸਟੋ 12) ਹੋਵੋ 13) ਟੈਰਾਡੇਟਾ 13) ਵੈਕਟਰ 14) ਵੇਨਿਸ
Hive Kafka RDBMS

ਪਬ-ਉਪ
ਲਿੰਕਡਇਨ ਕਾਫਕਾ
ਸੰਗਮ ਕਾਫਕਾ

ਸਟ੍ਰੀਮ ਪ੍ਰੋਸੈਸਿੰਗ
ਪਰਬੰਧਿਤ
ਏਮਬੇਡਡ (ਸਟੈਂਡਅਲੋਨ)

ਨਿਰਭਰਤਾ ਇੰਜੈਕਸ਼ਨ ਅਤੇ ਡਾਇਨਾਮਿਕ ਕੌਂਫਿਗਰੇਸ਼ਨ
ਲਿੰਕਡਇਨ ਔਲਾਦ
ਬਸੰਤ

ਟੂਲਿੰਗ ਬਣਾਓ
Ligradle (LinkedIn ਦਾ ਅੰਦਰੂਨੀ Gradle ਰੈਪਰ)
ਗ੍ਰੇਡਲਵ

ਸੀਆਈ / ਸੀਡੀ
CRT (ਲਿੰਕਡਇਨ ਦਾ ਅੰਦਰੂਨੀ CI/CD)
ਟਰੈਵਿਸਸੀ.ਆਈ ਅਤੇ ਡੌਕਰ ਹੱਬ

ਮੈਟਾਡੇਟਾ ਸਟੋਰ
ਵਿਤਰਿਤ ਮਲਟੀਪਲ GMS: 1) ਡੇਟਾਸੈਟ GMS 2) ਉਪਭੋਗਤਾ GMS 3) ਮੀਟ੍ਰਿਕ GMS 4) ਵਿਸ਼ੇਸ਼ਤਾ GMS 5) ਚਾਰਟ/ਡੈਸ਼ਬੋਰਡ GMS
ਲਈ ਸਿੰਗਲ GMS: 1) ਡਾਟਾਸੈੱਟ 2) ਉਪਭੋਗਤਾ

ਡੌਕਰ ਕੰਟੇਨਰਾਂ ਵਿੱਚ ਮਾਈਕ੍ਰੋ ਸਰਵਿਸਿਜ਼

ਡੌਕਰ ਨਾਲ ਐਪਲੀਕੇਸ਼ਨ ਤੈਨਾਤੀ ਅਤੇ ਵੰਡ ਨੂੰ ਸਰਲ ਬਣਾਉਂਦਾ ਹੈ ਕੰਟੇਨਰਾਈਜ਼ੇਸ਼ਨ. DataHub ਵਿੱਚ ਸੇਵਾ ਦਾ ਹਰ ਹਿੱਸਾ ਓਪਨ ਸੋਰਸ ਹੈ, ਜਿਸ ਵਿੱਚ ਬੁਨਿਆਦੀ ਢਾਂਚੇ ਦੇ ਹਿੱਸੇ ਜਿਵੇਂ ਕਿ ਕਾਫਕਾ, ਲਲਸੀ ਖੋਜ, neo4j и MySQL, ਦਾ ਆਪਣਾ ਡੌਕਰ ਚਿੱਤਰ ਹੈ। ਡੌਕਰ ਕੰਟੇਨਰਾਂ ਨੂੰ ਆਰਕੇਸਟ੍ਰੇਟ ਕਰਨ ਲਈ ਅਸੀਂ ਵਰਤੇ ਡੌਕਰ ਕੰਪੋਜ.

ਚਿੱਤਰ 2: ਆਰਕੀਟੈਕਚਰ DataHub *ਓਪਨ ਸੋਰਸ**

ਤੁਸੀਂ ਉਪਰੋਕਤ ਚਿੱਤਰ ਵਿੱਚ DataHub ਦਾ ਉੱਚ-ਪੱਧਰੀ ਆਰਕੀਟੈਕਚਰ ਦੇਖ ਸਕਦੇ ਹੋ। ਬੁਨਿਆਦੀ ਢਾਂਚੇ ਦੇ ਭਾਗਾਂ ਤੋਂ ਇਲਾਵਾ, ਇਸ ਵਿੱਚ ਚਾਰ ਵੱਖ-ਵੱਖ ਡੌਕਰ ਕੰਟੇਨਰ ਹਨ:

datahub-gms: ਮੈਟਾਡਾਟਾ ਸਟੋਰੇਜ ਸੇਵਾ

datahub-ਫਰੰਟਐਂਡ: ਐਪਲੀਕੇਸ਼ਨ Play, DataHub ਇੰਟਰਫੇਸ ਦੀ ਸੇਵਾ ਕਰ ਰਿਹਾ ਹੈ।

datahub-mce-consumer: ਐਪਲੀਕੇਸ਼ਨ ਕਾਫਕਾ ਸਟ੍ਰੀਮਜ਼, ਜੋ ਕਿ ਮੈਟਾਡੇਟਾ ਤਬਦੀਲੀ ਇਵੈਂਟ (MCE) ਸਟ੍ਰੀਮ ਦੀ ਵਰਤੋਂ ਕਰਦਾ ਹੈ ਅਤੇ ਮੈਟਾਡੇਟਾ ਸਟੋਰ ਨੂੰ ਅੱਪਡੇਟ ਕਰਦਾ ਹੈ।

datahub-mae-consumer: ਐਪਲੀਕੇਸ਼ਨ ਕਾਫਕਾ ਸਟ੍ਰੀਮਜ਼, ਜੋ ਕਿ ਇੱਕ ਮੈਟਾਡੇਟਾ ਆਡਿਟ ਇਵੈਂਟ ਸਟ੍ਰੀਮ (MAE) ਦੀ ਵਰਤੋਂ ਕਰਦਾ ਹੈ ਅਤੇ ਇੱਕ ਖੋਜ ਸੂਚਕਾਂਕ ਅਤੇ ਗ੍ਰਾਫ ਡੇਟਾਬੇਸ ਬਣਾਉਂਦਾ ਹੈ।

ਓਪਨ ਸੋਰਸ ਰਿਪੋਜ਼ਟਰੀ ਦਸਤਾਵੇਜ਼ ਅਤੇ ਅਸਲੀ DataHub ਬਲੌਗ ਪੋਸਟ ਵੱਖ-ਵੱਖ ਸੇਵਾਵਾਂ ਦੇ ਕਾਰਜਾਂ ਬਾਰੇ ਵਧੇਰੇ ਵਿਸਤ੍ਰਿਤ ਜਾਣਕਾਰੀ ਰੱਖਦਾ ਹੈ।

DataHub 'ਤੇ CI/CD ਓਪਨ ਸੋਰਸ ਹੈ

ਓਪਨ ਸੋਰਸ DataHub ਰਿਪੋਜ਼ਟਰੀ ਵਰਤਦਾ ਹੈ ਟਰੈਵਿਸਸੀ.ਆਈ ਲਗਾਤਾਰ ਏਕੀਕਰਣ ਲਈ ਅਤੇ ਡੌਕਰ ਹੱਬ ਲਗਾਤਾਰ ਤਾਇਨਾਤੀ ਲਈ. ਦੋਵਾਂ ਕੋਲ ਵਧੀਆ GitHub ਏਕੀਕਰਣ ਹੈ ਅਤੇ ਸੈੱਟਅੱਪ ਕਰਨਾ ਆਸਾਨ ਹੈ। ਕਮਿਊਨਿਟੀ ਜਾਂ ਪ੍ਰਾਈਵੇਟ ਕੰਪਨੀਆਂ ਦੁਆਰਾ ਵਿਕਸਤ ਕੀਤੇ ਜ਼ਿਆਦਾਤਰ ਓਪਨ ਸੋਰਸ ਬੁਨਿਆਦੀ ਢਾਂਚੇ ਲਈ (ਉਦਾ. ਮੇਲ), ਡੌਕਰ ਚਿੱਤਰ ਬਣਾਏ ਗਏ ਹਨ ਅਤੇ ਕਮਿਊਨਿਟੀ ਦੁਆਰਾ ਵਰਤੋਂ ਵਿੱਚ ਆਸਾਨੀ ਲਈ ਡੌਕਰ ਹੱਬ ਵਿੱਚ ਤਾਇਨਾਤ ਕੀਤੇ ਗਏ ਹਨ। ਡੌਕਰ ਹੱਬ ਵਿੱਚ ਪਾਇਆ ਕੋਈ ਵੀ ਡੌਕਰ ਚਿੱਤਰ ਇੱਕ ਸਧਾਰਨ ਕਮਾਂਡ ਨਾਲ ਆਸਾਨੀ ਨਾਲ ਵਰਤਿਆ ਜਾ ਸਕਦਾ ਹੈ ਡੌਕਰ ਖਿੱਚੋ.

DataHub ਓਪਨ ਸੋਰਸ ਰਿਪੋਜ਼ਟਰੀ ਲਈ ਹਰੇਕ ਵਚਨਬੱਧਤਾ ਦੇ ਨਾਲ, ਸਾਰੇ ਡੌਕਰ ਚਿੱਤਰਾਂ ਨੂੰ "ਨਵੀਨਤਮ" ਟੈਗ ਦੇ ਨਾਲ ਆਪਣੇ ਆਪ ਹੀ ਬਣਾਇਆ ਜਾਂਦਾ ਹੈ ਅਤੇ ਡੌਕਰ ਹੱਬ ਵਿੱਚ ਤਾਇਨਾਤ ਕੀਤਾ ਜਾਂਦਾ ਹੈ। ਜੇਕਰ ਡੌਕਰ ਹੱਬ ਨੂੰ ਕੁਝ ਨਾਲ ਕੌਂਫਿਗਰ ਕੀਤਾ ਗਿਆ ਹੈ ਨਿਯਮਤ ਸਮੀਕਰਨ ਸ਼ਾਖਾਵਾਂ ਦਾ ਨਾਮਕਰਨ, ਓਪਨ ਸੋਰਸ ਰਿਪੋਜ਼ਟਰੀ ਵਿੱਚ ਸਾਰੇ ਟੈਗ ਵੀ ਡੌਕਰ ਹੱਬ ਵਿੱਚ ਸੰਬੰਧਿਤ ਟੈਗ ਨਾਮਾਂ ਨਾਲ ਜਾਰੀ ਕੀਤੇ ਗਏ ਹਨ।

DataHub ਦੀ ਵਰਤੋਂ ਕਰਨਾ

DataHub ਸੈੱਟਅੱਪ ਕੀਤਾ ਜਾ ਰਿਹਾ ਹੈ ਬਹੁਤ ਸਧਾਰਨ ਹੈ ਅਤੇ ਤਿੰਨ ਸਧਾਰਨ ਕਦਮਾਂ ਦੇ ਸ਼ਾਮਲ ਹਨ:

1. ਓਪਨ ਸੋਰਸ ਰਿਪੋਜ਼ਟਰੀ ਨੂੰ ਕਲੋਨ ਕਰੋ ਅਤੇ ਤੁਰੰਤ ਸ਼ੁਰੂਆਤ ਲਈ ਪ੍ਰਦਾਨ ਕੀਤੀ ਡੌਕਰ-ਕੰਪੋਜ਼ ਸਕ੍ਰਿਪਟ ਦੀ ਵਰਤੋਂ ਕਰਦੇ ਹੋਏ ਸਾਰੇ ਡੌਕਰ ਕੰਟੇਨਰਾਂ ਨੂੰ ਡੌਕਰ-ਕੰਪੋਜ਼ ਨਾਲ ਚਲਾਓ।
2. ਪ੍ਰਦਾਨ ਕੀਤੇ ਗਏ ਕਮਾਂਡ ਲਾਈਨ ਟੂਲ ਦੀ ਵਰਤੋਂ ਕਰਕੇ ਰਿਪੋਜ਼ਟਰੀ ਵਿੱਚ ਪ੍ਰਦਾਨ ਕੀਤੇ ਗਏ ਨਮੂਨਾ ਡੇਟਾ ਨੂੰ ਡਾਊਨਲੋਡ ਕਰੋ।
3. ਆਪਣੇ ਬ੍ਰਾਊਜ਼ਰ ਵਿੱਚ DataHub ਨੂੰ ਬ੍ਰਾਊਜ਼ ਕਰੋ।

ਸਰਗਰਮੀ ਨਾਲ ਟ੍ਰੈਕ ਕੀਤਾ ਗਿਆ ਗਿਟਰ ਚੈਟ ਤੇਜ਼ ਸਵਾਲਾਂ ਲਈ ਵੀ ਕੌਂਫਿਗਰ ਕੀਤਾ ਗਿਆ। ਉਪਭੋਗਤਾ GitHub ਰਿਪੋਜ਼ਟਰੀ ਵਿੱਚ ਸਿੱਧੇ ਮੁੱਦੇ ਵੀ ਬਣਾ ਸਕਦੇ ਹਨ। ਸਭ ਤੋਂ ਮਹੱਤਵਪੂਰਨ, ਅਸੀਂ ਸਾਰੇ ਫੀਡਬੈਕ ਅਤੇ ਸੁਝਾਵਾਂ ਦਾ ਸਵਾਗਤ ਕਰਦੇ ਹਾਂ ਅਤੇ ਪ੍ਰਸ਼ੰਸਾ ਕਰਦੇ ਹਾਂ!

ਭਵਿੱਖ ਲਈ ਯੋਜਨਾਵਾਂ

ਵਰਤਮਾਨ ਵਿੱਚ, ਓਪਨ ਸੋਰਸ DataHub ਲਈ ਹਰੇਕ ਬੁਨਿਆਦੀ ਢਾਂਚਾ ਜਾਂ ਮਾਈਕ੍ਰੋਸਰਵਿਸ ਇੱਕ ਡੌਕਰ ਕੰਟੇਨਰ ਦੇ ਰੂਪ ਵਿੱਚ ਬਣਾਇਆ ਗਿਆ ਹੈ, ਅਤੇ ਪੂਰਾ ਸਿਸਟਮ ਇਸਦੀ ਵਰਤੋਂ ਕਰਕੇ ਆਰਕੇਸਟ੍ਰੇਟ ਕੀਤਾ ਗਿਆ ਹੈ ਡੌਕਰ-ਕੰਪੋਜ਼. ਪ੍ਰਸਿੱਧੀ ਅਤੇ ਵਿਆਪਕ ਦਿੱਤੇ ਗਏ ਕਬਰਨੇਟਿਸ, ਅਸੀਂ ਨੇੜਲੇ ਭਵਿੱਖ ਵਿੱਚ ਕੁਬਰਨੇਟਸ ਅਧਾਰਤ ਹੱਲ ਵੀ ਪ੍ਰਦਾਨ ਕਰਨਾ ਚਾਹਾਂਗੇ।

ਅਸੀਂ ਇੱਕ ਜਨਤਕ ਕਲਾਉਡ ਸੇਵਾ ਜਿਵੇਂ ਕਿ DataHub ਨੂੰ ਤੈਨਾਤ ਕਰਨ ਲਈ ਇੱਕ ਟਰਨਕੀ ​​ਹੱਲ ਪ੍ਰਦਾਨ ਕਰਨ ਦੀ ਯੋਜਨਾ ਵੀ ਬਣਾ ਰਹੇ ਹਾਂ ਅਜ਼ੁਰ, ਪ੍ਰਸਥਿਤੀ ਜ ਗੂਗਲ ਕ੍ਲਾਉਡ. ਲਿੰਕਡਇਨ ਦੇ ਅਜ਼ੁਰ ਵਿੱਚ ਮਾਈਗਰੇਸ਼ਨ ਦੀ ਤਾਜ਼ਾ ਘੋਸ਼ਣਾ ਦੇ ਮੱਦੇਨਜ਼ਰ, ਇਹ ਮੈਟਾਡੇਟਾ ਟੀਮ ਦੀਆਂ ਅੰਦਰੂਨੀ ਤਰਜੀਹਾਂ ਨਾਲ ਮੇਲ ਖਾਂਦਾ ਹੈ।

ਆਖਰੀ ਪਰ ਘੱਟੋ-ਘੱਟ ਨਹੀਂ, ਓਪਨ ਸੋਰਸ ਕਮਿਊਨਿਟੀ ਵਿੱਚ DataHub ਦੇ ਸ਼ੁਰੂਆਤੀ ਅਪਣਾਉਣ ਵਾਲਿਆਂ ਦਾ ਧੰਨਵਾਦ ਜਿਨ੍ਹਾਂ ਨੇ DataHub ਅਲਫ਼ਾਸ ਨੂੰ ਦਰਜਾ ਦਿੱਤਾ ਹੈ ਅਤੇ ਸਮੱਸਿਆਵਾਂ ਦੀ ਪਛਾਣ ਕਰਨ ਅਤੇ ਦਸਤਾਵੇਜ਼ਾਂ ਨੂੰ ਬਿਹਤਰ ਬਣਾਉਣ ਵਿੱਚ ਸਾਡੀ ਮਦਦ ਕੀਤੀ ਹੈ।

ਸਰੋਤ: www.habr.com