ਅਸੀਂ ਓਪਨ ਸੋਰਸ ਡੇਟਾਬੇਸ ਵਿੱਚ ਕੀ ਅਤੇ ਕਿਉਂ ਕਰਦੇ ਹਾਂ। Andrey Borodin (Yandex.Cloud)

ਹੇਠਾਂ ਦਿੱਤੇ ਡੇਟਾਬੇਸ ਵਿੱਚ Yandex ਦੇ ਯੋਗਦਾਨ ਦੀ ਸਮੀਖਿਆ ਕੀਤੀ ਜਾਵੇਗੀ।

• ਕਲਿਕਹਾouseਸ
• ਓਡੀਸੀ
• ਸਮੇਂ ਵਿੱਚ ਇੱਕ ਬਿੰਦੂ ਤੱਕ ਰਿਕਵਰੀ (WAL-G)
• PostgreSQL (ਲੌਗਇਰਰ, ਐਮਚੈਕ, ਹੈਪਚੈਕ ਸਮੇਤ)
• ਗ੍ਰੀਨਪਲਮ

ਵੀਡੀਓ:

ਸਤਿ ਸ੍ਰੀ ਅਕਾਲ ਦੁਨਿਆ! ਮੇਰਾ ਨਾਮ ਐਂਡਰੀ ਬੋਰੋਡਿਨ ਹੈ। ਅਤੇ ਜੋ ਮੈਂ Yandex.Cloud 'ਤੇ ਕਰਦਾ ਹਾਂ ਉਹ Yandex.Cloud ਅਤੇ Yandex.Cloud ਕਲਾਇੰਟਸ ਦੇ ਹਿੱਤਾਂ ਵਿੱਚ ਖੁੱਲ੍ਹੇ ਰਿਲੇਸ਼ਨਲ ਡੇਟਾਬੇਸ ਨੂੰ ਵਿਕਸਿਤ ਕਰਦਾ ਹੈ।

ਇਸ ਗੱਲਬਾਤ ਵਿੱਚ, ਅਸੀਂ ਪੈਮਾਨੇ 'ਤੇ ਖੁੱਲ੍ਹੇ ਡੇਟਾਬੇਸ ਨੂੰ ਦਰਪੇਸ਼ ਚੁਣੌਤੀਆਂ ਬਾਰੇ ਗੱਲ ਕਰਾਂਗੇ। ਇਹ ਮਹੱਤਵਪੂਰਨ ਕਿਉਂ ਹੈ? ਕਿਉਂਕਿ ਛੋਟੀਆਂ-ਛੋਟੀਆਂ ਸਮੱਸਿਆਵਾਂ ਜੋ ਮੱਛਰਾਂ ਵਾਂਗ ਫਿਰ ਹਾਥੀ ਬਣ ਜਾਂਦੀਆਂ ਹਨ। ਜਦੋਂ ਤੁਹਾਡੇ ਕੋਲ ਬਹੁਤ ਸਾਰੇ ਕਲੱਸਟਰ ਹੁੰਦੇ ਹਨ ਤਾਂ ਉਹ ਵੱਡੇ ਹੋ ਜਾਂਦੇ ਹਨ।

ਪਰ ਇਹ ਮੁੱਖ ਗੱਲ ਨਹੀਂ ਹੈ। ਅਵਿਸ਼ਵਾਸ਼ਯੋਗ ਚੀਜ਼ਾਂ ਵਾਪਰਦੀਆਂ ਹਨ. ਉਹ ਚੀਜ਼ਾਂ ਜੋ ਲੱਖਾਂ ਵਿੱਚੋਂ ਇੱਕ ਕੇਸ ਵਿੱਚ ਵਾਪਰਦੀਆਂ ਹਨ। ਅਤੇ ਇੱਕ ਕਲਾਉਡ ਵਾਤਾਵਰਣ ਵਿੱਚ, ਤੁਹਾਨੂੰ ਇਸਦੇ ਲਈ ਤਿਆਰ ਰਹਿਣਾ ਹੋਵੇਗਾ, ਕਿਉਂਕਿ ਅਵਿਸ਼ਵਾਸ਼ਯੋਗ ਚੀਜ਼ਾਂ ਬਹੁਤ ਜ਼ਿਆਦਾ ਸੰਭਾਵਿਤ ਹੋ ਜਾਂਦੀਆਂ ਹਨ ਜਦੋਂ ਕੋਈ ਚੀਜ਼ ਪੈਮਾਨੇ 'ਤੇ ਮੌਜੂਦ ਹੁੰਦੀ ਹੈ।

ਪਰ! ਓਪਨ ਡੇਟਾਬੇਸ ਦਾ ਕੀ ਫਾਇਦਾ ਹੈ? ਤੱਥ ਇਹ ਹੈ ਕਿ ਤੁਹਾਡੇ ਕੋਲ ਕਿਸੇ ਵੀ ਸਮੱਸਿਆ ਨਾਲ ਨਜਿੱਠਣ ਲਈ ਇੱਕ ਸਿਧਾਂਤਕ ਮੌਕਾ ਹੈ. ਤੁਹਾਡੇ ਕੋਲ ਸਰੋਤ ਕੋਡ ਹੈ, ਤੁਹਾਡੇ ਕੋਲ ਪ੍ਰੋਗਰਾਮਿੰਗ ਗਿਆਨ ਹੈ। ਅਸੀਂ ਇਸਨੂੰ ਜੋੜਦੇ ਹਾਂ ਅਤੇ ਇਹ ਕੰਮ ਕਰਦਾ ਹੈ.

ਓਪਨ ਸੋਰਸ ਸੌਫਟਵੇਅਰ 'ਤੇ ਕੰਮ ਕਰਨ ਲਈ ਕਿਹੜੇ ਤਰੀਕੇ ਹਨ?

• ਸਾਫਟਵੇਅਰ ਦੀ ਵਰਤੋਂ ਕਰਨਾ ਸਭ ਤੋਂ ਸਿੱਧਾ ਤਰੀਕਾ ਹੈ। ਜੇਕਰ ਤੁਸੀਂ ਪ੍ਰੋਟੋਕੋਲ ਦੀ ਵਰਤੋਂ ਕਰਦੇ ਹੋ, ਜੇਕਰ ਤੁਸੀਂ ਮਿਆਰਾਂ ਦੀ ਵਰਤੋਂ ਕਰਦੇ ਹੋ, ਜੇਕਰ ਤੁਸੀਂ ਫਾਰਮੈਟਾਂ ਦੀ ਵਰਤੋਂ ਕਰਦੇ ਹੋ, ਜੇਕਰ ਤੁਸੀਂ ਓਪਨ ਸੋਰਸ ਸੌਫਟਵੇਅਰ ਵਿੱਚ ਸਵਾਲ ਲਿਖਦੇ ਹੋ, ਤਾਂ ਤੁਸੀਂ ਪਹਿਲਾਂ ਹੀ ਇਸਦਾ ਸਮਰਥਨ ਕਰਦੇ ਹੋ।
• ਤੁਸੀਂ ਇਸਦੇ ਈਕੋਸਿਸਟਮ ਨੂੰ ਵੱਡਾ ਬਣਾ ਰਹੇ ਹੋ। ਤੁਸੀਂ ਇੱਕ ਬੱਗ ਦੀ ਛੇਤੀ ਖੋਜ ਦੀ ਸੰਭਾਵਨਾ ਨੂੰ ਵਧਾਉਂਦੇ ਹੋ। ਤੁਸੀਂ ਇਸ ਪ੍ਰਣਾਲੀ ਦੀ ਭਰੋਸੇਯੋਗਤਾ ਨੂੰ ਵਧਾਉਂਦੇ ਹੋ. ਤੁਸੀਂ ਮਾਰਕੀਟ ਵਿੱਚ ਡਿਵੈਲਪਰਾਂ ਦੀ ਉਪਲਬਧਤਾ ਨੂੰ ਵਧਾਉਂਦੇ ਹੋ. ਤੁਸੀਂ ਇਸ ਸੌਫਟਵੇਅਰ ਵਿੱਚ ਸੁਧਾਰ ਕਰੋ। ਤੁਸੀਂ ਪਹਿਲਾਂ ਹੀ ਇੱਕ ਯੋਗਦਾਨੀ ਹੋ ਜੇਕਰ ਤੁਸੀਂ ਹੁਣੇ ਹੀ ਸ਼ੈਲੀ ਪ੍ਰਾਪਤ ਕੀਤੀ ਹੈ ਅਤੇ ਉੱਥੇ ਕਿਸੇ ਚੀਜ਼ ਨਾਲ ਟਿੰਕਰ ਕੀਤਾ ਹੈ।
• ਇੱਕ ਹੋਰ ਸਮਝਣ ਯੋਗ ਪਹੁੰਚ ਓਪਨ ਸੋਰਸ ਸੌਫਟਵੇਅਰ ਨੂੰ ਸਪਾਂਸਰ ਕਰਨਾ ਹੈ। ਉਦਾਹਰਨ ਲਈ, ਜਾਣਿਆ-ਪਛਾਣਿਆ Google ਸਮਰ ਆਫ਼ ਕੋਡ ਪ੍ਰੋਗਰਾਮ, ਜਦੋਂ Google ਪੂਰੀ ਦੁਨੀਆ ਤੋਂ ਵੱਡੀ ਗਿਣਤੀ ਵਿੱਚ ਵਿਦਿਆਰਥੀਆਂ ਨੂੰ ਸਮਝਣ ਯੋਗ ਪੈਸੇ ਦਾ ਭੁਗਤਾਨ ਕਰਦਾ ਹੈ ਤਾਂ ਜੋ ਉਹ ਖੁੱਲ੍ਹੇ ਸਾਫਟਵੇਅਰ ਪ੍ਰੋਜੈਕਟਾਂ ਦਾ ਵਿਕਾਸ ਕਰਦੇ ਹਨ ਜੋ ਕੁਝ ਲਾਇਸੰਸਿੰਗ ਲੋੜਾਂ ਨੂੰ ਪੂਰਾ ਕਰਦੇ ਹਨ।
• ਇਹ ਇੱਕ ਬਹੁਤ ਹੀ ਦਿਲਚਸਪ ਪਹੁੰਚ ਹੈ ਕਿਉਂਕਿ ਇਹ ਸਾੱਫਟਵੇਅਰ ਨੂੰ ਕਮਿਊਨਿਟੀ ਤੋਂ ਫੋਕਸ ਨੂੰ ਦੂਰ ਕੀਤੇ ਬਿਨਾਂ ਵਿਕਸਤ ਕਰਨ ਦੀ ਆਗਿਆ ਦਿੰਦਾ ਹੈ। ਗੂਗਲ, ​​ਇੱਕ ਟੈਕਨਾਲੋਜੀ ਦਿੱਗਜ ਵਜੋਂ, ਇਹ ਨਹੀਂ ਕਹਿੰਦਾ ਕਿ ਅਸੀਂ ਇਹ ਵਿਸ਼ੇਸ਼ਤਾ ਚਾਹੁੰਦੇ ਹਾਂ, ਅਸੀਂ ਇਸ ਬੱਗ ਨੂੰ ਠੀਕ ਕਰਨਾ ਚਾਹੁੰਦੇ ਹਾਂ ਅਤੇ ਇਹ ਉਹ ਥਾਂ ਹੈ ਜਿੱਥੇ ਸਾਨੂੰ ਖੋਦਣ ਦੀ ਲੋੜ ਹੈ। ਗੂਗਲ ਕਹਿੰਦਾ ਹੈ: "ਜੋ ਤੁਸੀਂ ਕਰਦੇ ਹੋ ਉਹ ਕਰੋ। ਜਿਵੇਂ ਤੁਸੀਂ ਕੰਮ ਕਰ ਰਹੇ ਹੋ ਉਸੇ ਤਰ੍ਹਾਂ ਕੰਮ ਕਰਦੇ ਰਹੋ ਅਤੇ ਸਭ ਕੁਝ ਠੀਕ ਹੋ ਜਾਵੇਗਾ।”
• ਓਪਨ ਸੋਰਸ ਵਿੱਚ ਭਾਗ ਲੈਣ ਦਾ ਅਗਲਾ ਤਰੀਕਾ ਭਾਗੀਦਾਰੀ ਹੈ। ਜਦੋਂ ਤੁਹਾਨੂੰ ਓਪਨ ਸੋਰਸ ਸੌਫਟਵੇਅਰ ਵਿੱਚ ਕੋਈ ਸਮੱਸਿਆ ਆਉਂਦੀ ਹੈ ਅਤੇ ਡਿਵੈਲਪਰ ਹੁੰਦੇ ਹਨ, ਤਾਂ ਤੁਹਾਡੇ ਡਿਵੈਲਪਰ ਸਮੱਸਿਆਵਾਂ ਨੂੰ ਹੱਲ ਕਰਨਾ ਸ਼ੁਰੂ ਕਰ ਦਿੰਦੇ ਹਨ। ਉਹ ਤੁਹਾਡੇ ਬੁਨਿਆਦੀ ਢਾਂਚੇ ਨੂੰ ਵਧੇਰੇ ਕੁਸ਼ਲ, ਤੁਹਾਡੇ ਪ੍ਰੋਗਰਾਮਾਂ ਨੂੰ ਤੇਜ਼ ਅਤੇ ਵਧੇਰੇ ਭਰੋਸੇਮੰਦ ਬਣਾਉਣਾ ਸ਼ੁਰੂ ਕਰਦੇ ਹਨ।

ਓਪਨ ਸੋਰਸ ਸੌਫਟਵੇਅਰ ਦੇ ਖੇਤਰ ਵਿੱਚ ਸਭ ਤੋਂ ਮਸ਼ਹੂਰ ਯਾਂਡੇਕਸ ਪ੍ਰੋਜੈਕਟਾਂ ਵਿੱਚੋਂ ਇੱਕ ਹੈ ਕਲਿਕਹਾਊਸ. ਇਹ ਇੱਕ ਡੇਟਾਬੇਸ ਹੈ ਜੋ Yandex.Metrica ਦਾ ਸਾਹਮਣਾ ਕਰਨ ਵਾਲੀਆਂ ਚੁਣੌਤੀਆਂ ਦੇ ਜਵਾਬ ਵਜੋਂ ਪੈਦਾ ਹੋਇਆ ਸੀ।

ਅਤੇ ਇੱਕ ਡੇਟਾਬੇਸ ਦੇ ਰੂਪ ਵਿੱਚ, ਇਹ ਇੱਕ ਈਕੋਸਿਸਟਮ ਬਣਾਉਣ ਅਤੇ ਇਸਨੂੰ ਦੂਜੇ ਡਿਵੈਲਪਰਾਂ (ਨਾ ਸਿਰਫ ਯਾਂਡੇਕਸ ਦੇ ਅੰਦਰ) ਨਾਲ ਮਿਲ ਕੇ ਵਿਕਸਤ ਕਰਨ ਲਈ ਓਪਨ ਸੋਰਸ ਵਿੱਚ ਬਣਾਇਆ ਗਿਆ ਸੀ। ਅਤੇ ਹੁਣ ਇਹ ਇੱਕ ਵੱਡਾ ਪ੍ਰੋਜੈਕਟ ਹੈ ਜਿਸ ਵਿੱਚ ਬਹੁਤ ਸਾਰੀਆਂ ਵੱਖ-ਵੱਖ ਕੰਪਨੀਆਂ ਸ਼ਾਮਲ ਹਨ।

Yandex.Cloud ਵਿੱਚ, ਅਸੀਂ Yandex ਆਬਜੈਕਟ ਸਟੋਰੇਜ ਦੇ ਸਿਖਰ 'ਤੇ, ਯਾਨੀ ਕਲਾਉਡ ਸਟੋਰੇਜ ਦੇ ਸਿਖਰ 'ਤੇ ClickHouse ਬਣਾਇਆ ਹੈ।

ਬੱਦਲ ਵਿੱਚ ਇਹ ਮਹੱਤਵਪੂਰਨ ਕਿਉਂ ਹੈ? ਕਿਉਂਕਿ ਕੋਈ ਵੀ ਡੇਟਾਬੇਸ ਇਸ ਤਿਕੋਣ ਵਿੱਚ, ਇਸ ਪਿਰਾਮਿਡ ਵਿੱਚ, ਮੈਮੋਰੀ ਕਿਸਮਾਂ ਦੇ ਇਸ ਲੜੀ ਵਿੱਚ ਕੰਮ ਕਰਦਾ ਹੈ। ਤੁਹਾਡੇ ਕੋਲ ਤੇਜ਼ ਪਰ ਛੋਟੇ ਰਜਿਸਟਰ ਅਤੇ ਸਸਤੇ ਵੱਡੇ ਪਰ ਹੌਲੀ SSD, ਹਾਰਡ ਡਰਾਈਵਾਂ ਅਤੇ ਕੁਝ ਹੋਰ ਬਲਾਕ ਡਿਵਾਈਸ ਹਨ। ਅਤੇ ਜੇ ਤੁਸੀਂ ਪਿਰਾਮਿਡ ਦੇ ਸਿਖਰ 'ਤੇ ਕੁਸ਼ਲ ਹੋ, ਤਾਂ ਤੁਹਾਡੇ ਕੋਲ ਇੱਕ ਤੇਜ਼ ਡੇਟਾਬੇਸ ਹੈ. ਜੇਕਰ ਤੁਸੀਂ ਇਸ ਪਿਰਾਮਿਡ ਦੇ ਤਲ 'ਤੇ ਕੁਸ਼ਲ ਹੋ, ਤਾਂ ਤੁਹਾਡੇ ਕੋਲ ਇੱਕ ਸਕੇਲ ਕੀਤਾ ਡੇਟਾਬੇਸ ਹੈ। ਅਤੇ ਇਸ ਸਬੰਧ ਵਿੱਚ, ਹੇਠਾਂ ਤੋਂ ਇੱਕ ਹੋਰ ਪਰਤ ਜੋੜਨਾ ਡੇਟਾਬੇਸ ਦੀ ਮਾਪਯੋਗਤਾ ਨੂੰ ਵਧਾਉਣ ਲਈ ਇੱਕ ਤਰਕਪੂਰਨ ਪਹੁੰਚ ਹੈ।

ਇਹ ਕਿਵੇਂ ਕੀਤਾ ਜਾ ਸਕਦਾ ਹੈ? ਇਹ ਇਸ ਰਿਪੋਰਟ ਵਿੱਚ ਇੱਕ ਮਹੱਤਵਪੂਰਨ ਨੁਕਤਾ ਹੈ।

• ਅਸੀਂ MDS ਉੱਤੇ ਕਲਿਕਹਾਊਸ ਨੂੰ ਲਾਗੂ ਕਰ ਸਕਦੇ ਹਾਂ। MDS ਇੱਕ ਅੰਦਰੂਨੀ Yandex ਕਲਾਉਡ ਸਟੋਰੇਜ ਇੰਟਰਫੇਸ ਹੈ। ਇਹ ਆਮ S3 ਪ੍ਰੋਟੋਕੋਲ ਨਾਲੋਂ ਵਧੇਰੇ ਗੁੰਝਲਦਾਰ ਹੈ, ਪਰ ਇਹ ਇੱਕ ਬਲਾਕ ਡਿਵਾਈਸ ਲਈ ਵਧੇਰੇ ਢੁਕਵਾਂ ਹੈ. ਇਹ ਡਾਟਾ ਰਿਕਾਰਡ ਕਰਨ ਲਈ ਬਿਹਤਰ ਹੈ. ਇਸ ਨੂੰ ਹੋਰ ਪ੍ਰੋਗਰਾਮਿੰਗ ਦੀ ਲੋੜ ਹੈ. ਪ੍ਰੋਗਰਾਮਰ ਪ੍ਰੋਗਰਾਮ ਕਰਨਗੇ, ਇਹ ਵੀ ਚੰਗਾ ਹੈ, ਇਹ ਦਿਲਚਸਪ ਹੈ।
• S3 ਇੱਕ ਵਧੇਰੇ ਆਮ ਪਹੁੰਚ ਹੈ ਜੋ ਕੁਝ ਖਾਸ ਕਿਸਮਾਂ ਦੇ ਵਰਕਲੋਡਾਂ ਲਈ ਘੱਟ ਅਨੁਕੂਲਤਾ ਦੀ ਕੀਮਤ 'ਤੇ ਇੰਟਰਫੇਸ ਨੂੰ ਸਰਲ ਬਣਾਉਂਦਾ ਹੈ।

ਕੁਦਰਤੀ ਤੌਰ 'ਤੇ, ਪੂਰੇ ClickHouse ਈਕੋਸਿਸਟਮ ਨੂੰ ਕਾਰਜਕੁਸ਼ਲਤਾ ਪ੍ਰਦਾਨ ਕਰਨ ਅਤੇ Yandex.Cloud ਦੇ ਅੰਦਰ ਲੋੜੀਂਦੇ ਕੰਮ ਨੂੰ ਕਰਨ ਦੀ ਇੱਛਾ ਰੱਖਦੇ ਹੋਏ, ਅਸੀਂ ਇਹ ਯਕੀਨੀ ਬਣਾਉਣ ਦਾ ਫੈਸਲਾ ਕੀਤਾ ਹੈ ਕਿ ਪੂਰੇ ClickHouse ਭਾਈਚਾਰੇ ਨੂੰ ਇਸਦਾ ਫਾਇਦਾ ਹੋਵੇਗਾ। ਅਸੀਂ S3 ਉੱਤੇ ClickHouse ਨੂੰ ਲਾਗੂ ਕੀਤਾ ਹੈ, MDS ਉੱਤੇ ClickHouse ਨਹੀਂ। ਅਤੇ ਇਹ ਬਹੁਤ ਸਾਰਾ ਕੰਮ ਹੈ.

ਲਿੰਕ:

https://github.com/ClickHouse/ClickHouse/pull/7946 "ਫਾਇਲ ਸਿਸਟਮ ਐਬਸਟਰੈਕਸ਼ਨ ਲੇਅਰ"
https://github.com/ClickHouse/ClickHouse/pull/8011 "AWS SDK S3 ਏਕੀਕਰਣ"
https://github.com/ClickHouse/ClickHouse/pull/8649 "S3 ਲਈ IDisk ਇੰਟਰਫੇਸ ਦਾ ਅਧਾਰ ਲਾਗੂ ਕਰਨਾ"
https://github.com/ClickHouse/ClickHouse/pull/8356 "ਆਈਡੀਸਕ ਇੰਟਰਫੇਸ ਨਾਲ ਲਾਗ ਸਟੋਰੇਜ ਇੰਜਣਾਂ ਦਾ ਏਕੀਕਰਣ"
https://github.com/ClickHouse/ClickHouse/pull/8862 "S3 ਅਤੇ SeekableReadBuffer ਲਈ ਲੌਗ ਇੰਜਨ ਸਹਾਇਤਾ"
https://github.com/ClickHouse/ClickHouse/pull/9128 "ਸਟੋਰੇਜ ਸਟ੍ਰਾਈਪ ਲੌਗ S3 ਸਮਰਥਨ"
https://github.com/ClickHouse/ClickHouse/pull/9415 "S3 ਲਈ ਸਟੋਰੇਜ MergeTree ਸ਼ੁਰੂਆਤੀ ਸਮਰਥਨ"
https://github.com/ClickHouse/ClickHouse/pull/9646 "S3 ਲਈ MergeTree ਪੂਰਾ ਸਮਰਥਨ"
https://github.com/ClickHouse/ClickHouse/pull/10126 "S3 ਉੱਤੇ ReplicatedMergeTree ਦਾ ਸਮਰਥਨ ਕਰੋ"
https://github.com/ClickHouse/ClickHouse/pull/11134 "s3 ਸਟੋਰੇਜ ਲਈ ਡਿਫੌਲਟ ਪ੍ਰਮਾਣ ਪੱਤਰ ਅਤੇ ਕਸਟਮ ਸਿਰਲੇਖ ਸ਼ਾਮਲ ਕਰੋ"
https://github.com/ClickHouse/ClickHouse/pull/10576 "ਗਤੀਸ਼ੀਲ ਪ੍ਰੌਕਸੀ ਸੰਰਚਨਾ ਦੇ ਨਾਲ S3"
https://github.com/ClickHouse/ClickHouse/pull/10744 "ਪ੍ਰਾਕਸੀ ਰੈਜ਼ੋਲਵਰ ਨਾਲ S3"

ਇਹ ਕਲਿਕਹਾਊਸ ਵਿੱਚ ਇੱਕ ਵਰਚੁਅਲ ਫਾਈਲ ਸਿਸਟਮ ਨੂੰ ਲਾਗੂ ਕਰਨ ਲਈ ਇੱਕ ਪੁੱਲ ਬੇਨਤੀ ਸੂਚੀ ਹੈ। ਇਹ ਪੁੱਲ ਬੇਨਤੀਆਂ ਦੀ ਇੱਕ ਵੱਡੀ ਗਿਣਤੀ ਹੈ।

ਲਿੰਕ:

https://github.com/ClickHouse/ClickHouse/pull/9760 "DiskS3 ਹਾਰਡਲਿੰਕਸ ਅਨੁਕੂਲ ਲਾਗੂਕਰਨ"
https://github.com/ClickHouse/ClickHouse/pull/11522 "S3 HTTP ਕਲਾਇੰਟ - ਮੈਮੋਰੀ ਵਿੱਚ ਜਵਾਬ ਸਟ੍ਰੀਮ ਦੀ ਨਕਲ ਕਰਨ ਤੋਂ ਬਚੋ"
https://github.com/ClickHouse/ClickHouse/pull/11561 "S3 HTTP ਵਿੱਚ ਮੈਮੋਰੀ ਵਿੱਚ ਪੂਰੀ ਜਵਾਬ ਸਟ੍ਰੀਮ ਦੀ ਨਕਲ ਕਰਨ ਤੋਂ ਬਚੋ
ਗਾਹਕ"
https://github.com/ClickHouse/ClickHouse/pull/13076 "S3 ਡਿਸਕ ਲਈ ਕੈਸ਼ ਮਾਰਕ ਅਤੇ ਇੰਡੈਕਸ ਫਾਈਲਾਂ ਦੀ ਸਮਰੱਥਾ"
https://github.com/ClickHouse/ClickHouse/pull/13459 "ਪਾਰਟਸ ਨੂੰ ਡਿਸਕਲੋਕਲ ਤੋਂ ਡਿਸਕਐਸ3 ਵਿੱਚ ਸਮਾਨਾਂਤਰ ਵਿੱਚ ਭੇਜੋ"

ਪਰ ਕੰਮ ਉੱਥੇ ਹੀ ਖਤਮ ਨਹੀਂ ਹੋਇਆ। ਵਿਸ਼ੇਸ਼ਤਾ ਬਣਾਏ ਜਾਣ ਤੋਂ ਬਾਅਦ, ਇਸ ਕਾਰਜਸ਼ੀਲਤਾ ਨੂੰ ਅਨੁਕੂਲ ਬਣਾਉਣ ਲਈ ਕੁਝ ਹੋਰ ਕੰਮ ਦੀ ਲੋੜ ਸੀ।

ਲਿੰਕ:

https://github.com/ClickHouse/ClickHouse/pull/12638 "ਚੁਣੇ ਹੋਏ ਰੋਅ ਅਤੇ ਚੁਣੇ ਹੋਏ ਬਾਈਟਸ ਇਵੈਂਟ ਸ਼ਾਮਲ ਕਰੋ"
https://github.com/ClickHouse/ClickHouse/pull/12464 "S3 ਬੇਨਤੀ ਤੋਂ system.events ਵਿੱਚ ਪ੍ਰੋਫਾਈਲਿੰਗ ਇਵੈਂਟ ਸ਼ਾਮਲ ਕਰੋ"
https://github.com/ClickHouse/ClickHouse/pull/13028 "QueryTimeMicroseconds, SelectQueryTimeMicroseconds ਅਤੇ InsertQueryTimeMicroseconds ਸ਼ਾਮਲ ਕਰੋ"

ਅਤੇ ਫਿਰ ਇਸ ਨੂੰ ਨਿਦਾਨਯੋਗ ਬਣਾਉਣਾ, ਨਿਗਰਾਨੀ ਸਥਾਪਤ ਕਰਨਾ ਅਤੇ ਇਸਨੂੰ ਪ੍ਰਬੰਧਨਯੋਗ ਬਣਾਉਣਾ ਜ਼ਰੂਰੀ ਸੀ।

ਅਤੇ ਇਹ ਸਭ ਇਸ ਲਈ ਕੀਤਾ ਗਿਆ ਸੀ ਤਾਂ ਜੋ ਸਮੁੱਚੀ ਕਮਿਊਨਿਟੀ, ਪੂਰੇ ਕਲਿਕਹਾਊਸ ਈਕੋਸਿਸਟਮ ਨੂੰ ਇਸ ਕੰਮ ਦਾ ਨਤੀਜਾ ਮਿਲੇ।

ਚਲੋ ਟ੍ਰਾਂਜੈਕਸ਼ਨਲ ਡੇਟਾਬੇਸ, OLTP ਡੇਟਾਬੇਸ ਵੱਲ ਵਧਦੇ ਹਾਂ, ਜੋ ਨਿੱਜੀ ਤੌਰ 'ਤੇ ਮੇਰੇ ਬਹੁਤ ਨੇੜੇ ਹਨ।

ਇਹ ਓਪਨ ਸੋਰਸ DBMS ਡਿਵੈਲਪਮੈਂਟ ਡਿਵੀਜ਼ਨ ਹੈ। ਇਹ ਲੋਕ ਟ੍ਰਾਂਜੈਕਸ਼ਨਲ ਓਪਨ ਡੇਟਾਬੇਸ ਨੂੰ ਬਿਹਤਰ ਬਣਾਉਣ ਲਈ ਸਟ੍ਰੀਟ ਮੈਜਿਕ ਕਰ ਰਹੇ ਹਨ।

ਪ੍ਰੋਜੈਕਟਾਂ ਵਿੱਚੋਂ ਇੱਕ, ਜਿਸਦੀ ਇੱਕ ਉਦਾਹਰਣ ਦੀ ਵਰਤੋਂ ਕਰਦੇ ਹੋਏ ਅਸੀਂ ਇਸ ਬਾਰੇ ਗੱਲ ਕਰ ਸਕਦੇ ਹਾਂ ਕਿ ਅਸੀਂ ਕਿਵੇਂ ਅਤੇ ਕੀ ਕਰਦੇ ਹਾਂ, ਪੋਸਟਗ੍ਰੇਸ ਵਿੱਚ ਕਨੈਕਸ਼ਨ ਪੂਲਰ ਹੈ।

ਪੋਸਟਗ੍ਰੇਸ ਇੱਕ ਪ੍ਰਕਿਰਿਆ ਡੇਟਾਬੇਸ ਹੈ। ਇਸਦਾ ਮਤਲਬ ਹੈ ਕਿ ਡੇਟਾਬੇਸ ਵਿੱਚ ਘੱਟ ਤੋਂ ਘੱਟ ਨੈਟਵਰਕ ਕਨੈਕਸ਼ਨ ਹੋਣੇ ਚਾਹੀਦੇ ਹਨ ਜੋ ਲੈਣ-ਦੇਣ ਨੂੰ ਸੰਭਾਲਦੇ ਹਨ।

ਦੂਜੇ ਪਾਸੇ, ਇੱਕ ਕਲਾਉਡ ਵਾਤਾਵਰਣ ਵਿੱਚ, ਇੱਕ ਆਮ ਸਥਿਤੀ ਹੁੰਦੀ ਹੈ ਜਦੋਂ ਇੱਕ ਹਜ਼ਾਰ ਕੁਨੈਕਸ਼ਨ ਇੱਕ ਵਾਰ ਵਿੱਚ ਇੱਕ ਕਲੱਸਟਰ ਵਿੱਚ ਆਉਂਦੇ ਹਨ। ਅਤੇ ਕੁਨੈਕਸ਼ਨ ਪੂਲਰ ਦਾ ਕੰਮ ਇੱਕ ਹਜ਼ਾਰ ਕੁਨੈਕਸ਼ਨਾਂ ਨੂੰ ਥੋੜ੍ਹੇ ਜਿਹੇ ਸਰਵਰ ਕਨੈਕਸ਼ਨਾਂ ਵਿੱਚ ਪੈਕ ਕਰਨਾ ਹੈ।

ਅਸੀਂ ਕਹਿ ਸਕਦੇ ਹਾਂ ਕਿ ਕਨੈਕਸ਼ਨ ਪੂਲਰ ਟੈਲੀਫੋਨ ਓਪਰੇਟਰ ਹੈ ਜੋ ਬਾਈਟਾਂ ਨੂੰ ਮੁੜ ਵਿਵਸਥਿਤ ਕਰਦਾ ਹੈ ਤਾਂ ਜੋ ਉਹ ਡਾਟਾਬੇਸ ਤੱਕ ਕੁਸ਼ਲਤਾ ਨਾਲ ਪਹੁੰਚ ਸਕਣ।

ਬਦਕਿਸਮਤੀ ਨਾਲ, ਕੁਨੈਕਸ਼ਨ ਪੂਲਰ ਲਈ ਕੋਈ ਚੰਗਾ ਰੂਸੀ ਸ਼ਬਦ ਨਹੀਂ ਹੈ। ਕਈ ਵਾਰ ਇਸਨੂੰ ਮਲਟੀਪਲੈਕਸਰ ਕੁਨੈਕਸ਼ਨ ਕਿਹਾ ਜਾਂਦਾ ਹੈ। ਜੇ ਤੁਸੀਂ ਜਾਣਦੇ ਹੋ ਕਿ ਕਨੈਕਸ਼ਨ ਪੂਲਰ ਨੂੰ ਕੀ ਕਹਿਣਾ ਹੈ, ਤਾਂ ਮੈਨੂੰ ਦੱਸਣਾ ਯਕੀਨੀ ਬਣਾਓ, ਮੈਨੂੰ ਸਹੀ ਰੂਸੀ ਤਕਨੀਕੀ ਭਾਸ਼ਾ ਬੋਲਣ ਵਿੱਚ ਬਹੁਤ ਖੁਸ਼ੀ ਹੋਵੇਗੀ।

https://pgconf.ru/2017/92899

ਅਸੀਂ ਕਨੈਕਸ਼ਨ ਪੂਲਰ ਦੀ ਜਾਂਚ ਕੀਤੀ ਜੋ ਇੱਕ ਪ੍ਰਬੰਧਿਤ ਪੋਸਟਗ੍ਰੇਸ ਕਲੱਸਟਰ ਲਈ ਢੁਕਵੇਂ ਸਨ। ਅਤੇ PgBouncer ਸਾਡੇ ਲਈ ਸਭ ਤੋਂ ਵਧੀਆ ਵਿਕਲਪ ਸੀ। ਪਰ ਸਾਨੂੰ PgBouncer ਨਾਲ ਕਈ ਸਮੱਸਿਆਵਾਂ ਦਾ ਸਾਹਮਣਾ ਕਰਨਾ ਪਿਆ। ਕਈ ਸਾਲ ਪਹਿਲਾਂ, ਵੋਲੋਡੀਆ ਬੋਰੋਡਿਨ ਨੇ ਰਿਪੋਰਟਾਂ ਦਿੱਤੀਆਂ ਸਨ ਕਿ ਅਸੀਂ ਪੀਜੀਬਾਊਂਸਰ ਦੀ ਵਰਤੋਂ ਕਰਦੇ ਹਾਂ, ਸਾਨੂੰ ਸਭ ਕੁਝ ਪਸੰਦ ਹੈ, ਪਰ ਇੱਥੇ ਕੁਝ ਸੂਖਮਤਾਵਾਂ ਹਨ, ਕੰਮ ਕਰਨ ਲਈ ਕੁਝ ਹੈ.

https://pgconf.ru/media/2017/04/03/20170316H1_V.Borodin.pdf

ਅਤੇ ਅਸੀਂ ਕੰਮ ਕੀਤਾ. ਅਸੀਂ ਉਹਨਾਂ ਸਮੱਸਿਆਵਾਂ ਨੂੰ ਹੱਲ ਕੀਤਾ ਜੋ ਸਾਨੂੰ ਆਈਆਂ, ਅਸੀਂ ਬਾਊਂਸਰ ਨੂੰ ਪੈਚ ਕੀਤਾ, ਅਤੇ ਪੁੱਲ ਬੇਨਤੀਆਂ ਨੂੰ ਉੱਪਰ ਵੱਲ ਧੱਕਣ ਦੀ ਕੋਸ਼ਿਸ਼ ਕੀਤੀ। ਪਰ ਬੁਨਿਆਦੀ ਸਿੰਗਲ-ਥ੍ਰੈਡਿੰਗ ਨਾਲ ਕੰਮ ਕਰਨਾ ਮੁਸ਼ਕਲ ਸੀ।

ਸਾਨੂੰ ਪੈਚ ਵਾਲੇ ਬਾਊਂਸਰਾਂ ਤੋਂ ਕੈਸਕੇਡ ਇਕੱਠੇ ਕਰਨੇ ਪਏ। ਜਦੋਂ ਸਾਡੇ ਕੋਲ ਬਹੁਤ ਸਾਰੇ ਸਿੰਗਲ-ਥ੍ਰੈੱਡਡ ਬਾਊਂਸਰ ਹੁੰਦੇ ਹਨ, ਤਾਂ ਉੱਪਰੀ ਪਰਤ ਦੇ ਕਨੈਕਸ਼ਨਾਂ ਨੂੰ ਬਾਊਂਸਰਾਂ ਦੀ ਅੰਦਰੂਨੀ ਪਰਤ ਵਿੱਚ ਤਬਦੀਲ ਕੀਤਾ ਜਾਂਦਾ ਹੈ। ਇਹ ਇੱਕ ਮਾੜੀ ਪ੍ਰਬੰਧਿਤ ਪ੍ਰਣਾਲੀ ਹੈ ਜਿਸ ਨੂੰ ਬਣਾਉਣਾ ਅਤੇ ਅੱਗੇ-ਪਿੱਛੇ ਸਕੇਲ ਕਰਨਾ ਮੁਸ਼ਕਲ ਹੈ।

ਅਸੀਂ ਇਸ ਸਿੱਟੇ ਤੇ ਪਹੁੰਚੇ ਕਿ ਅਸੀਂ ਆਪਣਾ ਖੁਦ ਦਾ ਕੁਨੈਕਸ਼ਨ ਪੂਲਰ ਬਣਾਇਆ ਹੈ, ਜਿਸਨੂੰ ਓਡੀਸੀ ਕਿਹਾ ਜਾਂਦਾ ਹੈ. ਅਸੀਂ ਇਸਨੂੰ ਸਕ੍ਰੈਚ ਤੋਂ ਲਿਖਿਆ.

https://www.pgcon.org/2019/schedule/events/1312.en.html

2019 ਵਿੱਚ, PgCon ਕਾਨਫਰੰਸ ਵਿੱਚ, ਮੈਂ ਇਸ ਪੂਲਰ ਨੂੰ ਡਿਵੈਲਪਰ ਭਾਈਚਾਰੇ ਨੂੰ ਪੇਸ਼ ਕੀਤਾ। ਹੁਣ ਸਾਡੇ ਕੋਲ GitHub 'ਤੇ 2 ਤੋਂ ਘੱਟ ਸਟਾਰ ਹਨ, ਯਾਨੀ ਪ੍ਰੋਜੈਕਟ ਜ਼ਿੰਦਾ ਹੈ, ਪ੍ਰੋਜੈਕਟ ਪ੍ਰਸਿੱਧ ਹੈ।

ਅਤੇ ਜੇਕਰ ਤੁਸੀਂ Yandex.Cloud ਵਿੱਚ ਇੱਕ Postgres ਕਲੱਸਟਰ ਬਣਾਉਂਦੇ ਹੋ, ਤਾਂ ਇਹ ਬਿਲਟ-ਇਨ ਓਡੀਸੀ ਵਾਲਾ ਇੱਕ ਕਲੱਸਟਰ ਹੋਵੇਗਾ, ਜੋ ਕਿ ਕਲੱਸਟਰ ਨੂੰ ਪਿੱਛੇ ਜਾਂ ਅੱਗੇ ਸਕੇਲ ਕਰਨ ਵੇਲੇ ਮੁੜ ਸੰਰਚਿਤ ਕੀਤਾ ਜਾਂਦਾ ਹੈ।

ਅਸੀਂ ਇਸ ਪ੍ਰੋਜੈਕਟ ਤੋਂ ਕੀ ਸਿੱਖਿਆ? ਇੱਕ ਪ੍ਰਤੀਯੋਗੀ ਪ੍ਰੋਜੈਕਟ ਨੂੰ ਲਾਂਚ ਕਰਨਾ ਹਮੇਸ਼ਾਂ ਇੱਕ ਹਮਲਾਵਰ ਕਦਮ ਹੁੰਦਾ ਹੈ, ਇਹ ਇੱਕ ਅਤਿਅੰਤ ਉਪਾਅ ਹੁੰਦਾ ਹੈ ਜਦੋਂ ਅਸੀਂ ਕਹਿੰਦੇ ਹਾਂ ਕਿ ਅਜਿਹੀਆਂ ਸਮੱਸਿਆਵਾਂ ਹਨ ਜੋ ਜਲਦੀ ਹੱਲ ਨਹੀਂ ਕੀਤੀਆਂ ਜਾ ਰਹੀਆਂ ਹਨ, ਸਮੇਂ ਦੇ ਅੰਤਰਾਲਾਂ ਵਿੱਚ ਹੱਲ ਨਹੀਂ ਕੀਤੀਆਂ ਜਾ ਰਹੀਆਂ ਹਨ ਜੋ ਸਾਡੇ ਅਨੁਕੂਲ ਹੋਣਗੀਆਂ। ਪਰ ਇਹ ਇੱਕ ਪ੍ਰਭਾਵਸ਼ਾਲੀ ਉਪਾਅ ਹੈ.

PgBouncer ਤੇਜ਼ੀ ਨਾਲ ਵਿਕਸਿਤ ਹੋਣ ਲੱਗਾ।

ਅਤੇ ਹੁਣ ਹੋਰ ਪ੍ਰੋਜੈਕਟ ਪ੍ਰਗਟ ਹੋਏ ਹਨ. ਉਦਾਹਰਨ ਲਈ, pgagroal, ਜੋ ਕਿ Red Hat ਡਿਵੈਲਪਰਾਂ ਦੁਆਰਾ ਵਿਕਸਤ ਕੀਤਾ ਗਿਆ ਹੈ। ਉਹ ਸਮਾਨ ਟੀਚਿਆਂ ਦਾ ਪਿੱਛਾ ਕਰਦੇ ਹਨ ਅਤੇ ਸਮਾਨ ਵਿਚਾਰਾਂ ਨੂੰ ਲਾਗੂ ਕਰਦੇ ਹਨ, ਪਰ, ਬੇਸ਼ੱਕ, ਉਹਨਾਂ ਦੀਆਂ ਆਪਣੀਆਂ ਵਿਸ਼ੇਸ਼ਤਾਵਾਂ ਦੇ ਨਾਲ, ਜੋ ਕਿ pgagroal ਡਿਵੈਲਪਰਾਂ ਦੇ ਨੇੜੇ ਹਨ.

ਪੋਸਟਗ੍ਰੇਸ ਕਮਿਊਨਿਟੀ ਦੇ ਨਾਲ ਕੰਮ ਕਰਨ ਦਾ ਇੱਕ ਹੋਰ ਮਾਮਲਾ ਸਮੇਂ ਦੇ ਇੱਕ ਬਿੰਦੂ ਤੇ ਬਹਾਲ ਹੋ ਰਿਹਾ ਹੈ. ਇਹ ਅਸਫਲਤਾ ਤੋਂ ਬਾਅਦ ਰਿਕਵਰੀ ਹੈ, ਇਹ ਬੈਕਅੱਪ ਤੋਂ ਰਿਕਵਰੀ ਹੈ।

ਬਹੁਤ ਸਾਰੇ ਬੈਕਅੱਪ ਹਨ ਅਤੇ ਉਹ ਸਾਰੇ ਵੱਖਰੇ ਹਨ। ਲਗਭਗ ਹਰ ਪੋਸਟਗ੍ਰੇਸ ਵਿਕਰੇਤਾ ਦਾ ਆਪਣਾ ਬੈਕਅਪ ਹੱਲ ਹੁੰਦਾ ਹੈ.

ਜੇ ਤੁਸੀਂ ਸਾਰੇ ਬੈਕਅੱਪ ਸਿਸਟਮ ਲੈਂਦੇ ਹੋ, ਇੱਕ ਵਿਸ਼ੇਸ਼ਤਾ ਮੈਟ੍ਰਿਕਸ ਬਣਾਉਂਦੇ ਹੋ ਅਤੇ ਮਜ਼ਾਕ ਨਾਲ ਇਸ ਮੈਟ੍ਰਿਕਸ ਵਿੱਚ ਨਿਰਧਾਰਕ ਦੀ ਗਣਨਾ ਕਰਦੇ ਹੋ, ਤਾਂ ਇਹ ਜ਼ੀਰੋ ਹੋਵੇਗਾ। ਇਸਦਾ ਕੀ ਮਤਲਬ ਹੈ? ਕੀ ਜੇ ਤੁਸੀਂ ਇੱਕ ਖਾਸ ਬੈਕਅੱਪ ਫਾਈਲ ਲੈਂਦੇ ਹੋ, ਤਾਂ ਇਸਨੂੰ ਬਾਕੀ ਸਾਰੇ ਦੇ ਟੁਕੜਿਆਂ ਤੋਂ ਇਕੱਠਾ ਨਹੀਂ ਕੀਤਾ ਜਾ ਸਕਦਾ. ਇਹ ਆਪਣੇ ਅਮਲ ਵਿੱਚ ਵਿਲੱਖਣ ਹੈ, ਇਹ ਆਪਣੇ ਉਦੇਸ਼ ਵਿੱਚ ਵਿਲੱਖਣ ਹੈ, ਇਹ ਇਸ ਵਿੱਚ ਸ਼ਾਮਲ ਵਿਚਾਰਾਂ ਵਿੱਚ ਵਿਲੱਖਣ ਹੈ। ਅਤੇ ਉਹ ਸਾਰੇ ਖਾਸ ਹਨ.

https://www.citusdata.com/blog/2017/08/18/introducing-wal-g-faster-restores-for-postgres/

ਜਦੋਂ ਅਸੀਂ ਇਸ ਮੁੱਦੇ 'ਤੇ ਕੰਮ ਕਰ ਰਹੇ ਸੀ, ਤਾਂ CitusData ਨੇ WAL-G ਪ੍ਰੋਜੈਕਟ ਲਾਂਚ ਕੀਤਾ। ਇਹ ਇੱਕ ਬੈਕਅੱਪ ਸਿਸਟਮ ਹੈ ਜੋ ਕਿ ਕਲਾਉਡ ਵਾਤਾਵਰਨ ਦੀ ਨਜ਼ਰ ਨਾਲ ਬਣਾਇਆ ਗਿਆ ਸੀ। ਹੁਣ CitusData ਪਹਿਲਾਂ ਹੀ ਮਾਈਕ੍ਰੋਸਾਫਟ ਦਾ ਹਿੱਸਾ ਹੈ। ਅਤੇ ਉਸ ਸਮੇਂ, ਸਾਨੂੰ ਅਸਲ ਵਿੱਚ ਉਹ ਵਿਚਾਰ ਪਸੰਦ ਆਏ ਜੋ WAL-G ਦੇ ਸ਼ੁਰੂਆਤੀ ਰੀਲੀਜ਼ਾਂ ਵਿੱਚ ਰੱਖੇ ਗਏ ਸਨ। ਅਤੇ ਅਸੀਂ ਇਸ ਪ੍ਰੋਜੈਕਟ ਵਿੱਚ ਯੋਗਦਾਨ ਪਾਉਣਾ ਸ਼ੁਰੂ ਕੀਤਾ।

https://github.com/wal-g/wal-g/graphs/contributors

ਹੁਣ ਇਸ ਪ੍ਰੋਜੈਕਟ ਵਿੱਚ ਬਹੁਤ ਸਾਰੇ ਦਰਜਨਾਂ ਡਿਵੈਲਪਰ ਹਨ, ਪਰ WAL-G ਵਿੱਚ ਚੋਟੀ ਦੇ 10 ਯੋਗਦਾਨ ਪਾਉਣ ਵਾਲਿਆਂ ਵਿੱਚ 6 Yandexoids ਸ਼ਾਮਲ ਹਨ। ਅਸੀਂ ਉੱਥੇ ਆਪਣੇ ਬਹੁਤ ਸਾਰੇ ਵਿਚਾਰ ਲੈ ਕੇ ਆਏ। ਅਤੇ, ਬੇਸ਼ੱਕ, ਅਸੀਂ ਉਹਨਾਂ ਨੂੰ ਆਪਣੇ ਆਪ ਲਾਗੂ ਕੀਤਾ, ਉਹਨਾਂ ਦੀ ਖੁਦ ਜਾਂਚ ਕੀਤੀ, ਉਹਨਾਂ ਨੂੰ ਆਪਣੇ ਆਪ ਉਤਪਾਦਨ ਵਿੱਚ ਰੋਲ ਆਊਟ ਕੀਤਾ, ਅਸੀਂ ਉਹਨਾਂ ਦੀ ਵਰਤੋਂ ਖੁਦ ਕਰਦੇ ਹਾਂ, ਅਸੀਂ ਖੁਦ ਇਹ ਪਤਾ ਲਗਾਉਂਦੇ ਹਾਂ ਕਿ ਵੱਡੇ WAL-G ਭਾਈਚਾਰੇ ਨਾਲ ਗੱਲਬਾਤ ਕਰਦੇ ਹੋਏ, ਅੱਗੇ ਕਿੱਥੇ ਜਾਣਾ ਹੈ।

ਅਤੇ ਸਾਡੇ ਦ੍ਰਿਸ਼ਟੀਕੋਣ ਤੋਂ, ਹੁਣ ਇਹ ਬੈਕਅੱਪ ਸਿਸਟਮ, ਸਾਡੇ ਯਤਨਾਂ ਨੂੰ ਧਿਆਨ ਵਿੱਚ ਰੱਖਦੇ ਹੋਏ, ਕਲਾਉਡ ਵਾਤਾਵਰਣ ਲਈ ਅਨੁਕੂਲ ਬਣ ਗਿਆ ਹੈ। ਕਲਾਉਡ ਵਿੱਚ ਪੋਸਟਗ੍ਰੇਸ ਦਾ ਬੈਕਅੱਪ ਲੈਣ ਦੀ ਇਹ ਸਭ ਤੋਂ ਵਧੀਆ ਲਾਗਤ ਹੈ।

ਇਸਦਾ ਮਤਲੱਬ ਕੀ ਹੈ? ਅਸੀਂ ਇੱਕ ਕਾਫ਼ੀ ਵੱਡੇ ਵਿਚਾਰ ਦਾ ਪ੍ਰਚਾਰ ਕਰ ਰਹੇ ਸੀ: ਬੈਕਅੱਪ ਸੁਰੱਖਿਅਤ ਹੋਣਾ ਚਾਹੀਦਾ ਹੈ, ਚਲਾਉਣ ਲਈ ਸਸਤਾ ਹੋਣਾ ਚਾਹੀਦਾ ਹੈ ਅਤੇ ਜਿੰਨੀ ਜਲਦੀ ਹੋ ਸਕੇ ਰੀਸਟੋਰ ਕਰਨਾ ਚਾਹੀਦਾ ਹੈ।

ਇਸ ਨੂੰ ਚਲਾਉਣ ਲਈ ਸਸਤਾ ਕਿਉਂ ਹੋਣਾ ਚਾਹੀਦਾ ਹੈ? ਜਦੋਂ ਕੁਝ ਵੀ ਟੁੱਟਿਆ ਨਹੀਂ ਹੈ, ਤਾਂ ਤੁਹਾਨੂੰ ਇਹ ਨਹੀਂ ਪਤਾ ਹੋਣਾ ਚਾਹੀਦਾ ਹੈ ਕਿ ਤੁਹਾਡੇ ਕੋਲ ਬੈਕਅੱਪ ਹਨ। ਸਭ ਕੁਝ ਠੀਕ ਕੰਮ ਕਰਦਾ ਹੈ, ਤੁਸੀਂ ਜਿੰਨਾ ਸੰਭਵ ਹੋ ਸਕੇ ਥੋੜਾ ਜਿਹਾ CPU ਬਰਬਾਦ ਕਰਦੇ ਹੋ, ਤੁਸੀਂ ਜਿੰਨਾ ਸੰਭਵ ਹੋ ਸਕੇ ਆਪਣੇ ਡਿਸਕ ਸਰੋਤਾਂ ਦੀ ਘੱਟ ਵਰਤੋਂ ਕਰਦੇ ਹੋ, ਅਤੇ ਤੁਸੀਂ ਜਿੰਨਾ ਸੰਭਵ ਹੋ ਸਕੇ ਨੈੱਟਵਰਕ ਨੂੰ ਕੁਝ ਬਾਈਟਸ ਭੇਜਦੇ ਹੋ ਤਾਂ ਜੋ ਤੁਹਾਡੀਆਂ ਕੀਮਤੀ ਸੇਵਾਵਾਂ ਦੇ ਪੇਲੋਡ ਵਿੱਚ ਦਖਲ ਨਾ ਪਵੇ।

ਅਤੇ ਜਦੋਂ ਸਭ ਕੁਝ ਟੁੱਟ ਜਾਂਦਾ ਹੈ, ਉਦਾਹਰਨ ਲਈ, ਐਡਮਿਨ ਨੇ ਡੇਟਾ ਛੱਡ ਦਿੱਤਾ, ਕੁਝ ਗਲਤ ਹੋ ਗਿਆ, ਅਤੇ ਤੁਹਾਨੂੰ ਤੁਰੰਤ ਅਤੀਤ ਵਿੱਚ ਵਾਪਸ ਜਾਣ ਦੀ ਜ਼ਰੂਰਤ ਹੈ, ਤੁਸੀਂ ਸਾਰੇ ਪੈਸੇ ਨਾਲ ਠੀਕ ਹੋ ਜਾਂਦੇ ਹੋ, ਕਿਉਂਕਿ ਤੁਸੀਂ ਆਪਣਾ ਡੇਟਾ ਜਲਦੀ ਅਤੇ ਬਰਕਰਾਰ ਰੱਖਣਾ ਚਾਹੁੰਦੇ ਹੋ।

ਅਤੇ ਅਸੀਂ ਇਸ ਸਧਾਰਨ ਵਿਚਾਰ ਨੂੰ ਅੱਗੇ ਵਧਾਇਆ. ਅਤੇ, ਇਹ ਸਾਨੂੰ ਜਾਪਦਾ ਹੈ, ਅਸੀਂ ਇਸਨੂੰ ਲਾਗੂ ਕਰਨ ਵਿੱਚ ਕਾਮਯਾਬ ਰਹੇ.

ਪਰ ਇਹ ਸਭ ਕੁਝ ਨਹੀਂ ਹੈ। ਅਸੀਂ ਇੱਕ ਹੋਰ ਛੋਟੀ ਚੀਜ਼ ਚਾਹੁੰਦੇ ਸੀ। ਅਸੀਂ ਬਹੁਤ ਸਾਰੇ ਵੱਖ-ਵੱਖ ਡੇਟਾਬੇਸ ਚਾਹੁੰਦੇ ਸੀ। ਸਾਡੇ ਸਾਰੇ ਗਾਹਕ ਪੋਸਟਗ੍ਰੇਸ ਦੀ ਵਰਤੋਂ ਨਹੀਂ ਕਰਦੇ ਹਨ। ਕੁਝ ਲੋਕ MySQL, MongoDB ਦੀ ਵਰਤੋਂ ਕਰਦੇ ਹਨ। ਕਮਿਊਨਿਟੀ ਵਿੱਚ, ਹੋਰ ਡਿਵੈਲਪਰਾਂ ਨੇ ਫਾਊਂਡੇਸ਼ਨਡੀਬੀ ਦਾ ਸਮਰਥਨ ਕੀਤਾ ਹੈ। ਅਤੇ ਇਹ ਸੂਚੀ ਲਗਾਤਾਰ ਵਧ ਰਹੀ ਹੈ.

ਸਮੁਦਾਏ ਨੂੰ ਕਲਾਉਡ ਵਿੱਚ ਇੱਕ ਪ੍ਰਬੰਧਿਤ ਵਾਤਾਵਰਣ ਵਿੱਚ ਚਲਾਏ ਜਾ ਰਹੇ ਡੇਟਾਬੇਸ ਦੇ ਵਿਚਾਰ ਨੂੰ ਪਸੰਦ ਹੈ। ਅਤੇ ਡਿਵੈਲਪਰ ਆਪਣੇ ਡੇਟਾਬੇਸ ਨੂੰ ਬਰਕਰਾਰ ਰੱਖਦੇ ਹਨ, ਜਿਸਦਾ ਸਾਡੇ ਬੈਕਅੱਪ ਸਿਸਟਮ ਨਾਲ ਪੋਸਟਗ੍ਰੇਸ ਦੇ ਨਾਲ ਸਮਾਨ ਰੂਪ ਵਿੱਚ ਬੈਕਅੱਪ ਕੀਤਾ ਜਾ ਸਕਦਾ ਹੈ।

ਅਸੀਂ ਇਸ ਕਹਾਣੀ ਤੋਂ ਕੀ ਸਿੱਖਿਆ ਹੈ? ਸਾਡਾ ਉਤਪਾਦ, ਇੱਕ ਵਿਕਾਸ ਵੰਡ ਦੇ ਰੂਪ ਵਿੱਚ, ਕੋਡ ਦੀਆਂ ਲਾਈਨਾਂ ਨਹੀਂ ਹਨ, ਇਹ ਬਿਆਨ ਨਹੀਂ ਹਨ, ਇਹ ਫਾਈਲਾਂ ਨਹੀਂ ਹਨ। ਸਾਡਾ ਉਤਪਾਦ ਪੁੱਲ ਬੇਨਤੀਆਂ ਨਹੀਂ ਹੈ। ਇਹ ਉਹ ਵਿਚਾਰ ਹਨ ਜੋ ਅਸੀਂ ਸਮਾਜ ਤੱਕ ਪਹੁੰਚਾਉਂਦੇ ਹਾਂ। ਇਹ ਤਕਨਾਲੋਜੀ ਦੀ ਮੁਹਾਰਤ ਹੈ ਅਤੇ ਕਲਾਉਡ ਵਾਤਾਵਰਣ ਵੱਲ ਤਕਨਾਲੋਜੀ ਦੀ ਗਤੀ ਹੈ।

Postgres ਵਰਗਾ ਇੱਕ ਡਾਟਾਬੇਸ ਹੈ. ਮੈਨੂੰ ਪੋਸਟਗ੍ਰੇਸ ਕੋਰ ਸਭ ਤੋਂ ਵੱਧ ਪਸੰਦ ਹੈ. ਮੈਂ ਕਮਿਊਨਿਟੀ ਦੇ ਨਾਲ ਪੋਸਟਗ੍ਰੇਸ ਕੋਰ ਨੂੰ ਵਿਕਸਤ ਕਰਨ ਵਿੱਚ ਬਹੁਤ ਸਮਾਂ ਬਿਤਾਉਂਦਾ ਹਾਂ.

ਪਰ ਇੱਥੇ ਇਹ ਕਿਹਾ ਜਾਣਾ ਚਾਹੀਦਾ ਹੈ ਕਿ Yandex.Cloud ਕੋਲ ਪ੍ਰਬੰਧਿਤ ਡੇਟਾਬੇਸ ਦੀ ਅੰਦਰੂਨੀ ਸਥਾਪਨਾ ਹੈ. ਅਤੇ ਇਹ Yandex.Mail ਵਿੱਚ ਬਹੁਤ ਸਮਾਂ ਪਹਿਲਾਂ ਸ਼ੁਰੂ ਹੋਇਆ ਸੀ. ਮੁਹਾਰਤ ਜੋ ਹੁਣ ਪ੍ਰਬੰਧਿਤ ਪੋਸਟਗ੍ਰੇਸ ਦੀ ਅਗਵਾਈ ਕਰਦੀ ਹੈ, ਉਦੋਂ ਇਕੱਠੀ ਕੀਤੀ ਗਈ ਸੀ ਜਦੋਂ ਮੇਲ ਪੋਸਟਗ੍ਰੇਸ ਵਿੱਚ ਜਾਣਾ ਚਾਹੁੰਦਾ ਸੀ।

ਮੇਲ ਦੀਆਂ ਕਲਾਉਡ ਲਈ ਬਹੁਤ ਸਮਾਨ ਲੋੜਾਂ ਹਨ। ਇਸਦੀ ਲੋੜ ਹੈ ਕਿ ਤੁਸੀਂ ਆਪਣੇ ਡੇਟਾ ਦੇ ਕਿਸੇ ਵੀ ਬਿੰਦੂ 'ਤੇ ਅਚਾਨਕ ਘਾਤਕ ਵਾਧੇ ਨੂੰ ਸਕੇਲ ਕਰਨ ਦੇ ਯੋਗ ਹੋਵੋ। ਅਤੇ ਮੇਲ ਵਿੱਚ ਪਹਿਲਾਂ ਹੀ ਬਹੁਤ ਸਾਰੇ ਉਪਭੋਗਤਾਵਾਂ ਦੇ ਲੱਖਾਂ ਮੇਲਬਾਕਸਾਂ ਦੇ ਨਾਲ ਇੱਕ ਲੋਡ ਸੀ ਜੋ ਲਗਾਤਾਰ ਬਹੁਤ ਸਾਰੀਆਂ ਬੇਨਤੀਆਂ ਕਰਦੇ ਹਨ.

ਅਤੇ ਪੋਸਟਗ੍ਰੇਸ ਨੂੰ ਵਿਕਸਤ ਕਰਨ ਵਾਲੀ ਟੀਮ ਲਈ ਇਹ ਕਾਫ਼ੀ ਗੰਭੀਰ ਚੁਣੌਤੀ ਸੀ। ਉਸ ਸਮੇਂ, ਸਾਨੂੰ ਕਿਸੇ ਵੀ ਸਮੱਸਿਆ ਦਾ ਸਾਹਮਣਾ ਕਰਨਾ ਪੈਂਦਾ ਸੀ, ਉਸ ਦੀ ਰਿਪੋਰਟ ਭਾਈਚਾਰੇ ਨੂੰ ਕੀਤੀ ਜਾਂਦੀ ਸੀ। ਅਤੇ ਇਹਨਾਂ ਸਮੱਸਿਆਵਾਂ ਨੂੰ ਠੀਕ ਕੀਤਾ ਗਿਆ ਸੀ, ਅਤੇ ਕੁਝ ਸਥਾਨਾਂ ਵਿੱਚ ਕਮਿਊਨਿਟੀ ਦੁਆਰਾ ਠੀਕ ਕੀਤਾ ਗਿਆ ਸੀ ਇੱਥੋਂ ਤੱਕ ਕਿ ਕੁਝ ਹੋਰ ਡੇਟਾਬੇਸ ਲਈ ਅਦਾਇਗੀ ਸਹਾਇਤਾ ਦੇ ਪੱਧਰ ਤੇ ਅਤੇ ਹੋਰ ਵੀ ਵਧੀਆ। ਭਾਵ, ਤੁਸੀਂ PgSQL ਹੈਕਰ ਨੂੰ ਇੱਕ ਪੱਤਰ ਭੇਜ ਸਕਦੇ ਹੋ ਅਤੇ 40 ਮਿੰਟ ਦੇ ਅੰਦਰ ਜਵਾਬ ਪ੍ਰਾਪਤ ਕਰ ਸਕਦੇ ਹੋ। ਕੁਝ ਡੇਟਾਬੇਸ ਵਿੱਚ ਭੁਗਤਾਨ ਕੀਤਾ ਸਮਰਥਨ ਇਹ ਸੋਚ ਸਕਦਾ ਹੈ ਕਿ ਤੁਹਾਡੇ ਬੱਗ ਨਾਲੋਂ ਵਧੇਰੇ ਤਰਜੀਹ ਵਾਲੀਆਂ ਚੀਜ਼ਾਂ ਹਨ।

ਹੁਣ ਪੋਸਟਗ੍ਰੇਸ ਦੀ ਅੰਦਰੂਨੀ ਸਥਾਪਨਾ ਡੇਟਾ ਦੇ ਕੁਝ ਪੈਟਾਬਾਈਟ ਹੈ। ਇਹ ਪ੍ਰਤੀ ਸਕਿੰਟ ਲੱਖਾਂ ਬੇਨਤੀਆਂ ਹਨ। ਇਹ ਹਜ਼ਾਰਾਂ ਕਲੱਸਟਰ ਹਨ। ਇਹ ਬਹੁਤ ਵੱਡੇ ਪੈਮਾਨੇ ਦਾ ਹੈ।

ਪਰ ਇੱਕ ਸੂਖਮਤਾ ਹੈ. ਇਹ ਫੈਂਸੀ ਨੈੱਟਵਰਕ ਡਰਾਈਵਾਂ 'ਤੇ ਨਹੀਂ, ਸਗੋਂ ਕਾਫ਼ੀ ਸਧਾਰਨ ਹਾਰਡਵੇਅਰ 'ਤੇ ਰਹਿੰਦਾ ਹੈ। ਅਤੇ ਖਾਸ ਤੌਰ 'ਤੇ ਦਿਲਚਸਪ ਨਵੀਆਂ ਚੀਜ਼ਾਂ ਲਈ ਇੱਕ ਟੈਸਟ ਮਾਹੌਲ ਹੈ.

ਅਤੇ ਟੈਸਟ ਵਾਤਾਵਰਨ ਵਿੱਚ ਇੱਕ ਨਿਸ਼ਚਿਤ ਪਲ 'ਤੇ ਸਾਨੂੰ ਇੱਕ ਸੁਨੇਹਾ ਪ੍ਰਾਪਤ ਹੋਇਆ ਜੋ ਇਹ ਦਰਸਾਉਂਦਾ ਹੈ ਕਿ ਡੇਟਾਬੇਸ ਸੂਚਕਾਂਕ ਦੇ ਅੰਦਰੂਨੀ ਇਨਵੈਰੀਐਂਟਸ ਦੀ ਉਲੰਘਣਾ ਕੀਤੀ ਗਈ ਸੀ।

ਇੱਕ ਬਦਲਾਵ ਇੱਕ ਅਜਿਹਾ ਰਿਸ਼ਤਾ ਹੁੰਦਾ ਹੈ ਜਿਸਨੂੰ ਅਸੀਂ ਹਮੇਸ਼ਾ ਰੱਖਣ ਦੀ ਉਮੀਦ ਕਰਦੇ ਹਾਂ।

ਸਾਡੇ ਲਈ ਬਹੁਤ ਨਾਜ਼ੁਕ ਸਥਿਤੀ ਹੈ। ਇਹ ਦਰਸਾਉਂਦਾ ਹੈ ਕਿ ਕੁਝ ਡੇਟਾ ਗੁੰਮ ਹੋ ਸਕਦਾ ਹੈ। ਅਤੇ ਡੇਟਾ ਦਾ ਨੁਕਸਾਨ ਬਿਲਕੁਲ ਵਿਨਾਸ਼ਕਾਰੀ ਹੈ.

ਆਮ ਵਿਚਾਰ ਜਿਸਦਾ ਅਸੀਂ ਪ੍ਰਬੰਧਿਤ ਡੇਟਾਬੇਸ ਵਿੱਚ ਪਾਲਣਾ ਕਰਦੇ ਹਾਂ ਉਹ ਇਹ ਹੈ ਕਿ ਕੋਸ਼ਿਸ਼ ਕਰਨ ਦੇ ਬਾਵਜੂਦ, ਡੇਟਾ ਨੂੰ ਗੁਆਉਣਾ ਮੁਸ਼ਕਲ ਹੋਵੇਗਾ। ਭਾਵੇਂ ਤੁਸੀਂ ਉਨ੍ਹਾਂ ਨੂੰ ਜਾਣਬੁੱਝ ਕੇ ਹਟਾ ਦਿੰਦੇ ਹੋ, ਫਿਰ ਵੀ ਤੁਹਾਨੂੰ ਲੰਬੇ ਸਮੇਂ ਲਈ ਉਨ੍ਹਾਂ ਦੀ ਗੈਰਹਾਜ਼ਰੀ ਨੂੰ ਨਜ਼ਰਅੰਦਾਜ਼ ਕਰਨ ਦੀ ਜ਼ਰੂਰਤ ਹੋਏਗੀ। ਡੇਟਾ ਸੁਰੱਖਿਆ ਇੱਕ ਧਰਮ ਹੈ ਜਿਸਦੀ ਅਸੀਂ ਪੂਰੀ ਲਗਨ ਨਾਲ ਪਾਲਣਾ ਕਰਦੇ ਹਾਂ।

ਅਤੇ ਇੱਥੇ ਇੱਕ ਸਥਿਤੀ ਪੈਦਾ ਹੁੰਦੀ ਹੈ ਜੋ ਸੁਝਾਅ ਦਿੰਦੀ ਹੈ ਕਿ ਅਜਿਹੀ ਸਥਿਤੀ ਹੋ ਸਕਦੀ ਹੈ ਜਿਸ ਲਈ ਅਸੀਂ ਤਿਆਰ ਨਹੀਂ ਹੋ ਸਕਦੇ। ਅਤੇ ਅਸੀਂ ਇਸ ਸਥਿਤੀ ਲਈ ਤਿਆਰੀ ਕਰਨੀ ਸ਼ੁਰੂ ਕਰ ਦਿੱਤੀ।

https://commitfest.postgresql.org/23/2171/

ਸਭ ਤੋਂ ਪਹਿਲਾਂ ਅਸੀਂ ਇਹ ਕੀਤਾ ਕਿ ਇਨ੍ਹਾਂ ਹਜ਼ਾਰਾਂ ਕਲੱਸਟਰਾਂ ਵਿੱਚੋਂ ਲੌਗਸ ਨੂੰ ਦਫ਼ਨਾਉਣਾ ਸੀ। ਅਸੀਂ ਪਾਇਆ ਕਿ ਕਿਹੜੇ ਕਲੱਸਟਰ ਡਿਸਕਾਂ 'ਤੇ ਸਮੱਸਿਆ ਵਾਲੇ ਫਰਮਵੇਅਰ ਨਾਲ ਸਥਿਤ ਸਨ ਜੋ ਡਾਟਾ ਪੇਜ ਅੱਪਡੇਟ ਗੁਆ ਰਹੇ ਸਨ। ਸਾਰੇ ਪੋਸਟਗ੍ਰੇਸ ਡੇਟਾ ਕੋਡ ਨੂੰ ਮਾਰਕ ਕੀਤਾ। ਅਤੇ ਅਸੀਂ ਉਹਨਾਂ ਸੁਨੇਹਿਆਂ ਦੀ ਨਿਸ਼ਾਨਦੇਹੀ ਕੀਤੀ ਹੈ ਜੋ ਕੋਡ ਦੇ ਨਾਲ ਅੰਦਰੂਨੀ ਇਨਵੈਰੀਐਂਟਸ ਦੀ ਉਲੰਘਣਾ ਨੂੰ ਦਰਸਾਉਂਦੇ ਹਨ ਜੋ ਡੇਟਾ ਭ੍ਰਿਸ਼ਟਾਚਾਰ ਦਾ ਪਤਾ ਲਗਾਉਣ ਲਈ ਤਿਆਰ ਕੀਤਾ ਗਿਆ ਹੈ।

ਇਸ ਪੈਚ ਨੂੰ ਬਿਨਾਂ ਕਿਸੇ ਚਰਚਾ ਦੇ ਕਮਿਊਨਿਟੀ ਦੁਆਰਾ ਅਮਲੀ ਤੌਰ 'ਤੇ ਸਵੀਕਾਰ ਕੀਤਾ ਗਿਆ ਸੀ, ਕਿਉਂਕਿ ਹਰੇਕ ਖਾਸ ਕੇਸ ਵਿੱਚ ਇਹ ਸਪੱਸ਼ਟ ਸੀ ਕਿ ਕੁਝ ਬੁਰਾ ਹੋਇਆ ਸੀ ਅਤੇ ਲੌਗ ਨੂੰ ਰਿਪੋਰਟ ਕਰਨ ਦੀ ਲੋੜ ਸੀ।

ਇਸ ਤੋਂ ਬਾਅਦ, ਅਸੀਂ ਇਸ ਬਿੰਦੂ 'ਤੇ ਆਏ ਕਿ ਸਾਡੇ ਕੋਲ ਲੌਗਸ ਨੂੰ ਸਕੈਨ ਕਰਨ ਵਾਲੀ ਨਿਗਰਾਨੀ ਹੈ। ਅਤੇ ਸ਼ੱਕੀ ਸੰਦੇਸ਼ਾਂ ਦੇ ਮਾਮਲੇ ਵਿੱਚ, ਉਹ ਡਿਊਟੀ ਅਫਸਰ ਨੂੰ ਜਗਾਉਂਦਾ ਹੈ, ਅਤੇ ਡਿਊਟੀ ਅਫਸਰ ਇਸਦੀ ਮੁਰੰਮਤ ਕਰਦਾ ਹੈ।

ਪਰ! ਲੌਗਸ ਨੂੰ ਸਕੈਨ ਕਰਨਾ ਇੱਕ ਕਲੱਸਟਰ 'ਤੇ ਇੱਕ ਸਸਤਾ ਕਾਰਜ ਹੈ ਅਤੇ ਇੱਕ ਹਜ਼ਾਰ ਕਲੱਸਟਰਾਂ ਲਈ ਘਾਤਕ ਤੌਰ 'ਤੇ ਮਹਿੰਗਾ ਹੈ।

ਅਸੀਂ ਇੱਕ ਐਕਸਟੈਂਸ਼ਨ ਨੂੰ ਲਿਖਿਆ ਲੌਗਰਰ. ਇਹ ਡੇਟਾਬੇਸ ਦਾ ਇੱਕ ਦ੍ਰਿਸ਼ ਬਣਾਉਂਦਾ ਹੈ ਜਿਸ ਵਿੱਚ ਤੁਸੀਂ ਪਿਛਲੀਆਂ ਗਲਤੀਆਂ ਦੇ ਅੰਕੜੇ ਸਸਤੇ ਅਤੇ ਤੇਜ਼ੀ ਨਾਲ ਚੁਣ ਸਕਦੇ ਹੋ। ਅਤੇ ਜੇਕਰ ਸਾਨੂੰ ਡਿਊਟੀ ਅਫਸਰ ਨੂੰ ਜਗਾਉਣ ਦੀ ਲੋੜ ਹੈ, ਤਾਂ ਅਸੀਂ ਇਸ ਬਾਰੇ ਗੀਗਾਬਾਈਟ ਫਾਈਲਾਂ ਨੂੰ ਸਕੈਨ ਕੀਤੇ ਬਿਨਾਂ, ਹੈਸ਼ ਟੇਬਲ ਤੋਂ ਕੁਝ ਬਾਈਟ ਕੱਢ ਕੇ ਇਸ ਬਾਰੇ ਪਤਾ ਲਗਾਵਾਂਗੇ.

ਇਸ ਐਕਸਟੈਂਸ਼ਨ ਨੂੰ ਅਪਣਾਇਆ ਗਿਆ ਹੈ, ਉਦਾਹਰਨ ਲਈ, ਲਈ ਰਿਪੋਜ਼ਟਰੀ ਵਿੱਚ CentOS. ਜੇਕਰ ਤੁਸੀਂ ਇਸਨੂੰ ਵਰਤਣਾ ਚਾਹੁੰਦੇ ਹੋ, ਤਾਂ ਤੁਸੀਂ ਇਸਨੂੰ ਆਪਣੇ ਆਪ ਇੰਸਟਾਲ ਕਰ ਸਕਦੇ ਹੋ। ਬੇਸ਼ੱਕ ਇਹ ਓਪਨ ਸੋਰਸ ਹੈ।

https://www.postgresql.org/message-id/flat/[ਈਮੇਲ ਸੁਰੱਖਿਅਤ]

ਪਰ ਇਹ ਸਭ ਕੁਝ ਨਹੀਂ ਹੈ। ਅਸੀਂ ਸੂਚਕਾਂਕ ਵਿੱਚ ਅਸਥਾਈ ਉਲੰਘਣਾਵਾਂ ਦਾ ਪਤਾ ਲਗਾਉਣ ਲਈ Amcheck, ਇੱਕ ਕਮਿਊਨਿਟੀ ਦੁਆਰਾ ਨਿਰਮਿਤ ਐਕਸਟੈਂਸ਼ਨ ਦੀ ਵਰਤੋਂ ਸ਼ੁਰੂ ਕੀਤੀ।

ਅਤੇ ਸਾਨੂੰ ਪਤਾ ਲੱਗਾ ਹੈ ਕਿ ਜੇਕਰ ਤੁਸੀਂ ਇਸਨੂੰ ਪੈਮਾਨੇ 'ਤੇ ਚਲਾਉਂਦੇ ਹੋ, ਤਾਂ ਬੱਗ ਹਨ। ਅਸੀਂ ਉਨ੍ਹਾਂ ਨੂੰ ਠੀਕ ਕਰਨਾ ਸ਼ੁਰੂ ਕਰ ਦਿੱਤਾ। ਸਾਡੇ ਸੁਧਾਰਾਂ ਨੂੰ ਸਵੀਕਾਰ ਕਰ ਲਿਆ ਗਿਆ ਹੈ।

https://www.postgresql.org/message-id/flat/[ਈਮੇਲ ਸੁਰੱਖਿਅਤ]

ਅਸੀਂ ਖੋਜਿਆ ਹੈ ਕਿ ਇਹ ਐਕਸਟੈਂਸ਼ਨ GiST ਅਤੇ GIT ਸੂਚਕਾਂਕ ਦਾ ਵਿਸ਼ਲੇਸ਼ਣ ਨਹੀਂ ਕਰ ਸਕਦਾ ਹੈ। ਅਸੀਂ ਉਨ੍ਹਾਂ ਨੂੰ ਸਹਾਰਾ ਦਿੱਤਾ। ਪਰ ਇਸ ਸਮਰਥਨ ਦੀ ਅਜੇ ਵੀ ਭਾਈਚਾਰੇ ਦੁਆਰਾ ਚਰਚਾ ਕੀਤੀ ਜਾ ਰਹੀ ਹੈ, ਕਿਉਂਕਿ ਇਹ ਇੱਕ ਮੁਕਾਬਲਤਨ ਨਵੀਂ ਕਾਰਜਸ਼ੀਲਤਾ ਹੈ ਅਤੇ ਇੱਥੇ ਬਹੁਤ ਸਾਰੇ ਵੇਰਵੇ ਹਨ।

https://commitfest.postgresql.org/29/2667/

ਅਤੇ ਅਸੀਂ ਇਹ ਵੀ ਖੋਜਿਆ ਹੈ ਕਿ ਜਦੋਂ ਪ੍ਰਤੀਕ੍ਰਿਤੀ ਲੀਡਰ 'ਤੇ ਉਲੰਘਣਾ ਲਈ ਸੂਚਕਾਂਕ ਦੀ ਜਾਂਚ ਕਰਦੇ ਹੋ, ਮਾਸਟਰ 'ਤੇ, ਸਭ ਕੁਝ ਵਧੀਆ ਕੰਮ ਕਰਦਾ ਹੈ, ਪਰ ਪ੍ਰਤੀਕ੍ਰਿਤੀਆਂ 'ਤੇ, ਅਨੁਯਾਈ' ਤੇ, ਭ੍ਰਿਸ਼ਟਾਚਾਰ ਦੀ ਖੋਜ ਇੰਨੀ ਪ੍ਰਭਾਵਸ਼ਾਲੀ ਨਹੀਂ ਹੈ. ਸਾਰੇ ਇਨਵੇਰੀਐਂਟਸ ਦੀ ਜਾਂਚ ਨਹੀਂ ਕੀਤੀ ਜਾਂਦੀ। ਅਤੇ ਇੱਕ ਅਨਿਵਾਰੀ ਨੇ ਸਾਨੂੰ ਬਹੁਤ ਪਰੇਸ਼ਾਨ ਕੀਤਾ. ਅਤੇ ਅਸੀਂ ਪ੍ਰਤੀਕ੍ਰਿਤੀਆਂ 'ਤੇ ਇਸ ਜਾਂਚ ਨੂੰ ਯੋਗ ਬਣਾਉਣ ਲਈ ਕਮਿਊਨਿਟੀ ਨਾਲ ਸੰਚਾਰ ਕਰਨ ਲਈ ਡੇਢ ਸਾਲ ਬਿਤਾਇਆ।

ਅਸੀਂ ਕੋਡ ਲਿਖਿਆ ਹੈ ਜੋ ਸਾਰੇ ਕਰ ਸਕਦੇ ਹਨ... ਪ੍ਰੋਟੋਕੋਲ ਦੀ ਪਾਲਣਾ ਕਰਨੀ ਚਾਹੀਦੀ ਹੈ। ਅਸੀਂ ਕਰੰਚੀ ਡੇਟਾ ਤੋਂ ਪੀਟਰ ਗਗਨ ਨਾਲ ਕਾਫ਼ੀ ਸਮੇਂ ਲਈ ਇਸ ਪੈਚ ਬਾਰੇ ਚਰਚਾ ਕੀਤੀ। ਇਸ ਪੈਚ ਨੂੰ ਸਵੀਕਾਰ ਕਰਨ ਲਈ ਉਸਨੂੰ ਪੋਸਟਗ੍ਰੇਸ ਵਿੱਚ ਮੌਜੂਦਾ ਬੀ-ਟ੍ਰੀ ਨੂੰ ਥੋੜ੍ਹਾ ਸੋਧਣਾ ਪਿਆ। ਉਹ ਸਵੀਕਾਰ ਕੀਤਾ ਗਿਆ ਸੀ. ਅਤੇ ਹੁਣ ਪ੍ਰਤੀਕ੍ਰਿਤੀਆਂ 'ਤੇ ਸੂਚਕਾਂਕ ਦੀ ਜਾਂਚ ਕਰਨਾ ਵੀ ਸਾਡੇ ਸਾਹਮਣੇ ਆਈਆਂ ਉਲੰਘਣਾਵਾਂ ਦਾ ਪਤਾ ਲਗਾਉਣ ਲਈ ਕਾਫ਼ੀ ਪ੍ਰਭਾਵਸ਼ਾਲੀ ਹੋ ਗਿਆ ਹੈ। ਭਾਵ, ਇਹ ਉਹ ਉਲੰਘਣਾਵਾਂ ਹਨ ਜੋ ਡਿਸਕ ਫਰਮਵੇਅਰ ਵਿੱਚ ਗਲਤੀਆਂ, ਪੋਸਟਗ੍ਰੇਸ ਵਿੱਚ ਬੱਗ, ਲੀਨਕਸ ਕਰਨਲ ਵਿੱਚ ਬੱਗ, ਅਤੇ ਹਾਰਡਵੇਅਰ ਸਮੱਸਿਆਵਾਂ ਕਾਰਨ ਹੋ ਸਕਦੀਆਂ ਹਨ। ਸਮੱਸਿਆਵਾਂ ਦੇ ਸਰੋਤਾਂ ਦੀ ਇੱਕ ਵਿਆਪਕ ਸੂਚੀ ਜਿਸ ਲਈ ਅਸੀਂ ਤਿਆਰੀ ਕਰ ਰਹੇ ਸੀ।

https://www.postgresql.org/message-id/flat/38AF687F-8F6B-48B4-AB9E-A60CFD6CC261%40enterprisedb.com#0e86a12c01d967bac04a9bf83cd337cb

ਪਰ ਸੂਚਕਾਂਕ ਤੋਂ ਇਲਾਵਾ, ਢੇਰ ਵਰਗਾ ਇੱਕ ਹਿੱਸਾ ਹੈ, ਅਰਥਾਤ ਉਹ ਥਾਂ ਜਿੱਥੇ ਡੇਟਾ ਸਟੋਰ ਕੀਤਾ ਜਾਂਦਾ ਹੈ। ਅਤੇ ਇੱਥੇ ਬਹੁਤ ਸਾਰੇ ਇਨਵੈਰੀਐਂਟ ਨਹੀਂ ਹਨ ਜਿਨ੍ਹਾਂ ਦੀ ਜਾਂਚ ਕੀਤੀ ਜਾ ਸਕਦੀ ਹੈ।

ਸਾਡੇ ਕੋਲ ਹੈਪਚੈਕ ਨਾਮਕ ਇੱਕ ਐਕਸਟੈਂਸ਼ਨ ਹੈ। ਅਸੀਂ ਇਸਨੂੰ ਵਿਕਸਿਤ ਕਰਨਾ ਸ਼ੁਰੂ ਕੀਤਾ। ਅਤੇ ਸਮਾਨਾਂਤਰ ਵਿੱਚ, ਸਾਡੇ ਨਾਲ ਮਿਲ ਕੇ, EnterpriseDB ਕੰਪਨੀ ਨੇ ਵੀ ਇੱਕ ਮੋਡੀਊਲ ਲਿਖਣਾ ਸ਼ੁਰੂ ਕੀਤਾ, ਜਿਸਨੂੰ ਉਹ ਉਸੇ ਤਰੀਕੇ ਨਾਲ Heapcheck ਕਹਿੰਦੇ ਹਨ। ਸਿਰਫ਼ ਅਸੀਂ ਇਸਨੂੰ PgHeapcheck ਕਹਿੰਦੇ ਹਾਂ, ਅਤੇ ਉਹਨਾਂ ਨੇ ਇਸਨੂੰ ਸਿਰਫ਼ Heapcheck ਕਿਹਾ ਹੈ। ਉਹਨਾਂ ਕੋਲ ਇਹ ਸਮਾਨ ਫੰਕਸ਼ਨਾਂ ਦੇ ਨਾਲ ਹੈ, ਇੱਕ ਥੋੜ੍ਹਾ ਵੱਖਰਾ ਦਸਤਖਤ ਹੈ, ਪਰ ਇੱਕੋ ਜਿਹੇ ਵਿਚਾਰਾਂ ਨਾਲ। ਉਨ੍ਹਾਂ ਨੇ ਉਨ੍ਹਾਂ ਨੂੰ ਕੁਝ ਥਾਵਾਂ 'ਤੇ ਥੋੜਾ ਬਿਹਤਰ ਲਾਗੂ ਕੀਤਾ. ਅਤੇ ਉਹਨਾਂ ਨੇ ਇਸਨੂੰ ਪਹਿਲਾਂ ਓਪਨ ਸੋਰਸ ਵਿੱਚ ਪੋਸਟ ਕੀਤਾ ਸੀ।

ਅਤੇ ਹੁਣ ਅਸੀਂ ਉਨ੍ਹਾਂ ਦੇ ਵਿਸਤਾਰ ਨੂੰ ਵਿਕਸਿਤ ਕਰ ਰਹੇ ਹਾਂ, ਕਿਉਂਕਿ ਇਹ ਹੁਣ ਉਨ੍ਹਾਂ ਦਾ ਵਿਸਤਾਰ ਨਹੀਂ ਹੈ, ਸਗੋਂ ਭਾਈਚਾਰੇ ਦਾ ਵਿਸਤਾਰ ਹੈ। ਅਤੇ ਭਵਿੱਖ ਵਿੱਚ, ਇਹ ਕਰਨਲ ਦਾ ਹਿੱਸਾ ਹੈ ਜੋ ਹਰ ਕਿਸੇ ਨੂੰ ਸਪਲਾਈ ਕੀਤਾ ਜਾਵੇਗਾ ਤਾਂ ਜੋ ਉਹ ਭਵਿੱਖ ਦੀਆਂ ਸਮੱਸਿਆਵਾਂ ਬਾਰੇ ਪਹਿਲਾਂ ਹੀ ਜਾਣ ਸਕਣ।

https://www.postgresql.org/message-id/flat/fe9b3722df94f7bdb08768f50ee8fe59%40postgrespro.ru

ਕੁਝ ਥਾਵਾਂ 'ਤੇ, ਅਸੀਂ ਇਸ ਸਿੱਟੇ 'ਤੇ ਵੀ ਪਹੁੰਚੇ ਹਾਂ ਕਿ ਸਾਡੇ ਨਿਗਰਾਨੀ ਪ੍ਰਣਾਲੀਆਂ ਵਿੱਚ ਸਾਡੇ ਕੋਲ ਗਲਤ ਸਕਾਰਾਤਮਕ ਹਨ। ਉਦਾਹਰਨ ਲਈ, 1C ਸਿਸਟਮ. ਇੱਕ ਡੇਟਾਬੇਸ ਦੀ ਵਰਤੋਂ ਕਰਦੇ ਸਮੇਂ, ਪੋਸਟਗ੍ਰੇਸ ਕਈ ਵਾਰ ਇਸ ਵਿੱਚ ਡੇਟਾ ਲਿਖਦਾ ਹੈ ਜੋ ਇਹ ਪੜ੍ਹ ਸਕਦਾ ਹੈ, ਪਰ pg_dump ਪੜ੍ਹ ਨਹੀਂ ਸਕਦਾ।

ਇਹ ਸਥਿਤੀ ਸਾਡੇ ਸਮੱਸਿਆ ਖੋਜ ਪ੍ਰਣਾਲੀ ਲਈ ਭ੍ਰਿਸ਼ਟਾਚਾਰ ਵਰਗੀ ਲੱਗਦੀ ਸੀ। ਡਿਊਟੀ ਅਫਸਰ ਨੂੰ ਜਗਾਇਆ ਗਿਆ। ਡਿਊਟੀ ਅਫਸਰ ਨੇ ਦੇਖਿਆ ਕਿ ਕੀ ਹੋ ਰਿਹਾ ਹੈ। ਕੁਝ ਦੇਰ ਬਾਅਦ ਇੱਕ ਗਾਹਕ ਆਇਆ ਅਤੇ ਕਿਹਾ ਕਿ ਮੈਨੂੰ ਸਮੱਸਿਆ ਹੈ। ਸੇਵਾਦਾਰ ਨੇ ਦੱਸਿਆ ਕਿ ਸਮੱਸਿਆ ਕੀ ਸੀ। ਪਰ ਸਮੱਸਿਆ ਪੋਸਟਗ੍ਰੇਸ ਕੋਰ ਵਿੱਚ ਹੈ.

ਮੈਨੂੰ ਇਸ ਵਿਸ਼ੇਸ਼ਤਾ ਬਾਰੇ ਚਰਚਾ ਮਿਲੀ। ਅਤੇ ਉਸਨੇ ਲਿਖਿਆ ਕਿ ਸਾਨੂੰ ਇਸ ਵਿਸ਼ੇਸ਼ਤਾ ਦਾ ਸਾਹਮਣਾ ਕਰਨਾ ਪਿਆ ਅਤੇ ਇਹ ਕੋਝਾ ਸੀ, ਇੱਕ ਵਿਅਕਤੀ ਰਾਤ ਨੂੰ ਜਾਗਦਾ ਸੀ ਤਾਂ ਜੋ ਇਹ ਪਤਾ ਲਗਾਇਆ ਜਾ ਸਕੇ ਕਿ ਇਹ ਕੀ ਸੀ.

https://www.postgresql.org/message-id/flat/fe9b3722df94f7bdb08768f50ee8fe59%40postgrespro.ru

ਭਾਈਚਾਰੇ ਨੇ ਜਵਾਬ ਦਿੱਤਾ, "ਓ, ਸਾਨੂੰ ਅਸਲ ਵਿੱਚ ਇਸਨੂੰ ਠੀਕ ਕਰਨ ਦੀ ਲੋੜ ਹੈ।"

ਮੇਰੇ ਕੋਲ ਇੱਕ ਸਧਾਰਨ ਸਮਾਨਤਾ ਹੈ. ਜੇ ਤੁਸੀਂ ਇੱਕ ਜੁੱਤੀ ਵਿੱਚ ਚੱਲ ਰਹੇ ਹੋ ਜਿਸ ਵਿੱਚ ਰੇਤ ਦਾ ਇੱਕ ਦਾਣਾ ਹੈ, ਤਾਂ, ਸਿਧਾਂਤ ਵਿੱਚ, ਤੁਸੀਂ ਅੱਗੇ ਵਧ ਸਕਦੇ ਹੋ - ਕੋਈ ਸਮੱਸਿਆ ਨਹੀਂ. ਜੇ ਤੁਸੀਂ ਹਜ਼ਾਰਾਂ ਲੋਕਾਂ ਨੂੰ ਬੂਟ ਵੇਚਦੇ ਹੋ, ਤਾਂ ਚਲੋ ਬਿਨਾਂ ਰੇਤ ਦੇ ਬੂਟ ਬਣਾਉ. ਅਤੇ ਜੇਕਰ ਤੁਹਾਡੇ ਜੁੱਤੇ ਦੇ ਉਪਭੋਗਤਾਵਾਂ ਵਿੱਚੋਂ ਇੱਕ ਮੈਰਾਥਨ ਦੌੜਨ ਜਾ ਰਿਹਾ ਹੈ, ਤਾਂ ਤੁਸੀਂ ਬਹੁਤ ਵਧੀਆ ਜੁੱਤੀਆਂ ਬਣਾਉਣਾ ਚਾਹੁੰਦੇ ਹੋ, ਅਤੇ ਫਿਰ ਉਹਨਾਂ ਨੂੰ ਆਪਣੇ ਸਾਰੇ ਉਪਭੋਗਤਾਵਾਂ ਤੱਕ ਸਕੇਲ ਕਰੋ. ਅਤੇ ਅਜਿਹੇ ਅਚਾਨਕ ਉਪਭੋਗਤਾ ਹਮੇਸ਼ਾ ਕਲਾਉਡ ਵਾਤਾਵਰਣ ਵਿੱਚ ਹੁੰਦੇ ਹਨ. ਹਮੇਸ਼ਾ ਅਜਿਹੇ ਉਪਭੋਗਤਾ ਹੁੰਦੇ ਹਨ ਜੋ ਕਿਸੇ ਮੂਲ ਤਰੀਕੇ ਨਾਲ ਕਲੱਸਟਰ ਦਾ ਸ਼ੋਸ਼ਣ ਕਰਦੇ ਹਨ। ਤੁਹਾਨੂੰ ਇਸ ਲਈ ਹਮੇਸ਼ਾ ਤਿਆਰ ਰਹਿਣਾ ਚਾਹੀਦਾ ਹੈ।

ਅਸੀਂ ਇੱਥੇ ਕੀ ਸਿੱਖਿਆ ਹੈ? ਅਸੀਂ ਇੱਕ ਸਧਾਰਨ ਗੱਲ ਸਿੱਖੀ: ਸਭ ਤੋਂ ਮਹੱਤਵਪੂਰਨ ਗੱਲ ਇਹ ਹੈ ਕਿ ਭਾਈਚਾਰੇ ਨੂੰ ਸਮਝਾਉਣਾ ਕਿ ਕੋਈ ਸਮੱਸਿਆ ਹੈ। ਜੇਕਰ ਸਮਾਜ ਨੇ ਸਮੱਸਿਆ ਨੂੰ ਪਛਾਣ ਲਿਆ ਹੈ, ਤਾਂ ਸਮੱਸਿਆ ਦੇ ਹੱਲ ਲਈ ਕੁਦਰਤੀ ਮੁਕਾਬਲਾ ਪੈਦਾ ਹੁੰਦਾ ਹੈ। ਕਿਉਂਕਿ ਹਰ ਕੋਈ ਇੱਕ ਮਹੱਤਵਪੂਰਣ ਸਮੱਸਿਆ ਨੂੰ ਹੱਲ ਕਰਨਾ ਚਾਹੁੰਦਾ ਹੈ। ਸਾਰੇ ਵਿਕਰੇਤਾ, ਸਾਰੇ ਹੈਕਰ ਸਮਝਦੇ ਹਨ ਕਿ ਉਹ ਖੁਦ ਇਸ ਰੈਕ 'ਤੇ ਕਦਮ ਰੱਖ ਸਕਦੇ ਹਨ, ਇਸ ਲਈ ਉਹ ਉਨ੍ਹਾਂ ਨੂੰ ਖਤਮ ਕਰਨਾ ਚਾਹੁੰਦੇ ਹਨ।

ਜੇਕਰ ਤੁਸੀਂ ਕਿਸੇ ਸਮੱਸਿਆ 'ਤੇ ਕੰਮ ਕਰ ਰਹੇ ਹੋ, ਪਰ ਇਹ ਤੁਹਾਡੇ ਤੋਂ ਇਲਾਵਾ ਕਿਸੇ ਨੂੰ ਪਰੇਸ਼ਾਨ ਨਹੀਂ ਕਰਦਾ ਹੈ, ਪਰ ਤੁਸੀਂ ਇਸ 'ਤੇ ਯੋਜਨਾਬੱਧ ਢੰਗ ਨਾਲ ਕੰਮ ਕਰਦੇ ਹੋ ਅਤੇ ਆਖਰਕਾਰ ਇਸਨੂੰ ਇੱਕ ਸਮੱਸਿਆ ਮੰਨਿਆ ਜਾਂਦਾ ਹੈ, ਤਾਂ ਤੁਹਾਡੀ ਪੁੱਲ ਬੇਨਤੀ ਯਕੀਨੀ ਤੌਰ 'ਤੇ ਸਵੀਕਾਰ ਕੀਤੀ ਜਾਵੇਗੀ। ਤੁਹਾਡੇ ਪੈਚ ਨੂੰ ਸਵੀਕਾਰ ਕੀਤਾ ਜਾਵੇਗਾ, ਤੁਹਾਡੇ ਸੁਧਾਰਾਂ ਜਾਂ ਸੁਧਾਰਾਂ ਲਈ ਬੇਨਤੀਆਂ ਦੀ ਵੀ ਭਾਈਚਾਰੇ ਦੁਆਰਾ ਸਮੀਖਿਆ ਕੀਤੀ ਜਾਵੇਗੀ। ਦਿਨ ਦੇ ਅੰਤ ਵਿੱਚ, ਅਸੀਂ ਇੱਕ ਦੂਜੇ ਲਈ ਡੇਟਾਬੇਸ ਨੂੰ ਬਿਹਤਰ ਬਣਾਉਂਦੇ ਹਾਂ।

ਇੱਕ ਦਿਲਚਸਪ ਡੇਟਾਬੇਸ ਗ੍ਰੀਨਪਲਮ ਹੈ. ਇਹ ਪੋਸਟਗ੍ਰੇਸ ਕੋਡਬੇਸ 'ਤੇ ਅਧਾਰਤ ਇੱਕ ਬਹੁਤ ਹੀ ਸਮਾਨਾਂਤਰ ਡੇਟਾਬੇਸ ਹੈ, ਜਿਸ ਨਾਲ ਮੈਂ ਬਹੁਤ ਜਾਣੂ ਹਾਂ।

https://greenplum.org/greenplum-database-tables-compression/

ਅਤੇ ਗ੍ਰੀਨਪਲਮ ਵਿੱਚ ਦਿਲਚਸਪ ਕਾਰਜਕੁਸ਼ਲਤਾ ਹੈ - ਅਨੁਕੂਲਿਤ ਟੇਬਲ ਜੋੜੋ. ਇਹ ਉਹ ਟੇਬਲ ਹਨ ਜਿਨ੍ਹਾਂ ਨੂੰ ਤੁਸੀਂ ਜਲਦੀ ਜੋੜ ਸਕਦੇ ਹੋ। ਉਹ ਜਾਂ ਤਾਂ ਕਾਲਮ ਜਾਂ ਕਤਾਰ ਹੋ ਸਕਦੇ ਹਨ।

ਪਰ ਇੱਥੇ ਕੋਈ ਕਲੱਸਟਰਿੰਗ ਨਹੀਂ ਸੀ, ਅਰਥਾਤ ਕੋਈ ਕਾਰਜਸ਼ੀਲਤਾ ਨਹੀਂ ਸੀ ਜਿੱਥੇ ਤੁਸੀਂ ਸਾਰਣੀ ਵਿੱਚ ਸਥਿਤ ਡੇਟਾ ਨੂੰ ਉਸ ਕ੍ਰਮ ਦੇ ਅਨੁਸਾਰ ਵਿਵਸਥਿਤ ਕਰ ਸਕਦੇ ਹੋ ਜੋ ਸੂਚਕਾਂਕ ਵਿੱਚੋਂ ਇੱਕ ਵਿੱਚ ਹੈ।

ਟੈਕਸੀ ਵਾਲੇ ਮੁੰਡੇ ਮੇਰੇ ਕੋਲ ਆਏ ਅਤੇ ਕਿਹਾ: “ਐਂਡਰੀ, ਤੁਸੀਂ ਪੋਸਟਗ੍ਰੇਸ ਨੂੰ ਜਾਣਦੇ ਹੋ। ਅਤੇ ਇੱਥੇ ਇਹ ਲਗਭਗ ਇੱਕੋ ਜਿਹਾ ਹੈ. 20 ਮਿੰਟ 'ਤੇ ਸਵਿਚ ਕਰੋ। ਤੁਸੀਂ ਇਸ ਨੂੰ ਲੈ ਕੇ ਕਰੋ।” ਮੈਂ ਸੋਚਿਆ ਕਿ ਹਾਂ, ਮੈਂ ਪੋਸਟਗ੍ਰੇਸ ਨੂੰ ਜਾਣਦਾ ਹਾਂ, 20 ਮਿੰਟ ਲਈ ਸਵਿਚ ਕਰਨਾ - ਮੈਨੂੰ ਇਹ ਕਰਨ ਦੀ ਜ਼ਰੂਰਤ ਹੈ.

https://github.com/greenplum-db/gpdb/commit/179feb77a034c2547021d675082aae0911be40f7

ਪਰ ਨਹੀਂ, ਇਹ 20 ਮਿੰਟ ਨਹੀਂ ਸੀ, ਮੈਂ ਇਸਨੂੰ ਮਹੀਨਿਆਂ ਵਿੱਚ ਲਿਖਿਆ ਸੀ। PgConf.Russia ਕਾਨਫਰੰਸ ਵਿੱਚ, ਮੈਂ Pivotal ਤੋਂ Heikki Linkangas ਨਾਲ ਸੰਪਰਕ ਕੀਤਾ ਅਤੇ ਪੁੱਛਿਆ: “ਕੀ ਇਸ ਵਿੱਚ ਕੋਈ ਸਮੱਸਿਆ ਹੈ? ਇੱਥੇ ਕੋਈ ਅਨੁਕੂਲਿਤ ਟੇਬਲ ਕਲੱਸਟਰਿੰਗ ਕਿਉਂ ਨਹੀਂ ਹੈ?" ਉਹ ਕਹਿੰਦਾ ਹੈ: “ਤੁਸੀਂ ਡੇਟਾ ਲੈਂਦੇ ਹੋ। ਤੁਸੀਂ ਕ੍ਰਮਬੱਧ ਕਰੋ, ਤੁਸੀਂ ਮੁੜ ਵਿਵਸਥਿਤ ਕਰੋ। ਇਹ ਸਿਰਫ਼ ਇੱਕ ਕੰਮ ਹੈ।" ਮੈਂ: "ਓਹ, ਹਾਂ, ਤੁਹਾਨੂੰ ਬੱਸ ਇਸਨੂੰ ਲੈਣ ਦੀ ਜ਼ਰੂਰਤ ਹੈ ਅਤੇ ਇਹ ਕਰਨਾ ਹੈ." ਉਹ ਕਹਿੰਦਾ ਹੈ: “ਹਾਂ, ਸਾਨੂੰ ਅਜਿਹਾ ਕਰਨ ਲਈ ਖਾਲੀ ਹੱਥਾਂ ਦੀ ਲੋੜ ਹੈ।” ਮੈਂ ਸੋਚਿਆ ਕਿ ਮੈਨੂੰ ਯਕੀਨੀ ਤੌਰ 'ਤੇ ਅਜਿਹਾ ਕਰਨ ਦੀ ਲੋੜ ਹੈ।

ਅਤੇ ਕੁਝ ਮਹੀਨਿਆਂ ਬਾਅਦ ਮੈਂ ਇੱਕ ਪੁੱਲ ਬੇਨਤੀ ਪੇਸ਼ ਕੀਤੀ ਜਿਸਨੇ ਇਸ ਕਾਰਜਸ਼ੀਲਤਾ ਨੂੰ ਲਾਗੂ ਕੀਤਾ. ਇਸ ਪੁੱਲ ਬੇਨਤੀ ਦੀ ਪਾਇਵੋਟਲ ਦੁਆਰਾ ਭਾਈਚਾਰੇ ਦੇ ਨਾਲ ਮਿਲ ਕੇ ਸਮੀਖਿਆ ਕੀਤੀ ਗਈ ਸੀ। ਬੇਸ਼ੱਕ, ਬੱਗ ਸਨ.

https://github.com/greenplum-db/gpdb/issues/10150

ਪਰ ਸਭ ਤੋਂ ਦਿਲਚਸਪ ਗੱਲ ਇਹ ਹੈ ਕਿ ਜਦੋਂ ਇਸ ਪੁੱਲ ਬੇਨਤੀ ਨੂੰ ਮਿਲਾ ਦਿੱਤਾ ਗਿਆ ਸੀ, ਤਾਂ ਗ੍ਰੀਨਪਲਮ ਵਿੱਚ ਹੀ ਬੱਗ ਪਾਏ ਗਏ ਸਨ। ਅਸੀਂ ਪਾਇਆ ਹੈ ਕਿ ਕਲੱਸਟਰ ਹੋਣ 'ਤੇ ਹੀਪ ਟੇਬਲ ਕਈ ਵਾਰ ਲੈਣ-ਦੇਣ ਨੂੰ ਤੋੜ ਦਿੰਦੇ ਹਨ। ਅਤੇ ਇਹ ਉਹ ਚੀਜ਼ ਹੈ ਜਿਸਨੂੰ ਠੀਕ ਕਰਨ ਦੀ ਲੋੜ ਹੈ। ਅਤੇ ਉਹ ਉਸ ਥਾਂ 'ਤੇ ਹੈ ਜਿਸ ਨੂੰ ਮੈਂ ਹੁਣੇ ਛੂਹਿਆ ਹੈ। ਅਤੇ ਮੇਰੀ ਕੁਦਰਤੀ ਪ੍ਰਤੀਕਿਰਿਆ ਸੀ - ਠੀਕ ਹੈ, ਮੈਨੂੰ ਵੀ ਇਹ ਕਰਨ ਦਿਓ।

https://github.com/greenplum-db/gpdb/pull/10290

ਮੈਂ ਇਸ ਬੱਗ ਨੂੰ ਠੀਕ ਕੀਤਾ ਹੈ। ਫਿਕਸਰਾਂ ਨੂੰ ਪੁੱਲ ਬੇਨਤੀ ਭੇਜੀ। ਉਹ ਮਾਰਿਆ ਗਿਆ।

https://github.com/greenplum-db/gpdb-postgres-merge/pull/53

ਜਿਸ ਤੋਂ ਬਾਅਦ ਇਹ ਪਤਾ ਚਲਿਆ ਕਿ ਇਸ ਕਾਰਜਸ਼ੀਲਤਾ ਨੂੰ ਗ੍ਰੀਨਪਲਮ ਸੰਸਕਰਣ ਵਿੱਚ ਪੋਸਟਗਰੇਐਸਕਯੂਐਲ 12 ਲਈ ਪ੍ਰਾਪਤ ਕਰਨ ਦੀ ਜ਼ਰੂਰਤ ਹੈ। ਯਾਨੀ, 20-ਮਿੰਟ ਦਾ ਸਾਹਸ ਨਵੇਂ ਦਿਲਚਸਪ ਸਾਹਸ ਨਾਲ ਜਾਰੀ ਰਹਿੰਦਾ ਹੈ। ਮੌਜੂਦਾ ਵਿਕਾਸ ਨੂੰ ਛੂਹਣਾ ਦਿਲਚਸਪ ਸੀ, ਜਿੱਥੇ ਕਮਿਊਨਿਟੀ ਨਵੀਆਂ ਅਤੇ ਸਭ ਤੋਂ ਮਹੱਤਵਪੂਰਨ ਵਿਸ਼ੇਸ਼ਤਾਵਾਂ ਨੂੰ ਕੱਟ ਰਹੀ ਹੈ. ਇਹ ਜੰਮਿਆ ਹੋਇਆ ਹੈ।

https://github.com/greenplum-db/gpdb/pull/10565

ਪਰ ਇਹ ਉੱਥੇ ਖਤਮ ਨਹੀਂ ਹੋਇਆ. ਸਭ ਕੁਝ ਦੇ ਬਾਅਦ, ਇਹ ਪਤਾ ਲੱਗਾ ਕਿ ਸਾਨੂੰ ਇਸ ਸਭ ਲਈ ਦਸਤਾਵੇਜ਼ ਲਿਖਣ ਦੀ ਲੋੜ ਹੈ.

ਮੈਂ ਦਸਤਾਵੇਜ਼ ਲਿਖਣਾ ਸ਼ੁਰੂ ਕੀਤਾ। ਖੁਸ਼ਕਿਸਮਤੀ ਨਾਲ, Pivotal ਤੋਂ ਦਸਤਾਵੇਜ਼ੀ ਕਲਾਕਾਰ ਵੀ ਆਏ। ਅੰਗਰੇਜ਼ੀ ਉਨ੍ਹਾਂ ਦੀ ਮੂਲ ਭਾਸ਼ਾ ਹੈ। ਉਨ੍ਹਾਂ ਨੇ ਦਸਤਾਵੇਜ਼ਾਂ ਵਿੱਚ ਮੇਰੀ ਮਦਦ ਕੀਤੀ। ਵਾਸਤਵ ਵਿੱਚ, ਉਹਨਾਂ ਨੇ ਆਪਣੇ ਆਪ ਨੂੰ ਅਸਲ ਅੰਗਰੇਜ਼ੀ ਵਿੱਚ ਜੋ ਮੈਂ ਪ੍ਰਸਤਾਵਿਤ ਕੀਤਾ ਸੀ ਉਸਨੂੰ ਦੁਬਾਰਾ ਲਿਖਿਆ।

ਅਤੇ ਇੱਥੇ, ਇਹ ਜਾਪਦਾ ਹੈ, ਸਾਹਸ ਖਤਮ ਹੋ ਗਿਆ ਹੈ. ਅਤੇ ਕੀ ਤੁਹਾਨੂੰ ਪਤਾ ਹੈ ਕਿ ਫਿਰ ਕੀ ਹੋਇਆ? ਟੈਕਸੀ ਵਾਲੇ ਮੁੰਡੇ ਮੇਰੇ ਕੋਲ ਆਏ ਅਤੇ ਕਿਹਾ: "ਅਜੇ ਵੀ ਦੋ ਸਾਹਸ ਹਨ, ਹਰੇਕ 10 ਮਿੰਟ ਲਈ।" ਅਤੇ ਮੈਂ ਉਨ੍ਹਾਂ ਨੂੰ ਕੀ ਦੱਸਾਂ? ਮੈਂ ਕਿਹਾ ਕਿ ਹੁਣ ਮੈਂ ਪੈਮਾਨੇ 'ਤੇ ਰਿਪੋਰਟ ਦੇਵਾਂਗਾ, ਫਿਰ ਅਸੀਂ ਤੁਹਾਡੇ ਸਾਹਸ ਨੂੰ ਦੇਖਾਂਗੇ, ਕਿਉਂਕਿ ਇਹ ਇਕ ਦਿਲਚਸਪ ਕੰਮ ਹੈ।

ਅਸੀਂ ਇਸ ਕੇਸ ਤੋਂ ਕੀ ਸਿੱਖਿਆ? ਕਿਉਂਕਿ ਓਪਨ ਸੋਰਸ ਨਾਲ ਕੰਮ ਕਰਨਾ ਹਮੇਸ਼ਾ ਕਿਸੇ ਖਾਸ ਵਿਅਕਤੀ ਨਾਲ ਕੰਮ ਕਰਨਾ ਹੁੰਦਾ ਹੈ, ਇਹ ਹਮੇਸ਼ਾ ਕਮਿਊਨਿਟੀ ਨਾਲ ਕੰਮ ਕਰਦਾ ਹੈ। ਕਿਉਂਕਿ ਹਰ ਇੱਕ ਪੜਾਅ 'ਤੇ ਮੈਂ ਕਿਸੇ ਡਿਵੈਲਪਰ, ਕੁਝ ਟੈਸਟਰ, ਕੁਝ ਹੈਕਰ, ਕੁਝ ਦਸਤਾਵੇਜ਼ੀ, ਕੁਝ ਆਰਕੀਟੈਕਟ ਨਾਲ ਕੰਮ ਕੀਤਾ ਹੈ। ਮੈਂ ਗ੍ਰੀਨਪਲਮ ਨਾਲ ਕੰਮ ਨਹੀਂ ਕੀਤਾ, ਮੈਂ ਗ੍ਰੀਨਪਲਮ ਦੇ ਆਲੇ ਦੁਆਲੇ ਦੇ ਲੋਕਾਂ ਨਾਲ ਕੰਮ ਕੀਤਾ।

ਪਰ! ਇਕ ਹੋਰ ਮਹੱਤਵਪੂਰਣ ਨੁਕਤਾ ਹੈ - ਇਹ ਸਿਰਫ ਕੰਮ ਹੈ. ਯਾਨੀ ਤੁਸੀਂ ਆਓ, ਕੌਫੀ ਪੀਓ, ਕੋਡ ਲਿਖੋ। ਹਰ ਤਰ੍ਹਾਂ ਦੇ ਸਧਾਰਨ ਇਨਵੈਰੀਐਂਟ ਕੰਮ ਕਰਦੇ ਹਨ। ਇਸ ਨੂੰ ਆਮ ਤੌਰ 'ਤੇ ਕਰੋ - ਇਹ ਠੀਕ ਹੋ ਜਾਵੇਗਾ! ਅਤੇ ਇਹ ਕਾਫ਼ੀ ਦਿਲਚਸਪ ਕੰਮ ਹੈ। Yandex.Cloud ਕਲਾਇੰਟਸ ਤੋਂ ਇਸ ਕੰਮ ਲਈ ਬੇਨਤੀ ਹੈ, ਸਾਡੇ ਕਲੱਸਟਰਾਂ ਦੇ ਉਪਭੋਗਤਾਵਾਂ Yandex ਦੇ ਅੰਦਰ ਅਤੇ ਬਾਹਰ। ਅਤੇ ਮੈਂ ਸੋਚਦਾ ਹਾਂ ਕਿ ਜਿਨ੍ਹਾਂ ਪ੍ਰੋਜੈਕਟਾਂ ਵਿੱਚ ਅਸੀਂ ਹਿੱਸਾ ਲੈਂਦੇ ਹਾਂ ਉਨ੍ਹਾਂ ਦੀ ਗਿਣਤੀ ਵਧੇਗੀ ਅਤੇ ਸਾਡੀ ਸ਼ਮੂਲੀਅਤ ਦੀ ਡੂੰਘਾਈ ਵੀ ਵਧੇਗੀ।

ਇਹ ਸਭ ਹੈ. ਆਓ ਸਵਾਲਾਂ ਵੱਲ ਵਧੀਏ।

ਪ੍ਰਸ਼ਨ ਸੈਸ਼ਨ

ਸਤ ਸ੍ਰੀ ਅਕਾਲ! ਸਾਡੇ ਕੋਲ ਇੱਕ ਹੋਰ ਸਵਾਲ ਅਤੇ ਜਵਾਬ ਸੈਸ਼ਨ ਹੈ। ਅਤੇ ਸਟੂਡੀਓ ਵਿੱਚ Andrei Borodin. ਇਹ ਉਹ ਵਿਅਕਤੀ ਹੈ ਜਿਸਨੇ ਹੁਣੇ ਤੁਹਾਨੂੰ ਓਪਨ ਸੋਰਸ ਵਿੱਚ Yandex.Cloud ਅਤੇ Yandex ਦੇ ਯੋਗਦਾਨ ਬਾਰੇ ਦੱਸਿਆ ਹੈ। ਸਾਡੀ ਰਿਪੋਰਟ ਹੁਣ ਪੂਰੀ ਤਰ੍ਹਾਂ ਕਲਾਉਡ ਬਾਰੇ ਨਹੀਂ ਹੈ, ਪਰ ਉਸੇ ਸਮੇਂ ਅਸੀਂ ਅਜਿਹੀਆਂ ਤਕਨਾਲੋਜੀਆਂ 'ਤੇ ਅਧਾਰਤ ਹਾਂ। ਤੁਸੀਂ Yandex ਦੇ ਅੰਦਰ ਜੋ ਕੀਤਾ ਹੈ ਉਸ ਤੋਂ ਬਿਨਾਂ, Yandex.Cloud ਵਿੱਚ ਕੋਈ ਸੇਵਾ ਨਹੀਂ ਹੋਵੇਗੀ, ਇਸ ਲਈ ਮੇਰੇ ਵੱਲੋਂ ਨਿੱਜੀ ਤੌਰ 'ਤੇ ਤੁਹਾਡਾ ਧੰਨਵਾਦ। ਅਤੇ ਪ੍ਰਸਾਰਣ ਤੋਂ ਪਹਿਲਾ ਸਵਾਲ: "ਤੁਸੀਂ ਜਿਨ੍ਹਾਂ ਪ੍ਰੋਜੈਕਟਾਂ ਦਾ ਜ਼ਿਕਰ ਕੀਤਾ ਹੈ ਉਹਨਾਂ ਵਿੱਚੋਂ ਹਰ ਇੱਕ ਕੀ ਹੈ?"

WAL-G ਵਿੱਚ ਬੈਕਅੱਪ ਸਿਸਟਮ Go ਵਿੱਚ ਲਿਖਿਆ ਹੋਇਆ ਹੈ। ਇਹ ਉਹਨਾਂ ਨਵੇਂ ਪ੍ਰੋਜੈਕਟਾਂ ਵਿੱਚੋਂ ਇੱਕ ਹੈ ਜਿਸ 'ਤੇ ਅਸੀਂ ਕੰਮ ਕੀਤਾ ਹੈ। ਉਹ ਅਸਲ ਵਿੱਚ ਸਿਰਫ 3 ਸਾਲ ਦਾ ਹੈ. ਅਤੇ ਇੱਕ ਡੇਟਾਬੇਸ ਅਕਸਰ ਭਰੋਸੇਯੋਗਤਾ ਬਾਰੇ ਹੁੰਦਾ ਹੈ। ਅਤੇ ਇਸਦਾ ਮਤਲਬ ਹੈ ਕਿ ਡੇਟਾਬੇਸ ਕਾਫ਼ੀ ਪੁਰਾਣੇ ਹਨ ਅਤੇ ਉਹ ਆਮ ਤੌਰ 'ਤੇ C ਵਿੱਚ ਲਿਖੇ ਜਾਂਦੇ ਹਨ। ਪੋਸਟਗ੍ਰੇਸ ਪ੍ਰੋਜੈਕਟ ਲਗਭਗ 30 ਸਾਲ ਪਹਿਲਾਂ ਸ਼ੁਰੂ ਹੋਇਆ ਸੀ। ਫਿਰ C89 ਸਹੀ ਚੋਣ ਸੀ. ਅਤੇ ਇਸ 'ਤੇ ਪੋਸਟਗ੍ਰੇਸ ਲਿਖਿਆ ਹੋਇਆ ਹੈ। ਹੋਰ ਆਧੁਨਿਕ ਡਾਟਾਬੇਸ ਜਿਵੇਂ ਕਿ ਕਲਿਕਹਾਊਸ ਆਮ ਤੌਰ 'ਤੇ C++ ਵਿੱਚ ਲਿਖੇ ਜਾਂਦੇ ਹਨ। ਸਾਰਾ ਸਿਸਟਮ ਵਿਕਾਸ C ਅਤੇ C++ ਦੇ ਆਲੇ-ਦੁਆਲੇ ਅਧਾਰਤ ਹੈ।

ਸਾਡੇ ਵਿੱਤੀ ਮੈਨੇਜਰ ਤੋਂ ਇੱਕ ਸਵਾਲ, ਜੋ ਕਲਾਊਡ 'ਤੇ ਖਰਚਿਆਂ ਲਈ ਜ਼ਿੰਮੇਵਾਰ ਹੈ: "ਕਲਾਊਡ ਓਪਨ ਸੋਰਸ ਦੇ ਸਮਰਥਨ 'ਤੇ ਪੈਸਾ ਕਿਉਂ ਖਰਚਦਾ ਹੈ?"

ਇੱਥੇ ਵਿੱਤੀ ਮੈਨੇਜਰ ਲਈ ਇੱਕ ਸਧਾਰਨ ਜਵਾਬ ਹੈ. ਅਸੀਂ ਆਪਣੀਆਂ ਸੇਵਾਵਾਂ ਨੂੰ ਬਿਹਤਰ ਬਣਾਉਣ ਲਈ ਅਜਿਹਾ ਕਰਦੇ ਹਾਂ। ਅਸੀਂ ਕਿਨ੍ਹਾਂ ਤਰੀਕਿਆਂ ਨਾਲ ਬਿਹਤਰ ਕਰ ਸਕਦੇ ਹਾਂ? ਅਸੀਂ ਚੀਜ਼ਾਂ ਨੂੰ ਵਧੇਰੇ ਕੁਸ਼ਲਤਾ ਨਾਲ, ਤੇਜ਼ੀ ਨਾਲ ਕਰ ਸਕਦੇ ਹਾਂ, ਅਤੇ ਚੀਜ਼ਾਂ ਨੂੰ ਹੋਰ ਮਾਪਯੋਗ ਬਣਾ ਸਕਦੇ ਹਾਂ। ਪਰ ਸਾਡੇ ਲਈ, ਇਹ ਕਹਾਣੀ ਮੁੱਖ ਤੌਰ 'ਤੇ ਭਰੋਸੇਯੋਗਤਾ ਬਾਰੇ ਹੈ. ਉਦਾਹਰਨ ਲਈ, ਇੱਕ ਬੈਕਅੱਪ ਸਿਸਟਮ ਵਿੱਚ ਅਸੀਂ 100% ਪੈਚਾਂ ਦੀ ਸਮੀਖਿਆ ਕਰਦੇ ਹਾਂ ਜੋ ਇਸ 'ਤੇ ਲਾਗੂ ਹੁੰਦੇ ਹਨ। ਅਸੀਂ ਜਾਣਦੇ ਹਾਂ ਕਿ ਕੋਡ ਕੀ ਹੈ। ਅਤੇ ਅਸੀਂ ਉਤਪਾਦਨ ਲਈ ਨਵੇਂ ਸੰਸਕਰਣਾਂ ਨੂੰ ਰੋਲ ਆਊਟ ਕਰਨ ਵਿੱਚ ਵਧੇਰੇ ਆਰਾਮਦਾਇਕ ਹਾਂ। ਭਾਵ, ਸਭ ਤੋਂ ਪਹਿਲਾਂ, ਇਹ ਵਿਸ਼ਵਾਸ ਬਾਰੇ, ਵਿਕਾਸ ਲਈ ਤਤਪਰਤਾ ਅਤੇ ਭਰੋਸੇਯੋਗਤਾ ਬਾਰੇ ਹੈ

ਇੱਕ ਹੋਰ ਸਵਾਲ: "ਕੀ Yandex.Cloud ਵਿੱਚ ਰਹਿੰਦੇ ਬਾਹਰੀ ਉਪਭੋਗਤਾਵਾਂ ਦੀਆਂ ਲੋੜਾਂ ਅੰਦਰੂਨੀ ਕਲਾਉਡ ਵਿੱਚ ਰਹਿਣ ਵਾਲੇ ਅੰਦਰੂਨੀ ਉਪਭੋਗਤਾਵਾਂ ਨਾਲੋਂ ਵੱਖਰੀਆਂ ਹਨ?"

ਲੋਡ ਪ੍ਰੋਫਾਈਲ, ਬੇਸ਼ਕ, ਵੱਖਰਾ ਹੈ. ਪਰ ਮੇਰੇ ਵਿਭਾਗ ਦੇ ਦ੍ਰਿਸ਼ਟੀਕੋਣ ਤੋਂ, ਸਾਰੇ ਵਿਸ਼ੇਸ਼ ਅਤੇ ਦਿਲਚਸਪ ਕੇਸ ਗੈਰ-ਮਿਆਰੀ ਲੋਡ 'ਤੇ ਬਣਾਏ ਗਏ ਹਨ. ਕਲਪਨਾ ਵਾਲੇ ਡਿਵੈਲਪਰ, ਡਿਵੈਲਪਰ ਜੋ ਅਚਾਨਕ ਕਰਦੇ ਹਨ, ਅੰਦਰੂਨੀ ਅਤੇ ਬਾਹਰੀ ਤੌਰ 'ਤੇ ਲੱਭੇ ਜਾਣ ਦੀ ਸੰਭਾਵਨਾ ਹੈ. ਇਸ ਸਬੰਧ ਵਿਚ, ਅਸੀਂ ਸਾਰੇ ਲਗਭਗ ਇਕੋ ਜਿਹੇ ਹਾਂ. ਅਤੇ, ਸੰਭਵ ਤੌਰ 'ਤੇ, ਡੇਟਾਬੇਸ ਦੇ Yandex ਸੰਚਾਲਨ ਦੇ ਅੰਦਰ ਸਿਰਫ ਮਹੱਤਵਪੂਰਨ ਵਿਸ਼ੇਸ਼ਤਾ ਇਹ ਹੋਵੇਗੀ ਕਿ Yandex ਦੇ ਅੰਦਰ ਸਾਡੇ ਕੋਲ ਇੱਕ ਸਿੱਖਿਆ ਹੈ. ਕਿਸੇ ਸਮੇਂ, ਕੁਝ ਉਪਲਬਧਤਾ ਜ਼ੋਨ ਪੂਰੀ ਤਰ੍ਹਾਂ ਸ਼ੈਡੋ ਵਿੱਚ ਚਲਾ ਜਾਂਦਾ ਹੈ, ਅਤੇ ਸਾਰੀਆਂ ਯਾਂਡੇਕਸ ਸੇਵਾਵਾਂ ਨੂੰ ਇਸ ਦੇ ਬਾਵਜੂਦ ਕੰਮ ਕਰਨਾ ਜਾਰੀ ਰੱਖਣਾ ਚਾਹੀਦਾ ਹੈ। ਇਹ ਇੱਕ ਛੋਟਾ ਜਿਹਾ ਫਰਕ ਹੈ। ਪਰ ਇਹ ਡਾਟਾਬੇਸ ਅਤੇ ਨੈੱਟਵਰਕ ਸਟੈਕ ਦੇ ਇੰਟਰਫੇਸ 'ਤੇ ਬਹੁਤ ਸਾਰੇ ਖੋਜ ਵਿਕਾਸ ਬਣਾਉਂਦਾ ਹੈ। ਨਹੀਂ ਤਾਂ, ਬਾਹਰੀ ਅਤੇ ਅੰਦਰੂਨੀ ਸਥਾਪਨਾਵਾਂ ਵਿਸ਼ੇਸ਼ਤਾਵਾਂ ਲਈ ਇੱਕੋ ਜਿਹੀਆਂ ਬੇਨਤੀਆਂ ਅਤੇ ਭਰੋਸੇਯੋਗਤਾ ਅਤੇ ਪ੍ਰਦਰਸ਼ਨ ਨੂੰ ਬਿਹਤਰ ਬਣਾਉਣ ਲਈ ਸਮਾਨ ਬੇਨਤੀਆਂ ਪੈਦਾ ਕਰਦੀਆਂ ਹਨ।

ਅਗਲਾ ਸਵਾਲ: "ਤੁਸੀਂ ਨਿੱਜੀ ਤੌਰ 'ਤੇ ਇਸ ਤੱਥ ਬਾਰੇ ਕਿਵੇਂ ਮਹਿਸੂਸ ਕਰਦੇ ਹੋ ਕਿ ਤੁਸੀਂ ਜੋ ਵੀ ਕਰਦੇ ਹੋ, ਉਸ ਦਾ ਜ਼ਿਆਦਾਤਰ ਹਿੱਸਾ ਦੂਜੇ ਕਲਾਊਡ ਦੁਆਰਾ ਵਰਤਿਆ ਜਾਂਦਾ ਹੈ?" ਅਸੀਂ ਖਾਸ ਦਾ ਨਾਮ ਨਹੀਂ ਦੇਵਾਂਗੇ, ਪਰ ਬਹੁਤ ਸਾਰੇ ਪ੍ਰੋਜੈਕਟ ਜੋ Yandex.Cloud ਵਿੱਚ ਕੀਤੇ ਗਏ ਸਨ, ਦੂਜੇ ਲੋਕਾਂ ਦੇ ਕਲਾਉਡ ਵਿੱਚ ਵਰਤੇ ਜਾਂਦੇ ਹਨ।

ਇਹ ਠੰਡਾ ਹੈ। ਪਹਿਲਾਂ, ਇਹ ਇੱਕ ਨਿਸ਼ਾਨੀ ਹੈ ਕਿ ਅਸੀਂ ਕੁਝ ਸਹੀ ਕੀਤਾ ਹੈ। ਅਤੇ ਇਹ ਹਉਮੈ ਨੂੰ ਰਗੜਦਾ ਹੈ। ਅਤੇ ਸਾਨੂੰ ਵਧੇਰੇ ਭਰੋਸਾ ਹੈ ਕਿ ਅਸੀਂ ਸਹੀ ਫੈਸਲਾ ਲਿਆ ਹੈ। ਦੂਜੇ ਪਾਸੇ, ਇਹ ਉਮੀਦ ਹੈ ਕਿ ਭਵਿੱਖ ਵਿੱਚ ਇਹ ਸਾਡੇ ਲਈ ਨਵੇਂ ਵਿਚਾਰ, ਥਰਡ-ਪਾਰਟੀ ਉਪਭੋਗਤਾਵਾਂ ਦੀਆਂ ਨਵੀਆਂ ਬੇਨਤੀਆਂ ਲਿਆਏਗਾ। GitHub 'ਤੇ ਜ਼ਿਆਦਾਤਰ ਮੁੱਦੇ ਵਿਅਕਤੀਗਤ ਸਿਸਟਮ ਪ੍ਰਸ਼ਾਸਕਾਂ, ਵਿਅਕਤੀਗਤ DBAs, ਵਿਅਕਤੀਗਤ ਆਰਕੀਟੈਕਟਾਂ, ਵਿਅਕਤੀਗਤ ਇੰਜੀਨੀਅਰਾਂ ਦੁਆਰਾ ਬਣਾਏ ਜਾਂਦੇ ਹਨ, ਪਰ ਕਈ ਵਾਰ ਯੋਜਨਾਬੱਧ ਅਨੁਭਵ ਵਾਲੇ ਲੋਕ ਆਉਂਦੇ ਹਨ ਅਤੇ ਕਹਿੰਦੇ ਹਨ ਕਿ 30% ਕੁਝ ਮਾਮਲਿਆਂ ਵਿੱਚ ਸਾਡੇ ਕੋਲ ਇਹ ਸਮੱਸਿਆ ਹੈ ਅਤੇ ਆਓ ਇਸ ਬਾਰੇ ਸੋਚੀਏ ਕਿ ਇਸਨੂੰ ਕਿਵੇਂ ਹੱਲ ਕਰਨਾ ਹੈ। ਇਹ ਉਹ ਹੈ ਜਿਸਦੀ ਅਸੀਂ ਸਭ ਤੋਂ ਵੱਧ ਉਡੀਕ ਕਰ ਰਹੇ ਹਾਂ. ਅਸੀਂ ਹੋਰ ਕਲਾਉਡ ਪਲੇਟਫਾਰਮਾਂ ਨਾਲ ਅਨੁਭਵ ਸਾਂਝੇ ਕਰਨ ਦੀ ਉਮੀਦ ਕਰਦੇ ਹਾਂ।

ਤੁਸੀਂ ਮੈਰਾਥਨ ਬਾਰੇ ਬਹੁਤ ਗੱਲ ਕੀਤੀ। ਮੈਨੂੰ ਪਤਾ ਹੈ ਕਿ ਤੁਸੀਂ ਮਾਸਕੋ ਵਿੱਚ ਮੈਰਾਥਨ ਦੌੜੀ ਸੀ। ਫਲਸਰੂਪ? PostgreSQL ਤੋਂ ਮੁੰਡਿਆਂ ਨੂੰ ਪਛਾੜ ਦਿੱਤਾ?

ਨਹੀਂ, ਓਲੇਗ ਬਾਰਟੂਨੋਵ ਬਹੁਤ ਤੇਜ਼ ਦੌੜਦਾ ਹੈ. ਉਹ ਮੇਰੇ ਤੋਂ ਇੱਕ ਘੰਟਾ ਅੱਗੇ ਖਤਮ ਹੋ ਗਿਆ। ਕੁੱਲ ਮਿਲਾ ਕੇ, ਮੈਂ ਇਸ ਗੱਲ ਤੋਂ ਖੁਸ਼ ਹਾਂ ਕਿ ਮੈਂ ਕਿੰਨੀ ਦੂਰ ਹਾਂ. ਮੇਰੇ ਲਈ, ਸਿਰਫ ਫਿਨਿਸ਼ਿੰਗ ਇੱਕ ਪ੍ਰਾਪਤੀ ਸੀ। ਕੁੱਲ ਮਿਲਾ ਕੇ, ਇਹ ਹੈਰਾਨੀ ਦੀ ਗੱਲ ਹੈ ਕਿ ਪੋਸਟਗ੍ਰੇਸ ਕਮਿਊਨਿਟੀ ਵਿੱਚ ਬਹੁਤ ਸਾਰੇ ਦੌੜਾਕ ਹਨ. ਇਹ ਮੈਨੂੰ ਜਾਪਦਾ ਹੈ ਕਿ ਏਰੋਬਿਕ ਖੇਡਾਂ ਅਤੇ ਸਿਸਟਮ ਪ੍ਰੋਗਰਾਮਿੰਗ ਦੀ ਇੱਛਾ ਵਿਚਕਾਰ ਕੁਝ ਕਿਸਮ ਦਾ ਸਬੰਧ ਹੈ.

ਕੀ ਤੁਸੀਂ ਕਹਿ ਰਹੇ ਹੋ ਕਿ ਕਲਿਕਹਾਊਸ 'ਤੇ ਕੋਈ ਦੌੜਾਕ ਨਹੀਂ ਹਨ?

ਮੈਨੂੰ ਯਕੀਨ ਹੈ ਕਿ ਉਹ ਉੱਥੇ ਹਨ. ਕਲਿਕਹਾਊਸ ਵੀ ਇੱਕ ਡਾਟਾਬੇਸ ਹੈ। ਤਰੀਕੇ ਨਾਲ, ਓਲੇਗ ਹੁਣ ਮੈਨੂੰ ਲਿਖ ਰਿਹਾ ਹੈ: "ਕੀ ਅਸੀਂ ਰਿਪੋਰਟ ਤੋਂ ਬਾਅਦ ਦੌੜ ਲਈਏ?" ਇਹ ਇੱਕ ਬਹੁਤ ਵਧੀਆ ਵਿਚਾਰ ਹੈ।

ਨਿਕਿਤਾ ਦੇ ਪ੍ਰਸਾਰਣ ਤੋਂ ਇੱਕ ਹੋਰ ਸਵਾਲ: "ਤੁਸੀਂ ਗ੍ਰੀਨਪਲਮ ਵਿੱਚ ਬੱਗ ਨੂੰ ਖੁਦ ਠੀਕ ਕਿਉਂ ਕੀਤਾ ਅਤੇ ਜੂਨੀਅਰਾਂ ਨੂੰ ਨਹੀਂ ਦਿੱਤਾ?" ਇਹ ਸੱਚ ਹੈ ਕਿ ਇਹ ਬਹੁਤ ਸਪੱਸ਼ਟ ਨਹੀਂ ਹੈ ਕਿ ਬੱਗ ਕੀ ਹੈ ਅਤੇ ਕਿਹੜੀ ਸੇਵਾ ਵਿੱਚ ਹੈ, ਪਰ ਇਸਦਾ ਮਤਲਬ ਸ਼ਾਇਦ ਉਹ ਹੈ ਜਿਸ ਬਾਰੇ ਤੁਸੀਂ ਗੱਲ ਕੀਤੀ ਹੈ।

ਹਾਂ, ਸਿਧਾਂਤਕ ਤੌਰ 'ਤੇ, ਇਹ ਕਿਸੇ ਨੂੰ ਦਿੱਤਾ ਜਾ ਸਕਦਾ ਸੀ. ਇਹ ਸਿਰਫ ਉਹ ਕੋਡ ਸੀ ਜੋ ਮੈਂ ਹੁਣੇ ਬਦਲਿਆ ਹੈ. ਅਤੇ ਇਸ ਨੂੰ ਤੁਰੰਤ ਕਰਨਾ ਜਾਰੀ ਰੱਖਣਾ ਕੁਦਰਤੀ ਸੀ. ਸਿਧਾਂਤ ਵਿੱਚ, ਟੀਮ ਨਾਲ ਮੁਹਾਰਤ ਨੂੰ ਸਾਂਝਾ ਕਰਨ ਦਾ ਵਿਚਾਰ ਇੱਕ ਚੰਗਾ ਵਿਚਾਰ ਹੈ. ਅਸੀਂ ਯਕੀਨੀ ਤੌਰ 'ਤੇ ਸਾਡੇ ਡਿਵੀਜ਼ਨ ਦੇ ਸਾਰੇ ਮੈਂਬਰਾਂ ਵਿਚਕਾਰ ਗ੍ਰੀਨਪਲਮ ਦੇ ਕੰਮਾਂ ਨੂੰ ਸਾਂਝਾ ਕਰਾਂਗੇ।

ਕਿਉਂਕਿ ਅਸੀਂ ਜੂਨੀਅਰਾਂ ਬਾਰੇ ਗੱਲ ਕਰ ਰਹੇ ਹਾਂ, ਇੱਥੇ ਇੱਕ ਸਵਾਲ ਹੈ। ਵਿਅਕਤੀ ਨੇ ਪੋਸਟਗ੍ਰੇਸ ਵਿੱਚ ਪਹਿਲੀ ਪ੍ਰਤੀਬੱਧਤਾ ਬਣਾਉਣ ਦਾ ਫੈਸਲਾ ਕੀਤਾ. ਪਹਿਲੀ ਕਮਿਟ ਕਰਨ ਲਈ ਉਸਨੂੰ ਕੀ ਕਰਨ ਦੀ ਲੋੜ ਹੈ?

ਇਹ ਇੱਕ ਦਿਲਚਸਪ ਸਵਾਲ ਹੈ: "ਕਿੱਥੇ ਸ਼ੁਰੂ ਕਰਨਾ ਹੈ?" ਕਰਨਲ ਵਿੱਚ ਕਿਸੇ ਚੀਜ਼ ਨਾਲ ਸ਼ੁਰੂ ਕਰਨਾ ਆਮ ਤੌਰ 'ਤੇ ਕਾਫ਼ੀ ਮੁਸ਼ਕਲ ਹੁੰਦਾ ਹੈ। ਪੋਸਟਗ੍ਰੇਸ ਵਿੱਚ, ਉਦਾਹਰਨ ਲਈ, ਕਰਨ ਲਈ ਇੱਕ ਸੂਚੀ ਹੈ. ਪਰ ਅਸਲ ਵਿੱਚ, ਇਹ ਇੱਕ ਸ਼ੀਟ ਹੈ ਜੋ ਉਹਨਾਂ ਨੇ ਕਰਨ ਦੀ ਕੋਸ਼ਿਸ਼ ਕੀਤੀ, ਪਰ ਸਫਲ ਨਹੀਂ ਹੋਏ. ਇਹ ਗੁੰਝਲਦਾਰ ਚੀਜ਼ਾਂ ਹਨ। ਅਤੇ ਆਮ ਤੌਰ 'ਤੇ ਤੁਸੀਂ ਈਕੋਸਿਸਟਮ ਵਿੱਚ ਕੁਝ ਉਪਯੋਗਤਾਵਾਂ ਲੱਭ ਸਕਦੇ ਹੋ, ਕੁਝ ਐਕਸਟੈਂਸ਼ਨਾਂ ਜੋ ਸੁਧਾਰੀਆਂ ਜਾ ਸਕਦੀਆਂ ਹਨ, ਜੋ ਕਰਨਲ ਡਿਵੈਲਪਰਾਂ ਤੋਂ ਘੱਟ ਧਿਆਨ ਖਿੱਚਦੀਆਂ ਹਨ। ਅਤੇ, ਇਸਦੇ ਅਨੁਸਾਰ, ਉੱਥੇ ਵਿਕਾਸ ਲਈ ਹੋਰ ਪੁਆਇੰਟ ਹਨ. ਗੂਗਲ ਸਮਰ ਆਫ ਕੋਡ ਪ੍ਰੋਗਰਾਮ 'ਤੇ, ਹਰ ਸਾਲ ਪੋਸਟਗ੍ਰੇਸ ਕਮਿਊਨਿਟੀ ਬਹੁਤ ਸਾਰੇ ਵੱਖ-ਵੱਖ ਵਿਸ਼ਿਆਂ ਨੂੰ ਅੱਗੇ ਪਾਉਂਦੀ ਹੈ ਜਿਨ੍ਹਾਂ ਨੂੰ ਸੰਬੋਧਿਤ ਕੀਤਾ ਜਾ ਸਕਦਾ ਹੈ। ਇਸ ਸਾਲ ਸਾਡੇ ਕੋਲ ਤਿੰਨ ਵਿਦਿਆਰਥੀ ਸਨ। ਇੱਕ ਨੇ WAL-G ਵਿੱਚ ਉਹਨਾਂ ਵਿਸ਼ਿਆਂ 'ਤੇ ਵੀ ਲਿਖਿਆ ਜੋ ਯਾਂਡੇਕਸ ਲਈ ਮਹੱਤਵਪੂਰਨ ਹਨ। ਗ੍ਰੀਨਪਲਮ ਵਿੱਚ, ਪੋਸਟਗ੍ਰੇਸ ਕਮਿਊਨਿਟੀ ਨਾਲੋਂ ਸਭ ਕੁਝ ਸੌਖਾ ਹੈ, ਕਿਉਂਕਿ ਗ੍ਰੀਨਪਲਮ ਹੈਕਰ ਪੁੱਲ ਬੇਨਤੀਆਂ ਨੂੰ ਬਹੁਤ ਵਧੀਆ ਢੰਗ ਨਾਲ ਵਰਤਦੇ ਹਨ ਅਤੇ ਤੁਰੰਤ ਸਮੀਖਿਆ ਕਰਨਾ ਸ਼ੁਰੂ ਕਰਦੇ ਹਨ। ਪੋਸਟਗ੍ਰੇਸ ਨੂੰ ਇੱਕ ਪੈਚ ਭੇਜਣਾ ਮਹੀਨਿਆਂ ਦੀ ਗੱਲ ਹੈ, ਪਰ ਗ੍ਰੀਨਪਲਮ ਇੱਕ ਦਿਨ ਵਿੱਚ ਆਵੇਗਾ ਅਤੇ ਦੇਖੋ ਕਿ ਤੁਸੀਂ ਕੀ ਕੀਤਾ ਹੈ. ਇਕ ਹੋਰ ਗੱਲ ਇਹ ਹੈ ਕਿ ਗ੍ਰੀਨਪਲਮ ਨੂੰ ਮੌਜੂਦਾ ਸਮੱਸਿਆਵਾਂ ਨੂੰ ਹੱਲ ਕਰਨ ਦੀ ਜ਼ਰੂਰਤ ਹੈ. ਗ੍ਰੀਨਪਲਮ ਦੀ ਵਿਆਪਕ ਤੌਰ 'ਤੇ ਵਰਤੋਂ ਨਹੀਂ ਕੀਤੀ ਜਾਂਦੀ, ਇਸ ਲਈ ਤੁਹਾਡੀ ਸਮੱਸਿਆ ਨੂੰ ਲੱਭਣਾ ਕਾਫ਼ੀ ਮੁਸ਼ਕਲ ਹੈ। ਅਤੇ ਸਭ ਤੋਂ ਪਹਿਲਾਂ, ਸਾਨੂੰ ਸਮੱਸਿਆਵਾਂ ਨੂੰ ਹੱਲ ਕਰਨ ਦੀ ਜ਼ਰੂਰਤ ਹੈ, ਬੇਸ਼ਕ.

ਸਰੋਤ: www.habr.com