ਸਿਟੀਮੋਬਿਲ ਵਿਖੇ ਅਸੀਂ ਇੱਕ MySQL ਡੇਟਾਬੇਸ ਨੂੰ ਸਾਡੇ ਮੁੱਖ ਨਿਰੰਤਰ ਡੇਟਾ ਸਟੋਰੇਜ ਵਜੋਂ ਵਰਤਦੇ ਹਾਂ। ਸਾਡੇ ਕੋਲ ਵੱਖ-ਵੱਖ ਸੇਵਾਵਾਂ ਅਤੇ ਉਦੇਸ਼ਾਂ ਲਈ ਕਈ ਡਾਟਾਬੇਸ ਕਲੱਸਟਰ ਹਨ।

ਮਾਸਟਰ ਦੀ ਨਿਰੰਤਰ ਉਪਲਬਧਤਾ ਪੂਰੇ ਸਿਸਟਮ ਅਤੇ ਇਸਦੇ ਵਿਅਕਤੀਗਤ ਹਿੱਸਿਆਂ ਦੀ ਕਾਰਗੁਜ਼ਾਰੀ ਦਾ ਇੱਕ ਮਹੱਤਵਪੂਰਣ ਸੂਚਕ ਹੈ. ਇੱਕ ਮਾਸਟਰ ਅਸਫਲਤਾ ਦੀ ਸਥਿਤੀ ਵਿੱਚ ਆਟੋਮੈਟਿਕ ਕਲੱਸਟਰ ਰਿਕਵਰੀ ਘਟਨਾ ਪ੍ਰਤੀਕਿਰਿਆ ਸਮਾਂ ਅਤੇ ਸਿਸਟਮ ਡਾਊਨਟਾਈਮ ਨੂੰ ਬਹੁਤ ਘਟਾਉਂਦੀ ਹੈ। ਇਸ ਲੇਖ ਵਿੱਚ, ਮੈਂ ਇੱਕ MySQL ਕਲੱਸਟਰ ਲਈ ਇੱਕ ਉੱਚ ਉਪਲਬਧਤਾ (HA) ਡਿਜ਼ਾਈਨ ਨੂੰ ਦੇਖਾਂਗਾ MySQL ਆਰਕੈਸਟਰੇਟਰ ਅਤੇ ਵਰਚੁਅਲ IP ਐਡਰੈੱਸ (VIP)।

ਵੀਆਈਪੀ 'ਤੇ ਅਧਾਰਤ HA ਹੱਲ

ਪਹਿਲਾਂ, ਮੈਂ ਤੁਹਾਨੂੰ ਸੰਖੇਪ ਵਿੱਚ ਦੱਸਾਂਗਾ ਕਿ ਸਾਡਾ ਡੇਟਾ ਸਟੋਰੇਜ ਸਿਸਟਮ ਕੀ ਹੈ।

ਅਸੀਂ ਇੱਕ ਲਿਖਤ-ਪਹੁੰਚਯੋਗ ਮਾਸਟਰ ਅਤੇ ਇੱਕ ਤੋਂ ਵੱਧ ਰੀਡ-ਓਨਲੀ ਪ੍ਰਤੀਕ੍ਰਿਤੀਆਂ ਦੇ ਨਾਲ ਇੱਕ ਕਲਾਸਿਕ ਪ੍ਰਤੀਕ੍ਰਿਤੀ ਯੋਜਨਾ ਦੀ ਵਰਤੋਂ ਕਰਦੇ ਹਾਂ। ਇੱਕ ਕਲੱਸਟਰ ਵਿੱਚ ਇੱਕ ਇੰਟਰਮੀਡੀਏਟ ਮਾਸਟਰ ਹੋ ਸਕਦਾ ਹੈ - ਇੱਕ ਨੋਡ ਜੋ ਇੱਕ ਪ੍ਰਤੀਕ੍ਰਿਤੀ ਅਤੇ ਦੂਜਿਆਂ ਲਈ ਇੱਕ ਮਾਸਟਰ ਹੈ। ਗ੍ਰਾਹਕ HAProxy ਦੁਆਰਾ ਪ੍ਰਤੀਕ੍ਰਿਤੀਆਂ ਤੱਕ ਪਹੁੰਚ ਕਰਦੇ ਹਨ, ਜੋ ਕਿ ਲੋਡ ਵੰਡ ਅਤੇ ਆਸਾਨ ਸਕੇਲਿੰਗ ਦੀ ਆਗਿਆ ਦਿੰਦਾ ਹੈ। HAProxy ਦੀ ਵਰਤੋਂ ਇਤਿਹਾਸਕ ਕਾਰਨਾਂ ਕਰਕੇ ਹੈ, ਅਤੇ ਅਸੀਂ ਵਰਤਮਾਨ ਵਿੱਚ ProxySQL ਵਿੱਚ ਮਾਈਗ੍ਰੇਟ ਕਰਨ ਦੀ ਪ੍ਰਕਿਰਿਆ ਵਿੱਚ ਹਾਂ।

ਦੇ ਅਧਾਰ ਤੇ ਅਰਧ-ਸਮਕਾਲੀ ਮੋਡ ਵਿੱਚ ਪ੍ਰਤੀਕ੍ਰਿਤੀ ਕੀਤੀ ਜਾਂਦੀ ਹੈ GTID. ਇਸਦਾ ਮਤਲਬ ਇਹ ਹੈ ਕਿ ਸਫਲ ਮੰਨੇ ਜਾਣ ਤੋਂ ਪਹਿਲਾਂ ਘੱਟੋ-ਘੱਟ ਇੱਕ ਪ੍ਰਤੀਕ੍ਰਿਤੀ ਨੂੰ ਇੱਕ ਟ੍ਰਾਂਜੈਕਸ਼ਨ ਲੌਗ ਕਰਨਾ ਚਾਹੀਦਾ ਹੈ। ਇਹ ਪ੍ਰਤੀਕ੍ਰਿਤੀ ਮੋਡ ਇੱਕ ਮਾਸਟਰ ਨੋਡ ਅਸਫਲਤਾ ਦੀ ਸਥਿਤੀ ਵਿੱਚ ਪ੍ਰਦਰਸ਼ਨ ਅਤੇ ਡੇਟਾ ਸੁਰੱਖਿਆ ਵਿਚਕਾਰ ਇੱਕ ਅਨੁਕੂਲ ਸੰਤੁਲਨ ਪ੍ਰਦਾਨ ਕਰਦਾ ਹੈ। ਮੂਲ ਰੂਪ ਵਿੱਚ ਸਾਰੀਆਂ ਤਬਦੀਲੀਆਂ ਮਾਸਟਰ ਤੋਂ ਪ੍ਰਤੀਕ੍ਰਿਤੀਆਂ ਵਿੱਚ ਤਬਦੀਲ ਕੀਤੀਆਂ ਜਾਂਦੀਆਂ ਹਨ Row Based Replication (RBR), ਪਰ ਕੁਝ ਨੋਡ ਹੋ ਸਕਦੇ ਹਨ mixed binlog format.

ਆਰਕੈਸਟਰੇਟਰ ਸਮੇਂ-ਸਮੇਂ 'ਤੇ ਕਲੱਸਟਰ ਟੋਪੋਲੋਜੀ ਦੀ ਸਥਿਤੀ ਨੂੰ ਅਪਡੇਟ ਕਰਦਾ ਹੈ, ਪ੍ਰਾਪਤ ਜਾਣਕਾਰੀ ਦਾ ਵਿਸ਼ਲੇਸ਼ਣ ਕਰਦਾ ਹੈ, ਅਤੇ ਜੇਕਰ ਸਮੱਸਿਆਵਾਂ ਪੈਦਾ ਹੁੰਦੀਆਂ ਹਨ, ਤਾਂ ਇਹ ਇੱਕ ਆਟੋਮੈਟਿਕ ਰਿਕਵਰੀ ਪ੍ਰਕਿਰਿਆ ਸ਼ੁਰੂ ਕਰ ਸਕਦਾ ਹੈ। ਡਿਵੈਲਪਰ ਖੁਦ ਪ੍ਰਕਿਰਿਆ ਲਈ ਜ਼ਿੰਮੇਵਾਰ ਹੈ, ਕਿਉਂਕਿ ਇਸਨੂੰ ਵੱਖ-ਵੱਖ ਤਰੀਕਿਆਂ ਨਾਲ ਲਾਗੂ ਕੀਤਾ ਜਾ ਸਕਦਾ ਹੈ: VIP, DNS 'ਤੇ ਆਧਾਰਿਤ, ਸੇਵਾ ਖੋਜ ਸੇਵਾਵਾਂ ਜਾਂ ਸਵੈ-ਲਿਖਤ ਵਿਧੀਆਂ ਦੀ ਵਰਤੋਂ ਕਰਦੇ ਹੋਏ।

ਇੱਕ ਮਾਸਟਰ ਨੂੰ ਰੀਸਟੋਰ ਕਰਨ ਦਾ ਇੱਕ ਸਧਾਰਨ ਤਰੀਕਾ ਹੈ ਜੇਕਰ ਇਹ ਅਸਫਲ ਹੋ ਜਾਂਦਾ ਹੈ ਤਾਂ ਫਲੋਟਿੰਗ VIP ਪਤਿਆਂ ਦੀ ਵਰਤੋਂ ਕਰਨਾ ਹੈ।

ਅੱਗੇ ਵਧਣ ਤੋਂ ਪਹਿਲਾਂ ਤੁਹਾਨੂੰ ਇਸ ਹੱਲ ਬਾਰੇ ਕੀ ਜਾਣਨ ਦੀ ਜ਼ਰੂਰਤ ਹੈ:

• ਇੱਕ VIP ਇੱਕ IP ਪਤਾ ਹੁੰਦਾ ਹੈ ਜੋ ਕਿਸੇ ਖਾਸ ਭੌਤਿਕ ਨੈੱਟਵਰਕ ਇੰਟਰਫੇਸ ਨਾਲ ਸੰਬੰਧਿਤ ਨਹੀਂ ਹੁੰਦਾ ਹੈ। ਜੇਕਰ ਕੋਈ ਨੋਡ ਫੇਲ ਹੋ ਜਾਂਦਾ ਹੈ ਜਾਂ ਅਨੁਸੂਚਿਤ ਰੱਖ-ਰਖਾਅ ਦੌਰਾਨ, ਅਸੀਂ VIP ਨੂੰ ਘੱਟੋ-ਘੱਟ ਡਾਊਨਟਾਈਮ ਦੇ ਨਾਲ ਕਿਸੇ ਹੋਰ ਸਰੋਤ ਵਿੱਚ ਬਦਲ ਸਕਦੇ ਹਾਂ।
• ਇੱਕ ਵਰਚੁਅਲ IP ਐਡਰੈੱਸ ਨੂੰ ਮੁਕਤ ਕਰਨਾ ਅਤੇ ਜਾਰੀ ਕਰਨਾ ਇੱਕ ਸਸਤਾ ਅਤੇ ਤੇਜ਼ ਕਾਰਜ ਹੈ।
• VIP ਨਾਲ ਕੰਮ ਕਰਨ ਲਈ, ਤੁਹਾਨੂੰ SSH ਦੁਆਰਾ ਸਰਵਰ ਤੱਕ ਪਹੁੰਚ ਦੀ ਲੋੜ ਹੈ, ਜਾਂ ਵਿਸ਼ੇਸ਼ ਉਪਯੋਗਤਾਵਾਂ ਦੀ ਵਰਤੋਂ, ਉਦਾਹਰਨ ਲਈ, keepalived.

ਆਉ ਆਪਣੇ ਵਿਜ਼ਾਰਡ ਨਾਲ ਸੰਭਾਵਿਤ ਸਮੱਸਿਆਵਾਂ ਨੂੰ ਵੇਖੀਏ ਅਤੇ ਕਲਪਨਾ ਕਰੀਏ ਕਿ ਆਟੋਮੈਟਿਕ ਰਿਕਵਰੀ ਵਿਧੀ ਨੂੰ ਕਿਵੇਂ ਕੰਮ ਕਰਨਾ ਚਾਹੀਦਾ ਹੈ।

ਮਾਸਟਰ ਨਾਲ ਨੈੱਟਵਰਕ ਕਨੈਕਟੀਵਿਟੀ ਗਾਇਬ ਹੋ ਗਈ ਹੈ, ਜਾਂ ਹਾਰਡਵੇਅਰ ਪੱਧਰ 'ਤੇ ਕੋਈ ਸਮੱਸਿਆ ਆਈ ਹੈ, ਅਤੇ ਸਰਵਰ ਉਪਲਬਧ ਨਹੀਂ ਹੈ।

1. ਆਰਕੈਸਟਰੇਟਰ ਕਲੱਸਟਰ ਟੋਪੋਲੋਜੀ ਨੂੰ ਅਪਡੇਟ ਕਰਦਾ ਹੈ, ਹਰੇਕ ਪ੍ਰਤੀਕ੍ਰਿਤੀ ਰਿਪੋਰਟ ਕਰਦੀ ਹੈ ਕਿ ਮਾਸਟਰ ਉਪਲਬਧ ਨਹੀਂ ਹੈ। ਆਰਕੈਸਟਰੇਟਰ ਨਵੇਂ ਮਾਸਟਰ ਦੀ ਭੂਮਿਕਾ ਲਈ ਢੁਕਵੀਂ ਪ੍ਰਤੀਕ੍ਰਿਤੀ ਦੀ ਚੋਣ ਕਰਨ ਦੀ ਪ੍ਰਕਿਰਿਆ ਸ਼ੁਰੂ ਕਰਦਾ ਹੈ ਅਤੇ ਰਿਕਵਰੀ ਸ਼ੁਰੂ ਕਰਦਾ ਹੈ।
2. ਅਸੀਂ ਪੁਰਾਣੇ ਮਾਸਟਰ ਤੋਂ ਵੀਆਈਪੀ ਨੂੰ ਹਟਾਉਣ ਦੀ ਕੋਸ਼ਿਸ਼ ਕਰ ਰਹੇ ਹਾਂ - ਸਫਲਤਾ ਤੋਂ ਬਿਨਾਂ।
3. ਪ੍ਰਤੀਕ੍ਰਿਤੀ ਮਾਸਟਰ ਦੀ ਭੂਮਿਕਾ ਵਿੱਚ ਬਦਲ ਜਾਂਦੀ ਹੈ। ਟੌਪੌਲੋਜੀ ਨੂੰ ਦੁਬਾਰਾ ਬਣਾਇਆ ਜਾ ਰਿਹਾ ਹੈ।
4. VIP ਨਾਲ ਇੱਕ ਨਵਾਂ ਨੈੱਟਵਰਕ ਇੰਟਰਫੇਸ ਜੋੜਨਾ। ਕਿਉਂਕਿ VIP ਨੂੰ ਹਟਾਉਣਾ ਸੰਭਵ ਨਹੀਂ ਸੀ, ਅਸੀਂ ਸਮੇਂ-ਸਮੇਂ 'ਤੇ ਬੈਕਗ੍ਰਾਊਂਡ ਵਿੱਚ ਬੇਨਤੀ ਭੇਜਣੀ ਸ਼ੁਰੂ ਕਰਦੇ ਹਾਂ ਮੁਫਤ ARP. ਇਸ ਕਿਸਮ ਦੀ ਬੇਨਤੀ/ਜਵਾਬ ਤੁਹਾਨੂੰ ਕਨੈਕਟ ਕੀਤੇ ਸਵਿੱਚਾਂ 'ਤੇ IP ਅਤੇ MAC ਐਡਰੈੱਸ ਮੈਪਿੰਗ ਟੇਬਲ ਨੂੰ ਅੱਪਡੇਟ ਕਰਨ ਦੀ ਇਜਾਜ਼ਤ ਦਿੰਦਾ ਹੈ, ਜਿਸ ਨਾਲ ਤੁਹਾਨੂੰ ਸੂਚਿਤ ਕੀਤਾ ਜਾਂਦਾ ਹੈ ਕਿ ਸਾਡਾ VIP ਤਬਦੀਲ ਹੋ ਗਿਆ ਹੈ। ਇਹ ਸੰਭਾਵਨਾ ਨੂੰ ਘੱਟ ਕਰਦਾ ਹੈ split brain ਪੁਰਾਣੇ ਮਾਸਟਰ ਨੂੰ ਵਾਪਸ ਕਰਨ ਵੇਲੇ.
5. ਸਾਰੇ ਨਵੇਂ ਕਨੈਕਸ਼ਨਾਂ ਨੂੰ ਤੁਰੰਤ ਨਵੇਂ ਮਾਸਟਰ ਨੂੰ ਰੀਡਾਇਰੈਕਟ ਕੀਤਾ ਜਾਂਦਾ ਹੈ। ਪੁਰਾਣੇ ਕਨੈਕਸ਼ਨ ਫੇਲ ਹੋ ਜਾਂਦੇ ਹਨ ਅਤੇ ਡੇਟਾਬੇਸ ਨੂੰ ਵਾਰ-ਵਾਰ ਕਾਲਾਂ ਐਪਲੀਕੇਸ਼ਨ ਪੱਧਰ 'ਤੇ ਕੀਤੀਆਂ ਜਾਂਦੀਆਂ ਹਨ।

ਸਰਵਰ ਆਮ ਮੋਡ ਵਿੱਚ ਕੰਮ ਕਰ ਰਿਹਾ ਹੈ, DBMS ਪੱਧਰ 'ਤੇ ਇੱਕ ਅਸਫਲਤਾ ਆਈ ਹੈ

ਐਲਗੋਰਿਦਮ ਪਿਛਲੇ ਕੇਸ ਦੇ ਸਮਾਨ ਹੈ: ਟੌਪੌਲੋਜੀ ਨੂੰ ਅੱਪਡੇਟ ਕਰਨਾ ਅਤੇ ਰਿਕਵਰੀ ਪ੍ਰਕਿਰਿਆ ਸ਼ੁਰੂ ਕਰਨਾ। ਕਿਉਂਕਿ ਸਰਵਰ ਉਪਲਬਧ ਹੈ, ਅਸੀਂ ਸਫਲਤਾਪੂਰਵਕ ਪੁਰਾਣੇ ਮਾਸਟਰ 'ਤੇ VIP ਨੂੰ ਜਾਰੀ ਕਰਦੇ ਹਾਂ, ਇਸਨੂੰ ਨਵੇਂ ਵਿੱਚ ਟ੍ਰਾਂਸਫਰ ਕਰਦੇ ਹਾਂ, ਅਤੇ ਕਈ ARP ਬੇਨਤੀਆਂ ਭੇਜਦੇ ਹਾਂ। ਪੁਰਾਣੇ ਮਾਸਟਰ ਦੀ ਸੰਭਾਵਿਤ ਵਾਪਸੀ ਦਾ ਮੁੜ-ਬਣਾਇਆ ਕਲੱਸਟਰ ਅਤੇ ਐਪਲੀਕੇਸ਼ਨ ਦੇ ਸੰਚਾਲਨ ਨੂੰ ਪ੍ਰਭਾਵਤ ਨਹੀਂ ਕਰਨਾ ਚਾਹੀਦਾ ਹੈ।

ਹੋਰ ਸਮੱਸਿਆਵਾਂ

ਪ੍ਰਤੀਕ੍ਰਿਤੀਆਂ ਜਾਂ ਇੰਟਰਮੀਡੀਏਟ ਮਾਸਟਰਾਂ ਦੀ ਅਸਫਲਤਾ ਅਗਵਾਈ ਨਹੀਂ ਕਰਦਾ ਆਟੋਮੈਟਿਕ ਕਾਰਵਾਈਆਂ ਲਈ ਅਤੇ ਦਸਤੀ ਦਖਲ ਦੀ ਲੋੜ ਹੈ।

ਇੱਕ ਵਰਚੁਅਲ ਨੈੱਟਵਰਕ ਇੰਟਰਫੇਸ ਹਮੇਸ਼ਾ ਅਸਥਾਈ ਤੌਰ 'ਤੇ ਜੋੜਿਆ ਜਾਂਦਾ ਹੈ, ਭਾਵ, ਸਰਵਰ ਰੀਬੂਟ ਤੋਂ ਬਾਅਦ, VIP ਸਵੈਚਲਿਤ ਤੌਰ 'ਤੇ ਨਿਰਧਾਰਤ ਨਹੀਂ ਕੀਤਾ ਜਾਂਦਾ ਹੈ। ਹਰੇਕ ਡੇਟਾਬੇਸ ਉਦਾਹਰਨ ਡਿਫੌਲਟ ਤੌਰ 'ਤੇ ਰੀਡ-ਓਨਲੀ ਮੋਡ ਵਿੱਚ ਸ਼ੁਰੂ ਹੁੰਦੀ ਹੈ, ਆਰਕੈਸਟਰੇਟਰ ਆਪਣੇ ਆਪ ਨਵੇਂ ਮਾਸਟਰ ਨੂੰ ਲਿਖਣ ਲਈ ਸਵਿਚ ਕਰਦਾ ਹੈ ਅਤੇ ਸਥਾਪਤ ਕਰਨ ਦੀ ਕੋਸ਼ਿਸ਼ ਕਰਦਾ ਹੈ read only ਪੁਰਾਣੇ ਮਾਸਟਰ 'ਤੇ. ਇਹਨਾਂ ਕਾਰਵਾਈਆਂ ਦਾ ਉਦੇਸ਼ ਸੰਭਾਵਨਾ ਨੂੰ ਘਟਾਉਣਾ ਹੈ split brain.

ਰਿਕਵਰੀ ਪ੍ਰਕਿਰਿਆ ਦੌਰਾਨ ਸਮੱਸਿਆਵਾਂ ਪੈਦਾ ਹੋ ਸਕਦੀਆਂ ਹਨ, ਜਿਸ ਨੂੰ ਸਟੈਂਡਰਡ ਮਾਨੀਟਰਿੰਗ ਟੂਲਸ ਤੋਂ ਇਲਾਵਾ ਆਰਕੈਸਟਰੇਟਰ UI ਰਾਹੀਂ ਵੀ ਸੂਚਿਤ ਕੀਤਾ ਜਾਣਾ ਚਾਹੀਦਾ ਹੈ। ਅਸੀਂ ਇਸ ਵਿਸ਼ੇਸ਼ਤਾ ਨੂੰ ਜੋੜ ਕੇ REST API ਦਾ ਵਿਸਤਾਰ ਕੀਤਾ ਹੈ (PR ਵਰਤਮਾਨ ਵਿੱਚ ਸਮੀਖਿਆ ਅਧੀਨ).

HA ਹੱਲ ਦਾ ਆਮ ਚਿੱਤਰ ਹੇਠਾਂ ਪੇਸ਼ ਕੀਤਾ ਗਿਆ ਹੈ।

ਇੱਕ ਨਵਾਂ ਮਾਸਟਰ ਚੁਣਨਾ

ਆਰਕੈਸਟ੍ਰੇਟਰ ਕਾਫ਼ੀ ਹੁਸ਼ਿਆਰ ਹੈ ਅਤੇ ਚੁਣਨ ਦੀ ਕੋਸ਼ਿਸ਼ ਕਰਦਾ ਹੈ ਸਭ ਤੋਂ ਢੁਕਵੀਂ ਪ੍ਰਤੀਕ੍ਰਿਤੀ ਹੇਠਾਂ ਦਿੱਤੇ ਮਾਪਦੰਡਾਂ ਦੇ ਅਨੁਸਾਰ ਇੱਕ ਨਵੇਂ ਮਾਸਟਰ ਵਜੋਂ:

• ਪ੍ਰਤੀਕ੍ਰਿਤੀ ਮਾਸਟਰ ਤੋਂ ਪਿੱਛੇ ਰਹਿੰਦੀ ਹੈ;
• ਮਾਸਟਰ ਅਤੇ ਪ੍ਰਤੀਕ੍ਰਿਤੀ ਦਾ MySQL ਸੰਸਕਰਣ;
• ਪ੍ਰਤੀਕ੍ਰਿਤੀ ਦੀ ਕਿਸਮ (RBR, SBR ਜਾਂ ਮਿਸ਼ਰਤ);
• ਇੱਕੋ ਜਾਂ ਵੱਖਰੇ ਡੇਟਾ ਸੈਂਟਰਾਂ ਵਿੱਚ ਸਥਾਨ;
• ਉਪਲਬਧਤਾ errant GTID - ਉਹ ਲੈਣ-ਦੇਣ ਜੋ ਪ੍ਰਤੀਕ੍ਰਿਤੀ 'ਤੇ ਕੀਤੇ ਗਏ ਸਨ ਅਤੇ ਮਾਸਟਰ 'ਤੇ ਨਹੀਂ ਹਨ;
• ਕਸਟਮ ਚੋਣ ਨਿਯਮਾਂ ਨੂੰ ਵੀ ਧਿਆਨ ਵਿੱਚ ਰੱਖਿਆ ਜਾਂਦਾ ਹੈ।

ਹਰ ਕਿਊ ਇੱਕ ਮਾਸਟਰ ਲਈ ਇੱਕ ਆਦਰਸ਼ ਉਮੀਦਵਾਰ ਨਹੀਂ ਹੈ. ਉਦਾਹਰਨ ਲਈ, ਇੱਕ ਪ੍ਰਤੀਕ੍ਰਿਤੀ ਨੂੰ ਡਾਟਾ ਬੈਕਅੱਪ ਕਰਨ ਲਈ ਵਰਤਿਆ ਜਾ ਸਕਦਾ ਹੈ, ਜਾਂ ਸਰਵਰ ਵਿੱਚ ਇੱਕ ਕਮਜ਼ੋਰ ਹਾਰਡਵੇਅਰ ਸੰਰਚਨਾ ਹੈ। ਆਰਕੈਸਟ੍ਰੇਟਰ ਨੂੰ ਸਹਿਯੋਗ ਦਿੰਦਾ ਹੈ ਮੈਨੁਅਲ ਨਿਯਮ ਜਿਸ ਨਾਲ ਤੁਸੀਂ ਆਪਣੀ ਉਮੀਦਵਾਰ ਚੋਣ ਤਰਜੀਹਾਂ ਨੂੰ ਸਭ ਤੋਂ ਤਰਜੀਹੀ ਤੋਂ ਅਣਡਿੱਠ ਕਰਨ ਲਈ ਅਨੁਕੂਲਿਤ ਕਰ ਸਕਦੇ ਹੋ।

ਜਵਾਬ ਅਤੇ ਰਿਕਵਰੀ ਸਮਾਂ

ਕਿਸੇ ਘਟਨਾ ਦੀ ਸਥਿਤੀ ਵਿੱਚ, ਸਿਸਟਮ ਡਾਊਨਟਾਈਮ ਨੂੰ ਘੱਟ ਤੋਂ ਘੱਟ ਕਰਨਾ ਮਹੱਤਵਪੂਰਨ ਹੈ, ਇਸ ਲਈ ਆਓ MySQL ਪੈਰਾਮੀਟਰਾਂ 'ਤੇ ਵਿਚਾਰ ਕਰੀਏ ਜੋ ਆਰਕੈਸਟਰੇਟਰ ਦੁਆਰਾ ਕਲੱਸਟਰ ਟੋਪੋਲੋਜੀ ਦੀ ਰਚਨਾ ਅਤੇ ਅੱਪਡੇਟ ਨੂੰ ਪ੍ਰਭਾਵਿਤ ਕਰਦੇ ਹਨ:

• slave_net_timeout - ਸਕਿੰਟਾਂ ਦੀ ਸੰਖਿਆ ਜਿਸ ਦੌਰਾਨ ਕੁਨੈਕਸ਼ਨ ਨੂੰ ਗੁਆਚਣ ਅਤੇ ਦੁਬਾਰਾ ਕਨੈਕਟ ਹੋਣ ਦੀ ਪਛਾਣ ਕੀਤੇ ਜਾਣ ਤੋਂ ਪਹਿਲਾਂ ਪ੍ਰਤੀਕ੍ਰਿਤੀ ਨਵੇਂ ਡੇਟਾ ਜਾਂ ਮਾਸਟਰ ਤੋਂ ਦਿਲ ਦੀ ਧੜਕਣ ਦੇ ਸੰਕੇਤ ਦੀ ਉਡੀਕ ਕਰਦੀ ਹੈ। ਮੁੱਲ ਜਿੰਨਾ ਘੱਟ ਹੋਵੇਗਾ, ਪ੍ਰਤੀਕ੍ਰਿਤੀ ਜਿੰਨੀ ਤੇਜ਼ੀ ਨਾਲ ਇਹ ਨਿਰਧਾਰਤ ਕਰ ਸਕਦੀ ਹੈ ਕਿ ਮਾਸਟਰ ਨਾਲ ਸੰਚਾਰ ਟੁੱਟ ਗਿਆ ਹੈ। ਅਸੀਂ ਇਸ ਮੁੱਲ ਨੂੰ 5 ਸਕਿੰਟਾਂ 'ਤੇ ਸੈੱਟ ਕੀਤਾ ਹੈ।
• MASTER_CONNECT_RETRY — ਮੁੜ ਕੁਨੈਕਸ਼ਨ ਕੋਸ਼ਿਸ਼ਾਂ ਵਿਚਕਾਰ ਸਕਿੰਟਾਂ ਦੀ ਗਿਣਤੀ। ਨੈੱਟਵਰਕ ਸਮੱਸਿਆਵਾਂ ਦੀ ਸਥਿਤੀ ਵਿੱਚ, ਇਸ ਪੈਰਾਮੀਟਰ ਲਈ ਇੱਕ ਘੱਟ ਮੁੱਲ ਤੁਰੰਤ ਮੁੜ ਕਨੈਕਸ਼ਨ ਦੀ ਆਗਿਆ ਦੇਵੇਗਾ ਅਤੇ ਕਲੱਸਟਰ ਰਿਕਵਰੀ ਪ੍ਰਕਿਰਿਆ ਨੂੰ ਸ਼ੁਰੂ ਹੋਣ ਤੋਂ ਰੋਕੇਗਾ। ਸਿਫ਼ਾਰਸ਼ੀ ਮੁੱਲ 1 ਸਕਿੰਟ ਹੈ।
• MASTER_RETRY_COUNT — ਮੁੜ ਕੁਨੈਕਸ਼ਨ ਕੋਸ਼ਿਸ਼ਾਂ ਦੀ ਵੱਧ ਤੋਂ ਵੱਧ ਗਿਣਤੀ।
• MASTER_HEARTBEAT_PERIOD - ਸਕਿੰਟਾਂ ਵਿੱਚ ਅੰਤਰਾਲ ਜਿਸ ਤੋਂ ਬਾਅਦ ਮਾਸਟਰ ਦਿਲ ਦੀ ਧੜਕਣ ਦਾ ਸੰਕੇਤ ਭੇਜਦਾ ਹੈ। ਅੱਧੇ ਮੁੱਲ ਲਈ ਪੂਰਵ-ਨਿਰਧਾਰਤ slave_net_timeout.

ਆਰਕੈਸਟ੍ਰੇਟਰ ਪੈਰਾਮੀਟਰ:

• DelayMasterPromotionIfSQLThreadNotUpToDate - ਜੇਕਰ ਬਰਾਬਰ true, ਫਿਰ ਉਮੀਦਵਾਰ ਦੀ ਪ੍ਰਤੀਕ੍ਰਿਤੀ 'ਤੇ ਮਾਸਟਰ ਰੋਲ ਉਦੋਂ ਤੱਕ ਲਾਗੂ ਨਹੀਂ ਕੀਤਾ ਜਾਵੇਗਾ ਜਦੋਂ ਤੱਕ ਕਿ ਪ੍ਰਤੀਕ੍ਰਿਤੀ ਦੇ SQL ਥ੍ਰੈਡ ਰੀਲੇਅ ਲੌਗ ਤੋਂ ਸਾਰੇ ਅਣ-ਲਾਗੂ ਕੀਤੇ ਲੈਣ-ਦੇਣ ਨੂੰ ਪੂਰਾ ਨਹੀਂ ਕਰ ਲੈਂਦਾ। ਅਸੀਂ ਇਸ ਵਿਕਲਪ ਦੀ ਵਰਤੋਂ ਟ੍ਰਾਂਜੈਕਸ਼ਨਾਂ ਨੂੰ ਗੁਆਉਣ ਤੋਂ ਬਚਣ ਲਈ ਕਰਦੇ ਹਾਂ ਜਦੋਂ ਉਮੀਦਵਾਰ ਦੀਆਂ ਸਾਰੀਆਂ ਪ੍ਰਤੀਕ੍ਰਿਤੀਆਂ ਪਿੱਛੇ ਹੋ ਜਾਂਦੀਆਂ ਹਨ।
• InstancePollSeconds - ਟੋਪੋਲੋਜੀ ਬਣਾਉਣ ਅਤੇ ਅੱਪਡੇਟ ਕਰਨ ਦੀ ਬਾਰੰਬਾਰਤਾ।
• RecoveryPollSeconds - ਟੌਪੋਲੋਜੀ ਵਿਸ਼ਲੇਸ਼ਣ ਦੀ ਬਾਰੰਬਾਰਤਾ। ਜੇਕਰ ਕੋਈ ਸਮੱਸਿਆ ਲੱਭੀ ਜਾਂਦੀ ਹੈ, ਤਾਂ ਟੌਪੌਲੋਜੀ ਰਿਕਵਰੀ ਸ਼ੁਰੂ ਕੀਤੀ ਜਾਂਦੀ ਹੈ। ਇਹ ਸਥਿਰ, 1 ਸਕਿੰਟ ਦੇ ਬਰਾਬਰ।

ਹਰੇਕ ਕਲੱਸਟਰ ਨੋਡ ਨੂੰ ਆਰਕੈਸਟਰੇਟਰ ਦੁਆਰਾ ਹਰ ਇੱਕ ਵਾਰ ਪੋਲ ਕੀਤਾ ਜਾਂਦਾ ਹੈ InstancePollSeconds ਸਕਿੰਟ ਜਦੋਂ ਇੱਕ ਸਮੱਸਿਆ ਦਾ ਪਤਾ ਲਗਾਇਆ ਜਾਂਦਾ ਹੈ, ਤਾਂ ਕਲੱਸਟਰ ਸਥਿਤੀ ਨੂੰ ਮਜਬੂਰ ਕੀਤਾ ਜਾਂਦਾ ਹੈ ਅੱਪਡੇਟ ਕੀਤਾ, ਅਤੇ ਫਿਰ ਰਿਕਵਰੀ ਕਰਨ ਲਈ ਅੰਤਿਮ ਫੈਸਲਾ ਲਿਆ ਜਾਂਦਾ ਹੈ। ਵੱਖ-ਵੱਖ ਡੇਟਾਬੇਸ ਅਤੇ ਆਰਕੈਸਟਰੇਟਰ ਪੈਰਾਮੀਟਰਾਂ ਨਾਲ ਪ੍ਰਯੋਗ ਕਰਕੇ, ਅਸੀਂ ਜਵਾਬ ਅਤੇ ਰਿਕਵਰੀ ਟਾਈਮ ਨੂੰ 30 ਸਕਿੰਟਾਂ ਤੱਕ ਘਟਾਉਣ ਦੇ ਯੋਗ ਹੋ ਗਏ।

ਟੈਸਟ ਸਟੈਂਡ

ਅਸੀਂ ਇੱਕ ਸਥਾਨਕ ਦੇ ਵਿਕਾਸ ਦੇ ਨਾਲ HA ਸਕੀਮ ਦੀ ਜਾਂਚ ਸ਼ੁਰੂ ਕੀਤੀ ਟੈਸਟ ਬੈਂਚ ਅਤੇ ਟੈਸਟ ਅਤੇ ਉਤਪਾਦਨ ਦੇ ਵਾਤਾਵਰਣ ਵਿੱਚ ਹੋਰ ਲਾਗੂ ਕਰਨਾ। ਸਥਾਨਕ ਸਟੈਂਡ ਪੂਰੀ ਤਰ੍ਹਾਂ ਡੌਕਰ 'ਤੇ ਆਧਾਰਿਤ ਹੈ ਅਤੇ ਤੁਹਾਨੂੰ ਆਰਕੈਸਟਰੇਟਰ ਅਤੇ ਨੈੱਟਵਰਕ ਦੀ ਸੰਰਚਨਾ ਦੇ ਨਾਲ ਪ੍ਰਯੋਗ ਕਰਨ, 2-3 ਸਰਵਰਾਂ ਤੋਂ ਕਈ ਦਰਜਨ ਤੱਕ ਕਲੱਸਟਰ ਨੂੰ ਸਕੇਲ ਕਰਨ, ਅਤੇ ਇੱਕ ਸੁਰੱਖਿਅਤ ਵਾਤਾਵਰਣ ਵਿੱਚ ਅਭਿਆਸ ਕਰਨ ਦੀ ਇਜਾਜ਼ਤ ਦਿੰਦਾ ਹੈ।

ਅਭਿਆਸਾਂ ਦੇ ਦੌਰਾਨ, ਅਸੀਂ ਸਮੱਸਿਆ ਦੇ ਇਮੂਲੇਸ਼ਨ ਤਰੀਕਿਆਂ ਵਿੱਚੋਂ ਇੱਕ ਚੁਣਦੇ ਹਾਂ: ਤੁਰੰਤ ਮਾਸਟਰ ਦੀ ਵਰਤੋਂ ਕਰਦੇ ਹੋਏ ਸ਼ੂਟ ਕਰੋ kill -9, ਹੌਲੀ ਹੌਲੀ ਪ੍ਰਕਿਰਿਆ ਨੂੰ ਖਤਮ ਕਰੋ ਅਤੇ ਸਰਵਰ ਨੂੰ ਰੋਕੋ (docker-compose stop) ਦੀ ਵਰਤੋਂ ਕਰਕੇ ਨੈੱਟਵਰਕ ਸਮੱਸਿਆਵਾਂ ਦੀ ਨਕਲ ਕਰੋ iptables -j REJECT ਜ iptables -j DROP. ਅਸੀਂ ਹੇਠਾਂ ਦਿੱਤੇ ਨਤੀਜਿਆਂ ਦੀ ਉਮੀਦ ਕਰਦੇ ਹਾਂ:

• ਆਰਕੈਸਟਰੇਟਰ ਮਾਸਟਰ ਨਾਲ ਸਮੱਸਿਆਵਾਂ ਦਾ ਪਤਾ ਲਗਾਵੇਗਾ ਅਤੇ 10 ਸਕਿੰਟਾਂ ਤੋਂ ਵੱਧ ਸਮੇਂ ਵਿੱਚ ਟੌਪੋਲੋਜੀ ਨੂੰ ਅਪਡੇਟ ਕਰੇਗਾ;
• ਰਿਕਵਰੀ ਪ੍ਰਕਿਰਿਆ ਆਪਣੇ ਆਪ ਸ਼ੁਰੂ ਹੋ ਜਾਵੇਗੀ: ਨੈਟਵਰਕ ਕੌਂਫਿਗਰੇਸ਼ਨ ਬਦਲ ਜਾਵੇਗੀ, ਮਾਸਟਰ ਦੀ ਭੂਮਿਕਾ ਪ੍ਰਤੀਕ੍ਰਿਤੀ ਨੂੰ ਦਿੱਤੀ ਜਾਵੇਗੀ, ਟੌਪੌਲੋਜੀ ਨੂੰ ਦੁਬਾਰਾ ਬਣਾਇਆ ਜਾਵੇਗਾ;
• ਨਵਾਂ ਮਾਸਟਰ ਲਿਖਣਯੋਗ ਬਣ ਜਾਵੇਗਾ, ਦੁਬਾਰਾ ਬਣਾਉਣ ਦੀ ਪ੍ਰਕਿਰਿਆ ਦੌਰਾਨ ਲਾਈਵ ਪ੍ਰਤੀਕ੍ਰਿਤੀਆਂ ਗੁੰਮ ਨਹੀਂ ਹੋਣਗੀਆਂ;
• ਡਾਟਾ ਨਵੇਂ ਮਾਸਟਰ ਨੂੰ ਲਿਖਿਆ ਜਾਣਾ ਸ਼ੁਰੂ ਹੋ ਜਾਵੇਗਾ ਅਤੇ ਦੁਹਰਾਇਆ ਜਾਵੇਗਾ;
• ਕੁੱਲ ਰਿਕਵਰੀ ਸਮਾਂ 30 ਸਕਿੰਟਾਂ ਤੋਂ ਵੱਧ ਨਹੀਂ ਹੋਵੇਗਾ।

ਜਿਵੇਂ ਕਿ ਤੁਸੀਂ ਜਾਣਦੇ ਹੋ, ਸਿਸਟਮ ਵੱਖੋ-ਵੱਖਰੇ ਹਾਰਡਵੇਅਰ ਅਤੇ ਨੈਟਵਰਕ ਸੰਰਚਨਾਵਾਂ, ਸਿੰਥੈਟਿਕ ਅਤੇ ਅਸਲ ਲੋਡ ਵਿੱਚ ਅੰਤਰ, ਆਦਿ ਦੇ ਕਾਰਨ ਟੈਸਟ ਅਤੇ ਉਤਪਾਦਨ ਦੇ ਵਾਤਾਵਰਣ ਵਿੱਚ ਵੱਖਰਾ ਵਿਵਹਾਰ ਕਰ ਸਕਦਾ ਹੈ। ਇਸ ਲਈ, ਅਸੀਂ ਸਮੇਂ-ਸਮੇਂ 'ਤੇ ਅਸਲ ਸਥਿਤੀਆਂ ਵਿੱਚ ਅਭਿਆਸਾਂ ਦਾ ਆਯੋਜਨ ਕਰਦੇ ਹਾਂ, ਇਹ ਜਾਂਚ ਕਰਦੇ ਹਾਂ ਕਿ ਸਿਸਟਮ ਕਿਵੇਂ ਵਿਵਹਾਰ ਕਰਦਾ ਹੈ ਜਦੋਂ ਨੈਟਵਰਕ ਕਨੈਕਟੀਵਿਟੀ ਖਤਮ ਹੋ ਜਾਂਦੀ ਹੈ ਜਾਂ ਇਸਦੇ ਵਿਅਕਤੀਗਤ ਹਿੱਸੇ ਖਰਾਬ ਹੋ ਜਾਂਦੇ ਹਨ। ਭਵਿੱਖ ਵਿੱਚ, ਅਸੀਂ ਦੋਵਾਂ ਵਾਤਾਵਰਣਾਂ ਲਈ ਇੱਕ ਪੂਰੀ ਤਰ੍ਹਾਂ ਇੱਕੋ ਜਿਹਾ ਬੁਨਿਆਦੀ ਢਾਂਚਾ ਬਣਾਉਣਾ ਚਾਹੁੰਦੇ ਹਾਂ ਅਤੇ ਇਸਦੀ ਜਾਂਚ ਨੂੰ ਸਵੈਚਲਿਤ ਕਰਨਾ ਚਾਹੁੰਦੇ ਹਾਂ।

ਸਿੱਟਾ

ਮੁੱਖ ਸਟੋਰੇਜ਼ ਸਿਸਟਮ ਨੋਡ ਦੀ ਸਿਹਤ SRE ਅਤੇ ਓਪਰੇਸ਼ਨ ਟੀਮ ਦੇ ਮੁੱਖ ਕੰਮਾਂ ਵਿੱਚੋਂ ਇੱਕ ਹੈ। ਵੀਆਈਪੀ 'ਤੇ ਅਧਾਰਤ ਆਰਕੈਸਟਰੇਟਰ ਅਤੇ HA ਹੱਲ ਨੂੰ ਲਾਗੂ ਕਰਨ ਨੇ ਸਾਨੂੰ ਹੇਠਾਂ ਦਿੱਤੇ ਨਤੀਜੇ ਪ੍ਰਾਪਤ ਕਰਨ ਦੀ ਇਜਾਜ਼ਤ ਦਿੱਤੀ:

• ਡਾਟਾਬੇਸ ਕਲੱਸਟਰ ਦੀ ਟੌਪੋਲੋਜੀ ਨਾਲ ਸਮੱਸਿਆਵਾਂ ਦੀ ਭਰੋਸੇਯੋਗ ਖੋਜ;
• ਮਾਸਟਰ-ਸਬੰਧਤ ਘਟਨਾਵਾਂ ਲਈ ਆਟੋਮੈਟਿਕ ਅਤੇ ਤੇਜ਼ ਜਵਾਬ, ਸਿਸਟਮ ਡਾਊਨਟਾਈਮ ਨੂੰ ਘਟਾਉਣਾ।

ਹਾਲਾਂਕਿ, ਹੱਲ ਦੀਆਂ ਆਪਣੀਆਂ ਸੀਮਾਵਾਂ ਅਤੇ ਨੁਕਸਾਨ ਹਨ:

• HA ਸਕੀਮ ਨੂੰ ਕਈ ਡਾਟਾ ਸੈਂਟਰਾਂ ਤੱਕ ਸਕੇਲ ਕਰਨ ਲਈ ਉਹਨਾਂ ਵਿਚਕਾਰ ਇੱਕ ਸਿੰਗਲ L2 ਨੈੱਟਵਰਕ ਦੀ ਲੋੜ ਹੋਵੇਗੀ;
• ਨਵੇਂ ਮਾਸਟਰ 'ਤੇ VIP ਨਿਰਧਾਰਤ ਕਰਨ ਤੋਂ ਪਹਿਲਾਂ, ਸਾਨੂੰ ਇਸਨੂੰ ਪੁਰਾਣੇ 'ਤੇ ਜਾਰੀ ਕਰਨ ਦੀ ਲੋੜ ਹੈ। ਪ੍ਰਕਿਰਿਆ ਕ੍ਰਮਵਾਰ ਹੈ, ਜੋ ਰਿਕਵਰੀ ਸਮਾਂ ਵਧਾਉਂਦੀ ਹੈ;
• VIP ਨੂੰ ਜਾਰੀ ਕਰਨ ਲਈ ਸਰਵਰ ਤੱਕ SSH ਪਹੁੰਚ ਦੀ ਲੋੜ ਹੁੰਦੀ ਹੈ, ਜਾਂ ਰਿਮੋਟ ਪ੍ਰਕਿਰਿਆਵਾਂ ਨੂੰ ਕਾਲ ਕਰਨ ਦਾ ਕੋਈ ਹੋਰ ਤਰੀਕਾ। ਕਿਉਂਕਿ ਸਰਵਰ ਜਾਂ ਡੇਟਾਬੇਸ ਸਮੱਸਿਆਵਾਂ ਦਾ ਸਾਹਮਣਾ ਕਰ ਰਿਹਾ ਹੈ ਜੋ ਰਿਕਵਰੀ ਪ੍ਰਕਿਰਿਆ ਦਾ ਕਾਰਨ ਬਣਦੀਆਂ ਹਨ, ਅਸੀਂ ਯਕੀਨੀ ਨਹੀਂ ਹੋ ਸਕਦੇ ਕਿ VIP ਹਟਾਉਣਾ ਸਫਲਤਾਪੂਰਵਕ ਪੂਰਾ ਹੋ ਜਾਵੇਗਾ। ਅਤੇ ਇਹ ਇੱਕੋ ਵਰਚੁਅਲ IP ਐਡਰੈੱਸ ਅਤੇ ਇੱਕ ਸਮੱਸਿਆ ਵਾਲੇ ਦੋ ਸਰਵਰਾਂ ਦੀ ਦਿੱਖ ਦਾ ਕਾਰਨ ਬਣ ਸਕਦਾ ਹੈ split brain.

ਬਚਣ ਲਈ split brain, ਤੁਸੀਂ ਵਿਧੀ ਦੀ ਵਰਤੋਂ ਕਰ ਸਕਦੇ ਹੋ ਸਟੋਨਿਥ (“ਸਿਰ ਵਿੱਚ ਦੂਜੇ ਨੋਡ ਨੂੰ ਸ਼ੂਟ ਕਰੋ”), ਜੋ ਸਮੱਸਿਆ ਨੋਡ ਨੂੰ ਪੂਰੀ ਤਰ੍ਹਾਂ ਅਲੱਗ ਜਾਂ ਅਯੋਗ ਕਰ ਦਿੰਦਾ ਹੈ। ਕਲੱਸਟਰ ਉੱਚ ਉਪਲਬਧਤਾ ਨੂੰ ਲਾਗੂ ਕਰਨ ਦੇ ਹੋਰ ਤਰੀਕੇ ਹਨ: VIP ਅਤੇ DNS ਦਾ ਸੁਮੇਲ, ਸੇਵਾ ਖੋਜ ਅਤੇ ਪ੍ਰੌਕਸੀ ਸੇਵਾਵਾਂ, ਸਮਕਾਲੀ ਪ੍ਰਤੀਕ੍ਰਿਤੀ ਅਤੇ ਹੋਰ ਵਿਧੀਆਂ ਜਿਨ੍ਹਾਂ ਦੇ ਆਪਣੇ ਨੁਕਸਾਨ ਅਤੇ ਫਾਇਦੇ ਹਨ।

ਮੈਂ MySQL ਫੇਲਓਵਰ ਕਲੱਸਟਰ ਬਣਾਉਣ ਲਈ ਸਾਡੀ ਪਹੁੰਚ ਬਾਰੇ ਗੱਲ ਕੀਤੀ. ਇਹ ਲਾਗੂ ਕਰਨਾ ਆਸਾਨ ਹੈ ਅਤੇ ਮੌਜੂਦਾ ਹਾਲਤਾਂ ਵਿੱਚ ਭਰੋਸੇਯੋਗਤਾ ਦਾ ਇੱਕ ਸਵੀਕਾਰਯੋਗ ਪੱਧਰ ਪ੍ਰਦਾਨ ਕਰਦਾ ਹੈ। ਜਿਵੇਂ ਕਿ ਆਮ ਤੌਰ 'ਤੇ ਸਮੁੱਚੀ ਪ੍ਰਣਾਲੀ ਅਤੇ ਖਾਸ ਤੌਰ 'ਤੇ ਬੁਨਿਆਦੀ ਢਾਂਚਾ ਵਿਕਸਤ ਹੁੰਦਾ ਹੈ, ਇਹ ਪਹੁੰਚ ਬਿਨਾਂ ਸ਼ੱਕ ਵਿਕਸਤ ਹੋਵੇਗੀ।

ਸਰੋਤ: www.habr.com