ਪੇਪਾਲ ਨੇ ਜੂਨੋਡੀਬੀ ਡੀਬੀਐਮਐਸ ਕੋਡ ਖੋਲ੍ਹਿਆ

ਪੇਪਾਲ ਨੇ ਨੁਕਸ-ਸਹਿਣਸ਼ੀਲ DBMS JunoDB ਦਾ ਸਰੋਤ ਕੋਡ ਖੋਲ੍ਹਿਆ ਹੈ, ਜੋ ਕਿ ਇੱਕ ਮੁੱਖ-ਮੁੱਲ ਫਾਰਮੈਟ ਵਿੱਚ ਡੇਟਾ ਨੂੰ ਹੇਰਾਫੇਰੀ ਕਰਦਾ ਹੈ। ਸਿਸਟਮ ਨੂੰ ਸ਼ੁਰੂਆਤੀ ਤੌਰ 'ਤੇ ਉੱਚ ਸੁਰੱਖਿਆ, ਹਰੀਜੱਟਲ ਸਕੇਲੇਬਿਲਟੀ, ਨੁਕਸ ਸਹਿਣਸ਼ੀਲਤਾ, ਅਤੇ ਪੂਰਵ-ਅਨੁਮਾਨਿਤ ਲੇਟੈਂਸੀਆਂ ਨੂੰ ਧਿਆਨ ਵਿੱਚ ਰੱਖਦੇ ਹੋਏ ਸੈਂਕੜੇ ਹਜ਼ਾਰਾਂ ਸਮਕਾਲੀ ਕਨੈਕਸ਼ਨਾਂ ਨੂੰ ਸੰਭਾਲਣ ਦੀ ਸਮਰੱਥਾ ਨਾਲ ਤਿਆਰ ਕੀਤਾ ਗਿਆ ਸੀ। ਪੇਪਾਲ 'ਤੇ, ਲਗਭਗ ਸਾਰੀਆਂ ਸੇਵਾਵਾਂ, ਉਪਭੋਗਤਾ ਲੌਗਇਨ ਤੋਂ ਲੈ ਕੇ ਵਿੱਤੀ ਲੈਣ-ਦੇਣ ਦੀ ਪ੍ਰਕਿਰਿਆ ਤੱਕ, ਜੂਨੋਡੀਬੀ ਨਾਲ ਜੁੜੀਆਂ ਹੋਈਆਂ ਹਨ। ਪ੍ਰੋਜੈਕਟ ਕੋਡ ਗੋ (ਇੱਕ ਜਾਵਾ ਕਲਾਇੰਟ ਲਾਇਬ੍ਰੇਰੀ) ਵਿੱਚ ਲਿਖਿਆ ਗਿਆ ਹੈ ਅਤੇ ਅਪਾਚੇ 2.0 ਲਾਇਸੰਸ ਦੇ ਅਧੀਨ ਵੰਡਿਆ ਗਿਆ ਹੈ। ਹੋਰ ਵਿਕਾਸ ਕਮਿਊਨਿਟੀ ਤੋਂ ਸੁਧਾਰਾਂ, ਸੁਧਾਰਾਂ ਅਤੇ ਤਬਦੀਲੀਆਂ ਨੂੰ ਸਵੀਕਾਰ ਕਰੇਗਾ।

ਜੂਨੋਡੀਬੀ ਦਾ ਆਰਕੀਟੈਕਚਰ ਇੱਕ ਲੋਡ ਬੈਲੈਂਸਰ ਦੀ ਵਰਤੋਂ 'ਤੇ ਅਧਾਰਤ ਹੈ ਜੋ ਕਲਾਇੰਟ ਐਪਲੀਕੇਸ਼ਨਾਂ ਤੋਂ ਬੇਨਤੀਆਂ ਨੂੰ ਸਵੀਕਾਰ ਕਰਦਾ ਹੈ ਅਤੇ ਉਹਨਾਂ ਨੂੰ ਪ੍ਰੌਕਸੀ ਸਰਵਰਾਂ ਵਿੱਚ ਵੰਡਦਾ ਹੈ ਜੋ ਬੇਨਤੀ ਦੇ ਲਾਗੂ ਹੋਣ 'ਤੇ ਸਟੋਰੇਜ ਸਰਵਰਾਂ ਦੇ ਇੱਕ ਸਮੂਹ ਤੱਕ ਪਹੁੰਚ ਕਰਦੇ ਹਨ। ਹਰੇਕ ਪ੍ਰੌਕਸੀ ਸਰਵਰ ਇੱਕੋ ਸਮੇਂ ਸਾਰੇ ਸਟੋਰੇਜ਼ ਸਰਵਰਾਂ ਨਾਲ ਕਨੈਕਸ਼ਨ ਸਥਾਪਤ ਕਰਦਾ ਹੈ ਅਤੇ ਭਾਗ ਸੂਚਕਾਂਕ ਦੇ ਅਧਾਰ ਤੇ ਸਟੋਰੇਜ਼ ਸਰਵਰਾਂ ਦੇ ਸਮੂਹ ਨੂੰ ਬੇਨਤੀਆਂ ਨੂੰ ਅੱਗੇ ਭੇਜਦਾ ਹੈ, ਜੋ ਕਿ ਡਿਸਟਰੀਬਿਊਟਡ ਸਟੋਰੇਜ ਸਿਸਟਮ etcd ਸੰਰਚਨਾ ਵਿੱਚ ਸਟੋਰ ਕੀਤਾ ਜਾਂਦਾ ਹੈ।

ਡੇਟਾ ਨੂੰ ਵੰਡਿਆ ਗਿਆ ਹੈ ਅਤੇ ਹੈਸ਼ਿੰਗ ਦੀ ਵਰਤੋਂ ਕਰਦੇ ਹੋਏ ਸਟੋਰੇਜ ਨੋਡਾਂ ਨਾਲ ਲਿੰਕ ਕੀਤਾ ਗਿਆ ਹੈ, ਜੋ ਕਿ ਕਲੱਸਟਰ ਵਿੱਚ ਨੋਡਾਂ ਦੇ ਵਧਣ ਜਾਂ ਸੁੰਗੜਨ ਦੇ ਨਾਲ ਡੇਟਾ ਦੀ ਗਤੀ ਨੂੰ ਘਟਾਉਂਦਾ ਹੈ। ਨੁਕਸ ਸਹਿਣਸ਼ੀਲਤਾ ਨੂੰ ਯਕੀਨੀ ਬਣਾਉਣ ਲਈ, ਡੇਟਾ ਦੇ ਹਰੇਕ ਹਿੱਸੇ ਨੂੰ ਕਈ ਸਟੋਰੇਜ ਨੋਡਾਂ 'ਤੇ ਦੁਹਰਾਇਆ ਜਾਂਦਾ ਹੈ, ਜੋ ਤੁਹਾਨੂੰ ਵਿਅਕਤੀਗਤ ਸਰਵਰ ਫੇਲ ਹੋਣ 'ਤੇ ਜਾਣਕਾਰੀ ਨੂੰ ਸੁਰੱਖਿਅਤ ਕਰਨ ਦੀ ਆਗਿਆ ਦਿੰਦਾ ਹੈ। ਭੂਗੋਲਿਕ ਤੌਰ 'ਤੇ ਵਿਤਰਿਤ ਸਟੋਰੇਜ਼ ਦੀ ਸਿਰਜਣਾ ਸਮਰਥਿਤ ਹੈ, ਜਿਸ ਵਿੱਚ ਨੋਡਾਂ ਦੇ ਸਮੂਹ ਵੱਖ-ਵੱਖ ਡੇਟਾ ਸੈਂਟਰਾਂ ਵਿੱਚ ਸਥਿਤ ਹਨ.

ਡਾਟਾ ਸਟੋਰੇਜ਼ ਨੋਡਾਂ 'ਤੇ, ਉਹ RAM ਵਿੱਚ ਜਾਂ RocksDB ਲਾਇਬ੍ਰੇਰੀ ਦੇ ਅਧਾਰ ਤੇ ਸਥਾਨਕ ਸਟੋਰੇਜ ਵਿੱਚ ਸਥਿਤ ਹਨ। ਜਦੋਂ ਪੱਕੇ ਤੌਰ 'ਤੇ ਸਟੋਰ ਕੀਤਾ ਜਾਂਦਾ ਹੈ, ਤਾਂ ਡੇਟਾ ਨੂੰ ਐਨਕ੍ਰਿਪਟਡ ਰੂਪ ਵਿੱਚ ਸਟੋਰ ਕੀਤਾ ਜਾਂਦਾ ਹੈ (ਏਨਕ੍ਰਿਪਸ਼ਨ ਕੁੰਜੀ ਜਾਂ ਤਾਂ ਕਲਾਇੰਟ ਦੁਆਰਾ ਨਿਰਧਾਰਤ ਕੀਤੀ ਜਾ ਸਕਦੀ ਹੈ ਜਾਂ ਪ੍ਰੌਕਸੀ ਪੱਧਰ 'ਤੇ ਸੈੱਟ ਕੀਤੀ ਜਾ ਸਕਦੀ ਹੈ)।

ਐਪਲੀਕੇਸ਼ਨਾਂ ਤੋਂ ਡੇਟਾਬੇਸ ਤੱਕ ਪਹੁੰਚ ਕਰਨ ਲਈ, ਇੱਕ ਕਲਾਇੰਟ ਲਾਇਬ੍ਰੇਰੀ ਸਪਲਾਈ ਕੀਤੀ ਜਾਂਦੀ ਹੈ ਜੋ Java, Go ਅਤੇ C++ ਵਿੱਚ ਐਪਲੀਕੇਸ਼ਨਾਂ ਲਈ API ਪ੍ਰਦਾਨ ਕਰਦੀ ਹੈ। ਕਲਾਇੰਟ ਦੇ ਹਿੱਸੇ ਨੂੰ ਜਿੰਨਾ ਸੰਭਵ ਹੋ ਸਕੇ ਸਰਲ ਬਣਾਇਆ ਜਾਂਦਾ ਹੈ, ਅਤੇ ਜਦੋਂ ਵੀ ਸੰਭਵ ਹੋਵੇ, ਗੁੰਝਲਦਾਰ ਤਰਕ ਅਤੇ ਸੈਟਿੰਗਾਂ ਨੂੰ DBMS ਪਾਸੇ ਤਬਦੀਲ ਕੀਤਾ ਜਾਂਦਾ ਹੈ। ਕਲਾਇੰਟ ਅਤੇ ਬੈਲੇਂਸਰ ਜਾਂ ਪ੍ਰੌਕਸੀ ਵਿਚਕਾਰ ਪਰਸਪਰ ਪ੍ਰਭਾਵ ਇੱਕ ਐਨਕ੍ਰਿਪਟਡ ਸੰਚਾਰ ਚੈਨਲ ਦੁਆਰਾ ਕੀਤਾ ਜਾਂਦਾ ਹੈ। ਬੇਨਤੀਆਂ ਦਾ ਪ੍ਰਬੰਧਨ ਅਤੇ ਭੇਜਣ ਲਈ, ਤੁਸੀਂ ਕਮਾਂਡ ਲਾਈਨ ਇੰਟਰਫੇਸ ਦੀ ਵਰਤੋਂ ਕਰ ਸਕਦੇ ਹੋ, ਜੋ ਕਲਾਇੰਟ API ਦੀਆਂ ਸਾਰੀਆਂ ਸਮਰੱਥਾਵਾਂ ਨੂੰ ਦੁਹਰਾਉਂਦਾ ਹੈ।

ਸਿਸਟਮ ਨੂੰ ਅਨੁਮਾਨਤ ਘੱਟ ਲੇਟੈਂਸੀ ਨਾਲ ਬੇਨਤੀਆਂ ਦੀ ਪ੍ਰਕਿਰਿਆ ਕਰਨ ਲਈ ਤਿਆਰ ਕੀਤਾ ਗਿਆ ਹੈ, ਉਦਾਹਰਨ ਲਈ, n1-highmem-32 ਵਾਤਾਵਰਨ (32 Intel Xeon 2.30GHz CPUs, 214G RAM ਅਤੇ 450G SSD-ਅਧਾਰਿਤ ਸਟੋਰੇਜ) ਤੋਂ ਬਣੇ ਤਿੰਨ ਸਟੋਰੇਜ ਨੋਡ ਅਤੇ ਇੱਕ ਪ੍ਰੌਕਸੀ ਦਾ ਇੱਕ ਕਲੱਸਟਰ। , 2.5 ਹਜ਼ਾਰ ਸਮਕਾਲੀ TLS ਕਨੈਕਸ਼ਨਾਂ ਅਤੇ 95 ਹਜ਼ਾਰ ਬੇਨਤੀਆਂ ਪ੍ਰਤੀ ਸਕਿੰਟ (16 ਸਮਕਾਲੀ ਕਨੈਕਸ਼ਨਾਂ ਅਤੇ 99 ਹਜ਼ਾਰ ਬੇਨਤੀਆਂ ਦੇ ਪ੍ਰਵਾਹ ਦੇ ਨਾਲ) ਦੀ ਪ੍ਰਕਿਰਿਆ ਕਰਦੇ ਸਮੇਂ 200% ਕੇਸਾਂ ਵਿੱਚ 15 ms ਤੋਂ ਵੱਧ ਨਾ ਹੋਣ ਅਤੇ 3000% ਵਿੱਚ 80 ms ਤੋਂ ਵੱਧ ਦੇਰੀ ਪ੍ਰਦਾਨ ਕਰਨ ਦੇ ਯੋਗ ਸੀ। ਪ੍ਰਤੀ ਸਕਿੰਟ, ਦੇਰੀ 6% ਮਾਮਲਿਆਂ ਵਿੱਚ 95 ms ਅਤੇ 15% ਵਿੱਚ 99 ms) ਤੋਂ ਵੱਧ ਨਹੀਂ ਸੀ। ਪੇਪਾਲ 'ਤੇ, ਜੂਨੋਡੀਬੀ-ਅਧਾਰਿਤ ਸੇਵਾਵਾਂ ਪ੍ਰਤੀ ਦਿਨ ਲਗਭਗ 350 ਬਿਲੀਅਨ ਬੇਨਤੀਆਂ ਪ੍ਰਦਾਨ ਕਰਦੀਆਂ ਹਨ।

ਸਰੋਤ: opennet.ru