ਲੱਖਾਂ ਛੋਟੀਆਂ ਫਾਈਲਾਂ ਨੂੰ ਕੁਸ਼ਲਤਾ ਨਾਲ ਸਟੋਰ ਕਰੋ। ਸਵੈ-ਮੇਜ਼ਬਾਨੀ ਦਾ ਹੱਲ

ਪਿਆਰੇ ਭਾਈਚਾਰਾ, ਇਹ ਲੇਖ ਲੱਖਾਂ ਛੋਟੀਆਂ ਫਾਈਲਾਂ ਨੂੰ ਕੁਸ਼ਲਤਾ ਨਾਲ ਸਟੋਰ ਕਰਨ ਅਤੇ ਮੁੜ ਪ੍ਰਾਪਤ ਕਰਨ 'ਤੇ ਧਿਆਨ ਕੇਂਦਰਿਤ ਕਰੇਗਾ। ਇਸ ਪੜਾਅ 'ਤੇ, ਅੰਤਮ ਹੱਲ POSIX-ਅਨੁਕੂਲ ਫਾਈਲ ਸਿਸਟਮਾਂ ਲਈ ਤਜਵੀਜ਼ ਕੀਤਾ ਗਿਆ ਹੈ, ਜਿਸ ਵਿੱਚ ਲਾਕ ਲਈ ਪੂਰੀ ਸਹਾਇਤਾ ਹੈ, ਜਿਸ ਵਿੱਚ ਕਲੱਸਟਰ ਲਾਕ ਵੀ ਸ਼ਾਮਲ ਹਨ, ਅਤੇ ਜਾਪਦਾ ਹੈ ਕਿ ਬਿਨਾਂ ਬੈਸਾਖੀਆਂ ਦੇ ਵੀ।

ਇਸ ਲਈ ਮੈਂ ਇਸ ਉਦੇਸ਼ ਲਈ ਆਪਣਾ ਖੁਦ ਦਾ ਕਸਟਮ ਸਰਵਰ ਲਿਖਿਆ.
ਇਸ ਕਾਰਜ ਨੂੰ ਲਾਗੂ ਕਰਨ ਦੇ ਦੌਰਾਨ, ਅਸੀਂ ਮੁੱਖ ਸਮੱਸਿਆ ਨੂੰ ਹੱਲ ਕਰਨ ਵਿੱਚ ਕਾਮਯਾਬ ਹੋਏ, ਅਤੇ ਉਸੇ ਸਮੇਂ ਡਿਸਕ ਸਪੇਸ ਅਤੇ ਰੈਮ ਵਿੱਚ ਬਚਤ ਪ੍ਰਾਪਤ ਕੀਤੀ, ਜਿਸਨੂੰ ਸਾਡਾ ਕਲੱਸਟਰ ਫਾਈਲ ਸਿਸਟਮ ਬੇਰਹਿਮੀ ਨਾਲ ਖਪਤ ਕਰ ਰਿਹਾ ਸੀ। ਅਸਲ ਵਿੱਚ, ਅਜਿਹੀਆਂ ਬਹੁਤ ਸਾਰੀਆਂ ਫਾਈਲਾਂ ਕਿਸੇ ਵੀ ਕਲੱਸਟਰਡ ਫਾਈਲ ਸਿਸਟਮ ਲਈ ਨੁਕਸਾਨਦੇਹ ਹੁੰਦੀਆਂ ਹਨ।

ਵਿਚਾਰ ਇਹ ਹੈ:

ਸਰਲ ਸ਼ਬਦਾਂ ਵਿਚ, ਛੋਟੀਆਂ ਫਾਈਲਾਂ ਨੂੰ ਸਰਵਰ ਦੁਆਰਾ ਅਪਲੋਡ ਕੀਤਾ ਜਾਂਦਾ ਹੈ, ਉਹਨਾਂ ਨੂੰ ਸਿੱਧੇ ਆਰਕਾਈਵ ਵਿਚ ਸੁਰੱਖਿਅਤ ਕੀਤਾ ਜਾਂਦਾ ਹੈ, ਅਤੇ ਇਸ ਤੋਂ ਪੜ੍ਹਿਆ ਵੀ ਜਾਂਦਾ ਹੈ, ਅਤੇ ਵੱਡੀਆਂ ਫਾਈਲਾਂ ਨੂੰ ਨਾਲ-ਨਾਲ ਰੱਖਿਆ ਜਾਂਦਾ ਹੈ. ਸਕੀਮ: 1 ਫੋਲਡਰ = 1 ਪੁਰਾਲੇਖ, ਕੁੱਲ ਮਿਲਾ ਕੇ ਸਾਡੇ ਕੋਲ ਛੋਟੀਆਂ ਫਾਈਲਾਂ ਵਾਲੇ ਕਈ ਮਿਲੀਅਨ ਆਰਕਾਈਵ ਹਨ, ਨਾ ਕਿ ਕਈ ਸੌ ਮਿਲੀਅਨ ਫਾਈਲਾਂ। ਅਤੇ ਇਹ ਸਭ ਪੂਰੀ ਤਰ੍ਹਾਂ ਲਾਗੂ ਕੀਤਾ ਗਿਆ ਹੈ, ਬਿਨਾਂ ਕਿਸੇ ਸਕ੍ਰਿਪਟ ਦੇ ਜਾਂ ਫਾਈਲਾਂ ਨੂੰ ਟਾਰ/ਜ਼ਿਪ ਆਰਕਾਈਵਜ਼ ਵਿੱਚ ਪਾਏ।

ਮੈਂ ਇਸਨੂੰ ਛੋਟਾ ਰੱਖਣ ਦੀ ਕੋਸ਼ਿਸ਼ ਕਰਾਂਗਾ, ਜੇ ਪੋਸਟ ਲੰਮੀ ਹੋਵੇ ਤਾਂ ਮੈਂ ਪਹਿਲਾਂ ਤੋਂ ਮੁਆਫੀ ਮੰਗਦਾ ਹਾਂ.

ਇਹ ਸਭ ਇਸ ਤੱਥ ਦੇ ਨਾਲ ਸ਼ੁਰੂ ਹੋਇਆ ਕਿ ਮੈਂ ਸੰਸਾਰ ਵਿੱਚ ਇੱਕ ਢੁਕਵਾਂ ਸਰਵਰ ਨਹੀਂ ਲੱਭ ਸਕਿਆ ਜੋ HTTP ਪ੍ਰੋਟੋਕੋਲ ਦੁਆਰਾ ਪ੍ਰਾਪਤ ਕੀਤੇ ਡੇਟਾ ਨੂੰ ਸਿੱਧੇ ਪੁਰਾਲੇਖਾਂ ਵਿੱਚ ਸੁਰੱਖਿਅਤ ਕਰ ਸਕਦਾ ਹੈ, ਪਰੰਪਰਾਗਤ ਪੁਰਾਲੇਖਾਂ ਅਤੇ ਆਬਜੈਕਟ ਸਟੋਰੇਜ ਵਿੱਚ ਮੌਜੂਦ ਨੁਕਸਾਨਾਂ ਤੋਂ ਬਿਨਾਂ. ਅਤੇ ਖੋਜ ਦਾ ਕਾਰਨ 10 ਸਰਵਰਾਂ ਦਾ ਮੂਲ ਕਲੱਸਟਰ ਸੀ ਜੋ ਵੱਡੇ ਪੱਧਰ 'ਤੇ ਵਧਿਆ ਸੀ, ਜਿਸ ਵਿੱਚ 250,000,000 ਛੋਟੀਆਂ ਫਾਈਲਾਂ ਪਹਿਲਾਂ ਹੀ ਇਕੱਠੀਆਂ ਹੋ ਚੁੱਕੀਆਂ ਸਨ, ਅਤੇ ਵਿਕਾਸ ਦਾ ਰੁਝਾਨ ਰੁਕਣ ਵਾਲਾ ਨਹੀਂ ਸੀ.

ਉਹਨਾਂ ਲਈ ਜੋ ਲੇਖ ਪੜ੍ਹਨਾ ਪਸੰਦ ਨਹੀਂ ਕਰਦੇ, ਥੋੜਾ ਜਿਹਾ ਦਸਤਾਵੇਜ਼ ਸੌਖਾ ਹੈ:

ਇੱਥੇ и ਇੱਥੇ.

ਅਤੇ ਉਸੇ ਸਮੇਂ ਡੌਕਰ, ਹੁਣ ਸਿਰਫ ਇਸ ਸਥਿਤੀ ਵਿੱਚ ਸਿਰਫ ਐਨਜੀਨੈਕਸ ਦੇ ਅੰਦਰ ਇੱਕ ਵਿਕਲਪ ਹੈ:

docker run -d --restart=always -e host=localhost -e root=/var/storage 
-v /var/storage:/var/storage --name wzd -p 80:80 eltaline/wzd

ਅਗਲਾ:

ਜੇ ਬਹੁਤ ਸਾਰੀਆਂ ਫਾਈਲਾਂ ਹਨ, ਤਾਂ ਮਹੱਤਵਪੂਰਨ ਸਰੋਤਾਂ ਦੀ ਲੋੜ ਹੁੰਦੀ ਹੈ, ਅਤੇ ਸਭ ਤੋਂ ਮਾੜੀ ਗੱਲ ਇਹ ਹੈ ਕਿ ਉਹਨਾਂ ਵਿੱਚੋਂ ਕੁਝ ਬਰਬਾਦ ਹੋ ਜਾਂਦੇ ਹਨ. ਉਦਾਹਰਨ ਲਈ, ਜਦੋਂ ਇੱਕ ਕਲੱਸਟਰਡ ਫਾਈਲ ਸਿਸਟਮ (ਇਸ ਸਥਿਤੀ ਵਿੱਚ, MooseFS) ਦੀ ਵਰਤੋਂ ਕਰਦੇ ਹੋਏ, ਫਾਈਲ, ਇਸਦੇ ਅਸਲ ਆਕਾਰ ਦੀ ਪਰਵਾਹ ਕੀਤੇ ਬਿਨਾਂ, ਹਮੇਸ਼ਾਂ ਘੱਟੋ ਘੱਟ 64 KB ਲੈਂਦੀ ਹੈ। ਯਾਨੀ, 3, 10 ਜਾਂ 30 KB ਆਕਾਰ ਦੀਆਂ ਫਾਈਲਾਂ ਲਈ, ਡਿਸਕ 'ਤੇ 64 KB ਦੀ ਲੋੜ ਹੁੰਦੀ ਹੈ। ਜੇਕਰ ਇੱਕ ਬਿਲੀਅਨ ਫਾਈਲਾਂ ਦਾ ਇੱਕ ਚੌਥਾਈ ਹਿੱਸਾ ਹੈ, ਤਾਂ ਅਸੀਂ 2 ਤੋਂ 10 ਟੈਰਾਬਾਈਟ ਗੁਆ ਦਿੰਦੇ ਹਾਂ। ਨਵੀਆਂ ਫਾਈਲਾਂ ਨੂੰ ਅਣਮਿੱਥੇ ਸਮੇਂ ਲਈ ਬਣਾਉਣਾ ਸੰਭਵ ਨਹੀਂ ਹੋਵੇਗਾ, ਕਿਉਂਕਿ MooseFS ਦੀ ਇੱਕ ਸੀਮਾ ਹੈ: ਹਰੇਕ ਫਾਈਲ ਦੀ ਇੱਕ ਪ੍ਰਤੀਕ੍ਰਿਤੀ ਦੇ ਨਾਲ 1 ਬਿਲੀਅਨ ਤੋਂ ਵੱਧ ਨਹੀਂ।

ਜਿਵੇਂ ਕਿ ਫਾਈਲਾਂ ਦੀ ਗਿਣਤੀ ਵਧਦੀ ਹੈ, ਮੈਟਾਡੇਟਾ ਲਈ ਬਹੁਤ ਸਾਰੀ RAM ਦੀ ਲੋੜ ਹੁੰਦੀ ਹੈ। ਅਕਸਰ ਵੱਡੇ ਮੈਟਾਡੇਟਾ ਡੰਪ ਵੀ SSD ਡਰਾਈਵਾਂ ਦੇ ਖਰਾਬ ਹੋਣ ਵਿੱਚ ਯੋਗਦਾਨ ਪਾਉਂਦੇ ਹਨ।

wZD ਸਰਵਰ। ਅਸੀਂ ਡਿਸਕਾਂ 'ਤੇ ਚੀਜ਼ਾਂ ਨੂੰ ਕ੍ਰਮਬੱਧ ਕਰਦੇ ਹਾਂ।

ਸਰਵਰ ਗੋ ਵਿੱਚ ਲਿਖਿਆ ਹੋਇਆ ਹੈ। ਸਭ ਤੋਂ ਪਹਿਲਾਂ, ਮੈਨੂੰ ਫਾਈਲਾਂ ਦੀ ਗਿਣਤੀ ਘਟਾਉਣ ਦੀ ਲੋੜ ਸੀ. ਇਹ ਕਿਵੇਂ ਕਰਨਾ ਹੈ? ਪੁਰਾਲੇਖ ਦੇ ਕਾਰਨ, ਪਰ ਇਸ ਕੇਸ ਵਿੱਚ ਬਿਨਾਂ ਕੰਪਰੈਸ਼ਨ ਦੇ, ਕਿਉਂਕਿ ਮੇਰੀਆਂ ਫਾਈਲਾਂ ਸਿਰਫ ਸੰਕੁਚਿਤ ਤਸਵੀਰਾਂ ਹਨ. BoltDB ਬਚਾਅ ਲਈ ਆਇਆ, ਜਿਸ ਨੂੰ ਅਜੇ ਵੀ ਆਪਣੀਆਂ ਕਮੀਆਂ ਤੋਂ ਦੂਰ ਕਰਨਾ ਪਿਆ, ਇਹ ਦਸਤਾਵੇਜ਼ਾਂ ਵਿੱਚ ਪ੍ਰਤੀਬਿੰਬਤ ਹੁੰਦਾ ਹੈ.

ਕੁੱਲ ਮਿਲਾ ਕੇ, ਇੱਕ ਅਰਬ ਫਾਈਲਾਂ ਦੇ ਇੱਕ ਚੌਥਾਈ ਦੀ ਬਜਾਏ, ਮੇਰੇ ਕੇਸ ਵਿੱਚ ਸਿਰਫ 10 ਮਿਲੀਅਨ ਬੋਲਟ ਆਰਕਾਈਵ ਬਚੇ ਸਨ. ਜੇ ਮੇਰੇ ਕੋਲ ਮੌਜੂਦਾ ਡਾਇਰੈਕਟਰੀ ਫਾਈਲ ਢਾਂਚੇ ਨੂੰ ਬਦਲਣ ਦਾ ਮੌਕਾ ਸੀ, ਤਾਂ ਇਸ ਨੂੰ ਲਗਭਗ 1 ਮਿਲੀਅਨ ਫਾਈਲਾਂ ਤੱਕ ਘਟਾਉਣਾ ਸੰਭਵ ਹੋਵੇਗਾ.

ਸਾਰੀਆਂ ਛੋਟੀਆਂ ਫਾਈਲਾਂ ਬੋਲਟ ਪੁਰਾਲੇਖਾਂ ਵਿੱਚ ਪੈਕ ਕੀਤੀਆਂ ਜਾਂਦੀਆਂ ਹਨ, ਜੋ ਆਪਣੇ ਆਪ ਉਹਨਾਂ ਡਾਇਰੈਕਟਰੀਆਂ ਦੇ ਨਾਮ ਪ੍ਰਾਪਤ ਕਰਦੀਆਂ ਹਨ ਜਿਸ ਵਿੱਚ ਉਹ ਸਥਿਤ ਹਨ, ਅਤੇ ਸਾਰੀਆਂ ਵੱਡੀਆਂ ਫਾਈਲਾਂ ਪੁਰਾਲੇਖਾਂ ਦੇ ਕੋਲ ਰਹਿੰਦੀਆਂ ਹਨ; ਉਹਨਾਂ ਨੂੰ ਪੈਕ ਕਰਨ ਦਾ ਕੋਈ ਮਤਲਬ ਨਹੀਂ ਹੈ, ਇਹ ਅਨੁਕੂਲਿਤ ਹੈ. ਛੋਟੀਆਂ ਨੂੰ ਪੁਰਾਲੇਖਬੱਧ ਕੀਤਾ ਗਿਆ ਹੈ, ਵੱਡੇ ਬਿਨਾਂ ਬਦਲੇ ਰਹਿ ਗਏ ਹਨ। ਸਰਵਰ ਦੋਵਾਂ ਨਾਲ ਪਾਰਦਰਸ਼ੀ ਢੰਗ ਨਾਲ ਕੰਮ ਕਰਦਾ ਹੈ।

ਆਰਕੀਟੈਕਚਰ ਅਤੇ wZD ਸਰਵਰ ਦੀਆਂ ਵਿਸ਼ੇਸ਼ਤਾਵਾਂ।

ਸਰਵਰ ਲੀਨਕਸ, BSD, ਸੋਲਾਰਿਸ ਅਤੇ OSX ਓਪਰੇਟਿੰਗ ਸਿਸਟਮ ਦੇ ਅਧੀਨ ਕੰਮ ਕਰਦਾ ਹੈ। ਮੈਂ ਸਿਰਫ ਲੀਨਕਸ ਦੇ ਅਧੀਨ AMD64 ਆਰਕੀਟੈਕਚਰ ਲਈ ਟੈਸਟ ਕੀਤਾ ਹੈ, ਪਰ ਇਹ ARM64, PPC64, MIPS64 ਲਈ ਕੰਮ ਕਰਨਾ ਚਾਹੀਦਾ ਹੈ।

ਮੁੱਖ ਵਿਸ਼ੇਸ਼ਤਾਵਾਂ:

• ਮਲਟੀਥ੍ਰੈਡਿੰਗ;
• ਮਲਟੀਸਰਵਰ, ਨੁਕਸ ਸਹਿਣਸ਼ੀਲਤਾ ਅਤੇ ਲੋਡ ਸੰਤੁਲਨ ਪ੍ਰਦਾਨ ਕਰਦਾ ਹੈ;
• ਉਪਭੋਗਤਾ ਜਾਂ ਡਿਵੈਲਪਰ ਲਈ ਵੱਧ ਤੋਂ ਵੱਧ ਪਾਰਦਰਸ਼ਤਾ;
• ਸਮਰਥਿਤ HTTP ਵਿਧੀਆਂ: GET, HEAD, PUT ਅਤੇ DELETE;
• ਕਲਾਇੰਟ ਸਿਰਲੇਖਾਂ ਦੁਆਰਾ ਵਿਹਾਰ ਨੂੰ ਪੜ੍ਹਨ ਅਤੇ ਲਿਖਣ ਦਾ ਨਿਯੰਤਰਣ;
• ਲਚਕਦਾਰ ਵਰਚੁਅਲ ਮੇਜ਼ਬਾਨਾਂ ਲਈ ਸਮਰਥਨ;
• ਲਿਖਣ/ਪੜ੍ਹਨ ਵੇਲੇ ਸੀਆਰਸੀ ਡੇਟਾ ਦੀ ਇਕਸਾਰਤਾ ਦਾ ਸਮਰਥਨ ਕਰੋ;
• ਨਿਊਨਤਮ ਮੈਮੋਰੀ ਖਪਤ ਅਤੇ ਅਨੁਕੂਲ ਨੈੱਟਵਰਕ ਪ੍ਰਦਰਸ਼ਨ ਟਿਊਨਿੰਗ ਲਈ ਅਰਧ-ਗਤੀਸ਼ੀਲ ਬਫਰ;
• ਸਥਗਤ ਡਾਟਾ ਸੰਕੁਚਿਤ;
• ਇਸ ਤੋਂ ਇਲਾਵਾ, ਸੇਵਾ ਨੂੰ ਰੋਕੇ ਬਿਨਾਂ ਫਾਈਲਾਂ ਨੂੰ ਮਾਈਗ੍ਰੇਟ ਕਰਨ ਲਈ ਇੱਕ ਮਲਟੀ-ਥ੍ਰੈਡਡ ਆਰਚੀਵਰ wZA ਦੀ ਪੇਸ਼ਕਸ਼ ਕੀਤੀ ਜਾਂਦੀ ਹੈ।

ਅਸਲ ਅਨੁਭਵ:

ਮੈਂ ਲੰਬੇ ਸਮੇਂ ਤੋਂ ਲਾਈਵ ਡੇਟਾ 'ਤੇ ਸਰਵਰ ਅਤੇ ਆਰਕਾਈਵਰ ਦਾ ਵਿਕਾਸ ਅਤੇ ਜਾਂਚ ਕਰ ਰਿਹਾ ਹਾਂ, ਹੁਣ ਇਹ ਸਫਲਤਾਪੂਰਵਕ ਇੱਕ ਕਲੱਸਟਰ 'ਤੇ ਕੰਮ ਕਰ ਰਿਹਾ ਹੈ ਜਿਸ ਵਿੱਚ ਵੱਖਰੀਆਂ SATA ਡਰਾਈਵਾਂ 'ਤੇ 250,000,000 ਡਾਇਰੈਕਟਰੀਆਂ ਵਿੱਚ ਸਥਿਤ 15,000,000 ਛੋਟੀਆਂ ਫਾਈਲਾਂ (ਤਸਵੀਰਾਂ) ਸ਼ਾਮਲ ਹਨ। 10 ਸਰਵਰਾਂ ਦਾ ਇੱਕ ਕਲੱਸਟਰ ਇੱਕ ਮੂਲ ਸਰਵਰ ਹੈ ਜੋ ਇੱਕ CDN ਨੈੱਟਵਰਕ ਦੇ ਪਿੱਛੇ ਸਥਾਪਤ ਹੁੰਦਾ ਹੈ। ਇਸਦੀ ਸੇਵਾ ਕਰਨ ਲਈ, 2 Nginx ਸਰਵਰ + 2 wZD ਸਰਵਰ ਵਰਤੇ ਜਾਂਦੇ ਹਨ।

ਉਹਨਾਂ ਲਈ ਜੋ ਇਸ ਸਰਵਰ ਦੀ ਵਰਤੋਂ ਕਰਨ ਦਾ ਫੈਸਲਾ ਕਰਦੇ ਹਨ, ਵਰਤੋਂ ਤੋਂ ਪਹਿਲਾਂ, ਜੇਕਰ ਲਾਗੂ ਹੋਵੇ, ਤਾਂ ਡਾਇਰੈਕਟਰੀ ਢਾਂਚੇ ਦੀ ਯੋਜਨਾ ਬਣਾਉਣਾ ਅਕਲਮੰਦੀ ਦੀ ਗੱਲ ਹੋਵੇਗੀ। ਮੈਨੂੰ ਤੁਰੰਤ ਇੱਕ ਰਿਜ਼ਰਵੇਸ਼ਨ ਕਰਨ ਦਿਓ ਕਿ ਸਰਵਰ ਹਰ ਚੀਜ਼ ਨੂੰ 1 ਬੋਲਟ ਆਰਕਾਈਵ ਵਿੱਚ ਕ੍ਰੈਮ ਕਰਨ ਦਾ ਇਰਾਦਾ ਨਹੀਂ ਹੈ।

ਪ੍ਰਦਰਸ਼ਨ ਟੈਸਟਿੰਗ:

ਜ਼ਿਪ ਫਾਈਲ ਦਾ ਆਕਾਰ ਜਿੰਨਾ ਛੋਟਾ ਹੁੰਦਾ ਹੈ, GET ਅਤੇ PUT ਓਪਰੇਸ਼ਨ ਇਸ 'ਤੇ ਤੇਜ਼ੀ ਨਾਲ ਕੀਤੇ ਜਾਂਦੇ ਹਨ। ਆਉ HTTP ਕਲਾਇੰਟ ਲਿਖਣ ਦੇ ਕੁੱਲ ਸਮੇਂ ਦੀ ਨਿਯਮਤ ਫਾਈਲਾਂ ਅਤੇ ਬੋਲਟ ਆਰਕਾਈਵਜ਼ ਦੇ ਨਾਲ ਨਾਲ ਪੜ੍ਹਨ ਦੇ ਨਾਲ ਤੁਲਨਾ ਕਰੀਏ। 32 KB, 256 KB, 1024 KB, 4096 KB ਅਤੇ 32768 KB ਆਕਾਰ ਦੀਆਂ ਫ਼ਾਈਲਾਂ ਨਾਲ ਕੰਮ ਕਰਨ ਦੀ ਤੁਲਨਾ ਕੀਤੀ ਜਾਂਦੀ ਹੈ।

ਬੋਲਟ ਆਰਕਾਈਵਜ਼ ਦੇ ਨਾਲ ਕੰਮ ਕਰਦੇ ਸਮੇਂ, ਹਰੇਕ ਫਾਈਲ ਦੀ ਡੇਟਾ ਇਕਸਾਰਤਾ ਦੀ ਜਾਂਚ ਕੀਤੀ ਜਾਂਦੀ ਹੈ (ਸੀਆਰਸੀ ਵਰਤੀ ਜਾਂਦੀ ਹੈ), ਰਿਕਾਰਡਿੰਗ ਤੋਂ ਪਹਿਲਾਂ ਅਤੇ ਰਿਕਾਰਡਿੰਗ ਤੋਂ ਬਾਅਦ ਵੀ, ਆਨ-ਦੀ-ਫਲਾਈ ਰੀਡਿੰਗ ਅਤੇ ਰੀਗਣਨਾ ਹੁੰਦੀ ਹੈ, ਇਸ ਨਾਲ ਕੁਦਰਤੀ ਤੌਰ 'ਤੇ ਦੇਰੀ ਹੁੰਦੀ ਹੈ, ਪਰ ਮੁੱਖ ਚੀਜ਼ ਡੇਟਾ ਸੁਰੱਖਿਆ ਹੈ।

ਮੈਂ SSD ਡਰਾਈਵਾਂ 'ਤੇ ਪ੍ਰਦਰਸ਼ਨ ਟੈਸਟ ਕਰਵਾਏ, ਕਿਉਂਕਿ SATA ਡਰਾਈਵਾਂ 'ਤੇ ਟੈਸਟ ਸਪੱਸ਼ਟ ਅੰਤਰ ਨਹੀਂ ਦਿਖਾਉਂਦੇ ਹਨ।

ਟੈਸਟਿੰਗ ਨਤੀਜਿਆਂ 'ਤੇ ਆਧਾਰਿਤ ਗ੍ਰਾਫ਼:

ਜਿਵੇਂ ਕਿ ਤੁਸੀਂ ਵੇਖ ਸਕਦੇ ਹੋ, ਛੋਟੀਆਂ ਫਾਈਲਾਂ ਲਈ ਪੁਰਾਲੇਖ ਅਤੇ ਗੈਰ-ਪੁਰਾਲੇਖ ਫਾਈਲਾਂ ਵਿੱਚ ਪੜ੍ਹਨ ਅਤੇ ਲਿਖਣ ਦੇ ਸਮੇਂ ਵਿੱਚ ਅੰਤਰ ਬਹੁਤ ਘੱਟ ਹੈ।

32 MB ਆਕਾਰ ਦੀਆਂ ਫਾਈਲਾਂ ਨੂੰ ਪੜ੍ਹਨ ਅਤੇ ਲਿਖਣ ਦੀ ਜਾਂਚ ਕਰਦੇ ਸਮੇਂ ਸਾਨੂੰ ਇੱਕ ਬਿਲਕੁਲ ਵੱਖਰੀ ਤਸਵੀਰ ਮਿਲਦੀ ਹੈ:

ਫਾਈਲਾਂ ਨੂੰ ਪੜ੍ਹਨ ਵਿੱਚ ਸਮਾਂ ਅੰਤਰ 5-25 ms ਦੇ ਅੰਦਰ ਹੈ। ਰਿਕਾਰਡਿੰਗ ਦੇ ਨਾਲ, ਚੀਜ਼ਾਂ ਬਦਤਰ ਹਨ, ਅੰਤਰ ਲਗਭਗ 150 ਐਮ.ਐਸ. ਪਰ ਇਸ ਕੇਸ ਵਿੱਚ ਵੱਡੀਆਂ ਫਾਈਲਾਂ ਨੂੰ ਅਪਲੋਡ ਕਰਨ ਦੀ ਕੋਈ ਲੋੜ ਨਹੀਂ ਹੈ; ਅਜਿਹਾ ਕਰਨ ਦਾ ਕੋਈ ਮਤਲਬ ਨਹੀਂ ਹੈ; ਉਹ ਪੁਰਾਲੇਖਾਂ ਤੋਂ ਵੱਖਰੇ ਰਹਿ ਸਕਦੇ ਹਨ.

*ਤਕਨੀਕੀ ਤੌਰ 'ਤੇ, ਤੁਸੀਂ ਇਸ ਸਰਵਰ ਨੂੰ NoSQL ਦੀ ਲੋੜ ਵਾਲੇ ਕੰਮਾਂ ਲਈ ਵਰਤ ਸਕਦੇ ਹੋ।

wZD ਸਰਵਰ ਨਾਲ ਕੰਮ ਕਰਨ ਦੇ ਬੁਨਿਆਦੀ ਤਰੀਕੇ:

ਇੱਕ ਨਿਯਮਤ ਫਾਈਲ ਲੋਡ ਕੀਤੀ ਜਾ ਰਹੀ ਹੈ:

curl -X PUT --data-binary @test.jpg http://localhost/test/test.jpg

ਬੋਲਟ ਆਰਕਾਈਵ ਵਿੱਚ ਇੱਕ ਫਾਈਲ ਨੂੰ ਅਪਲੋਡ ਕਰਨਾ (ਜੇ ਸਰਵਰ ਪੈਰਾਮੀਟਰ fmaxsize, ਜੋ ਕਿ ਅਧਿਕਤਮ ਫਾਈਲ ਆਕਾਰ ਨੂੰ ਨਿਰਧਾਰਤ ਕਰਦਾ ਹੈ ਜੋ ਪੁਰਾਲੇਖ ਵਿੱਚ ਸ਼ਾਮਲ ਕੀਤਾ ਜਾ ਸਕਦਾ ਹੈ, ਇਸ ਤੋਂ ਵੱਧ ਨਹੀਂ ਹੈ; ਜੇਕਰ ਇਹ ਵੱਧ ਜਾਂਦੀ ਹੈ, ਤਾਂ ਫਾਈਲ ਨੂੰ ਆਮ ਵਾਂਗ ਪੁਰਾਲੇਖ ਦੇ ਅੱਗੇ ਅਪਲੋਡ ਕੀਤਾ ਜਾਵੇਗਾ):

curl -X PUT -H "Archive: 1" --data-binary @test.jpg http://localhost/test/test.jpg

ਇੱਕ ਫਾਈਲ ਨੂੰ ਡਾਉਨਲੋਡ ਕਰਨਾ (ਜੇ ਡਿਸਕ ਅਤੇ ਪੁਰਾਲੇਖ ਵਿੱਚ ਇੱਕੋ ਨਾਮ ਵਾਲੀਆਂ ਫਾਈਲਾਂ ਹਨ, ਤਾਂ ਡਾਊਨਲੋਡ ਕਰਨ ਵੇਲੇ, ਅਣ-ਆਰਕਾਈਵ ਫਾਈਲ ਨੂੰ ਮੂਲ ਰੂਪ ਵਿੱਚ ਤਰਜੀਹ ਦਿੱਤੀ ਜਾਂਦੀ ਹੈ):

curl -o test.jpg http://localhost/test/test.jpg

ਬੋਲਟ ਆਰਕਾਈਵ ਤੋਂ ਇੱਕ ਫਾਈਲ ਨੂੰ ਡਾਊਨਲੋਡ ਕਰਨਾ (ਜ਼ਬਰਦਸਤੀ):

curl -o test.jpg -H "FromArchive: 1" http://localhost/test/test.jpg

ਹੋਰ ਤਰੀਕਿਆਂ ਦਾ ਵਰਣਨ ਦਸਤਾਵੇਜ਼ਾਂ ਵਿੱਚ ਹੈ।

wZD ਦਸਤਾਵੇਜ਼
wZA ਦਸਤਾਵੇਜ਼

ਸਰਵਰ ਵਰਤਮਾਨ ਵਿੱਚ ਸਿਰਫ HTTP ਪ੍ਰੋਟੋਕੋਲ ਦਾ ਸਮਰਥਨ ਕਰਦਾ ਹੈ; ਇਹ ਹਾਲੇ HTTPS ਨਾਲ ਕੰਮ ਨਹੀਂ ਕਰਦਾ ਹੈ। POST ਵਿਧੀ ਵੀ ਸਮਰਥਿਤ ਨਹੀਂ ਹੈ (ਇਹ ਅਜੇ ਤੈਅ ਨਹੀਂ ਕੀਤਾ ਗਿਆ ਹੈ ਕਿ ਇਸਦੀ ਲੋੜ ਹੈ ਜਾਂ ਨਹੀਂ)।

ਜੋ ਕੋਈ ਵੀ ਸਰੋਤ ਕੋਡ ਵਿੱਚ ਖੋਦਣ ਕਰਦਾ ਹੈ ਉਹ ਉੱਥੇ ਬਟਰਸਕੌਚ ਲੱਭੇਗਾ, ਹਰ ਕੋਈ ਇਸਨੂੰ ਪਸੰਦ ਨਹੀਂ ਕਰਦਾ, ਪਰ ਮੈਂ ਇੰਟਰੱਪਟ ਹੈਂਡਲਰ ਨੂੰ ਛੱਡ ਕੇ, ਮੁੱਖ ਕੋਡ ਨੂੰ ਵੈਬ ਫਰੇਮਵਰਕ ਦੇ ਫੰਕਸ਼ਨਾਂ ਨਾਲ ਨਹੀਂ ਜੋੜਿਆ, ਇਸ ਲਈ ਭਵਿੱਖ ਵਿੱਚ ਮੈਂ ਇਸਨੂੰ ਲਗਭਗ ਕਿਸੇ ਵੀ ਲਈ ਛੇਤੀ ਨਾਲ ਦੁਬਾਰਾ ਲਿਖ ਸਕਦਾ ਹਾਂ. ਇੰਜਣ

ਕਰਨਾ:

• ਕਲੱਸਟਰ ਫਾਈਲ ਸਿਸਟਮਾਂ ਤੋਂ ਬਿਨਾਂ ਵੱਡੇ ਸਿਸਟਮਾਂ ਵਿੱਚ ਵਰਤੋਂ ਦੀ ਸੰਭਾਵਨਾ ਲਈ ਤੁਹਾਡੇ ਖੁਦ ਦੇ ਪ੍ਰਤੀਕ੍ਰਿਤੀ ਅਤੇ ਵਿਤਰਕ + ਜੀਓ ਦਾ ਵਿਕਾਸ (ਬਾਲਗਾਂ ਲਈ ਸਭ ਕੁਝ)
• ਮੈਟਾਡੇਟਾ ਦੀ ਪੂਰੀ ਰਿਵਰਸ ਰਿਕਵਰੀ ਦੀ ਸੰਭਾਵਨਾ ਜੇਕਰ ਇਹ ਪੂਰੀ ਤਰ੍ਹਾਂ ਗੁੰਮ ਹੋ ਜਾਂਦੀ ਹੈ (ਜੇਕਰ ਵਿਤਰਕ ਦੀ ਵਰਤੋਂ ਕਰਦੇ ਹੋਏ)
• ਵੱਖ-ਵੱਖ ਪ੍ਰੋਗਰਾਮਿੰਗ ਭਾਸ਼ਾਵਾਂ ਲਈ ਨਿਰੰਤਰ ਨੈੱਟਵਰਕ ਕਨੈਕਸ਼ਨਾਂ ਅਤੇ ਡਰਾਈਵਰਾਂ ਦੀ ਵਰਤੋਂ ਕਰਨ ਦੀ ਯੋਗਤਾ ਲਈ ਮੂਲ ਪ੍ਰੋਟੋਕੋਲ
• NoSQL ਕੰਪੋਨੈਂਟ ਦੀ ਵਰਤੋਂ ਕਰਨ ਲਈ ਉੱਨਤ ਸੰਭਾਵਨਾਵਾਂ
• ਬੋਲਟ ਆਰਕਾਈਵਜ਼ ਦੇ ਅੰਦਰ ਫਾਈਲਾਂ ਜਾਂ ਮੁੱਲਾਂ ਅਤੇ ਨਿਯਮਤ ਫਾਈਲਾਂ ਲਈ ਵੱਖ-ਵੱਖ ਕਿਸਮਾਂ (gzip, zstd, ਸਨੈਪੀ) ਦੇ ਕੰਪਰੈਸ਼ਨ
• ਬੋਲਟ ਆਰਕਾਈਵਜ਼ ਦੇ ਅੰਦਰ ਫਾਈਲਾਂ ਜਾਂ ਮੁੱਲਾਂ ਅਤੇ ਨਿਯਮਤ ਫਾਈਲਾਂ ਲਈ ਵੱਖ-ਵੱਖ ਕਿਸਮਾਂ ਦੀ ਏਨਕ੍ਰਿਪਸ਼ਨ
• ਦੇਰੀ ਨਾਲ ਸਰਵਰ-ਸਾਈਡ ਵੀਡੀਓ ਪਰਿਵਰਤਨ, GPU 'ਤੇ ਵੀ ਸ਼ਾਮਲ ਹੈ

ਮੇਰੇ ਕੋਲ ਸਭ ਕੁਝ ਹੈ, ਮੈਨੂੰ ਉਮੀਦ ਹੈ ਕਿ ਇਹ ਸਰਵਰ ਕਿਸੇ ਲਈ ਲਾਭਦਾਇਕ ਹੋਵੇਗਾ, BSD-3 ਲਾਇਸੈਂਸ, ਡਬਲ ਕਾਪੀਰਾਈਟ, ਕਿਉਂਕਿ ਜੇਕਰ ਕੋਈ ਕੰਪਨੀ ਨਾ ਹੁੰਦੀ ਜਿੱਥੇ ਮੈਂ ਕੰਮ ਕਰਦਾ ਹਾਂ, ਤਾਂ ਸਰਵਰ ਲਿਖਿਆ ਨਹੀਂ ਹੁੰਦਾ. ਮੈਂ ਹੀ ਵਿਕਾਸਕਾਰ ਹਾਂ। ਮੈਂ ਤੁਹਾਡੇ ਦੁਆਰਾ ਲੱਭੀਆਂ ਗਈਆਂ ਕਿਸੇ ਵੀ ਬੱਗ ਅਤੇ ਵਿਸ਼ੇਸ਼ਤਾ ਬੇਨਤੀਆਂ ਲਈ ਧੰਨਵਾਦੀ ਹੋਵਾਂਗਾ।

ਸਰੋਤ: www.habr.com