ਸਟੋਰੇਜ਼ ਸਮਰੱਥਾ ਟ੍ਰੈਕਿੰਗ ਦੇ ਨਾਲ ਐਫੇਮੇਰਲ ਵਾਲੀਅਮ: ਸਟੀਰੌਇਡਜ਼ 'ਤੇ ਖਾਲੀ ਡਾਇਰ

ਕੁਝ ਐਪਲੀਕੇਸ਼ਨਾਂ ਨੂੰ ਡੇਟਾ ਸਟੋਰ ਕਰਨ ਦੀ ਵੀ ਜ਼ਰੂਰਤ ਹੁੰਦੀ ਹੈ, ਪਰ ਉਹ ਇਸ ਤੱਥ ਦੇ ਨਾਲ ਕਾਫ਼ੀ ਆਰਾਮਦਾਇਕ ਹਨ ਕਿ ਰੀਸਟਾਰਟ ਤੋਂ ਬਾਅਦ ਡੇਟਾ ਨੂੰ ਸੁਰੱਖਿਅਤ ਨਹੀਂ ਕੀਤਾ ਜਾਵੇਗਾ।

ਉਦਾਹਰਨ ਲਈ, ਕੈਚਿੰਗ ਸੇਵਾਵਾਂ RAM ਦੁਆਰਾ ਸੀਮਿਤ ਹੁੰਦੀਆਂ ਹਨ, ਪਰ ਇਹ ਉਹਨਾਂ ਡੇਟਾ ਨੂੰ ਵੀ ਹਿਲਾ ਸਕਦੀ ਹੈ ਜੋ ਸਟੋਰੇਜ ਲਈ ਘੱਟ ਹੀ ਵਰਤੀ ਜਾਂਦੀ ਹੈ ਜੋ ਕਿ RAM ਨਾਲੋਂ ਹੌਲੀ ਹੁੰਦੀ ਹੈ, ਜਿਸਦਾ ਸਮੁੱਚੀ ਕਾਰਗੁਜ਼ਾਰੀ 'ਤੇ ਬਹੁਤ ਘੱਟ ਪ੍ਰਭਾਵ ਹੁੰਦਾ ਹੈ। ਹੋਰ ਐਪਲੀਕੇਸ਼ਨਾਂ ਨੂੰ ਇਹ ਸੁਚੇਤ ਹੋਣ ਦੀ ਲੋੜ ਹੁੰਦੀ ਹੈ ਕਿ ਫਾਈਲਾਂ ਵਿੱਚ ਕੁਝ ਰੀਡ-ਓਨਲੀ ਇਨਪੁਟ ਹੋ ਸਕਦੇ ਹਨ, ਜਿਵੇਂ ਕਿ ਸੈਟਿੰਗਾਂ ਜਾਂ ਗੁਪਤ ਕੁੰਜੀਆਂ।

ਕੁਬਰਨੇਟਸ ਦੀਆਂ ਪਹਿਲਾਂ ਹੀ ਕਈ ਕਿਸਮਾਂ ਹਨ ਅਕਾਦਮੀ ਵਾਲੀਅਮ, ਪਰ ਉਹਨਾਂ ਦੀ ਕਾਰਜਕੁਸ਼ਲਤਾ K8s ਵਿੱਚ ਲਾਗੂ ਕੀਤੇ ਜਾਣ ਤੱਕ ਸੀਮਿਤ ਹੈ।

ਅਲੌਕਿਕ CSI ਵਾਲੀਅਮ ਕੁਬਰਨੇਟਸ ਨੂੰ CSI ਡ੍ਰਾਈਵਰਾਂ ਨਾਲ ਵਧਾਉਣ ਦੀ ਇਜਾਜ਼ਤ ਦਿੱਤੀ ਤਾਂ ਜੋ ਹਲਕੇ ਲੋਕਲ ਵਾਲੀਅਮਾਂ ਲਈ ਸਹਿਯੋਗ ਦਿੱਤਾ ਜਾ ਸਕੇ। ਇਸ ਤਰੀਕੇ ਨਾਲ ਇਸਦੀ ਵਰਤੋਂ ਸੰਭਵ ਹੈ ਆਪਹੁਦਰੇ ਬਣਤਰ: ਸੈਟਿੰਗਾਂ, ਭੇਦ, ਪਛਾਣ ਡੇਟਾ, ਵੇਰੀਏਬਲ, ਅਤੇ ਹੋਰ। ਇਸ ਕੁਬਰਨੇਟਸ ਵਿਸ਼ੇਸ਼ਤਾ ਨੂੰ ਸਮਰਥਨ ਦੇਣ ਲਈ CSI ਡਰਾਈਵਰਾਂ ਨੂੰ ਸੰਸ਼ੋਧਿਤ ਕੀਤਾ ਜਾਣਾ ਚਾਹੀਦਾ ਹੈ, ਕਿਉਂਕਿ ਇਹ ਮੰਨਿਆ ਜਾਂਦਾ ਹੈ ਕਿ ਨਿਯਮਤ ਮਾਨਕੀਕ੍ਰਿਤ ਡਰਾਈਵਰ ਕੰਮ ਨਹੀਂ ਕਰਨਗੇ - ਪਰ ਇਹ ਮੰਨਿਆ ਜਾਂਦਾ ਹੈ ਕਿ ਅਜਿਹੇ ਵਾਲੀਅਮ ਨੂੰ ਪੌਡ ਲਈ ਚੁਣੇ ਗਏ ਕਿਸੇ ਵੀ ਨੋਡ 'ਤੇ ਵਰਤਿਆ ਜਾ ਸਕਦਾ ਹੈ।

ਇਹ ਉਹਨਾਂ ਵਾਲੀਅਮਾਂ ਲਈ ਸਮੱਸਿਆ ਹੋ ਸਕਦੀ ਹੈ ਜੋ ਮਹੱਤਵਪੂਰਨ ਹੋਸਟ ਸਰੋਤਾਂ ਦੀ ਵਰਤੋਂ ਕਰਦੇ ਹਨ ਜਾਂ ਸਟੋਰੇਜ ਲਈ ਜੋ ਸਿਰਫ ਕੁਝ ਹੋਸਟਾਂ 'ਤੇ ਉਪਲਬਧ ਹੈ। ਇਹੀ ਕਾਰਨ ਹੈ ਕਿ ਕੁਬਰਨੇਟਸ 1.19 ਦੋ ਨਵੇਂ ਅਲਫ਼ਾ ਟੈਸਟਿੰਗ ਵਾਲੀਅਮ ਵਿਸ਼ੇਸ਼ਤਾਵਾਂ ਪੇਸ਼ ਕਰਦਾ ਹੈ ਜੋ ਸੰਕਲਪਿਕ ਤੌਰ 'ਤੇ EmptyDir ਵਾਲੀਅਮ ਦੇ ਸਮਾਨ ਹਨ:

• ਸਧਾਰਣ ਉਦੇਸ਼ ਅਲੌਕਿਕ ਵਾਲੀਅਮ;

• CSI ਸਟੋਰੇਜ ਸਮਰੱਥਾ ਟਰੈਕਿੰਗ।

ਨਵੀਂ ਪਹੁੰਚ ਦੇ ਫਾਇਦੇ:

• ਸਟੋਰੇਜ ਸਥਾਨਕ ਹੋ ਸਕਦੀ ਹੈ ਜਾਂ ਨੈੱਟਵਰਕ ਰਾਹੀਂ ਜੁੜ ਸਕਦੀ ਹੈ;

• ਵੌਲਯੂਮ ਦਾ ਇੱਕ ਨਿਸ਼ਚਿਤ ਆਕਾਰ ਹੋ ਸਕਦਾ ਹੈ ਜੋ ਐਪਲੀਕੇਸ਼ਨ ਦੁਆਰਾ ਵੱਧ ਨਹੀਂ ਕੀਤਾ ਜਾ ਸਕਦਾ ਹੈ;

• ਕਿਸੇ ਵੀ CSI ਡ੍ਰਾਈਵਰਾਂ ਨਾਲ ਕੰਮ ਕਰਦਾ ਹੈ ਜੋ ਸਥਾਈ ਵਾਲੀਅਮ ਦੀ ਵਿਵਸਥਾ ਦਾ ਸਮਰਥਨ ਕਰਦੇ ਹਨ ਅਤੇ (ਸਮਰੱਥਾ ਟਰੈਕਿੰਗ ਨੂੰ ਸਮਰਥਨ ਦੇਣ ਲਈ) ਕਾਲ ਨੂੰ ਲਾਗੂ ਕਰਦੇ ਹਨ GetCapacity;

• ਡ੍ਰਾਈਵਰ ਅਤੇ ਸੈਟਿੰਗਾਂ ਦੇ ਅਧਾਰ ਤੇ ਵਾਲੀਅਮ ਵਿੱਚ ਕੁਝ ਸ਼ੁਰੂਆਤੀ ਡੇਟਾ ਹੋ ਸਕਦਾ ਹੈ;

• ਵਾਲੀਅਮ ਵਾਲੇ ਸਾਰੇ ਸਟੈਂਡਰਡ ਓਪਰੇਸ਼ਨ (ਸਨੈਪਸ਼ਾਟ ਬਣਾਉਣਾ, ਮੁੜ ਆਕਾਰ ਦੇਣਾ, ਆਦਿ) ਸਮਰਥਿਤ ਹਨ;

• ਵਾਲੀਅਮ ਨੂੰ ਕਿਸੇ ਵੀ ਐਪਲੀਕੇਸ਼ਨ ਕੰਟਰੋਲਰ ਨਾਲ ਵਰਤਿਆ ਜਾ ਸਕਦਾ ਹੈ ਜੋ ਇੱਕ ਮੋਡੀਊਲ ਜਾਂ ਵਾਲੀਅਮ ਨਿਰਧਾਰਨ ਨੂੰ ਸਵੀਕਾਰ ਕਰਦਾ ਹੈ;

• Kubernetes ਸ਼ਡਿਊਲਰ ਆਪਣੇ ਆਪ ਢੁਕਵੇਂ ਨੋਡਾਂ ਦੀ ਚੋਣ ਕਰਦਾ ਹੈ, ਇਸਲਈ ਹੁਣ ਸ਼ਡਿਊਲਰ ਐਕਸਟੈਂਸ਼ਨਾਂ ਨੂੰ ਪ੍ਰੋਵਿਜ਼ਨ ਅਤੇ ਕੌਂਫਿਗਰ ਕਰਨ ਜਾਂ ਵੈਬਹੁੱਕ ਨੂੰ ਸੋਧਣ ਦੀ ਕੋਈ ਲੋੜ ਨਹੀਂ ਹੈ।

ਐਪਲੀਕੇਸ਼ਨ ਵਿਕਲਪ

ਇਸਲਈ, ਆਮ ਉਦੇਸ਼ ਦੇ ਅਲੰਕਾਰਿਕ ਵਾਲੀਅਮ ਹੇਠਾਂ ਦਿੱਤੇ ਵਰਤੋਂ ਦੇ ਮਾਮਲਿਆਂ ਲਈ ਢੁਕਵੇਂ ਹਨ:

ਮੈਮਕੈਚਡ ਲਈ RAM ਦੇ ਬਦਲ ਵਜੋਂ ਸਥਿਰ ਮੈਮੋਰੀ

memcached ਦੇ ਨਵੀਨਤਮ ਰੀਲੀਜ਼ ਸ਼ਾਮਿਲ ਕੀਤਾ ਸਹਿਯੋਗ ਸਥਾਈ ਮੈਮੋਰੀ (Intel Optane, ਆਦਿ) ਦੀ ਵਰਤੋਂ ਕਰਦੇ ਹੋਏ, ਲਗਭਗ ਅਨੁਵਾਦਕ) ਰੈਗੂਲਰ ਰੈਮ ਦੀ ਬਜਾਏ। ਜਦੋਂ ਇੱਕ ਐਪਲੀਕੇਸ਼ਨ ਕੰਟਰੋਲਰ ਦੁਆਰਾ ਮੈਮਕੈਚਡ ਨੂੰ ਤੈਨਾਤ ਕਰਦੇ ਹੋ, ਤਾਂ ਤੁਸੀਂ ਇਹ ਬੇਨਤੀ ਕਰਨ ਲਈ ਆਮ ਉਦੇਸ਼ ਦੇ ਅਲੰਕਾਰਿਕ ਵਾਲੀਅਮ ਦੀ ਵਰਤੋਂ ਕਰ ਸਕਦੇ ਹੋ ਕਿ CSI ਡਰਾਈਵਰ ਦੀ ਵਰਤੋਂ ਕਰਦੇ ਹੋਏ PMEM ਤੋਂ ਇੱਕ ਦਿੱਤੇ ਆਕਾਰ ਦੀ ਮਾਤਰਾ ਨਿਰਧਾਰਤ ਕੀਤੀ ਜਾਵੇ, ਉਦਾਹਰਨ ਲਈ PMEM-CSI.

ਇੱਕ ਵਰਕਸਪੇਸ ਦੇ ਤੌਰ ਤੇ LVM ਲੋਕਲ ਸਟੋਰੇਜ਼

RAM ਤੋਂ ਵੱਡੇ ਡੇਟਾ ਨਾਲ ਕੰਮ ਕਰਨ ਵਾਲੀਆਂ ਐਪਲੀਕੇਸ਼ਨਾਂ ਨੂੰ ਆਕਾਰ ਜਾਂ ਪ੍ਰਦਰਸ਼ਨ ਮੈਟ੍ਰਿਕਸ ਦੇ ਨਾਲ ਸਥਾਨਕ ਸਟੋਰੇਜ ਦੀ ਲੋੜ ਹੋ ਸਕਦੀ ਹੈ ਜੋ Kubernetes ਤੋਂ ਨਿਯਮਤ EmptyDir ਵਾਲੀਅਮ ਪ੍ਰਦਾਨ ਨਹੀਂ ਕਰ ਸਕਦੇ ਹਨ। ਉਦਾਹਰਨ ਲਈ, ਇਸ ਮਕਸਦ ਲਈ ਇਹ ਲਿਖਿਆ ਗਿਆ ਸੀ TopoLVM.

ਡਾਟਾ ਵਾਲੀਅਮ ਲਈ ਸਿਰਫ਼-ਪੜ੍ਹਨ ਲਈ ਪਹੁੰਚ

ਇੱਕ ਵਾਲੀਅਮ ਦੀ ਵੰਡ ਦੇ ਨਤੀਜੇ ਵਜੋਂ ਇੱਕ ਪੂਰਾ ਵਾਲੀਅਮ ਬਣ ਸਕਦਾ ਹੈ ਜਦੋਂ:

• ਬਹਾਲੀ ਵਾਲੀਅਮ ਸਨੈਪਸ਼ਾਟ;

• ਬਣਾਉਣ ਵਾਲੀਅਮ ਕਾਪੀਆਂ;

• ਕੰਮ ਡਾਟਾ ਪਲੇਸਹੋਲਡਰ.

ਇਹ ਵਾਲੀਅਮ ਸਿਰਫ਼-ਪੜ੍ਹਨ ਦੇ ਮੋਡ ਵਿੱਚ ਮਾਊਂਟ ਕੀਤੇ ਜਾ ਸਕਦੇ ਹਨ।

ਇਹ ਕੰਮ ਕਰਦਾ ਹੈ

ਸਾਧਾਰਨ ਉਦੇਸ਼ ਅਲੌਕਿਕ ਖੰਡ

ਸਧਾਰਣ ਉਦੇਸ਼ ਦੇ ਅਲੌਕਿਕ ਵਾਲੀਅਮ ਦੀ ਇੱਕ ਮੁੱਖ ਵਿਸ਼ੇਸ਼ਤਾ ਨਵਾਂ ਵਾਲੀਅਮ ਸਰੋਤ ਹੈ, EphemeralVolumeSource, ਇੱਕ ਵਾਲੀਅਮ ਬੇਨਤੀ ਬਣਾਉਣ ਲਈ ਸਾਰੇ ਖੇਤਰਾਂ ਨੂੰ ਸ਼ਾਮਲ ਕਰਦਾ ਹੈ (ਇਤਿਹਾਸਕ ਤੌਰ 'ਤੇ ਇੱਕ ਨਿਰੰਤਰ ਵਾਲੀਅਮ ਬੇਨਤੀ, PVC ਕਿਹਾ ਜਾਂਦਾ ਹੈ)। ਵਿੱਚ ਨਵਾਂ ਕੰਟਰੋਲਰ kube-controller-manager ਉਹਨਾਂ ਪੌਡਾਂ ਨੂੰ ਵੇਖਦਾ ਹੈ ਜੋ ਅਜਿਹੇ ਵਾਲੀਅਮ ਸਰੋਤ ਬਣਾਉਂਦੇ ਹਨ, ਅਤੇ ਫਿਰ ਉਹਨਾਂ ਪੌਡਾਂ ਲਈ ਇੱਕ PVC ਬਣਾਉਂਦਾ ਹੈ। CSI ਡਰਾਈਵਰ ਲਈ, ਇਹ ਬੇਨਤੀ ਹੋਰਾਂ ਵਾਂਗ ਹੀ ਦਿਖਾਈ ਦਿੰਦੀ ਹੈ, ਇਸ ਲਈ ਇੱਥੇ ਕਿਸੇ ਵਿਸ਼ੇਸ਼ ਸਹਾਇਤਾ ਦੀ ਲੋੜ ਨਹੀਂ ਹੈ।

ਜਿੰਨਾ ਚਿਰ ਅਜਿਹੇ PVC ਮੌਜੂਦ ਹਨ, ਉਹਨਾਂ ਨੂੰ ਵਾਲੀਅਮ 'ਤੇ ਕਿਸੇ ਵੀ ਹੋਰ ਬੇਨਤੀਆਂ ਵਾਂਗ ਵਰਤਿਆ ਜਾ ਸਕਦਾ ਹੈ। ਖਾਸ ਤੌਰ 'ਤੇ, ਉਹਨਾਂ ਨੂੰ ਇੱਕ ਵੌਲਯੂਮ ਦੀ ਨਕਲ ਕਰਨ ਜਾਂ ਵਾਲੀਅਮ ਤੋਂ ਇੱਕ ਸਨੈਪਸ਼ਾਟ ਬਣਾਉਣ ਵੇਲੇ ਇੱਕ ਡੇਟਾ ਸਰੋਤ ਵਜੋਂ ਹਵਾਲਾ ਦਿੱਤਾ ਜਾ ਸਕਦਾ ਹੈ। ਪੀਵੀਸੀ ਵਸਤੂ ਵਿੱਚ ਵਾਲੀਅਮ ਦੀ ਮੌਜੂਦਾ ਸਥਿਤੀ ਵੀ ਸ਼ਾਮਲ ਹੁੰਦੀ ਹੈ।

ਸਵੈਚਲਿਤ ਤੌਰ 'ਤੇ ਬਣਾਏ ਗਏ PVCs ਦੇ ਨਾਮ ਪਹਿਲਾਂ ਤੋਂ ਪਰਿਭਾਸ਼ਿਤ ਹਨ: ਇਹ ਪੋਡ ਨਾਮ ਅਤੇ ਵਾਲੀਅਮ ਨਾਮ ਦਾ ਸੁਮੇਲ ਹੈ, ਇੱਕ ਹਾਈਫਨ ਦੁਆਰਾ ਵੱਖ ਕੀਤਾ ਗਿਆ ਹੈ। ਪੂਰਵ-ਪਰਿਭਾਸ਼ਿਤ ਨਾਮ PVC ਨਾਲ ਗੱਲਬਾਤ ਕਰਨਾ ਆਸਾਨ ਬਣਾਉਂਦੇ ਹਨ ਕਿਉਂਕਿ ਜੇਕਰ ਤੁਹਾਨੂੰ ਪੌਡ ਨਾਮ ਅਤੇ ਵਾਲੀਅਮ ਦਾ ਨਾਮ ਪਤਾ ਹੈ ਤਾਂ ਤੁਹਾਨੂੰ ਇਸਨੂੰ ਲੱਭਣ ਦੀ ਲੋੜ ਨਹੀਂ ਹੈ। ਨਨੁਕਸਾਨ ਇਹ ਹੈ ਕਿ ਨਾਮ ਪਹਿਲਾਂ ਹੀ ਵਰਤੋਂ ਵਿੱਚ ਹੋ ਸਕਦਾ ਹੈ, ਜੋ ਕਿ ਕੁਬਰਨੇਟਸ ਦੁਆਰਾ ਖੋਜਿਆ ਗਿਆ ਹੈ ਅਤੇ ਨਤੀਜੇ ਵਜੋਂ ਪੌਡ ਨੂੰ ਸ਼ੁਰੂ ਹੋਣ ਤੋਂ ਰੋਕਿਆ ਗਿਆ ਹੈ।

ਇਹ ਯਕੀਨੀ ਬਣਾਉਣ ਲਈ ਕਿ ਪੋਡ ਦੇ ਨਾਲ ਵਾਲੀਅਮ ਨੂੰ ਮਿਟਾ ਦਿੱਤਾ ਗਿਆ ਹੈ, ਕੰਟਰੋਲਰ ਮਾਲਕ ਦੇ ਅਧੀਨ ਵਾਲੀਅਮ ਨੂੰ ਬੇਨਤੀ ਕਰਦਾ ਹੈ। ਜਦੋਂ ਪੌਡ ਨੂੰ ਮਿਟਾਇਆ ਜਾਂਦਾ ਹੈ, ਤਾਂ ਮਿਆਰੀ ਕੂੜਾ ਇਕੱਠਾ ਕਰਨ ਦੀ ਵਿਧੀ ਕੰਮ ਕਰਦੀ ਹੈ, ਜੋ ਬੇਨਤੀ ਅਤੇ ਵਾਲੀਅਮ ਦੋਵਾਂ ਨੂੰ ਮਿਟਾ ਦਿੰਦੀ ਹੈ।

ਬੇਨਤੀਆਂ ਨੂੰ ਸਟੋਰੇਜ਼ ਡ੍ਰਾਈਵਰ ਦੁਆਰਾ ਸਟੋਰੇਜ ਕਲਾਸ ਦੀ ਆਮ ਵਿਧੀ ਦੁਆਰਾ ਮਿਲਾਇਆ ਜਾਂਦਾ ਹੈ। ਹਾਲਾਂਕਿ ਤਤਕਾਲ ਅਤੇ ਦੇਰ ਨਾਲ ਬਾਈਡਿੰਗ ਵਾਲੀਆਂ ਕਲਾਸਾਂ (ਉਰਫ਼ WaitForFirstConsumer). WaitForFirstConsumer, ਫਿਰ ਸ਼ਡਿਊਲਰ ਨੋਡ ਦੀ ਚੋਣ ਕਰਦੇ ਸਮੇਂ ਨੋਡ ਦੀ ਵਰਤੋਂ ਅਤੇ ਸਟੋਰੇਜ ਉਪਲਬਧਤਾ ਦੋਵਾਂ 'ਤੇ ਵਿਚਾਰ ਕਰ ਸਕਦਾ ਹੈ। ਇੱਥੇ ਇੱਕ ਨਵੀਂ ਵਿਸ਼ੇਸ਼ਤਾ ਦਿਖਾਈ ਦਿੰਦੀ ਹੈ।

ਸਟੋਰੇਜ ਸਮਰੱਥਾ ਟਰੈਕਿੰਗ

ਆਮ ਤੌਰ 'ਤੇ ਸ਼ਡਿਊਲਰ ਨੂੰ ਇਸ ਗੱਲ ਦਾ ਕੋਈ ਗਿਆਨ ਨਹੀਂ ਹੁੰਦਾ ਕਿ CSI ਡਰਾਈਵਰ ਵਾਲੀਅਮ ਕਿੱਥੇ ਬਣਾਏਗਾ। ਇਸ ਜਾਣਕਾਰੀ ਦੀ ਬੇਨਤੀ ਕਰਨ ਲਈ ਸ਼ਡਿਊਲਰ ਲਈ ਡਰਾਈਵਰ ਨਾਲ ਸਿੱਧਾ ਸੰਪਰਕ ਕਰਨ ਦਾ ਕੋਈ ਤਰੀਕਾ ਵੀ ਨਹੀਂ ਹੈ। ਇਸ ਲਈ, ਸ਼ਡਿਊਲਰ ਪੋਲ ਨੋਡਾਂ ਨੂੰ ਉਦੋਂ ਤੱਕ ਨੋਡ ਕਰਦਾ ਹੈ ਜਦੋਂ ਤੱਕ ਇਹ ਇੱਕ ਅਜਿਹਾ ਨਹੀਂ ਲੱਭਦਾ ਜਿਸ 'ਤੇ ਵਾਲੀਅਮ ਨੂੰ ਐਕਸੈਸ ਕੀਤਾ ਜਾ ਸਕਦਾ ਹੈ (ਲੇਟ ਬਾਈਡਿੰਗ) ਜਾਂ ਸਥਾਨ ਦੀ ਚੋਣ ਪੂਰੀ ਤਰ੍ਹਾਂ ਡਰਾਈਵਰ (ਤੁਰੰਤ ਬਾਈਡਿੰਗ) 'ਤੇ ਛੱਡ ਦਿੰਦਾ ਹੈ।

ਨਵਾਂ API CSIStorageCapacity, ਜੋ ਕਿ ਅਲਫ਼ਾ ਪੜਾਅ ਵਿੱਚ ਹੈ, ਲੋੜੀਂਦੇ ਡੇਟਾ ਨੂੰ etcd ਵਿੱਚ ਸਟੋਰ ਕਰਨ ਦੀ ਆਗਿਆ ਦਿੰਦਾ ਹੈ ਤਾਂ ਜੋ ਇਹ ਸ਼ਡਿਊਲਰ ਲਈ ਉਪਲਬਧ ਹੋਵੇ। ਸਧਾਰਣ ਉਦੇਸ਼ਾਂ ਦੇ ਅਲੰਕਾਰਿਕ ਵਾਲੀਅਮ ਲਈ ਸਮਰਥਨ ਦੇ ਉਲਟ, ਜਦੋਂ ਤੁਸੀਂ ਡ੍ਰਾਈਵਰ ਨੂੰ ਤੈਨਾਤ ਕਰਦੇ ਹੋ, ਤਾਂ ਤੁਹਾਨੂੰ ਸਟੋਰੇਜ ਸਮਰੱਥਾ ਟਰੈਕਿੰਗ ਨੂੰ ਸਮਰੱਥ ਕਰਨਾ ਚਾਹੀਦਾ ਹੈ: external-provisioner ਨੂੰ ਡ੍ਰਾਈਵਰ ਤੋਂ ਪ੍ਰਾਪਤ ਕੀਤੀ ਸਮਰੱਥਾ ਦੀ ਜਾਣਕਾਰੀ ਨੂੰ ਆਮ ਰਾਹੀਂ ਪ੍ਰਕਾਸ਼ਿਤ ਕਰਨਾ ਚਾਹੀਦਾ ਹੈ GetCapacity.

ਜੇਕਰ ਸ਼ਡਿਊਲਰ ਨੂੰ ਇੱਕ ਅਨਬਾਉਂਡ ਵਾਲੀਅਮ ਵਾਲੇ ਪੌਡ ਲਈ ਇੱਕ ਨੋਡ ਚੁਣਨ ਦੀ ਲੋੜ ਹੈ ਜੋ ਲੇਟ ਬਾਈਡਿੰਗ ਦੀ ਵਰਤੋਂ ਕਰਦਾ ਹੈ, ਅਤੇ ਡਰਾਈਵਰ ਨੇ ਫਲੈਗ ਸੈਟ ਕਰਕੇ ਤੈਨਾਤੀ ਦੌਰਾਨ ਇਸ ਵਿਸ਼ੇਸ਼ਤਾ ਨੂੰ ਸਮਰੱਥ ਬਣਾਇਆ ਹੈ CSIDriver.storageCapacity, ਫਿਰ ਨੋਡ ਜਿਨ੍ਹਾਂ ਕੋਲ ਲੋੜੀਂਦੀ ਸਟੋਰੇਜ ਸਮਰੱਥਾ ਨਹੀਂ ਹੈ ਉਹਨਾਂ ਨੂੰ ਆਪਣੇ ਆਪ ਰੱਦ ਕਰ ਦਿੱਤਾ ਜਾਵੇਗਾ। ਇਹ ਸਧਾਰਣ ਉਦੇਸ਼ ਅਲੌਕਿਕ ਅਤੇ ਸਥਾਈ ਵਾਲੀਅਮ ਦੋਵਾਂ ਲਈ ਕੰਮ ਕਰਦਾ ਹੈ, ਪਰ CSI ਅਲੰਕਾਰਿਕ ਵਾਲੀਅਮਾਂ ਲਈ ਨਹੀਂ ਕਿਉਂਕਿ ਉਹਨਾਂ ਦੇ ਮਾਪਦੰਡਾਂ ਨੂੰ ਕੁਬਰਨੇਟਸ ਦੁਆਰਾ ਪੜ੍ਹਿਆ ਨਹੀਂ ਜਾ ਸਕਦਾ ਹੈ।

ਆਮ ਵਾਂਗ, ਪੌਡਾਂ ਨੂੰ ਤਹਿ ਕੀਤੇ ਜਾਣ ਤੋਂ ਪਹਿਲਾਂ ਤੁਰੰਤ ਲਿੰਕ ਕੀਤੇ ਵਾਲੀਅਮ ਬਣਾਏ ਜਾਂਦੇ ਹਨ, ਅਤੇ ਉਹਨਾਂ ਦੀ ਪਲੇਸਮੈਂਟ ਸਟੋਰੇਜ ਡਰਾਈਵਰ ਦੁਆਰਾ ਚੁਣੀ ਜਾਂਦੀ ਹੈ, ਇਸਲਈ ਸੰਰਚਨਾ ਕਰਨ ਵੇਲੇ external-provisioner ਮੂਲ ਰੂਪ ਵਿੱਚ, ਤਤਕਾਲ ਬਾਈਡਿੰਗ ਵਾਲੀਆਂ ਸਟੋਰੇਜ ਕਲਾਸਾਂ ਨੂੰ ਛੱਡ ਦਿੱਤਾ ਜਾਂਦਾ ਹੈ, ਕਿਉਂਕਿ ਇਹ ਡੇਟਾ ਕਿਸੇ ਵੀ ਤਰ੍ਹਾਂ ਨਹੀਂ ਵਰਤਿਆ ਜਾਵੇਗਾ।

ਕਿਉਂਕਿ kubernetes ਸ਼ਡਿਊਲਰ ਨੂੰ ਸੰਭਾਵੀ ਤੌਰ 'ਤੇ ਪੁਰਾਣੀ ਜਾਣਕਾਰੀ ਨਾਲ ਕੰਮ ਕਰਨ ਲਈ ਮਜ਼ਬੂਰ ਕੀਤਾ ਜਾਂਦਾ ਹੈ, ਇਸ ਲਈ ਕੋਈ ਗਾਰੰਟੀ ਨਹੀਂ ਹੈ ਕਿ ਵੌਲਯੂਮ ਬਣਾਏ ਜਾਣ 'ਤੇ ਸਮਰੱਥਾ ਹਰ ਸਥਿਤੀ ਵਿੱਚ ਉਪਲਬਧ ਹੋਵੇਗੀ, ਪਰ ਫਿਰ ਵੀ ਮੁੜ ਕੋਸ਼ਿਸ਼ਾਂ ਤੋਂ ਬਿਨਾਂ ਬਣਾਏ ਜਾਣ ਦੀ ਸੰਭਾਵਨਾ ਵਧ ਜਾਂਦੀ ਹੈ।

NB ਤੁਸੀਂ ਵਧੇਰੇ ਵਿਸਤ੍ਰਿਤ ਜਾਣਕਾਰੀ ਪ੍ਰਾਪਤ ਕਰ ਸਕਦੇ ਹੋ, ਨਾਲ ਹੀ ਸੁਰੱਖਿਅਤ ਢੰਗ ਨਾਲ "ਬਿੱਲੀਆਂ ਦੇ ਸਟੈਂਡ 'ਤੇ ਅਭਿਆਸ" ਕਰ ਸਕਦੇ ਹੋ, ਅਤੇ ਪੂਰੀ ਤਰ੍ਹਾਂ ਸਮਝ ਤੋਂ ਬਾਹਰ ਸਥਿਤੀ ਦੀ ਸਥਿਤੀ ਵਿੱਚ, ਤੀਬਰ ਕੋਰਸਾਂ ਵਿੱਚ ਯੋਗ ਤਕਨੀਕੀ ਸਹਾਇਤਾ ਸਹਾਇਤਾ ਪ੍ਰਾਪਤ ਕਰੋ - ਕੁਬਰਨੇਟਸ ਬੇਸ 28-30 ਸਤੰਬਰ ਨੂੰ ਆਯੋਜਿਤ ਕੀਤਾ ਜਾਵੇਗਾ, ਅਤੇ ਹੋਰ ਤਕਨੀਕੀ ਮਾਹਿਰਾਂ ਲਈ ਕੁਬਰਨੇਟਸ ਮੈਗਾ ਅਕਤੂਬਰ 14-16।

ਸੁਰੱਖਿਆ ਨੂੰ

CSIS ਸਟੋਰੇਜ ਸਮਰੱਥਾ

CSISstorageCapacity ਵਸਤੂਆਂ ਨੇਮਸਪੇਸ ਵਿੱਚ ਰਹਿੰਦੀਆਂ ਹਨ; ਜਦੋਂ ਹਰੇਕ CSI ਡਰਾਈਵਰ ਨੂੰ ਇਸਦੇ ਆਪਣੇ ਨਾਮ-ਸਪੇਸ ਵਿੱਚ ਰੋਲ ਆਊਟ ਕਰਦੇ ਹੋ, ਤਾਂ ਉਸ ਸਪੇਸ ਵਿੱਚ CSIStorageCapacity ਲਈ RBAC ਅਧਿਕਾਰਾਂ ਨੂੰ ਸੀਮਤ ਕਰਨ ਦੀ ਸਿਫਾਰਸ਼ ਕੀਤੀ ਜਾਂਦੀ ਹੈ ਕਿਉਂਕਿ ਇਹ ਸਪੱਸ਼ਟ ਹੈ ਕਿ ਡੇਟਾ ਕਿੱਥੋਂ ਆ ਰਿਹਾ ਹੈ। ਕੁਬਰਨੇਟਸ ਕਿਸੇ ਵੀ ਤਰ੍ਹਾਂ ਇਸਦੀ ਜਾਂਚ ਨਹੀਂ ਕਰਦਾ ਹੈ, ਅਤੇ ਆਮ ਤੌਰ 'ਤੇ ਡਰਾਈਵਰਾਂ ਨੂੰ ਉਸੇ ਨਾਮ-ਸਪੇਸ ਵਿੱਚ ਰੱਖਿਆ ਜਾਂਦਾ ਹੈ, ਇਸ ਲਈ ਆਖਰਕਾਰ ਡਰਾਈਵਰਾਂ ਤੋਂ ਕੰਮ ਕਰਨ ਅਤੇ ਗਲਤ ਡੇਟਾ ਪ੍ਰਕਾਸ਼ਤ ਨਾ ਕਰਨ ਦੀ ਉਮੀਦ ਕੀਤੀ ਜਾਂਦੀ ਹੈ (ਅਤੇ ਇਹ ਉਹ ਥਾਂ ਹੈ ਜਿੱਥੇ ਮੇਰਾ ਕਾਰਡ ਅਸਫਲ ਹੋਇਆ, ਲਗਭਗ ਦਾੜ੍ਹੀ ਵਾਲੇ ਚੁਟਕਲੇ 'ਤੇ ਅਧਾਰਤ ਅਨੁਵਾਦਕ)

ਸਾਧਾਰਨ ਉਦੇਸ਼ ਅਲੌਕਿਕ ਖੰਡ

ਜੇਕਰ ਉਪਭੋਗਤਾਵਾਂ ਕੋਲ ਇੱਕ ਪੌਡ (ਸਿੱਧੇ ਜਾਂ ਅਸਿੱਧੇ ਤੌਰ 'ਤੇ) ਬਣਾਉਣ ਦੇ ਅਧਿਕਾਰ ਹਨ, ਤਾਂ ਉਹ ਆਮ ਉਦੇਸ਼ ਦੇ ਸਮੇਂ ਦੇ ਵੌਲਯੂਮ ਬਣਾਉਣ ਦੇ ਯੋਗ ਹੋਣਗੇ ਭਾਵੇਂ ਉਹਨਾਂ ਕੋਲ ਵਾਲੀਅਮ 'ਤੇ ਬੇਨਤੀ ਬਣਾਉਣ ਦੇ ਅਧਿਕਾਰ ਨਹੀਂ ਹਨ। ਇਹ ਇਸ ਲਈ ਹੈ ਕਿਉਂਕਿ RBAC ਅਨੁਮਤੀ ਜਾਂਚ ਉਸ ਕੰਟਰੋਲਰ 'ਤੇ ਲਾਗੂ ਹੁੰਦੀ ਹੈ ਜੋ PVC ਬਣਾਉਂਦਾ ਹੈ, ਨਾ ਕਿ ਉਪਭੋਗਤਾ 'ਤੇ। ਇਹ ਜੋੜਨ ਲਈ ਮੁੱਖ ਤਬਦੀਲੀ ਹੈ ਤੁਹਾਡੇ ਖਾਤੇ ਵਿੱਚ, ਕਲੱਸਟਰਾਂ 'ਤੇ ਇਸ ਵਿਸ਼ੇਸ਼ਤਾ ਨੂੰ ਸਮਰੱਥ ਕਰਨ ਤੋਂ ਪਹਿਲਾਂ ਜਿੱਥੇ ਅਵਿਸ਼ਵਾਸੀ ਉਪਭੋਗਤਾਵਾਂ ਕੋਲ ਵਾਲੀਅਮ ਬਣਾਉਣ ਦੇ ਅਧਿਕਾਰ ਨਹੀਂ ਹੋਣੇ ਚਾਹੀਦੇ ਹਨ।

ਉਦਾਹਰਨ:

ਵੱਖਰਾ ਸ਼ਾਖਾ PMEM-CSI ਵਿੱਚ ਅਲਫ਼ਾ ਪੜਾਅ ਵਿੱਚ ਸਾਰੀਆਂ ਵਿਸ਼ੇਸ਼ਤਾਵਾਂ ਦੇ ਨਾਲ QEMU ਵਰਚੁਅਲ ਮਸ਼ੀਨਾਂ ਦੇ ਅੰਦਰ ਇੱਕ Kubernetes 1.19 ਕਲੱਸਟਰ ਨੂੰ ਚਲਾਉਣ ਲਈ ਸਾਰੇ ਲੋੜੀਂਦੇ ਬਦਲਾਅ ਸ਼ਾਮਲ ਹਨ। ਡਰਾਈਵਰ ਕੋਡ ਨਹੀਂ ਬਦਲਿਆ ਹੈ, ਸਿਰਫ ਤੈਨਾਤੀ ਬਦਲੀ ਹੈ।

ਇੱਕ ਢੁਕਵੀਂ ਮਸ਼ੀਨ ਉੱਤੇ (ਲੀਨਕਸ, ਇੱਕ ਆਮ ਉਪਭੋਗਤਾ ਵਰਤ ਸਕਦਾ ਹੈ ਡੌਕਰ, ਦੇਖੋ ਇੱਥੇ ਵੇਰਵੇ) ਇਹ ਕਮਾਂਡਾਂ ਕਲੱਸਟਰ ਲਿਆਏਗੀ ਅਤੇ PMEM-CSI ਡਰਾਈਵਰ ਨੂੰ ਸਥਾਪਿਤ ਕਰੇਗੀ:

git clone --branch=kubernetes-1-19-blog-post https://github.com/intel/pmem-csi.git
cd pmem-csi
export TEST_KUBERNETES_VERSION=1.19 TEST_FEATURE_GATES=CSIStorageCapacity=true,GenericEphemeralVolume=true TEST_PMEM_REGISTRY=intel
make start && echo && test/setup-deployment.sh

ਸਭ ਕੁਝ ਕੰਮ ਕਰਨ ਤੋਂ ਬਾਅਦ, ਆਉਟਪੁੱਟ ਵਿੱਚ ਵਰਤੋਂ ਲਈ ਨਿਰਦੇਸ਼ ਸ਼ਾਮਲ ਹੋਣਗੇ:

The test cluster is ready. Log in with [...]/pmem-csi/_work/pmem-govm/ssh.0, run
kubectl once logged in.  Alternatively, use kubectl directly with the
following env variable:
   KUBECONFIG=[...]/pmem-csi/_work/pmem-govm/kube.config

secret/pmem-csi-registry-secrets created
secret/pmem-csi-node-secrets created
serviceaccount/pmem-csi-controller created
...
To try out the pmem-csi driver ephemeral volumes:
   cat deploy/kubernetes-1.19/pmem-app-ephemeral.yaml |
   [...]/pmem-csi/_work/pmem-govm/ssh.0 kubectl create -f -

CSISstorageCapacity ਵਸਤੂਆਂ ਮਨੁੱਖਾਂ ਦੁਆਰਾ ਪੜ੍ਹਨ ਲਈ ਨਹੀਂ ਹਨ, ਇਸ ਲਈ ਕੁਝ ਪ੍ਰਕਿਰਿਆ ਦੀ ਲੋੜ ਹੈ। ਗੋਲੰਗ ਟੈਂਪਲੇਟ ਫਿਲਟਰ ਸਟੋਰੇਜ ਕਲਾਸਾਂ ਨੂੰ ਦਿਖਾਉਣਗੇ, ਇਹ ਉਦਾਹਰਨ ਨਾਮ, ਟੌਪੋਲੋਜੀ ਅਤੇ ਸਮਰੱਥਾ ਦਿਖਾਏਗੀ:

$ kubectl get 
        -o go-template='{{range .items}}{{if eq .storageClassName "pmem-csi-sc-late-binding"}}{{.metadata.name}} {{.nodeTopology.matchLabels}} {{.capacity}}
{{end}}{{end}}' 
        csistoragecapacities
csisc-2js6n map[pmem-csi.intel.com/node:pmem-csi-pmem-govm-worker2] 30716Mi
csisc-sqdnt map[pmem-csi.intel.com/node:pmem-csi-pmem-govm-worker1] 30716Mi
csisc-ws4bv map[pmem-csi.intel.com/node:pmem-csi-pmem-govm-worker3] 30716Mi

ਇੱਕ ਸਿੰਗਲ ਵਸਤੂ ਵਿੱਚ ਹੇਠ ਲਿਖੀ ਸਮੱਗਰੀ ਹੈ:

$ kubectl describe csistoragecapacities/csisc-6cw8j
Name:         csisc-sqdnt
Namespace:    default
Labels:       <none>
Annotations:  <none>
API Version:  storage.k8s.io/v1alpha1
Capacity:     30716Mi
Kind:         CSIStorageCapacity
Metadata:
  Creation Timestamp:  2020-08-11T15:41:03Z
  Generate Name:       csisc-
  Managed Fields:
    ...
  Owner References:
    API Version:     apps/v1
    Controller:      true
    Kind:            StatefulSet
    Name:            pmem-csi-controller
    UID:             590237f9-1eb4-4208-b37b-5f7eab4597d1
  Resource Version:  2994
  Self Link:         /apis/storage.k8s.io/v1alpha1/namespaces/default/csistoragecapacities/csisc-sqdnt
  UID:               da36215b-3b9d-404a-a4c7-3f1c3502ab13
Node Topology:
  Match Labels:
    pmem-csi.intel.com/node:  pmem-csi-pmem-govm-worker1
Storage Class Name:           pmem-csi-sc-late-binding
Events:                       <none>

ਆਉ ਇੱਕ ਸਿੰਗਲ ਆਮ ਮਕਸਦ ਅਲੰਕਾਰਿਕ ਵਾਲੀਅਮ ਦੇ ਨਾਲ ਇੱਕ ਡੈਮੋ ਐਪਲੀਕੇਸ਼ਨ ਬਣਾਉਣ ਦੀ ਕੋਸ਼ਿਸ਼ ਕਰੀਏ. ਫਾਈਲ ਸਮੱਗਰੀ pmem-app-ephemeral.yaml:

# This example Pod definition demonstrates
# how to use generic ephemeral inline volumes
# with a PMEM-CSI storage class.
kind: Pod
apiVersion: v1
metadata:
  name: my-csi-app-inline-volume
spec:
  containers:
    - name: my-frontend
      image: intel/pmem-csi-driver-test:v0.7.14
      command: [ "sleep", "100000" ]
      volumeMounts:
      - mountPath: "/data"
        name: my-csi-volume
  volumes:
  - name: my-csi-volume
    ephemeral:
      volumeClaimTemplate:
        spec:
          accessModes:
          - ReadWriteOnce
          resources:
            requests:
              storage: 4Gi
          storageClassName: pmem-csi-sc-late-binding

ਬਣਾਉਣ ਤੋਂ ਬਾਅਦ, ਜਿਵੇਂ ਕਿ ਉਪਰੋਕਤ ਨਿਰਦੇਸ਼ਾਂ ਵਿੱਚ ਦਿਖਾਇਆ ਗਿਆ ਹੈ, ਸਾਡੇ ਕੋਲ ਹੁਣ ਇੱਕ ਵਾਧੂ ਪੌਡ ਅਤੇ ਪੀਵੀਸੀ ਹੈ:

$ kubectl get pods/my-csi-app-inline-volume -o wide
NAME                       READY   STATUS    RESTARTS   AGE     IP          NODE                         NOMINATED NODE   READINESS GATES
my-csi-app-inline-volume   1/1     Running   0          6m58s   10.36.0.2   pmem-csi-pmem-govm-worker1   <none>           <none>
$ kubectl get pvc/my-csi-app-inline-volume-my-csi-volume
NAME                                     STATUS   VOLUME                                     CAPACITY   ACCESS MODES   STORAGECLASS               AGE
my-csi-app-inline-volume-my-csi-volume   Bound    pvc-c11eb7ab-a4fa-46fe-b515-b366be908823   4Gi        RWO            pmem-csi-sc-late-binding   9m21s

ਪੀਵੀਸੀ ਮਾਲਕ - ਅਧੀਨ:

$ kubectl get -o yaml pvc/my-csi-app-inline-volume-my-csi-volume
apiVersion: v1
kind: PersistentVolumeClaim
metadata:
  annotations:
    pv.kubernetes.io/bind-completed: "yes"
    pv.kubernetes.io/bound-by-controller: "yes"
    volume.beta.kubernetes.io/storage-provisioner: pmem-csi.intel.com
    volume.kubernetes.io/selected-node: pmem-csi-pmem-govm-worker1
  creationTimestamp: "2020-08-11T15:44:57Z"
  finalizers:
  - kubernetes.io/pvc-protection
  managedFields:
    ...
  name: my-csi-app-inline-volume-my-csi-volume
  namespace: default
  ownerReferences:
  - apiVersion: v1
    blockOwnerDeletion: true
    controller: true
    kind: Pod
    name: my-csi-app-inline-volume
    uid: 75c925bf-ca8e-441a-ac67-f190b7a2265f
...

ਲਈ ਉਮੀਦ ਅਨੁਸਾਰ ਅੱਪਡੇਟ ਕੀਤੀ ਜਾਣਕਾਰੀ pmem-csi-pmem-govm-worker1:

csisc-2js6n map[pmem-csi.intel.com/node:pmem-csi-pmem-govm-worker2] 30716Mi
csisc-sqdnt map[pmem-csi.intel.com/node:pmem-csi-pmem-govm-worker1] 26620Mi
csisc-ws4bv map[pmem-csi.intel.com/node:pmem-csi-pmem-govm-worker3] 30716Mi

ਜੇਕਰ ਕਿਸੇ ਹੋਰ ਐਪਲੀਕੇਸ਼ਨ ਨੂੰ 26620Mi ਤੋਂ ਵੱਧ ਦੀ ਲੋੜ ਹੈ, ਤਾਂ ਸ਼ਡਿਊਲਰ ਇਸ ਨੂੰ ਧਿਆਨ ਵਿੱਚ ਨਹੀਂ ਰੱਖੇਗਾ pmem-csi-pmem-govm-worker1 ਹਰ ਹਾਲਤ ਵਿੱਚ.

ਅੱਗੇ ਕੀ ਹੈ?

ਦੋਵੇਂ ਵਿਸ਼ੇਸ਼ਤਾਵਾਂ ਅਜੇ ਵੀ ਵਿਕਾਸ ਵਿੱਚ ਹਨ। ਅਲਫ਼ਾ ਟੈਸਟਿੰਗ ਦੌਰਾਨ ਕਈ ਐਪਲੀਕੇਸ਼ਨਾਂ ਖੋਲ੍ਹੀਆਂ ਗਈਆਂ ਸਨ। ਸੁਧਾਰ ਪ੍ਰਸਤਾਵ ਲਿੰਕ ਉਸ ਕੰਮ ਦਾ ਦਸਤਾਵੇਜ਼ ਬਣਾਉਂਦੇ ਹਨ ਜੋ ਬੀਟਾ ਪੜਾਅ 'ਤੇ ਜਾਣ ਲਈ ਕੀਤੇ ਜਾਣ ਦੀ ਲੋੜ ਹੈ, ਅਤੇ ਨਾਲ ਹੀ ਕਿਹੜੇ ਵਿਕਲਪਾਂ 'ਤੇ ਪਹਿਲਾਂ ਹੀ ਵਿਚਾਰ ਕੀਤਾ ਗਿਆ ਹੈ ਅਤੇ ਰੱਦ ਕਰ ਦਿੱਤਾ ਗਿਆ ਹੈ:

• ਕੇਈਪੀ-1698: ਜੈਨਰਿਕ ਏਫਿਮੇਰਲ ਇਨਲਾਈਨ ਵਾਲੀਅਮ

• KEP-1472: ਸਟੋਰੇਜ਼ ਸਮਰੱਥਾ ਟਰੈਕਿੰਗ

ਸਰੋਤ: www.habr.com