ਮਾਈਕ੍ਰੋਨ ਓਪਨ ਕੋਡ HSE ਸਟੋਰੇਜ ਇੰਜਣ SSDs ਲਈ ਅਨੁਕੂਲਿਤ ਹੈ

ਮਾਈਕ੍ਰੋਨ ਟੈਕਨਾਲੋਜੀ, ਇੱਕ DRAM ਅਤੇ ਫਲੈਸ਼ ਮੈਮੋਰੀ ਕੰਪਨੀ, представила ਨਵਾਂ ਸਟੋਰੇਜ਼ ਇੰਜਣ ਐਚਐਸਈ (Heterogeneous-Memory Storage Engine), NAND ਫਲੈਸ਼ (X100, TLC, QLC 3D NAND) ਜਾਂ ਸਥਾਈ ਮੈਮੋਰੀ (NVDIMM) 'ਤੇ ਆਧਾਰਿਤ SSD ਡਰਾਈਵਾਂ 'ਤੇ ਵਰਤੋਂ ਦੀਆਂ ਵਿਸ਼ੇਸ਼ਤਾਵਾਂ ਨੂੰ ਧਿਆਨ ਵਿੱਚ ਰੱਖਦੇ ਹੋਏ ਤਿਆਰ ਕੀਤਾ ਗਿਆ ਹੈ। ਇੰਜਣ ਨੂੰ ਹੋਰ ਐਪਲੀਕੇਸ਼ਨਾਂ ਵਿੱਚ ਏਮਬੈਡ ਕਰਨ ਲਈ ਇੱਕ ਲਾਇਬ੍ਰੇਰੀ ਦੇ ਰੂਪ ਵਿੱਚ ਤਿਆਰ ਕੀਤਾ ਗਿਆ ਹੈ ਅਤੇ ਮੁੱਖ-ਮੁੱਲ ਫਾਰਮੈਟ ਵਿੱਚ ਪ੍ਰੋਸੈਸਿੰਗ ਡੇਟਾ ਦਾ ਸਮਰਥਨ ਕਰਦਾ ਹੈ। HSE ਕੋਡ C ਅਤੇ ਵਿੱਚ ਲਿਖਿਆ ਗਿਆ ਹੈ ਦੁਆਰਾ ਵੰਡਿਆ ਅਪਾਚੇ 2.0 ਦੇ ਅਧੀਨ ਲਾਇਸੰਸਸ਼ੁਦਾ।

ਇੰਜਣ ਦੀ ਵਰਤੋਂ ਦੇ ਖੇਤਰਾਂ ਵਿੱਚ, NoSQL DBMS ਵਿੱਚ ਘੱਟ-ਪੱਧਰੀ ਡਾਟਾ ਸਟੋਰੇਜ, ਸਾਫਟਵੇਅਰ ਸਟੋਰੇਜ (SDS, ਸਾਫਟਵੇਅਰ-ਪ੍ਰਭਾਸ਼ਿਤ ਸਟੋਰੇਜ਼) ਜਿਵੇਂ ਕਿ Ceph ਅਤੇ Scality RING, ਵੱਡੀ ਮਾਤਰਾ ਵਿੱਚ ਡੇਟਾ (ਬਿਗ ਡੇਟਾ) ਨੂੰ ਪ੍ਰੋਸੈਸ ਕਰਨ ਲਈ ਪਲੇਟਫਾਰਮਾਂ ਦਾ ਜ਼ਿਕਰ ਕੀਤਾ ਗਿਆ ਹੈ। , ਉੱਚ-ਪ੍ਰਦਰਸ਼ਨ ਵਾਲੇ ਕੰਪਿਊਟਿੰਗ ਸਿਸਟਮ (HPC), ਚੀਜ਼ਾਂ ਦੇ ਇੰਟਰਨੈਟ ਉਪਕਰਣ (IoT) ਅਤੇ ਮਸ਼ੀਨ ਸਿਖਲਾਈ ਪ੍ਰਣਾਲੀਆਂ ਲਈ ਹੱਲ।

HSE ਨਾ ਸਿਰਫ਼ ਵੱਧ ਤੋਂ ਵੱਧ ਕਾਰਗੁਜ਼ਾਰੀ ਲਈ, ਸਗੋਂ SSD ਕਲਾਸਾਂ ਦੀਆਂ ਕਈ ਕਿਸਮਾਂ ਵਿੱਚ ਲੰਬੀ ਉਮਰ ਲਈ ਵੀ ਅਨੁਕੂਲਿਤ ਹੈ। ਹਾਈਬ੍ਰਿਡ ਸਟੋਰੇਜ ਮਾਡਲ ਦੁਆਰਾ ਉੱਚ ਓਪਰੇਟਿੰਗ ਸਪੀਡ ਪ੍ਰਾਪਤ ਕੀਤੀ ਜਾਂਦੀ ਹੈ - ਸਭ ਤੋਂ ਢੁਕਵਾਂ ਡੇਟਾ ਰੈਮ ਵਿੱਚ ਕੈਸ਼ ਕੀਤਾ ਜਾਂਦਾ ਹੈ, ਜੋ ਡਰਾਈਵ ਤੱਕ ਪਹੁੰਚ ਦੀ ਗਿਣਤੀ ਨੂੰ ਘਟਾਉਂਦਾ ਹੈ। ਤੀਜੀ-ਧਿਰ ਦੇ ਪ੍ਰੋਜੈਕਟਾਂ ਵਿੱਚ ਇੱਕ ਨਵੇਂ ਇੰਜਣ ਨੂੰ ਜੋੜਨ ਦੀ ਇੱਕ ਉਦਾਹਰਣ ਵਜੋਂ ਤਿਆਰ ਦਸਤਾਵੇਜ਼-ਅਧਾਰਿਤ DBMS MongoDB ਦਾ ਇੱਕ ਸੰਸਕਰਣ, HSE ਦੀ ਵਰਤੋਂ ਕਰਨ ਲਈ ਅਨੁਵਾਦ ਕੀਤਾ ਗਿਆ ਹੈ।

ਤਕਨੀਕੀ ਤੌਰ 'ਤੇ, HSE ਇੱਕ ਵਾਧੂ ਕਰਨਲ ਮੋਡੀਊਲ 'ਤੇ ਨਿਰਭਰ ਕਰਦਾ ਹੈ mpool, ਜੋ ਕਿ ਠੋਸ-ਸਟੇਟ ਡਰਾਈਵਾਂ ਲਈ ਇੱਕ ਵਿਸ਼ੇਸ਼ ਆਬਜੈਕਟ ਸਟੋਰੇਜ ਇੰਟਰਫੇਸ ਲਾਗੂ ਕਰਦਾ ਹੈ, ਉਹਨਾਂ ਦੀਆਂ ਸਮਰੱਥਾਵਾਂ ਅਤੇ ਵਿਸ਼ੇਸ਼ਤਾਵਾਂ ਨੂੰ ਧਿਆਨ ਵਿੱਚ ਰੱਖਦੇ ਹੋਏ, ਜੋ ਤੁਹਾਨੂੰ ਬੁਨਿਆਦੀ ਤੌਰ 'ਤੇ ਵੱਖ-ਵੱਖ ਪ੍ਰਦਰਸ਼ਨ ਅਤੇ ਟਿਕਾਊਤਾ ਵਿਸ਼ੇਸ਼ਤਾਵਾਂ ਪ੍ਰਾਪਤ ਕਰਨ ਦੀ ਇਜਾਜ਼ਤ ਦਿੰਦਾ ਹੈ। ਐਮਪੂਲ ਮਾਈਕ੍ਰੋਨ ਟੈਕਨਾਲੋਜੀ ਦਾ ਵਿਕਾਸ ਵੀ ਹੈ, ਜੋ ਕਿ HSE ਦੇ ਨਾਲ ਹੀ ਖੁੱਲ੍ਹਿਆ ਹੈ, ਪਰ ਇੱਕ ਸੁਤੰਤਰ ਬੁਨਿਆਦੀ ਢਾਂਚੇ ਦੇ ਪ੍ਰੋਜੈਕਟ ਵਿੱਚ ਵੱਖ ਕੀਤਾ ਗਿਆ ਹੈ। Mpool ਵਰਤੋਂ ਨੂੰ ਮੰਨਦਾ ਹੈ ਸਥਾਈ ਮੈਮੋਰੀ и ਜ਼ੋਨਲ ਸਟੋਰੇਜ਼ ਸੁਵਿਧਾਵਾਂ, ਪਰ ਵਰਤਮਾਨ ਵਿੱਚ ਸਿਰਫ ਪਰੰਪਰਾਗਤ SSD ਦਾ ਸਮਰਥਨ ਕਰਦਾ ਹੈ।

ਪੈਕੇਜ ਦੀ ਵਰਤੋਂ ਕਰਕੇ ਪ੍ਰਦਰਸ਼ਨ ਦੀ ਜਾਂਚ YCSB (ਯਾਹੂ ਕਲਾਉਡ ਸਰਵਿੰਗ ਬੈਂਚਮਾਰਕ) ਨੇ 2 ਕੇਬੀ ਡਾਟਾ ਬਲਾਕਾਂ ਦੀ ਪ੍ਰੋਸੈਸਿੰਗ ਦੇ ਨਾਲ 1 ਟੀਬੀ ਸਟੋਰੇਜ ਦੀ ਵਰਤੋਂ ਕਰਦੇ ਸਮੇਂ ਕਾਰਗੁਜ਼ਾਰੀ ਵਿੱਚ ਮਹੱਤਵਪੂਰਨ ਵਾਧਾ ਦਿਖਾਇਆ। ਰੀਡ ਅਤੇ ਰਾਈਟ ਓਪਰੇਸ਼ਨਾਂ ਦੀ ਇੱਕ ਸਮਾਨ ਵੰਡ (ਗ੍ਰਾਫ ਵਿੱਚ "ਏ" ਟੈਸਟ) ਦੇ ਨਾਲ ਟੈਸਟ ਵਿੱਚ ਇੱਕ ਖਾਸ ਤੌਰ 'ਤੇ ਮਹੱਤਵਪੂਰਨ ਪ੍ਰਦਰਸ਼ਨ ਵਾਧਾ ਦੇਖਿਆ ਗਿਆ ਹੈ।

ਉਦਾਹਰਨ ਲਈ, HSE ਇੰਜਣ ਵਾਲਾ MongoDB ਸਟੈਂਡਰਡ ਵਾਇਰਡਟਾਈਗਰ ਇੰਜਣ ਵਾਲੇ ਸੰਸਕਰਣ ਨਾਲੋਂ ਲਗਭਗ 8 ਗੁਣਾ ਤੇਜ਼ ਸੀ, ਅਤੇ RocksDB DBMS HSE ਇੰਜਣ ਨਾਲੋਂ 6 ਗੁਣਾ ਵੱਧ ਤੇਜ਼ ਸੀ। ਸ਼ਾਨਦਾਰ ਕਾਰਗੁਜ਼ਾਰੀ ਉਹਨਾਂ ਟੈਸਟਾਂ ਵਿੱਚ ਵੀ ਦਿਖਾਈ ਦਿੰਦੀ ਹੈ ਜਿਹਨਾਂ ਵਿੱਚ 95% ਰੀਡ ਓਪਰੇਸ਼ਨ ਸ਼ਾਮਲ ਹੁੰਦੇ ਹਨ ਅਤੇ 5% ਸੰਸ਼ੋਧਿਤ ਜਾਂ ਜੋੜ ਓਪਰੇਸ਼ਨ (ਗ੍ਰਾਫਾਂ ਵਿੱਚ "B" ਅਤੇ "D" ਟੈਸਟ) ਸ਼ਾਮਲ ਹੁੰਦੇ ਹਨ। "ਸੀ" ਟੈਸਟ ਵਿੱਚ, ਜਿਸ ਵਿੱਚ ਸਿਰਫ਼ ਰੀਡ ਓਪਰੇਸ਼ਨ ਸ਼ਾਮਲ ਹੁੰਦੇ ਹਨ, ਲਗਭਗ 40% ਦਾ ਲਾਭ ਪ੍ਰਦਰਸ਼ਿਤ ਕੀਤਾ ਜਾਂਦਾ ਹੈ। RocksDB 'ਤੇ ਆਧਾਰਿਤ ਹੱਲ ਦੇ ਮੁਕਾਬਲੇ ਰਾਈਟ ਓਪਰੇਸ਼ਨਾਂ ਦੌਰਾਨ SSD ਡਰਾਈਵਾਂ ਦੀ ਬਚਣਯੋਗਤਾ ਵਿੱਚ ਵਾਧਾ 7 ਗੁਣਾ ਹੋਣ ਦਾ ਅਨੁਮਾਨ ਹੈ।

HSE ਦੀਆਂ ਮੁੱਖ ਵਿਸ਼ੇਸ਼ਤਾਵਾਂ:

• ਕੁੰਜੀ/ਮੁੱਲ ਫਾਰਮੈਟ ਵਿੱਚ ਡੇਟਾ ਨੂੰ ਸੰਭਾਲਣ ਲਈ ਆਮ ਅਤੇ ਵਿਸਤ੍ਰਿਤ ਓਪਰੇਟਰਾਂ ਲਈ ਸਮਰਥਨ;
• ਲੈਣ-ਦੇਣ ਲਈ ਪੂਰਾ ਸਮਰਥਨ ਅਤੇ ਸਨੈਪਸ਼ਾਟ ਬਣਾਉਣ ਦੁਆਰਾ ਸਟੋਰੇਜ ਦੇ ਟੁਕੜਿਆਂ ਨੂੰ ਅਲੱਗ ਕਰਨ ਦੀ ਯੋਗਤਾ ਦੇ ਨਾਲ (ਸਨੈਪਸ਼ਾਟ ਇੱਕ ਸਟੋਰੇਜ ਵਿੱਚ ਸੁਤੰਤਰ ਸੰਗ੍ਰਹਿ ਨੂੰ ਬਣਾਈ ਰੱਖਣ ਲਈ ਵੀ ਵਰਤੇ ਜਾ ਸਕਦੇ ਹਨ);
• ਸਨੈਪਸ਼ਾਟ-ਅਧਾਰਿਤ ਦ੍ਰਿਸ਼ਾਂ ਵਿੱਚ ਡੇਟਾ ਨੂੰ ਪਾਰ ਕਰਨ ਲਈ ਕਰਸਰ ਦੀ ਵਰਤੋਂ ਕਰਨ ਦੀ ਸਮਰੱਥਾ;
• ਇੱਕ ਸਿੰਗਲ ਸਟੋਰੇਜ ਵਿੱਚ ਮਿਕਸਡ ਲੋਡ ਕਿਸਮਾਂ ਲਈ ਅਨੁਕੂਲਿਤ ਡੇਟਾ ਮਾਡਲ;
• ਲਚਕਦਾਰ ਸਟੋਰੇਜ ਭਰੋਸੇਯੋਗਤਾ ਪ੍ਰਬੰਧਨ ਵਿਧੀ;
• ਅਨੁਕੂਲਿਤ ਡਾਟਾ ਆਰਕੈਸਟਰੇਸ਼ਨ ਸਕੀਮਾਂ (ਸਟੋਰੇਜ ਵਿੱਚ ਮੌਜੂਦ ਵੱਖ-ਵੱਖ ਕਿਸਮਾਂ ਦੀਆਂ ਮੈਮੋਰੀ ਵਿੱਚ ਵੰਡ);
• ਇੱਕ C API ਵਾਲੀ ਇੱਕ ਲਾਇਬ੍ਰੇਰੀ ਜੋ ਗਤੀਸ਼ੀਲ ਤੌਰ 'ਤੇ ਕਿਸੇ ਵੀ ਐਪਲੀਕੇਸ਼ਨ ਨਾਲ ਲਿੰਕ ਕਰ ਸਕਦੀ ਹੈ;
• ਟੇਰਾਬਾਈਟ ਡੇਟਾ ਅਤੇ ਸਟੋਰੇਜ ਵਿੱਚ ਸੈਂਕੜੇ ਅਰਬਾਂ ਕੁੰਜੀਆਂ ਤੱਕ ਸਕੇਲ ਕਰਨ ਦੀ ਸਮਰੱਥਾ;
• ਹਜ਼ਾਰਾਂ ਸਮਾਨਾਂਤਰ ਕਾਰਜਾਂ ਦੀ ਕੁਸ਼ਲ ਪ੍ਰੋਸੈਸਿੰਗ;
• ਮਿਆਰੀ ਵਿਕਲਪਕ ਹੱਲਾਂ ਦੀ ਤੁਲਨਾ ਵਿੱਚ ਕਈ ਕਿਸਮਾਂ ਦੇ ਵਰਕਲੋਡ ਲਈ ਥ੍ਰੁਪੁੱਟ ਵਿੱਚ ਮਹੱਤਵਪੂਰਨ ਵਾਧਾ, ਘੱਟ ਲੇਟੈਂਸੀ ਅਤੇ ਵਧੀ ਹੋਈ ਲਿਖਣ/ਪੜ੍ਹਨ ਦੀ ਕਾਰਗੁਜ਼ਾਰੀ;
• ਪ੍ਰਦਰਸ਼ਨ ਅਤੇ ਟਿਕਾਊਤਾ ਨੂੰ ਅਨੁਕੂਲ ਬਣਾਉਣ ਲਈ ਇੱਕ ਸਟੋਰੇਜ ਵਿੱਚ SSD ਡਰਾਈਵਾਂ ਦੀਆਂ ਵੱਖ-ਵੱਖ ਸ਼੍ਰੇਣੀਆਂ ਦੀ ਵਰਤੋਂ ਕਰਨ ਦੀ ਸਮਰੱਥਾ।

ਸਰੋਤ: opennet.ru