ಮೈಕ್ರಾನ್ ಓಪನ್ ಸೋರ್ಸ್ಡ್ HSE ಸ್ಟೋರೇಜ್ ಎಂಜಿನ್ SSD ಗಾಗಿ ಆಪ್ಟಿಮೈಸ್ ಮಾಡಲಾಗಿದೆ

ಮೈಕ್ರಾನ್ ಟೆಕ್ನಾಲಜಿ, DRAM ಮತ್ತು ಫ್ಲಾಶ್ ಮೆಮೊರಿ ಕಂಪನಿ, ಪ್ರಸ್ತುತಪಡಿಸಲಾಗಿದೆ ಹೊಸ ಶೇಖರಣಾ ಎಂಜಿನ್ ಎಚ್ಎಸ್ಇ (ವಿಜಾತೀಯ-ಮೆಮೊರಿ ಸ್ಟೋರೇಜ್ ಇಂಜಿನ್), NAND ಫ್ಲ್ಯಾಷ್ (X100, TLC, QLC 3D NAND) ಅಥವಾ ಶಾಶ್ವತ ಮೆಮೊರಿ (NVDIMM) ಆಧಾರದ ಮೇಲೆ SSD ಡ್ರೈವ್‌ಗಳಲ್ಲಿ ಬಳಕೆಯ ವಿಶೇಷತೆಗಳನ್ನು ಗಣನೆಗೆ ತೆಗೆದುಕೊಂಡು ವಿನ್ಯಾಸಗೊಳಿಸಲಾಗಿದೆ. ಎಂಜಿನ್ ಅನ್ನು ಇತರ ಅಪ್ಲಿಕೇಶನ್‌ಗಳಲ್ಲಿ ಎಂಬೆಡ್ ಮಾಡಲು ಲೈಬ್ರರಿಯಾಗಿ ವಿನ್ಯಾಸಗೊಳಿಸಲಾಗಿದೆ ಮತ್ತು ಕೀ-ಮೌಲ್ಯದ ಸ್ವರೂಪದಲ್ಲಿ ಡೇಟಾವನ್ನು ಪ್ರಕ್ರಿಯೆಗೊಳಿಸುವುದನ್ನು ಬೆಂಬಲಿಸುತ್ತದೆ. HSE ಕೋಡ್ ಅನ್ನು C ನಲ್ಲಿ ಬರೆಯಲಾಗಿದೆ ಮತ್ತು ವಿತರಿಸುವವರು ಅಪಾಚೆ 2.0 ಅಡಿಯಲ್ಲಿ ಪರವಾನಗಿ ಪಡೆದಿದೆ.

ಎಂಜಿನ್‌ನ ಅನ್ವಯದ ಕ್ಷೇತ್ರಗಳಲ್ಲಿ, NoSQL DBMS, ಸಾಫ್ಟ್‌ವೇರ್ ಸ್ಟೋರೇಜ್‌ಗಳು (SDS, ಸಾಫ್ಟ್‌ವೇರ್-ಡಿಫೈನ್ಡ್ ಸ್ಟೋರೇಜ್) Ceph ಮತ್ತು ಸ್ಕಾಲಿಟಿ ರಿಂಗ್, ದೊಡ್ಡ ಪ್ರಮಾಣದ ಡೇಟಾವನ್ನು ಪ್ರಕ್ರಿಯೆಗೊಳಿಸಲು ವೇದಿಕೆಗಳು (ದೊಡ್ಡ ಡೇಟಾ) ನಲ್ಲಿ ಕಡಿಮೆ ಮಟ್ಟದ ಡೇಟಾ ಸಂಗ್ರಹಣೆಯನ್ನು ಉಲ್ಲೇಖಿಸಲಾಗಿದೆ. , ಹೆಚ್ಚಿನ ಕಾರ್ಯಕ್ಷಮತೆಯ ಕಂಪ್ಯೂಟಿಂಗ್ ವ್ಯವಸ್ಥೆಗಳು (HPC), ವಸ್ತುಗಳ ಇಂಟರ್ನೆಟ್ ಸಾಧನಗಳು (IoT) ಮತ್ತು ಯಂತ್ರ ಕಲಿಕೆ ವ್ಯವಸ್ಥೆಗಳಿಗೆ ಪರಿಹಾರಗಳು.

HSE ಅನ್ನು ಗರಿಷ್ಠ ಕಾರ್ಯಕ್ಷಮತೆಗಾಗಿ ಮಾತ್ರವಲ್ಲದೆ, ವಿವಿಧ SSD ವರ್ಗಗಳಲ್ಲಿ ದೀರ್ಘಾಯುಷ್ಯಕ್ಕಾಗಿಯೂ ಹೊಂದುವಂತೆ ಮಾಡಲಾಗಿದೆ. ಹೈಬ್ರಿಡ್ ಶೇಖರಣಾ ಮಾದರಿಯ ಮೂಲಕ ಹೆಚ್ಚಿನ ಕಾರ್ಯಾಚರಣಾ ವೇಗವನ್ನು ಸಾಧಿಸಲಾಗುತ್ತದೆ - RAM ನಲ್ಲಿ ಹೆಚ್ಚು ಸೂಕ್ತವಾದ ಡೇಟಾವನ್ನು ಸಂಗ್ರಹಿಸಲಾಗುತ್ತದೆ, ಇದು ಡ್ರೈವ್‌ಗೆ ಪ್ರವೇಶಗಳ ಸಂಖ್ಯೆಯನ್ನು ಕಡಿಮೆ ಮಾಡುತ್ತದೆ. ಮೂರನೇ ವ್ಯಕ್ತಿಯ ಯೋಜನೆಗಳಿಗೆ ಹೊಸ ಎಂಜಿನ್ ಅನ್ನು ಸಂಯೋಜಿಸುವ ಉದಾಹರಣೆಯಾಗಿ ತಯಾರಾದ ಡಾಕ್ಯುಮೆಂಟ್-ಆಧಾರಿತ DBMS MongoDB ನ ಆವೃತ್ತಿಯನ್ನು HSE ಅನ್ನು ಬಳಸಲು ಅನುವಾದಿಸಲಾಗಿದೆ.

ತಾಂತ್ರಿಕವಾಗಿ, HSE ಹೆಚ್ಚುವರಿ ಕರ್ನಲ್ ಮಾಡ್ಯೂಲ್ ಅನ್ನು ಅವಲಂಬಿಸಿದೆ ಪೂಲ್, ಇದು ಘನ-ಸ್ಥಿತಿಯ ಡ್ರೈವ್‌ಗಳಿಗಾಗಿ ವಿಶೇಷವಾದ ವಸ್ತು ಸಂಗ್ರಹಣೆ ಇಂಟರ್ಫೇಸ್ ಅನ್ನು ಕಾರ್ಯಗತಗೊಳಿಸುತ್ತದೆ, ಅವುಗಳ ಸಾಮರ್ಥ್ಯಗಳು ಮತ್ತು ವೈಶಿಷ್ಟ್ಯಗಳನ್ನು ಗಣನೆಗೆ ತೆಗೆದುಕೊಳ್ಳುತ್ತದೆ, ಇದು ಮೂಲಭೂತವಾಗಿ ವಿಭಿನ್ನ ಕಾರ್ಯಕ್ಷಮತೆ ಮತ್ತು ಬಾಳಿಕೆ ಗುಣಲಕ್ಷಣಗಳನ್ನು ಪಡೆಯಲು ನಿಮಗೆ ಅನುವು ಮಾಡಿಕೊಡುತ್ತದೆ. ಎಂಪೂಲ್ ಮೈಕ್ರಾನ್ ಟೆಕ್ನಾಲಜಿಯ ಅಭಿವೃದ್ಧಿಯಾಗಿದೆ, ಇದು HSE ಯಂತೆಯೇ ತೆರೆದಿರುತ್ತದೆ, ಆದರೆ ಸ್ವತಂತ್ರ ಮೂಲಸೌಕರ್ಯ ಯೋಜನೆಯಾಗಿ ಪ್ರತ್ಯೇಕಿಸಲ್ಪಟ್ಟಿದೆ. ಎಂಪೂಲ್ ಬಳಕೆಯನ್ನು ಊಹಿಸುತ್ತದೆ ನಿರಂತರ ಸ್ಮರಣೆ и ವಲಯ ಶೇಖರಣಾ ಸೌಲಭ್ಯಗಳು, ಆದರೆ ಪ್ರಸ್ತುತ ಸಾಂಪ್ರದಾಯಿಕ SSD ಗಳನ್ನು ಮಾತ್ರ ಬೆಂಬಲಿಸುತ್ತದೆ.

ಪ್ಯಾಕೇಜ್ ಬಳಸಿ ಕಾರ್ಯಕ್ಷಮತೆಯ ಪರೀಕ್ಷೆ YCSB (Yahoo Cloud Serving Benchmark) 2 KB ಡೇಟಾ ಬ್ಲಾಕ್‌ಗಳನ್ನು ಪ್ರಕ್ರಿಯೆಗೊಳಿಸುವುದರೊಂದಿಗೆ 1 TB ಸಂಗ್ರಹಣೆಯನ್ನು ಬಳಸುವಾಗ ಕಾರ್ಯಕ್ಷಮತೆಯಲ್ಲಿ ಗಮನಾರ್ಹ ಹೆಚ್ಚಳವನ್ನು ತೋರಿಸಿದೆ. ಓದುವ ಮತ್ತು ಬರೆಯುವ ಕಾರ್ಯಾಚರಣೆಗಳ ಏಕರೂಪದ ವಿತರಣೆಯೊಂದಿಗೆ ಪರೀಕ್ಷೆಯಲ್ಲಿ ನಿರ್ದಿಷ್ಟವಾಗಿ ಗಮನಾರ್ಹವಾದ ಕಾರ್ಯಕ್ಷಮತೆಯ ಹೆಚ್ಚಳವನ್ನು ಗಮನಿಸಲಾಗಿದೆ (ಗ್ರಾಫ್ನಲ್ಲಿ "ಎ" ಪರೀಕ್ಷೆ).

ಉದಾಹರಣೆಗೆ, HSE ಎಂಜಿನ್‌ನೊಂದಿಗೆ MongoDB ಪ್ರಮಾಣಿತ WiredTiger ಎಂಜಿನ್‌ನ ಆವೃತ್ತಿಗಿಂತ ಸುಮಾರು 8 ಪಟ್ಟು ವೇಗವಾಗಿದೆ ಮತ್ತು RocksDB DBMS HSE ಎಂಜಿನ್‌ಗಿಂತ 6 ಪಟ್ಟು ಹೆಚ್ಚು ವೇಗವಾಗಿದೆ. 95% ಓದುವ ಕಾರ್ಯಾಚರಣೆಗಳು ಮತ್ತು 5% ಮಾರ್ಪಡಿಸುವ ಅಥವಾ ಸೇರಿಸುವ ಕಾರ್ಯಾಚರಣೆಗಳನ್ನು ಒಳಗೊಂಡಿರುವ ಪರೀಕ್ಷೆಗಳಲ್ಲಿ ಅತ್ಯುತ್ತಮ ಕಾರ್ಯಕ್ಷಮತೆಯು ಗೋಚರಿಸುತ್ತದೆ (ಗ್ರಾಫ್‌ಗಳಲ್ಲಿ "B" ಮತ್ತು "D" ಪರೀಕ್ಷೆಗಳು). ಕೇವಲ ಓದುವ ಕಾರ್ಯಾಚರಣೆಗಳನ್ನು ಒಳಗೊಂಡಿರುವ ಟೆಸ್ಟ್ ಸಿ, ಸರಿಸುಮಾರು 40% ನಷ್ಟು ಲಾಭವನ್ನು ತೋರಿಸುತ್ತದೆ. ರಾಕ್ಸ್‌ಡಿಬಿ ಆಧಾರಿತ ಪರಿಹಾರಕ್ಕೆ ಹೋಲಿಸಿದರೆ ಬರೆಯುವ ಕಾರ್ಯಾಚರಣೆಗಳ ಸಮಯದಲ್ಲಿ ಎಸ್‌ಎಸ್‌ಡಿ ಡ್ರೈವ್‌ಗಳ ಬದುಕುಳಿಯುವಿಕೆಯ ಹೆಚ್ಚಳವು 7 ಪಟ್ಟು ಎಂದು ಅಂದಾಜಿಸಲಾಗಿದೆ.

HSE ಯ ಪ್ರಮುಖ ಲಕ್ಷಣಗಳು:

• ಕೀ/ಮೌಲ್ಯ ಸ್ವರೂಪದಲ್ಲಿ ಡೇಟಾವನ್ನು ಪ್ರಕ್ರಿಯೆಗೊಳಿಸಲು ಪ್ರಮಾಣಿತ ಮತ್ತು ವಿಸ್ತೃತ ಆಪರೇಟರ್‌ಗಳಿಗೆ ಬೆಂಬಲ;
• ವಹಿವಾಟುಗಳಿಗೆ ಸಂಪೂರ್ಣ ಬೆಂಬಲ ಮತ್ತು ಸ್ನ್ಯಾಪ್‌ಶಾಟ್‌ಗಳ ರಚನೆಯ ಮೂಲಕ ಶೇಖರಣಾ ಸ್ಲೈಸ್‌ಗಳನ್ನು ಪ್ರತ್ಯೇಕಿಸುವ ಸಾಮರ್ಥ್ಯದೊಂದಿಗೆ (ಸ್ನ್ಯಾಪ್‌ಶಾಟ್‌ಗಳನ್ನು ಒಂದು ಸಂಗ್ರಹಣೆಯಲ್ಲಿ ಸ್ವತಂತ್ರ ಸಂಗ್ರಹಣೆಗಳನ್ನು ನಿರ್ವಹಿಸಲು ಸಹ ಬಳಸಬಹುದು);
• ಸ್ನ್ಯಾಪ್‌ಶಾಟ್-ಆಧಾರಿತ ವೀಕ್ಷಣೆಗಳಲ್ಲಿ ಡೇಟಾವನ್ನು ಚಲಿಸಲು ಕರ್ಸರ್‌ಗಳನ್ನು ಬಳಸುವ ಸಾಮರ್ಥ್ಯ;
• ಒಂದೇ ಸಂಗ್ರಹಣೆಯಲ್ಲಿ ಮಿಶ್ರಿತ ಲೋಡ್ ಪ್ರಕಾರಗಳಿಗೆ ಹೊಂದುವಂತೆ ಡೇಟಾ ಮಾದರಿ;
• ಶೇಖರಣಾ ವಿಶ್ವಾಸಾರ್ಹತೆಯನ್ನು ನಿರ್ವಹಿಸಲು ಹೊಂದಿಕೊಳ್ಳುವ ಕಾರ್ಯವಿಧಾನಗಳು;
• ಗ್ರಾಹಕೀಯಗೊಳಿಸಬಹುದಾದ ಡೇಟಾ ಆರ್ಕೆಸ್ಟ್ರೇಶನ್ ಯೋಜನೆಗಳು (ಸಂಗ್ರಹಣೆಯಲ್ಲಿರುವ ವಿವಿಧ ರೀತಿಯ ಮೆಮೊರಿಯಾದ್ಯಂತ ವಿತರಣೆ);
• ಯಾವುದೇ ಅಪ್ಲಿಕೇಶನ್‌ಗೆ ಕ್ರಿಯಾತ್ಮಕವಾಗಿ ಲಿಂಕ್ ಮಾಡಬಹುದಾದ C API ಹೊಂದಿರುವ ಲೈಬ್ರರಿ;
• ಟೆರಾಬೈಟ್‌ಗಳಷ್ಟು ಡೇಟಾ ಮತ್ತು ನೂರಾರು ಶತಕೋಟಿ ಕೀಗಳನ್ನು ಸಂಗ್ರಹಣೆಯಲ್ಲಿ ಅಳೆಯುವ ಸಾಮರ್ಥ್ಯ;
• ಸಾವಿರಾರು ಸಮಾನಾಂತರ ಕಾರ್ಯಾಚರಣೆಗಳ ಸಮರ್ಥ ಸಂಸ್ಕರಣೆ;
• ಪ್ರಮಾಣಿತ ಪರ್ಯಾಯ ಪರಿಹಾರಗಳಿಗೆ ಹೋಲಿಸಿದರೆ ಥ್ರೋಪುಟ್‌ನಲ್ಲಿ ಗಮನಾರ್ಹ ಹೆಚ್ಚಳ, ಕಡಿಮೆ ಸುಪ್ತತೆ ಮತ್ತು ವಿವಿಧ ರೀತಿಯ ಕೆಲಸದ ಹೊರೆಗಾಗಿ ಬರೆಯುವ/ಓದುವ ಕಾರ್ಯಕ್ಷಮತೆಯನ್ನು ಹೆಚ್ಚಿಸುವುದು;
• ಕಾರ್ಯಕ್ಷಮತೆ ಮತ್ತು ಬಾಳಿಕೆಯನ್ನು ಅತ್ಯುತ್ತಮವಾಗಿಸಲು ಒಂದು ಸಂಗ್ರಹಣೆಯಲ್ಲಿ ವಿವಿಧ ವರ್ಗಗಳ SSD ಡ್ರೈವ್‌ಗಳನ್ನು ಬಳಸುವ ಸಾಮರ್ಥ್ಯ.

ಮೂಲ: opennet.ru