ಇಂದು ನಾವು ಐದನೇ ತಲೆಮಾರಿನ ನೆಟ್ವರ್ಕ್ಗಳು, ಜೀನೋಮ್ ಸ್ಕ್ಯಾನರ್ಗಳು ಮತ್ತು ಸ್ವಯಂ-ಚಾಲನಾ ಕಾರುಗಳು ಕೈಗಾರಿಕಾ ಕ್ರಾಂತಿಯ ಮೊದಲು ಉತ್ಪತ್ತಿಯಾಗುವ ಎಲ್ಲಾ ಮಾನವೀಯತೆಗಿಂತ ದಿನಕ್ಕೆ ಹೆಚ್ಚಿನ ಡೇಟಾವನ್ನು ಉತ್ಪಾದಿಸುವ ಜಗತ್ತಿನಲ್ಲಿ ಡೇಟಾವನ್ನು ಹೇಗೆ ಉತ್ತಮವಾಗಿ ಸಂಗ್ರಹಿಸುವುದು ಎಂಬುದರ ಕುರಿತು ಮಾತನಾಡುತ್ತೇವೆ.
ನಮ್ಮ ಪ್ರಪಂಚವು ಹೆಚ್ಚು ಹೆಚ್ಚು ಮಾಹಿತಿಯನ್ನು ಉತ್ಪಾದಿಸುತ್ತಿದೆ. ಅದರ ಕೆಲವು ಭಾಗವು ಕ್ಷಣಿಕವಾಗಿದೆ ಮತ್ತು ಅದನ್ನು ಸಂಗ್ರಹಿಸಿದಷ್ಟೇ ಬೇಗನೆ ಕಳೆದುಹೋಗುತ್ತದೆ. ಇನ್ನೊಂದನ್ನು ಹೆಚ್ಚು ಕಾಲ ಸಂಗ್ರಹಿಸಬೇಕು, ಮತ್ತು ಇನ್ನೊಂದನ್ನು "ಶತಮಾನಗಳಿಂದ" ವಿನ್ಯಾಸಗೊಳಿಸಲಾಗಿದೆ - ಕನಿಷ್ಠ ನಾವು ಪ್ರಸ್ತುತದಿಂದ ನೋಡುತ್ತೇವೆ. ಮಾಹಿತಿಯ ಹರಿವುಗಳು ಅಂತಹ ವೇಗದಲ್ಲಿ ಡೇಟಾ ಕೇಂದ್ರಗಳಲ್ಲಿ ನೆಲೆಗೊಳ್ಳುತ್ತವೆ, ಯಾವುದೇ ಹೊಸ ವಿಧಾನ, ಈ ಅಂತ್ಯವಿಲ್ಲದ "ಬೇಡಿಕೆ" ಅನ್ನು ಪೂರೈಸಲು ವಿನ್ಯಾಸಗೊಳಿಸಲಾದ ಯಾವುದೇ ತಂತ್ರಜ್ಞಾನವು ತ್ವರಿತವಾಗಿ ಬಳಕೆಯಲ್ಲಿಲ್ಲ.
ವಿತರಿಸಿದ ಶೇಖರಣಾ ವ್ಯವಸ್ಥೆಗಳ ಅಭಿವೃದ್ಧಿಯ 40 ವರ್ಷಗಳು
ನಾವು ತಿಳಿದಿರುವ ರೂಪದಲ್ಲಿ ಮೊದಲ ನೆಟ್ವರ್ಕ್ ಸಂಗ್ರಹಣೆಯು 1980 ರ ದಶಕದಲ್ಲಿ ಕಾಣಿಸಿಕೊಂಡಿತು. ನಿಮ್ಮಲ್ಲಿ ಹಲವರು NFS (ನೆಟ್ವರ್ಕ್ ಫೈಲ್ ಸಿಸ್ಟಮ್), AFS (ಆಂಡ್ರ್ಯೂ ಫೈಲ್ ಸಿಸ್ಟಮ್) ಅಥವಾ ಕೋಡಾವನ್ನು ನೋಡಿದ್ದೀರಿ. ಒಂದು ದಶಕದ ನಂತರ, ಫ್ಯಾಷನ್ ಮತ್ತು ತಂತ್ರಜ್ಞಾನವು ಬದಲಾಗಿದೆ ಮತ್ತು ವಿತರಿಸಿದ ಫೈಲ್ ಸಿಸ್ಟಮ್ಗಳು GPFS (ಜನರಲ್ ಪ್ಯಾರಲಲ್ ಫೈಲ್ ಸಿಸ್ಟಮ್), CFS (ಕ್ಲಸ್ಟರ್ಡ್ ಫೈಲ್ ಸಿಸ್ಟಮ್ಸ್) ಮತ್ತು StorNext ಆಧಾರಿತ ಕ್ಲಸ್ಟರ್ಡ್ ಶೇಖರಣಾ ವ್ಯವಸ್ಥೆಗಳಿಗೆ ದಾರಿ ಮಾಡಿಕೊಟ್ಟಿವೆ. ಕ್ಲಾಸಿಕಲ್ ಆರ್ಕಿಟೆಕ್ಚರ್ನ ಬ್ಲಾಕ್ ಸ್ಟೋರೇಜ್ ಅನ್ನು ಆಧಾರವಾಗಿ ಬಳಸಲಾಗುತ್ತಿತ್ತು, ಅದರ ಮೇಲೆ ಸಾಫ್ಟ್ವೇರ್ ಲೇಯರ್ ಅನ್ನು ಬಳಸಿಕೊಂಡು ಒಂದೇ ಫೈಲ್ ಸಿಸ್ಟಮ್ ಅನ್ನು ರಚಿಸಲಾಗಿದೆ. ಇವುಗಳು ಮತ್ತು ಅಂತಹುದೇ ಪರಿಹಾರಗಳನ್ನು ಇನ್ನೂ ಬಳಸಲಾಗುತ್ತದೆ, ಅವುಗಳ ಸ್ಥಾನವನ್ನು ಆಕ್ರಮಿಸಿಕೊಳ್ಳುತ್ತವೆ ಮತ್ತು ಸಾಕಷ್ಟು ಬೇಡಿಕೆಯಲ್ಲಿವೆ.
ಸಹಸ್ರಮಾನದ ತಿರುವಿನಲ್ಲಿ, ವಿತರಿಸಿದ ಶೇಖರಣಾ ಮಾದರಿಯು ಸ್ವಲ್ಪಮಟ್ಟಿಗೆ ಬದಲಾಯಿತು, ಮತ್ತು SN (ಹಂಚಿಕೊಂಡ-ನಥಿಂಗ್) ವಾಸ್ತುಶಿಲ್ಪದೊಂದಿಗೆ ವ್ಯವಸ್ಥೆಗಳು ಪ್ರಮುಖ ಸ್ಥಾನಗಳನ್ನು ಪಡೆದುಕೊಂಡವು. ಕ್ಲಸ್ಟರ್ ಸಂಗ್ರಹಣೆಯಿಂದ ಪ್ರತ್ಯೇಕ ನೋಡ್ಗಳಲ್ಲಿ ಸಂಗ್ರಹಣೆಗೆ ಪರಿವರ್ತನೆಯಾಗಿದೆ, ಇದು ನಿಯಮದಂತೆ, ವಿಶ್ವಾಸಾರ್ಹ ಸಂಗ್ರಹಣೆಯನ್ನು ಒದಗಿಸುವ ಸಾಫ್ಟ್ವೇರ್ನೊಂದಿಗೆ ಕ್ಲಾಸಿಕ್ ಸರ್ವರ್ಗಳು; ಅಂತಹ ತತ್ವಗಳ ಮೇಲೆ, ಹೇಳುವುದಾದರೆ, HDFS (ಹಡೂಪ್ ಡಿಸ್ಟ್ರಿಬ್ಯೂಟೆಡ್ ಫೈಲ್ ಸಿಸ್ಟಮ್) ಮತ್ತು GFS (ಗ್ಲೋಬಲ್ ಫೈಲ್ ಸಿಸ್ಟಮ್) ಅನ್ನು ನಿರ್ಮಿಸಲಾಗಿದೆ.
2010 ರ ದಶಕದ ಹತ್ತಿರ, ವಿತರಣಾ ಶೇಖರಣಾ ವ್ಯವಸ್ಥೆಗಳ ಆಧಾರವಾಗಿರುವ ಪರಿಕಲ್ಪನೆಗಳು VMware vSAN, Dell EMC ಐಸಿಲಾನ್ ಮತ್ತು ನಮ್ಮಂತಹ ಪೂರ್ಣ ಪ್ರಮಾಣದ ವಾಣಿಜ್ಯ ಉತ್ಪನ್ನಗಳಲ್ಲಿ ಹೆಚ್ಚು ಪ್ರತಿಫಲಿಸಲು ಪ್ರಾರಂಭಿಸಿದವು.
ಟೆಲಿಕಾಂ ಆಪರೇಟರ್ಗಳು
ಬಹುಶಃ ವಿತರಿಸಿದ ಶೇಖರಣಾ ವ್ಯವಸ್ಥೆಗಳ ಹಳೆಯ ಗ್ರಾಹಕರಲ್ಲಿ ಒಬ್ಬರು ದೂರಸಂಪರ್ಕ ನಿರ್ವಾಹಕರು. ಯಾವ ಅಪ್ಲಿಕೇಶನ್ಗಳ ಗುಂಪುಗಳು ಹೆಚ್ಚಿನ ಡೇಟಾವನ್ನು ಉತ್ಪಾದಿಸುತ್ತವೆ ಎಂಬುದನ್ನು ರೇಖಾಚಿತ್ರವು ತೋರಿಸುತ್ತದೆ. OSS (ಕಾರ್ಯಾಚರಣೆ ಬೆಂಬಲ ವ್ಯವಸ್ಥೆಗಳು), MSS (ನಿರ್ವಹಣೆ ಬೆಂಬಲ ಸೇವೆಗಳು) ಮತ್ತು BSS (ವ್ಯಾಪಾರ ಬೆಂಬಲ ವ್ಯವಸ್ಥೆಗಳು) ಚಂದಾದಾರರಿಗೆ ಸೇವೆಯನ್ನು ಒದಗಿಸಲು ಅಗತ್ಯವಿರುವ ಮೂರು ಪೂರಕ ಸಾಫ್ಟ್ವೇರ್ ಲೇಯರ್ಗಳನ್ನು ಪ್ರತಿನಿಧಿಸುತ್ತವೆ, ಪೂರೈಕೆದಾರರಿಗೆ ಹಣಕಾಸು ವರದಿ ಮತ್ತು ಆಪರೇಟರ್ ಎಂಜಿನಿಯರ್ಗಳಿಗೆ ಕಾರ್ಯಾಚರಣೆಯ ಬೆಂಬಲ.
ಆಗಾಗ್ಗೆ, ಈ ಪದರಗಳ ಡೇಟಾವನ್ನು ಪರಸ್ಪರ ಹೆಚ್ಚು ಬೆರೆಸಲಾಗುತ್ತದೆ ಮತ್ತು ಅನಗತ್ಯ ಪ್ರತಿಗಳ ಸಂಗ್ರಹವನ್ನು ತಪ್ಪಿಸಲು, ವಿತರಿಸಿದ ಸಂಗ್ರಹಣೆಯನ್ನು ಬಳಸಲಾಗುತ್ತದೆ, ಇದು ಆಪರೇಟಿಂಗ್ ನೆಟ್ವರ್ಕ್ನಿಂದ ಬರುವ ಸಂಪೂರ್ಣ ಮಾಹಿತಿಯನ್ನು ಸಂಗ್ರಹಿಸುತ್ತದೆ. ಸಂಗ್ರಹಣೆಗಳನ್ನು ಸಾಮಾನ್ಯ ಪೂಲ್ ಆಗಿ ಸಂಯೋಜಿಸಲಾಗಿದೆ, ಇದನ್ನು ಎಲ್ಲಾ ಸೇವೆಗಳಿಂದ ಪ್ರವೇಶಿಸಬಹುದು.
ಕ್ಲಾಸಿಕ್ ಶೇಖರಣಾ ವ್ಯವಸ್ಥೆಗಳಿಂದ ಬ್ಲಾಕ್ ಶೇಖರಣಾ ವ್ಯವಸ್ಥೆಗಳಿಗೆ ಪರಿವರ್ತನೆಯು ಮೀಸಲಾದ ಹೈ-ಎಂಡ್ ಶೇಖರಣಾ ವ್ಯವಸ್ಥೆಗಳನ್ನು ತ್ಯಜಿಸುವ ಮೂಲಕ ಮತ್ತು ಸಾಂಪ್ರದಾಯಿಕ ಕ್ಲಾಸಿಕಲ್ ಆರ್ಕಿಟೆಕ್ಚರ್ ಸರ್ವರ್ಗಳನ್ನು (ಸಾಮಾನ್ಯವಾಗಿ x70) ಬಳಸುವುದರ ಮೂಲಕ ಮಾತ್ರ ಬಜೆಟ್ನ 86% ವರೆಗೆ ಉಳಿಸಲು ನಿಮಗೆ ಅನುಮತಿಸುತ್ತದೆ ಎಂದು ನಮ್ಮ ಲೆಕ್ಕಾಚಾರಗಳು ತೋರಿಸುತ್ತವೆ. ಸಾಫ್ಟ್ವೇರ್. ಸೆಲ್ಯುಲಾರ್ ನಿರ್ವಾಹಕರು ಬಹಳ ಹಿಂದೆಯೇ ಅಂತಹ ಪರಿಹಾರಗಳನ್ನು ದೊಡ್ಡ ಪ್ರಮಾಣದಲ್ಲಿ ಖರೀದಿಸಲು ಪ್ರಾರಂಭಿಸಿದ್ದಾರೆ. ನಿರ್ದಿಷ್ಟವಾಗಿ ಹೇಳುವುದಾದರೆ, ರಷ್ಯಾದ ನಿರ್ವಾಹಕರು ಆರು ವರ್ಷಗಳಿಗೂ ಹೆಚ್ಚು ಕಾಲ ಹುವಾವೇಯಿಂದ ಅಂತಹ ಉತ್ಪನ್ನಗಳನ್ನು ಬಳಸುತ್ತಿದ್ದಾರೆ.
ಹೌದು, ವಿತರಿಸಿದ ವ್ಯವಸ್ಥೆಗಳನ್ನು ಬಳಸಿಕೊಂಡು ಹಲವಾರು ಕಾರ್ಯಗಳನ್ನು ಪೂರ್ಣಗೊಳಿಸಲಾಗುವುದಿಲ್ಲ. ಉದಾಹರಣೆಗೆ, ಹೆಚ್ಚಿದ ಕಾರ್ಯಕ್ಷಮತೆಯ ಅಗತ್ಯತೆಗಳು ಅಥವಾ ಹಳೆಯ ಪ್ರೋಟೋಕಾಲ್ಗಳೊಂದಿಗೆ ಹೊಂದಾಣಿಕೆ. ಆದರೆ ಆಪರೇಟರ್ನಿಂದ ಸಂಸ್ಕರಿಸಿದ ಕನಿಷ್ಠ 70% ಡೇಟಾವನ್ನು ವಿತರಿಸಿದ ಪೂಲ್ನಲ್ಲಿ ಇರಿಸಬಹುದು.
ಬ್ಯಾಂಕಿಂಗ್ ವಲಯ
ಯಾವುದೇ ಬ್ಯಾಂಕಿನಲ್ಲಿ ಹಲವಾರು ವಿಭಿನ್ನ ಐಟಿ ವ್ಯವಸ್ಥೆಗಳಿವೆ, ಪ್ರಕ್ರಿಯೆಯಿಂದ ಪ್ರಾರಂಭಿಸಿ ಸ್ವಯಂಚಾಲಿತ ಬ್ಯಾಂಕಿಂಗ್ ವ್ಯವಸ್ಥೆಯೊಂದಿಗೆ ಕೊನೆಗೊಳ್ಳುತ್ತದೆ. ಈ ಮೂಲಸೌಕರ್ಯವು ಹೆಚ್ಚಿನ ಪ್ರಮಾಣದ ಮಾಹಿತಿಯೊಂದಿಗೆ ಕಾರ್ಯನಿರ್ವಹಿಸುತ್ತದೆ, ಆದರೆ ಹೆಚ್ಚಿನ ಕಾರ್ಯಗಳಿಗೆ ಹೆಚ್ಚಿನ ಕಾರ್ಯಕ್ಷಮತೆ ಮತ್ತು ಶೇಖರಣಾ ವ್ಯವಸ್ಥೆಗಳ ವಿಶ್ವಾಸಾರ್ಹತೆಯ ಅಗತ್ಯವಿರುವುದಿಲ್ಲ, ಉದಾಹರಣೆಗೆ, ಅಭಿವೃದ್ಧಿ, ಪರೀಕ್ಷೆ, ಕಚೇರಿ ಪ್ರಕ್ರಿಯೆಗಳ ಯಾಂತ್ರೀಕರಣ, ಇತ್ಯಾದಿ. ಇಲ್ಲಿ, ಕ್ಲಾಸಿಕ್ ಶೇಖರಣಾ ವ್ಯವಸ್ಥೆಗಳ ಬಳಕೆ ಸಾಧ್ಯ, ಆದರೆ ಪ್ರತಿ ವರ್ಷ ಇದು ಕಡಿಮೆ ಮತ್ತು ಕಡಿಮೆ ಲಾಭದಾಯಕವಾಗಿದೆ. ಹೆಚ್ಚುವರಿಯಾಗಿ, ಈ ಸಂದರ್ಭದಲ್ಲಿ ಶೇಖರಣಾ ವ್ಯವಸ್ಥೆಯ ಸಂಪನ್ಮೂಲಗಳ ಬಳಕೆಯಲ್ಲಿ ಯಾವುದೇ ನಮ್ಯತೆ ಇಲ್ಲ, ಅದರ ಕಾರ್ಯಕ್ಷಮತೆಯನ್ನು ಗರಿಷ್ಠ ಹೊರೆಯ ಆಧಾರದ ಮೇಲೆ ಲೆಕ್ಕಹಾಕಲಾಗುತ್ತದೆ.
ವಿತರಿಸಿದ ಶೇಖರಣಾ ವ್ಯವಸ್ಥೆಗಳನ್ನು ಬಳಸುವಾಗ, ವಾಸ್ತವವಾಗಿ ಸಾಮಾನ್ಯ ಸರ್ವರ್ಗಳಾಗಿರುವ ಅವುಗಳ ನೋಡ್ಗಳನ್ನು ಯಾವುದೇ ಸಮಯದಲ್ಲಿ ಪರಿವರ್ತಿಸಬಹುದು, ಉದಾಹರಣೆಗೆ, ಸರ್ವರ್ ಫಾರ್ಮ್ ಆಗಿ ಮತ್ತು ಕಂಪ್ಯೂಟಿಂಗ್ ಪ್ಲಾಟ್ಫಾರ್ಮ್ ಆಗಿ ಬಳಸಲಾಗುತ್ತದೆ.
ಡೇಟಾ ಸರೋವರಗಳು
ಮೇಲಿನ ರೇಖಾಚಿತ್ರವು ವಿಶಿಷ್ಟ ಸೇವೆಯ ಗ್ರಾಹಕರ ಪಟ್ಟಿಯನ್ನು ತೋರಿಸುತ್ತದೆ
ಅಂತಹ ಸಮಸ್ಯೆಗಳನ್ನು ಪರಿಹರಿಸಲು ಕ್ಲಾಸಿಕ್ ಶೇಖರಣಾ ವ್ಯವಸ್ಥೆಗಳನ್ನು ಬಳಸುವುದು ನಿಷ್ಪರಿಣಾಮಕಾರಿಯಾಗಿದೆ, ಏಕೆಂದರೆ ಇದು ಬ್ಲಾಕ್ ಡೇಟಾಬೇಸ್ಗಳಿಗೆ ಹೆಚ್ಚಿನ ಕಾರ್ಯಕ್ಷಮತೆಯ ಪ್ರವೇಶ ಮತ್ತು ವಸ್ತುಗಳಂತೆ ಸಂಗ್ರಹಿಸಲಾದ ಸ್ಕ್ಯಾನ್ ಮಾಡಿದ ದಾಖಲೆಗಳ ಲೈಬ್ರರಿಗಳಿಗೆ ನಿಯಮಿತ ಪ್ರವೇಶದ ಅಗತ್ಯವಿರುತ್ತದೆ. ಉದಾಹರಣೆಗೆ, ವೆಬ್ ಪೋರ್ಟಲ್ ಮೂಲಕ ಆರ್ಡರ್ ಮಾಡುವ ವ್ಯವಸ್ಥೆಯನ್ನು ಸಹ ಇಲ್ಲಿ ಲಿಂಕ್ ಮಾಡಬಹುದು. ಕ್ಲಾಸಿಕ್ ಶೇಖರಣಾ ವೇದಿಕೆಯಲ್ಲಿ ಈ ಎಲ್ಲವನ್ನು ಕಾರ್ಯಗತಗೊಳಿಸಲು, ವಿವಿಧ ಕಾರ್ಯಗಳಿಗಾಗಿ ನಿಮಗೆ ದೊಡ್ಡ ಸಲಕರಣೆಗಳ ಅಗತ್ಯವಿದೆ. ಒಂದು ಸಮತಲ ಸಾರ್ವತ್ರಿಕ ಶೇಖರಣಾ ವ್ಯವಸ್ಥೆಯು ಹಿಂದೆ ಪಟ್ಟಿ ಮಾಡಲಾದ ಎಲ್ಲಾ ಕಾರ್ಯಗಳನ್ನು ಚೆನ್ನಾಗಿ ಒಳಗೊಳ್ಳಬಹುದು: ನೀವು ಅದರಲ್ಲಿ ವಿಭಿನ್ನ ಶೇಖರಣಾ ಗುಣಲಕ್ಷಣಗಳೊಂದಿಗೆ ಹಲವಾರು ಪೂಲ್ಗಳನ್ನು ರಚಿಸಬೇಕಾಗಿದೆ.
ಹೊಸ ಮಾಹಿತಿಯ ಜನರೇಟರ್ಗಳು
ಪ್ರಪಂಚದಲ್ಲಿ ಸಂಗ್ರಹವಾಗಿರುವ ಮಾಹಿತಿಯ ಪ್ರಮಾಣವು ವರ್ಷಕ್ಕೆ ಸುಮಾರು 30% ರಷ್ಟು ಬೆಳೆಯುತ್ತಿದೆ. ಶೇಖರಣಾ ಮಾರಾಟಗಾರರಿಗೆ ಇದು ಒಳ್ಳೆಯ ಸುದ್ದಿಯಾಗಿದೆ, ಆದರೆ ಈ ಡೇಟಾದ ಮುಖ್ಯ ಮೂಲ ಯಾವುದು ಮತ್ತು ಆಗಿರುತ್ತದೆ?
ಹತ್ತು ವರ್ಷಗಳ ಹಿಂದೆ, ಸಾಮಾಜಿಕ ನೆಟ್ವರ್ಕ್ಗಳು ಅಂತಹ ಜನರೇಟರ್ಗಳಾದವು; ಇದಕ್ಕೆ ಹೆಚ್ಚಿನ ಸಂಖ್ಯೆಯ ಹೊಸ ಅಲ್ಗಾರಿದಮ್ಗಳು, ಹಾರ್ಡ್ವೇರ್ ಪರಿಹಾರಗಳು ಇತ್ಯಾದಿಗಳ ರಚನೆಯ ಅಗತ್ಯವಿತ್ತು. ಈಗ ಶೇಖರಣಾ ಪರಿಮಾಣಗಳ ಬೆಳವಣಿಗೆಗೆ ಮೂರು ಪ್ರಮುಖ ಚಾಲಕರು ಇವೆ. ಮೊದಲನೆಯದು ಕ್ಲೌಡ್ ಕಂಪ್ಯೂಟಿಂಗ್. ಪ್ರಸ್ತುತ, ಸರಿಸುಮಾರು 70% ಕಂಪನಿಗಳು ಒಂದು ರೀತಿಯಲ್ಲಿ ಅಥವಾ ಇನ್ನೊಂದು ರೀತಿಯಲ್ಲಿ ಕ್ಲೌಡ್ ಸೇವೆಗಳನ್ನು ಬಳಸುತ್ತವೆ. ಇವು ಎಲೆಕ್ಟ್ರಾನಿಕ್ ಮೇಲ್ ವ್ಯವಸ್ಥೆಗಳು, ಬ್ಯಾಕಪ್ ಪ್ರತಿಗಳು ಮತ್ತು ಇತರ ವರ್ಚುವಲೈಸ್ಡ್ ಘಟಕಗಳಾಗಿರಬಹುದು.
ಎರಡನೇ ಚಾಲಕ ಐದನೇ ತಲೆಮಾರಿನ ನೆಟ್ವರ್ಕ್ಗಳು. ಇವುಗಳು ಹೊಸ ವೇಗಗಳು ಮತ್ತು ಹೊಸ ಡೇಟಾ ವರ್ಗಾವಣೆ ಸಂಪುಟಗಳು. ನಮ್ಮ ಮುನ್ಸೂಚನೆಗಳ ಪ್ರಕಾರ, 5G ಯ ವ್ಯಾಪಕ ಅಳವಡಿಕೆಯು ಫ್ಲಾಶ್ ಮೆಮೊರಿ ಕಾರ್ಡ್ಗಳ ಬೇಡಿಕೆಯಲ್ಲಿ ಕುಸಿತಕ್ಕೆ ಕಾರಣವಾಗುತ್ತದೆ. ಫೋನ್ನಲ್ಲಿ ಎಷ್ಟು ಮೆಮೊರಿ ಇದ್ದರೂ, ಅದು ಇನ್ನೂ ಖಾಲಿಯಾಗುತ್ತದೆ ಮತ್ತು ಗ್ಯಾಜೆಟ್ 100-ಮೆಗಾಬಿಟ್ ಚಾನಲ್ ಹೊಂದಿದ್ದರೆ, ಫೋಟೋಗಳನ್ನು ಸ್ಥಳೀಯವಾಗಿ ಸಂಗ್ರಹಿಸುವ ಅಗತ್ಯವಿಲ್ಲ.
ಶೇಖರಣಾ ವ್ಯವಸ್ಥೆಗಳಿಗೆ ಬೇಡಿಕೆ ಹೆಚ್ಚುತ್ತಿರುವ ಕಾರಣಗಳ ಮೂರನೇ ಗುಂಪು ಕೃತಕ ಬುದ್ಧಿಮತ್ತೆಯ ತ್ವರಿತ ಅಭಿವೃದ್ಧಿ, ದೊಡ್ಡ ಡೇಟಾ ವಿಶ್ಲೇಷಣೆಗೆ ಪರಿವರ್ತನೆ ಮತ್ತು ಸಾಧ್ಯವಿರುವ ಎಲ್ಲದರ ಸಾರ್ವತ್ರಿಕ ಯಾಂತ್ರೀಕೃತಗೊಂಡ ಪ್ರವೃತ್ತಿಯನ್ನು ಒಳಗೊಂಡಿದೆ.
"ಹೊಸ ಸಂಚಾರ" ದ ವೈಶಿಷ್ಟ್ಯವೆಂದರೆ ಅದರ
ರಚನೆಯಾಗದ ಡೇಟಾದ ಸಾಗರ
"ಹೊಸ ಡೇಟಾ" ಹೊರಹೊಮ್ಮುವಿಕೆಯು ಯಾವ ಸಮಸ್ಯೆಗಳನ್ನು ಉಂಟುಮಾಡುತ್ತದೆ? ಅವುಗಳಲ್ಲಿ ಮೊದಲನೆಯದು, ಮಾಹಿತಿಯ ಸಂಪೂರ್ಣ ಪರಿಮಾಣ ಮತ್ತು ಅದರ ಸಂಗ್ರಹಣೆಯ ಅಂದಾಜು ಅವಧಿಯಾಗಿದೆ. ಆಧುನಿಕ ಚಾಲಕರಹಿತ ಸ್ವಾಯತ್ತ ಕಾರು ಮಾತ್ರ ತನ್ನ ಎಲ್ಲಾ ಸಂವೇದಕಗಳು ಮತ್ತು ಕಾರ್ಯವಿಧಾನಗಳಿಂದ ಪ್ರತಿದಿನ 60 ಟೆರಾಬೈಟ್ಗಳಷ್ಟು ಡೇಟಾವನ್ನು ಉತ್ಪಾದಿಸುತ್ತದೆ. ಹೊಸ ಚಲನೆಯ ಕ್ರಮಾವಳಿಗಳನ್ನು ಅಭಿವೃದ್ಧಿಪಡಿಸಲು, ಈ ಮಾಹಿತಿಯನ್ನು ಅದೇ ದಿನದೊಳಗೆ ಪ್ರಕ್ರಿಯೆಗೊಳಿಸಬೇಕು, ಇಲ್ಲದಿದ್ದರೆ ಅದು ಸಂಗ್ರಹಗೊಳ್ಳಲು ಪ್ರಾರಂಭವಾಗುತ್ತದೆ. ಅದೇ ಸಮಯದಲ್ಲಿ, ಅದನ್ನು ಬಹಳ ಸಮಯದವರೆಗೆ ಸಂಗ್ರಹಿಸಬೇಕು - ದಶಕಗಳು. ಆಗ ಮಾತ್ರ ದೊಡ್ಡ ವಿಶ್ಲೇಷಣಾತ್ಮಕ ಮಾದರಿಗಳ ಆಧಾರದ ಮೇಲೆ ತೀರ್ಮಾನಗಳನ್ನು ತೆಗೆದುಕೊಳ್ಳಲು ಭವಿಷ್ಯದಲ್ಲಿ ಸಾಧ್ಯವಾಗುತ್ತದೆ.
ಆನುವಂಶಿಕ ಅನುಕ್ರಮಗಳನ್ನು ಅರ್ಥೈಸುವ ಒಂದು ಸಾಧನವು ದಿನಕ್ಕೆ ಸುಮಾರು 6 TB ಅನ್ನು ಉತ್ಪಾದಿಸುತ್ತದೆ. ಮತ್ತು ಅದರ ಸಹಾಯದಿಂದ ಸಂಗ್ರಹಿಸಿದ ಡೇಟಾವು ಅಳಿಸುವಿಕೆಯನ್ನು ಸೂಚಿಸುವುದಿಲ್ಲ, ಅಂದರೆ, ಕಾಲ್ಪನಿಕವಾಗಿ, ಅದನ್ನು ಶಾಶ್ವತವಾಗಿ ಸಂಗ್ರಹಿಸಬೇಕು.
ಅಂತಿಮವಾಗಿ, ಅದೇ ಐದನೇ ಪೀಳಿಗೆಯ ಜಾಲಗಳು. ನಿಜವಾದ ರವಾನೆಯಾದ ಮಾಹಿತಿಯ ಜೊತೆಗೆ, ಅಂತಹ ನೆಟ್ವರ್ಕ್ ಸ್ವತಃ ಡೇಟಾದ ದೊಡ್ಡ ಜನರೇಟರ್ ಆಗಿದೆ: ಚಟುವಟಿಕೆ ದಾಖಲೆಗಳು, ಕರೆ ದಾಖಲೆಗಳು, ಯಂತ್ರದಿಂದ ಯಂತ್ರದ ಸಂವಹನಗಳ ಮಧ್ಯಂತರ ಫಲಿತಾಂಶಗಳು, ಇತ್ಯಾದಿ.
ಮಾಹಿತಿಯನ್ನು ಸಂಗ್ರಹಿಸಲು ಮತ್ತು ಪ್ರಕ್ರಿಯೆಗೊಳಿಸಲು ಹೊಸ ವಿಧಾನಗಳು ಮತ್ತು ಅಲ್ಗಾರಿದಮ್ಗಳ ಅಭಿವೃದ್ಧಿಯ ಅಗತ್ಯವಿರುತ್ತದೆ. ಮತ್ತು ಅಂತಹ ವಿಧಾನಗಳು ಹೊರಹೊಮ್ಮುತ್ತಿವೆ.
ಹೊಸ ಯುಗದ ತಂತ್ರಜ್ಞಾನಗಳು
ಮಾಹಿತಿ ಶೇಖರಣಾ ವ್ಯವಸ್ಥೆಗಳಿಗೆ ಹೊಸ ಅವಶ್ಯಕತೆಗಳನ್ನು ನಿಭಾಯಿಸಲು ವಿನ್ಯಾಸಗೊಳಿಸಲಾದ ಪರಿಹಾರಗಳ ಮೂರು ಗುಂಪುಗಳಿವೆ: ಕೃತಕ ಬುದ್ಧಿಮತ್ತೆಯ ಪರಿಚಯ, ಶೇಖರಣಾ ಮಾಧ್ಯಮದ ತಾಂತ್ರಿಕ ವಿಕಸನ ಮತ್ತು ಸಿಸ್ಟಮ್ ಆರ್ಕಿಟೆಕ್ಚರ್ ಕ್ಷೇತ್ರದಲ್ಲಿ ನಾವೀನ್ಯತೆಗಳು. AI ನೊಂದಿಗೆ ಪ್ರಾರಂಭಿಸೋಣ.
ಹೊಸ Huawei ಪರಿಹಾರಗಳಲ್ಲಿ, ಕೃತಕ ಬುದ್ಧಿಮತ್ತೆಯನ್ನು ಸಂಗ್ರಹಣೆಯ ಮಟ್ಟದಲ್ಲಿ ಬಳಸಲಾಗುತ್ತದೆ, ಇದು AI ಪ್ರೊಸೆಸರ್ ಅನ್ನು ಹೊಂದಿದ್ದು, ಸಿಸ್ಟಮ್ ಸ್ವತಂತ್ರವಾಗಿ ಅದರ ಸ್ಥಿತಿಯನ್ನು ವಿಶ್ಲೇಷಿಸಲು ಮತ್ತು ವೈಫಲ್ಯಗಳನ್ನು ಊಹಿಸಲು ಅನುವು ಮಾಡಿಕೊಡುತ್ತದೆ. ಶೇಖರಣಾ ವ್ಯವಸ್ಥೆಯು ಗಮನಾರ್ಹವಾದ ಕಂಪ್ಯೂಟಿಂಗ್ ಸಾಮರ್ಥ್ಯಗಳನ್ನು ಹೊಂದಿರುವ ಸೇವಾ ಕ್ಲೌಡ್ಗೆ ಸಂಪರ್ಕಗೊಂಡಿದ್ದರೆ, ಕೃತಕ ಬುದ್ಧಿಮತ್ತೆಯು ಹೆಚ್ಚಿನ ಮಾಹಿತಿಯನ್ನು ಪ್ರಕ್ರಿಯೆಗೊಳಿಸಲು ಮತ್ತು ಅದರ ಊಹೆಗಳ ನಿಖರತೆಯನ್ನು ಹೆಚ್ಚಿಸಲು ಸಾಧ್ಯವಾಗುತ್ತದೆ.
ವೈಫಲ್ಯಗಳ ಜೊತೆಗೆ, ಅಂತಹ AI ಭವಿಷ್ಯದ ಗರಿಷ್ಠ ಹೊರೆ ಮತ್ತು ಸಾಮರ್ಥ್ಯವು ಖಾಲಿಯಾಗುವವರೆಗೆ ಉಳಿದಿರುವ ಸಮಯವನ್ನು ಊಹಿಸಬಹುದು. ಯಾವುದೇ ಅನಪೇಕ್ಷಿತ ಘಟನೆಗಳು ಸಂಭವಿಸುವ ಮೊದಲು ಕಾರ್ಯಕ್ಷಮತೆಯನ್ನು ಅತ್ಯುತ್ತಮವಾಗಿಸಲು ಮತ್ತು ಸಿಸ್ಟಮ್ ಅನ್ನು ಅಳೆಯಲು ಇದು ನಿಮ್ಮನ್ನು ಅನುಮತಿಸುತ್ತದೆ.
ಈಗ ಶೇಖರಣಾ ಮಾಧ್ಯಮದ ವಿಕಾಸದ ಬಗ್ಗೆ. ಮೊದಲ ಫ್ಲಾಶ್ ಡ್ರೈವ್ಗಳನ್ನು SLC (ಸಿಂಗಲ್-ಲೆವೆಲ್ ಸೆಲ್) ತಂತ್ರಜ್ಞಾನವನ್ನು ಬಳಸಿ ತಯಾರಿಸಲಾಯಿತು. ಅದರ ಆಧಾರದ ಮೇಲೆ ಸಾಧನಗಳು ವೇಗವಾದ, ವಿಶ್ವಾಸಾರ್ಹ, ಸ್ಥಿರ, ಆದರೆ ಸಣ್ಣ ಸಾಮರ್ಥ್ಯವನ್ನು ಹೊಂದಿದ್ದವು ಮತ್ತು ತುಂಬಾ ದುಬಾರಿಯಾಗಿದ್ದವು. ಕೆಲವು ತಾಂತ್ರಿಕ ರಿಯಾಯಿತಿಗಳ ಮೂಲಕ ಪರಿಮಾಣದ ಬೆಳವಣಿಗೆ ಮತ್ತು ಬೆಲೆ ಕಡಿತವನ್ನು ಸಾಧಿಸಲಾಯಿತು, ಇದರಿಂದಾಗಿ ಡ್ರೈವ್ಗಳ ವೇಗ, ವಿಶ್ವಾಸಾರ್ಹತೆ ಮತ್ತು ಸೇವಾ ಜೀವನವನ್ನು ಕಡಿಮೆಗೊಳಿಸಲಾಯಿತು. ಅದೇನೇ ಇದ್ದರೂ, ಪ್ರವೃತ್ತಿಯು ಶೇಖರಣಾ ವ್ಯವಸ್ಥೆಗಳ ಮೇಲೆ ಪರಿಣಾಮ ಬೀರಲಿಲ್ಲ, ಇದು ವಿವಿಧ ವಾಸ್ತುಶಿಲ್ಪದ ತಂತ್ರಗಳಿಂದಾಗಿ, ಸಾಮಾನ್ಯವಾಗಿ ಹೆಚ್ಚು ಉತ್ಪಾದಕ ಮತ್ತು ಹೆಚ್ಚು ವಿಶ್ವಾಸಾರ್ಹವಾಯಿತು.
ಆದರೆ ನಿಮಗೆ ಆಲ್-ಫ್ಲ್ಯಾಶ್ ಶೇಖರಣಾ ವ್ಯವಸ್ಥೆಗಳು ಏಕೆ ಬೇಕು? ಈಗಾಗಲೇ ಆಪರೇಟಿಂಗ್ ಸಿಸ್ಟಂನಲ್ಲಿ ಹಳೆಯ ಎಚ್ಡಿಡಿಗಳನ್ನು ಅದೇ ಫಾರ್ಮ್ ಫ್ಯಾಕ್ಟರ್ನ ಹೊಸ ಎಸ್ಎಸ್ಡಿಗಳೊಂದಿಗೆ ಸರಳವಾಗಿ ಬದಲಾಯಿಸಲು ಸಾಕಾಗಲಿಲ್ಲವೇ? ಹೊಸ ಘನ-ಸ್ಥಿತಿಯ ಡ್ರೈವ್ಗಳ ಎಲ್ಲಾ ಸಂಪನ್ಮೂಲಗಳನ್ನು ಪರಿಣಾಮಕಾರಿಯಾಗಿ ಬಳಸಲು ಇದು ಅಗತ್ಯವಾಗಿತ್ತು, ಇದು ಹಳೆಯ ವ್ಯವಸ್ಥೆಗಳಲ್ಲಿ ಸರಳವಾಗಿ ಅಸಾಧ್ಯವಾಗಿತ್ತು.
ಉದಾಹರಣೆಗೆ, ಹುವಾವೇ ಈ ಸಮಸ್ಯೆಯನ್ನು ಪರಿಹರಿಸಲು ಹಲವಾರು ತಂತ್ರಜ್ಞಾನಗಳನ್ನು ಅಭಿವೃದ್ಧಿಪಡಿಸಿದೆ, ಅವುಗಳಲ್ಲಿ ಒಂದು
ಬುದ್ಧಿವಂತ ಗುರುತಿಸುವಿಕೆಯು ಡೇಟಾವನ್ನು ಹಲವಾರು ಸ್ಟ್ರೀಮ್ಗಳಾಗಿ ವಿಭಜಿಸಲು ಮತ್ತು ಹಲವಾರು ಅನಪೇಕ್ಷಿತ ವಿದ್ಯಮಾನಗಳನ್ನು ನಿಭಾಯಿಸಲು ಸಾಧ್ಯವಾಗಿಸಿತು.
ವೈಫಲ್ಯ, ಜನದಟ್ಟಣೆ, ಕಸ ಸಂಗ್ರಹಣೆ - ಈ ಅಂಶಗಳು ಇನ್ನು ಮುಂದೆ ನಿಯಂತ್ರಕಗಳಿಗೆ ವಿಶೇಷ ಮಾರ್ಪಾಡುಗಳಿಗೆ ಧನ್ಯವಾದಗಳು ಶೇಖರಣಾ ವ್ಯವಸ್ಥೆಯ ಕಾರ್ಯಕ್ಷಮತೆಯ ಮೇಲೆ ಪರಿಣಾಮ ಬೀರುವುದಿಲ್ಲ.
ಮತ್ತು ಬ್ಲಾಕ್ ಡೇಟಾ ಸಂಗ್ರಹಣೆಗಳು ಸಹ ಪೂರೈಸಲು ತಯಾರಿ ನಡೆಸುತ್ತಿವೆ
ನಾವು ಈಗ ನೋಡುತ್ತಿರುವ ತಂತ್ರಜ್ಞಾನ ಅಭಿವೃದ್ಧಿಯ ಮುಂದಿನ ಹಂತವೆಂದರೆ NVMe-oF (NVMe over Fabrics) ಬಳಕೆಯಾಗಿದೆ. Huawei ಬ್ಲಾಕ್ ತಂತ್ರಜ್ಞಾನಗಳಿಗೆ ಸಂಬಂಧಿಸಿದಂತೆ, ಅವರು ಈಗಾಗಲೇ FC-NVMe ಅನ್ನು ಬೆಂಬಲಿಸುತ್ತಾರೆ (ಫೈಬರ್ ಚಾನೆಲ್ ಮೂಲಕ NVMe), ಮತ್ತು NVMe over RoCE (RDMA ಓವರ್ ಕನ್ವರ್ಜ್ಡ್ ಈಥರ್ನೆಟ್) ದಾರಿಯಲ್ಲಿದೆ. ಪರೀಕ್ಷಾ ಮಾದರಿಗಳು ಸಾಕಷ್ಟು ಕ್ರಿಯಾತ್ಮಕವಾಗಿವೆ; ಅವರ ಅಧಿಕೃತ ಪ್ರಸ್ತುತಿಗೆ ಹಲವಾರು ತಿಂಗಳುಗಳು ಉಳಿದಿವೆ. "ನಷ್ಟವಿಲ್ಲದ ಈಥರ್ನೆಟ್" ಹೆಚ್ಚಿನ ಬೇಡಿಕೆಯಲ್ಲಿರುವ ವಿತರಣಾ ವ್ಯವಸ್ಥೆಗಳಲ್ಲಿ ಇದೆಲ್ಲವೂ ಕಾಣಿಸಿಕೊಳ್ಳುತ್ತದೆ ಎಂಬುದನ್ನು ಗಮನಿಸಿ.
ವಿತರಿಸಿದ ಸಂಗ್ರಹಣೆಯ ಕಾರ್ಯಾಚರಣೆಯನ್ನು ಅತ್ಯುತ್ತಮವಾಗಿಸಲು ಹೆಚ್ಚುವರಿ ಮಾರ್ಗವೆಂದರೆ ಡೇಟಾ ಪ್ರತಿಬಿಂಬಿಸುವಿಕೆಯನ್ನು ಸಂಪೂರ್ಣವಾಗಿ ತ್ಯಜಿಸುವುದು. ಸಾಮಾನ್ಯ RAID 1 ರಂತೆ Huawei ಪರಿಹಾರಗಳು ಇನ್ನು ಮುಂದೆ n ನಕಲುಗಳನ್ನು ಬಳಸುವುದಿಲ್ಲ ಮತ್ತು ಸಂಪೂರ್ಣವಾಗಿ ಬದಲಾಯಿಸುತ್ತವೆ
ನಕಲು ಮತ್ತು ಸಂಕೋಚನ ಕಾರ್ಯವಿಧಾನಗಳು ಕಡ್ಡಾಯವಾಗುತ್ತವೆ. ಕ್ಲಾಸಿಕ್ ಶೇಖರಣಾ ವ್ಯವಸ್ಥೆಗಳಲ್ಲಿ ನಾವು ನಿಯಂತ್ರಕಗಳಲ್ಲಿ ಸ್ಥಾಪಿಸಲಾದ ಸಂಸ್ಕಾರಕಗಳ ಸಂಖ್ಯೆಯಿಂದ ಸೀಮಿತವಾಗಿದ್ದರೆ, ವಿತರಿಸಿದ ಅಡ್ಡಲಾಗಿ ಸ್ಕೇಲೆಬಲ್ ಶೇಖರಣಾ ವ್ಯವಸ್ಥೆಗಳಲ್ಲಿ, ಪ್ರತಿ ನೋಡ್ ಅಗತ್ಯವಿರುವ ಎಲ್ಲವನ್ನೂ ಹೊಂದಿರುತ್ತದೆ: ಡಿಸ್ಕ್ಗಳು, ಮೆಮೊರಿ, ಪ್ರೊಸೆಸರ್ಗಳು ಮತ್ತು ಇಂಟರ್ಕನೆಕ್ಟ್. ಡಿಡ್ಪ್ಲಿಕೇಶನ್ ಮತ್ತು ಸಂಕೋಚನವು ಕಾರ್ಯಕ್ಷಮತೆಯ ಮೇಲೆ ಕನಿಷ್ಠ ಪರಿಣಾಮ ಬೀರುತ್ತದೆ ಎಂದು ಖಚಿತಪಡಿಸಿಕೊಳ್ಳಲು ಈ ಸಂಪನ್ಮೂಲಗಳು ಸಾಕಾಗುತ್ತದೆ.
ಮತ್ತು ಹಾರ್ಡ್ವೇರ್ ಆಪ್ಟಿಮೈಸೇಶನ್ ವಿಧಾನಗಳ ಬಗ್ಗೆ. ಇಲ್ಲಿ ಹೆಚ್ಚುವರಿ ಮೀಸಲಾದ ಚಿಪ್ಗಳ (ಅಥವಾ ಪ್ರೊಸೆಸರ್ನಲ್ಲಿಯೇ ಮೀಸಲಾದ ಬ್ಲಾಕ್ಗಳು) ಸಹಾಯದಿಂದ ಕೇಂದ್ರೀಯ ಪ್ರೊಸೆಸರ್ಗಳ ಮೇಲಿನ ಹೊರೆ ಕಡಿಮೆ ಮಾಡಲು ಸಾಧ್ಯವಾಯಿತು, ಇದು ಪಾತ್ರವನ್ನು ವಹಿಸುತ್ತದೆ.
ಡೇಟಾ ಸಂಗ್ರಹಣೆಗೆ ಹೊಸ ವಿಧಾನಗಳು ವಿಂಗಡಣೆಯಾದ (ವಿತರಿಸಿದ) ಆರ್ಕಿಟೆಕ್ಚರ್ನಲ್ಲಿ ಸಾಕಾರಗೊಂಡಿದೆ. ಕೇಂದ್ರೀಕೃತ ಶೇಖರಣಾ ವ್ಯವಸ್ಥೆಗಳು ಫೈಬರ್ ಚಾನೆಲ್ ಮೂಲಕ ಸಂಪರ್ಕಿಸಲಾದ ಸರ್ವರ್ ಫ್ಯಾಕ್ಟರಿಯನ್ನು ಹೊಂದಿವೆ
ಮೇಲಿನ ಎರಡಕ್ಕೂ ಭಿನ್ನವಾಗಿ, ವಿಂಗಡಣೆಯಾದ ವಾಸ್ತುಶಿಲ್ಪವು ಸೂಚಿಸುತ್ತದೆ ಸಿಸ್ಟಮ್ ಅನ್ನು ಕಂಪ್ಯೂಟಿಂಗ್ ಫ್ಯಾಬ್ರಿಕ್ ಮತ್ತು ಸಮತಲ ಶೇಖರಣಾ ವ್ಯವಸ್ಥೆಯಾಗಿ ವಿಭಜಿಸುವುದು. ಇದು ಎರಡೂ ಆರ್ಕಿಟೆಕ್ಚರ್ಗಳ ಪ್ರಯೋಜನಗಳನ್ನು ಒದಗಿಸುತ್ತದೆ ಮತ್ತು ಕಾರ್ಯಕ್ಷಮತೆಯ ಕೊರತೆಯಿರುವ ಅಂಶದ ಬಹುತೇಕ ಅನಿಯಮಿತ ಸ್ಕೇಲಿಂಗ್ ಅನ್ನು ಅನುಮತಿಸುತ್ತದೆ.
ಏಕೀಕರಣದಿಂದ ಒಮ್ಮುಖದವರೆಗೆ
ಒಂದು ಶ್ರೇಷ್ಠ ಕಾರ್ಯ, ಕಳೆದ 15 ವರ್ಷಗಳಲ್ಲಿ ಮಾತ್ರ ಬೆಳೆದಿರುವ ಪ್ರಸ್ತುತತೆ, ಏಕಕಾಲದಲ್ಲಿ ಬ್ಲಾಕ್ ಸಂಗ್ರಹಣೆ, ಫೈಲ್ ಪ್ರವೇಶ, ವಸ್ತುಗಳಿಗೆ ಪ್ರವೇಶ, ದೊಡ್ಡ ಡೇಟಾ ಫಾರ್ಮ್ನ ಕಾರ್ಯಾಚರಣೆ ಇತ್ಯಾದಿಗಳನ್ನು ಒದಗಿಸುವ ಅವಶ್ಯಕತೆಯಿದೆ. ಕೇಕ್ ಮೇಲೆ ಐಸಿಂಗ್ ಕೂಡ ಮಾಡಬಹುದು. ಉದಾಹರಣೆಗೆ, ಮ್ಯಾಗ್ನೆಟಿಕ್ ಟೇಪ್ನಲ್ಲಿ ಬ್ಯಾಕಪ್ ಸಿಸ್ಟಮ್.
ಮೊದಲ ಹಂತದಲ್ಲಿ, ಈ ಸೇವೆಗಳ ನಿರ್ವಹಣೆಯನ್ನು ಮಾತ್ರ ಏಕೀಕರಿಸಬಹುದು. ಭಿನ್ನಜಾತಿಯ ಡೇಟಾ ಶೇಖರಣಾ ವ್ಯವಸ್ಥೆಗಳನ್ನು ಕೆಲವು ವಿಶೇಷ ಸಾಫ್ಟ್ವೇರ್ಗಳಿಗೆ ಸಂಪರ್ಕಿಸಲಾಗಿದೆ, ಅದರ ಮೂಲಕ ನಿರ್ವಾಹಕರು ಲಭ್ಯವಿರುವ ಪೂಲ್ಗಳಿಂದ ಸಂಪನ್ಮೂಲಗಳನ್ನು ವಿತರಿಸಿದರು. ಆದರೆ ಈ ಪೂಲ್ಗಳು ವಿಭಿನ್ನ ಯಂತ್ರಾಂಶವನ್ನು ಹೊಂದಿದ್ದರಿಂದ, ಅವುಗಳ ನಡುವೆ ಲೋಡ್ ವಲಸೆ ಅಸಾಧ್ಯವಾಗಿತ್ತು. ಹೆಚ್ಚಿನ ಮಟ್ಟದ ಏಕೀಕರಣದಲ್ಲಿ, ಗೇಟ್ವೇ ಮಟ್ಟದಲ್ಲಿ ಒಟ್ಟುಗೂಡುವಿಕೆ ಸಂಭವಿಸಿದೆ. ಫೈಲ್ ಹಂಚಿಕೆ ಲಭ್ಯವಿದ್ದರೆ, ಅದನ್ನು ವಿವಿಧ ಪ್ರೋಟೋಕಾಲ್ಗಳ ಮೂಲಕ ನೀಡಬಹುದು.
ಪ್ರಸ್ತುತ ನಮಗೆ ಲಭ್ಯವಿರುವ ಅತ್ಯಾಧುನಿಕ ಒಮ್ಮುಖ ವಿಧಾನವು ಸಾರ್ವತ್ರಿಕ ಹೈಬ್ರಿಡ್ ವ್ಯವಸ್ಥೆಯನ್ನು ರಚಿಸುವುದನ್ನು ಒಳಗೊಂಡಿರುತ್ತದೆ. ನಿಖರವಾಗಿ ನಮ್ಮದು ಏನಾಗಬೇಕು
ಮಾಹಿತಿಯನ್ನು ಸಂಗ್ರಹಿಸುವ ವೆಚ್ಚವು ಈಗ ಅನೇಕ ವಾಸ್ತುಶಿಲ್ಪದ ನಿರ್ಧಾರಗಳನ್ನು ನಿರ್ಧರಿಸುತ್ತದೆ. ಮತ್ತು ಅದನ್ನು ಸುರಕ್ಷಿತವಾಗಿ ಮುಂಚೂಣಿಯಲ್ಲಿ ಇರಿಸಬಹುದಾದರೂ, ಇಂದು ನಾವು ಸಕ್ರಿಯ ಪ್ರವೇಶದೊಂದಿಗೆ "ಲೈವ್" ಸಂಗ್ರಹಣೆಯನ್ನು ಚರ್ಚಿಸುತ್ತಿದ್ದೇವೆ, ಆದ್ದರಿಂದ ಕಾರ್ಯಕ್ಷಮತೆಯನ್ನು ಸಹ ಗಣನೆಗೆ ತೆಗೆದುಕೊಳ್ಳಬೇಕು. ಮುಂದಿನ ಪೀಳಿಗೆಯ ವಿತರಣಾ ವ್ಯವಸ್ಥೆಗಳ ಮತ್ತೊಂದು ಪ್ರಮುಖ ಆಸ್ತಿ ಏಕೀಕರಣವಾಗಿದೆ. ಎಲ್ಲಾ ನಂತರ, ವಿಭಿನ್ನ ಕನ್ಸೋಲ್ಗಳಿಂದ ನಿಯಂತ್ರಿಸಲ್ಪಡುವ ಹಲವಾರು ವಿಭಿನ್ನ ವ್ಯವಸ್ಥೆಗಳನ್ನು ಹೊಂದಲು ಯಾರೂ ಬಯಸುವುದಿಲ್ಲ. ಈ ಎಲ್ಲಾ ಗುಣಗಳು Huawei ಉತ್ಪನ್ನಗಳ ಹೊಸ ಸರಣಿಯಲ್ಲಿ ಸಾಕಾರಗೊಂಡಿದೆ
ಹೊಸ ಪೀಳಿಗೆಯ ಸಾಮೂಹಿಕ ಶೇಖರಣಾ ವ್ಯವಸ್ಥೆ
OceanStor ಪೆಸಿಫಿಕ್ ಆರು-ನೈನ್ ವಿಶ್ವಾಸಾರ್ಹತೆ ಅಗತ್ಯತೆಗಳನ್ನು (99,9999%) ಪೂರೈಸುತ್ತದೆ ಮತ್ತು ಹೈಪರ್ಮೆಟ್ರೋ ವರ್ಗ ಡೇಟಾ ಕೇಂದ್ರಗಳನ್ನು ರಚಿಸಲು ಬಳಸಬಹುದು. 100 ಕಿಮೀ ವರೆಗಿನ ಎರಡು ಡೇಟಾ ಕೇಂದ್ರಗಳ ನಡುವಿನ ಅಂತರದೊಂದಿಗೆ, ಸಿಸ್ಟಮ್ಗಳು 2 ಎಂಎಸ್ನ ಹೆಚ್ಚುವರಿ ಸುಪ್ತತೆಯನ್ನು ಪ್ರದರ್ಶಿಸುತ್ತವೆ, ಇದು ಕೋರಮ್ ಸರ್ವರ್ಗಳನ್ನು ಒಳಗೊಂಡಂತೆ ಯಾವುದೇ ವಿಪತ್ತು-ನಿರೋಧಕ ಪರಿಹಾರಗಳನ್ನು ಅವುಗಳ ಆಧಾರದ ಮೇಲೆ ನಿರ್ಮಿಸಲು ಸಾಧ್ಯವಾಗಿಸುತ್ತದೆ.
ಹೊಸ ಸರಣಿಯ ಉತ್ಪನ್ನಗಳು ಪ್ರೋಟೋಕಾಲ್ ಬಹುಮುಖತೆಯನ್ನು ಪ್ರದರ್ಶಿಸುತ್ತವೆ. ಈಗಾಗಲೇ, OceanStor 100D ಬ್ಲಾಕ್ ಪ್ರವೇಶ, ವಸ್ತು ಪ್ರವೇಶ ಮತ್ತು Hadoop ಪ್ರವೇಶವನ್ನು ಬೆಂಬಲಿಸುತ್ತದೆ. ಮುಂದಿನ ದಿನಗಳಲ್ಲಿ ಫೈಲ್ ಪ್ರವೇಶವನ್ನು ಸಹ ಅಳವಡಿಸಲಾಗುವುದು. ವಿಭಿನ್ನ ಪ್ರೋಟೋಕಾಲ್ಗಳ ಮೂಲಕ ನೀಡಬಹುದಾದರೆ ಡೇಟಾದ ಬಹು ಪ್ರತಿಗಳನ್ನು ಸಂಗ್ರಹಿಸುವ ಅಗತ್ಯವಿಲ್ಲ.
ಇದು ತೋರುತ್ತದೆ, "ನಷ್ಟವಿಲ್ಲದ ನೆಟ್ವರ್ಕ್" ಪರಿಕಲ್ಪನೆಯು ಶೇಖರಣಾ ವ್ಯವಸ್ಥೆಗಳೊಂದಿಗೆ ಏನು ಮಾಡಬೇಕು? ಸತ್ಯವೆಂದರೆ ವಿತರಿಸಲಾದ ಡೇಟಾ ಶೇಖರಣಾ ವ್ಯವಸ್ಥೆಗಳು ಸೂಕ್ತವಾದ ಕ್ರಮಾವಳಿಗಳು ಮತ್ತು RoCE ಕಾರ್ಯವಿಧಾನವನ್ನು ಬೆಂಬಲಿಸುವ ವೇಗದ ನೆಟ್ವರ್ಕ್ನ ಆಧಾರದ ಮೇಲೆ ನಿರ್ಮಿಸಲಾಗಿದೆ. ನಮ್ಮ ಸ್ವಿಚ್ಗಳು ಬೆಂಬಲಿಸುವ ಕೃತಕ ಬುದ್ಧಿಮತ್ತೆ ವ್ಯವಸ್ಥೆಯು ನೆಟ್ವರ್ಕ್ ವೇಗವನ್ನು ಇನ್ನಷ್ಟು ಹೆಚ್ಚಿಸಲು ಮತ್ತು ಸುಪ್ತತೆಯನ್ನು ಕಡಿಮೆ ಮಾಡಲು ಸಹಾಯ ಮಾಡುತ್ತದೆ.
ಹೊಸ OceanStor ಪೆಸಿಫಿಕ್ ವಿತರಣೆ ಶೇಖರಣಾ ನೋಡ್ ಯಾವುದು? 5U ಫಾರ್ಮ್ ಫ್ಯಾಕ್ಟರ್ ಪರಿಹಾರವು 120 ಡ್ರೈವ್ಗಳನ್ನು ಒಳಗೊಂಡಿದೆ ಮತ್ತು ಮೂರು ಕ್ಲಾಸಿಕ್ ನೋಡ್ಗಳನ್ನು ಬದಲಾಯಿಸಬಹುದು, ಇದು ರ್ಯಾಕ್ ಜಾಗದಲ್ಲಿ ಎರಡು ಪಟ್ಟು ಹೆಚ್ಚು ಉಳಿತಾಯವನ್ನು ಒದಗಿಸುತ್ತದೆ. ಪ್ರತಿಗಳನ್ನು ಸಂಗ್ರಹಿಸದೆ, ಡ್ರೈವ್ಗಳ ದಕ್ಷತೆಯು ಗಮನಾರ್ಹವಾಗಿ ಹೆಚ್ಚಾಗುತ್ತದೆ (+92% ವರೆಗೆ).
ಸಾಫ್ಟ್ವೇರ್-ವ್ಯಾಖ್ಯಾನಿತ ಸಂಗ್ರಹಣೆಯು ಕ್ಲಾಸಿಕ್ ಸರ್ವರ್ನಲ್ಲಿ ಸ್ಥಾಪಿಸಲಾದ ವಿಶೇಷ ಸಾಫ್ಟ್ವೇರ್ ಆಗಿದೆ ಎಂಬ ಅಂಶಕ್ಕೆ ನಾವು ಒಗ್ಗಿಕೊಂಡಿರುತ್ತೇವೆ. ಆದರೆ ಈಗ, ಸೂಕ್ತವಾದ ನಿಯತಾಂಕಗಳನ್ನು ಸಾಧಿಸಲು, ಈ ವಾಸ್ತುಶಿಲ್ಪದ ಪರಿಹಾರವು ವಿಶೇಷ ನೋಡ್ಗಳ ಅಗತ್ಯವಿರುತ್ತದೆ. ಇದು ಮೂರು ಇಂಚಿನ ಡ್ರೈವ್ಗಳ ಶ್ರೇಣಿಯನ್ನು ನಿರ್ವಹಿಸುವ ARM ಪ್ರೊಸೆಸರ್ಗಳ ಆಧಾರದ ಮೇಲೆ ಎರಡು ಸರ್ವರ್ಗಳನ್ನು ಒಳಗೊಂಡಿದೆ.
ಈ ಸರ್ವರ್ಗಳು ಹೈಪರ್ಕನ್ವರ್ಜ್ಡ್ ಪರಿಹಾರಗಳಿಗೆ ಸೂಕ್ತವಲ್ಲ. ಮೊದಲನೆಯದಾಗಿ, ARM ಗಾಗಿ ಕೆಲವು ಅಪ್ಲಿಕೇಶನ್ಗಳಿವೆ, ಮತ್ತು ಎರಡನೆಯದಾಗಿ, ಲೋಡ್ ಸಮತೋಲನವನ್ನು ನಿರ್ವಹಿಸುವುದು ಕಷ್ಟ. ಪ್ರತ್ಯೇಕ ಸಂಗ್ರಹಣೆಗೆ ಚಲಿಸುವಂತೆ ನಾವು ಪ್ರಸ್ತಾಪಿಸುತ್ತೇವೆ: ಕ್ಲಾಸಿಕ್ ಅಥವಾ ರ್ಯಾಕ್ ಸರ್ವರ್ಗಳಿಂದ ಪ್ರತಿನಿಧಿಸುವ ಕಂಪ್ಯೂಟಿಂಗ್ ಕ್ಲಸ್ಟರ್ ಪ್ರತ್ಯೇಕವಾಗಿ ಕಾರ್ಯನಿರ್ವಹಿಸುತ್ತದೆ, ಆದರೆ ಓಷನ್ಸ್ಟಾರ್ ಪೆಸಿಫಿಕ್ ಶೇಖರಣಾ ನೋಡ್ಗಳಿಗೆ ಸಂಪರ್ಕ ಹೊಂದಿದೆ, ಅದು ಅವರ ನೇರ ಕಾರ್ಯಗಳನ್ನು ಸಹ ನಿರ್ವಹಿಸುತ್ತದೆ. ಮತ್ತು ಅದು ತನ್ನನ್ನು ತಾನೇ ಸಮರ್ಥಿಸಿಕೊಳ್ಳುತ್ತದೆ.
ಉದಾಹರಣೆಗೆ, 15 ಸರ್ವರ್ ರಾಕ್ಗಳನ್ನು ಆಕ್ರಮಿಸುವ ಹೈಪರ್ಕನ್ವರ್ಜ್ಡ್ ಸಿಸ್ಟಮ್ನೊಂದಿಗೆ ಕ್ಲಾಸಿಕ್ ದೊಡ್ಡ ಡೇಟಾ ಸಂಗ್ರಹಣೆ ಪರಿಹಾರವನ್ನು ತೆಗೆದುಕೊಳ್ಳೋಣ. ಪ್ರತ್ಯೇಕ ಕಂಪ್ಯೂಟಿಂಗ್ ಸರ್ವರ್ಗಳು ಮತ್ತು OceanStor ಪೆಸಿಫಿಕ್ ಶೇಖರಣಾ ನೋಡ್ಗಳ ನಡುವೆ ನೀವು ಲೋಡ್ ಅನ್ನು ವಿತರಿಸಿದರೆ, ಅವುಗಳನ್ನು ಪರಸ್ಪರ ಬೇರ್ಪಡಿಸಿದರೆ, ಅಗತ್ಯವಿರುವ ಚರಣಿಗೆಗಳ ಸಂಖ್ಯೆಯನ್ನು ಅರ್ಧಕ್ಕೆ ಇಳಿಸಲಾಗುತ್ತದೆ! ಇದು ಡೇಟಾ ಸೆಂಟರ್ ನಿರ್ವಹಣಾ ವೆಚ್ಚವನ್ನು ಕಡಿಮೆ ಮಾಡುತ್ತದೆ ಮತ್ತು ಮಾಲೀಕತ್ವದ ಒಟ್ಟು ವೆಚ್ಚವನ್ನು ಕಡಿಮೆ ಮಾಡುತ್ತದೆ. ಸಂಗ್ರಹಿಸಲಾದ ಮಾಹಿತಿಯ ಪ್ರಮಾಣವು ವರ್ಷಕ್ಕೆ 30% ರಷ್ಟು ಬೆಳೆಯುತ್ತಿರುವ ಜಗತ್ತಿನಲ್ಲಿ, ಅಂತಹ ಅನುಕೂಲಗಳನ್ನು ಎಸೆಯಲಾಗುವುದಿಲ್ಲ.
***
ನಮ್ಮಲ್ಲಿ ನೀವು Huawei ಪರಿಹಾರಗಳು ಮತ್ತು ಅವುಗಳ ಅಪ್ಲಿಕೇಶನ್ ಸನ್ನಿವೇಶಗಳ ಕುರಿತು ಹೆಚ್ಚಿನ ಮಾಹಿತಿಯನ್ನು ಪಡೆಯಬಹುದು
ಮೂಲ: www.habr.com