ವಿತರಿಸಿದ ಕಂಪ್ಯೂಟಿಂಗ್ ಮತ್ತು ದೊಡ್ಡ ಡೇಟಾದ ಮಾರುಕಟ್ಟೆ, ಪ್ರಕಾರ , ವರ್ಷಕ್ಕೆ 18-19% ರಷ್ಟು ಬೆಳೆಯುತ್ತಿದೆ. ಇದರರ್ಥ ಈ ಉದ್ದೇಶಗಳಿಗಾಗಿ ಸಾಫ್ಟ್‌ವೇರ್ ಅನ್ನು ಆಯ್ಕೆ ಮಾಡುವ ಸಮಸ್ಯೆ ಪ್ರಸ್ತುತವಾಗಿದೆ. ಈ ಪೋಸ್ಟ್‌ನಲ್ಲಿ, ವಿತರಣೆಯ ಕಂಪ್ಯೂಟಿಂಗ್ ಏಕೆ ಬೇಕು ಎಂಬುದರ ಕುರಿತು ನಾವು ಪ್ರಾರಂಭಿಸುತ್ತೇವೆ, ಸಾಫ್ಟ್‌ವೇರ್ ಅನ್ನು ಆಯ್ಕೆ ಮಾಡುವ ಕುರಿತು ಹೆಚ್ಚಿನ ವಿವರಗಳಿಗೆ ಹೋಗುತ್ತೇವೆ, ಕ್ಲೌಡೆರಾವನ್ನು ಬಳಸಿಕೊಂಡು ಹಡೂಪ್ ಬಳಸುವ ಬಗ್ಗೆ ಮಾತನಾಡುತ್ತೇವೆ ಮತ್ತು ಅಂತಿಮವಾಗಿ ಹಾರ್ಡ್ವೇರ್ ಅನ್ನು ಆಯ್ಕೆ ಮಾಡುವ ಬಗ್ಗೆ ಮತ್ತು ಅದು ವಿಭಿನ್ನ ರೀತಿಯಲ್ಲಿ ಕಾರ್ಯಕ್ಷಮತೆಯ ಮೇಲೆ ಹೇಗೆ ಪರಿಣಾಮ ಬೀರುತ್ತದೆ ಎಂಬುದರ ಕುರಿತು ಮಾತನಾಡುತ್ತೇವೆ.
ಸಾಮಾನ್ಯ ವ್ಯವಹಾರದಲ್ಲಿ ವಿತರಿಸಿದ ಕಂಪ್ಯೂಟಿಂಗ್ ಏಕೆ ಅಗತ್ಯವಿದೆ? ಇಲ್ಲಿ ಎಲ್ಲವೂ ಒಂದೇ ಸಮಯದಲ್ಲಿ ಸರಳ ಮತ್ತು ಸಂಕೀರ್ಣವಾಗಿದೆ. ಸರಳ - ಏಕೆಂದರೆ ಹೆಚ್ಚಿನ ಸಂದರ್ಭಗಳಲ್ಲಿ ನಾವು ಮಾಹಿತಿಯ ಪ್ರತಿ ಘಟಕಕ್ಕೆ ತುಲನಾತ್ಮಕವಾಗಿ ಸರಳ ಲೆಕ್ಕಾಚಾರಗಳನ್ನು ಮಾಡುತ್ತೇವೆ. ಅಂತಹ ಸಾಕಷ್ಟು ಮಾಹಿತಿ ಇರುವುದರಿಂದ ಇದು ಕಷ್ಟ. ಬಹಳಷ್ಟು. ಪರಿಣಾಮವಾಗಿ, ಇದು ಅವಶ್ಯಕ . ಹೀಗಾಗಿ, ಬಳಕೆಯ ಪ್ರಕರಣಗಳು ಸಾಕಷ್ಟು ಸಾರ್ವತ್ರಿಕವಾಗಿವೆ: ಇನ್ನೂ ದೊಡ್ಡ ಶ್ರೇಣಿಯ ಡೇಟಾದಲ್ಲಿ ಹೆಚ್ಚಿನ ಸಂಖ್ಯೆಯ ಮೆಟ್ರಿಕ್‌ಗಳನ್ನು ಗಣನೆಗೆ ತೆಗೆದುಕೊಳ್ಳಲು ಅಗತ್ಯವಿರುವಲ್ಲೆಲ್ಲಾ ಲೆಕ್ಕಾಚಾರಗಳನ್ನು ಬಳಸಬಹುದು.
ಇತ್ತೀಚಿನ ಉದಾಹರಣೆಗಳಲ್ಲಿ ಒಂದು: ಪಿಜ್ಜೇರಿಯಾ ಚೈನ್ ಡೋಡೋ ಪಿಜ್ಜಾ ಗ್ರಾಹಕ ಆರ್ಡರ್ ಡೇಟಾಬೇಸ್‌ನ ವಿಶ್ಲೇಷಣೆಯ ಆಧಾರದ ಮೇಲೆ, ಯಾದೃಚ್ಛಿಕ ಅಗ್ರಸ್ಥಾನದೊಂದಿಗೆ ಪಿಜ್ಜಾವನ್ನು ಆಯ್ಕೆಮಾಡುವಾಗ, ಬಳಕೆದಾರರು ಸಾಮಾನ್ಯವಾಗಿ ಕೇವಲ ಆರು ಮೂಲ ಪದಾರ್ಥಗಳ ಜೊತೆಗೆ ಒಂದೆರಡು ಯಾದೃಚ್ಛಿಕ ಪದಾರ್ಥಗಳೊಂದಿಗೆ ಕಾರ್ಯನಿರ್ವಹಿಸುತ್ತಾರೆ. ಇದಕ್ಕೆ ಅನುಗುಣವಾಗಿ, ಪಿಜ್ಜೇರಿಯಾ ತನ್ನ ಖರೀದಿಗಳನ್ನು ಸರಿಹೊಂದಿಸಿತು. ಹೆಚ್ಚುವರಿಯಾಗಿ, ಆರ್ಡರ್ ಮಾಡುವ ಹಂತದಲ್ಲಿ ಬಳಕೆದಾರರಿಗೆ ನೀಡಲಾಗುವ ಹೆಚ್ಚುವರಿ ಉತ್ಪನ್ನಗಳನ್ನು ಉತ್ತಮವಾಗಿ ಶಿಫಾರಸು ಮಾಡಲು ಅವಳು ಸಾಧ್ಯವಾಯಿತು, ಇದು ಲಾಭವನ್ನು ಹೆಚ್ಚಿಸಿತು.
ಇನ್ನೂ ಒಂದು ಉದಾಹರಣೆ: ಉತ್ಪನ್ನದ ಐಟಂಗಳು H&M ಅಂಗಡಿಯು ಮಾರಾಟದ ಮಟ್ಟವನ್ನು ಕಾಯ್ದುಕೊಳ್ಳುವಾಗ ಪ್ರತ್ಯೇಕ ಮಳಿಗೆಗಳಲ್ಲಿ 40% ರಷ್ಟು ವಿಂಗಡಣೆಯನ್ನು ಕಡಿಮೆ ಮಾಡಲು ಅವಕಾಶ ಮಾಡಿಕೊಟ್ಟಿತು. ಕಳಪೆ ಮಾರಾಟವಾದ ವಸ್ತುಗಳನ್ನು ಹೊರತುಪಡಿಸಿ ಇದನ್ನು ಸಾಧಿಸಲಾಗಿದೆ ಮತ್ತು ಲೆಕ್ಕಾಚಾರದಲ್ಲಿ ಋತುಮಾನವನ್ನು ಗಣನೆಗೆ ತೆಗೆದುಕೊಳ್ಳಲಾಗಿದೆ.
ಪರಿಕರ ಆಯ್ಕೆ
ಈ ರೀತಿಯ ಕಂಪ್ಯೂಟಿಂಗ್‌ಗೆ ಉದ್ಯಮದ ಮಾನದಂಡವೆಂದರೆ ಹಡೂಪ್. ಏಕೆ? ಏಕೆಂದರೆ ಹಡೂಪ್ ಅತ್ಯುತ್ತಮವಾದ, ಉತ್ತಮವಾಗಿ ದಾಖಲಿಸಲಾದ ಚೌಕಟ್ಟಾಗಿದೆ (ಅದೇ ಹಬ್ರ್ ಈ ವಿಷಯದ ಕುರಿತು ಅನೇಕ ವಿವರವಾದ ಲೇಖನಗಳನ್ನು ಒದಗಿಸುತ್ತದೆ), ಇದು ಸಂಪೂರ್ಣ ಉಪಯುಕ್ತತೆಗಳು ಮತ್ತು ಲೈಬ್ರರಿಗಳೊಂದಿಗೆ ಇರುತ್ತದೆ. ನೀವು ರಚನಾತ್ಮಕ ಮತ್ತು ರಚನೆಯಿಲ್ಲದ ಡೇಟಾದ ದೊಡ್ಡ ಸೆಟ್‌ಗಳನ್ನು ಇನ್‌ಪುಟ್ ಮಾಡಬಹುದು ಮತ್ತು ಸಿಸ್ಟಮ್ ಸ್ವತಃ ಅದನ್ನು ಕಂಪ್ಯೂಟಿಂಗ್ ಪವರ್‌ನಲ್ಲಿ ವಿತರಿಸುತ್ತದೆ. ಇದಲ್ಲದೆ, ಇದೇ ಸಾಮರ್ಥ್ಯಗಳನ್ನು ಯಾವುದೇ ಸಮಯದಲ್ಲಿ ಹೆಚ್ಚಿಸಬಹುದು ಅಥವಾ ನಿಷ್ಕ್ರಿಯಗೊಳಿಸಬಹುದು - ಕ್ರಿಯೆಯಲ್ಲಿ ಅದೇ ಸಮತಲ ಸ್ಕೇಲೆಬಿಲಿಟಿ.
2017 ರಲ್ಲಿ, ಪ್ರಭಾವಿ ಸಲಹಾ ಕಂಪನಿ ಗಾರ್ಟ್ನರ್ ಹಡೂಪ್ ಶೀಘ್ರದಲ್ಲೇ ಬಳಕೆಯಲ್ಲಿಲ್ಲ ಎಂದು. ಕಾರಣವು ತುಂಬಾ ನೀರಸವಾಗಿದೆ: ಕಂಪನಿಗಳು ಸಾಮೂಹಿಕವಾಗಿ ಕ್ಲೌಡ್‌ಗೆ ವಲಸೆ ಹೋಗುತ್ತವೆ ಎಂದು ವಿಶ್ಲೇಷಕರು ನಂಬುತ್ತಾರೆ, ಏಕೆಂದರೆ ಅವರು ಕಂಪ್ಯೂಟಿಂಗ್ ಶಕ್ತಿಯನ್ನು ಬಳಸುವಾಗ ಪಾವತಿಸಲು ಸಾಧ್ಯವಾಗುತ್ತದೆ. ಹಡೂಪ್ ಅನ್ನು "ಸಮಾಧಿ" ಮಾಡಬಹುದಾದ ಎರಡನೇ ಪ್ರಮುಖ ಅಂಶವೆಂದರೆ ಅದರ ವೇಗ. ಏಕೆಂದರೆ Apache Spark ಅಥವಾ Google Cloud DataFlow ನಂತಹ ಆಯ್ಕೆಗಳು MapReduce ಗಿಂತ ವೇಗವಾಗಿರುತ್ತದೆ, ಇದು Hadoop ಅನ್ನು ಆಧರಿಸಿದೆ.
ಹಡೂಪ್ ಹಲವಾರು ಸ್ತಂಭಗಳ ಮೇಲೆ ನಿಂತಿದೆ, ಅವುಗಳಲ್ಲಿ ಅತ್ಯಂತ ಗಮನಾರ್ಹವಾದವು ಮ್ಯಾಪ್‌ರೆಡ್ಯೂಸ್ ತಂತ್ರಜ್ಞಾನಗಳು (ಸರ್ವರ್‌ಗಳ ನಡುವಿನ ಲೆಕ್ಕಾಚಾರಗಳಿಗೆ ಡೇಟಾವನ್ನು ವಿತರಿಸುವ ವ್ಯವಸ್ಥೆ) ಮತ್ತು HDFS ಫೈಲ್ ಸಿಸ್ಟಮ್. ಎರಡನೆಯದು ಕ್ಲಸ್ಟರ್ ನೋಡ್‌ಗಳ ನಡುವೆ ವಿತರಿಸಲಾದ ಮಾಹಿತಿಯನ್ನು ಸಂಗ್ರಹಿಸಲು ವಿಶೇಷವಾಗಿ ವಿನ್ಯಾಸಗೊಳಿಸಲಾಗಿದೆ: ಸ್ಥಿರ ಗಾತ್ರದ ಪ್ರತಿಯೊಂದು ಬ್ಲಾಕ್ ಅನ್ನು ಹಲವಾರು ನೋಡ್‌ಗಳಲ್ಲಿ ಇರಿಸಬಹುದು ಮತ್ತು ಪುನರಾವರ್ತನೆಗೆ ಧನ್ಯವಾದಗಳು, ಸಿಸ್ಟಮ್ ಪ್ರತ್ಯೇಕ ನೋಡ್‌ಗಳ ವೈಫಲ್ಯಗಳಿಗೆ ಸ್ಥಿತಿಸ್ಥಾಪಕವಾಗಿದೆ. ಫೈಲ್ ಟೇಬಲ್ ಬದಲಿಗೆ, ನೇಮ್ನೋಡ್ ಎಂಬ ವಿಶೇಷ ಸರ್ವರ್ ಅನ್ನು ಬಳಸಲಾಗುತ್ತದೆ.
ಕೆಳಗಿನ ವಿವರಣೆಯು MapReduce ಹೇಗೆ ಕಾರ್ಯನಿರ್ವಹಿಸುತ್ತದೆ ಎಂಬುದನ್ನು ತೋರಿಸುತ್ತದೆ. ಮೊದಲ ಹಂತದಲ್ಲಿ, ಡೇಟಾವನ್ನು ಒಂದು ನಿರ್ದಿಷ್ಟ ಮಾನದಂಡದ ಪ್ರಕಾರ ವಿಂಗಡಿಸಲಾಗಿದೆ, ಎರಡನೇ ಹಂತದಲ್ಲಿ ಅದನ್ನು ಕಂಪ್ಯೂಟಿಂಗ್ ಶಕ್ತಿಯ ಪ್ರಕಾರ ವಿತರಿಸಲಾಗುತ್ತದೆ ಮತ್ತು ಮೂರನೇ ಹಂತದಲ್ಲಿ ಲೆಕ್ಕಾಚಾರ ನಡೆಯುತ್ತದೆ.
MapReduce ಅನ್ನು ಮೂಲತಃ ಅದರ ಹುಡುಕಾಟ ಅಗತ್ಯಗಳಿಗಾಗಿ Google ನಿಂದ ರಚಿಸಲಾಗಿದೆ. ನಂತರ MapReduce ಉಚಿತ ಕೋಡ್ ಅನ್ನು ಪಡೆದುಕೊಂಡಿತು ಮತ್ತು ಅಪಾಚೆ ಯೋಜನೆಯನ್ನು ವಹಿಸಿಕೊಂಡರು. ಸರಿ, Google ಕ್ರಮೇಣ ಇತರ ಪರಿಹಾರಗಳಿಗೆ ಸ್ಥಳಾಂತರಗೊಂಡಿತು. ಆಸಕ್ತಿದಾಯಕ ಟಿಡ್‌ಬಿಟ್: ಗೂಗಲ್ ಪ್ರಸ್ತುತ ಗೂಗಲ್ ಕ್ಲೌಡ್ ಡೇಟಾಫ್ಲೋ ಎಂಬ ಯೋಜನೆಯನ್ನು ಹೊಂದಿದೆ, ಹಡೂಪ್ ನಂತರದ ಮುಂದಿನ ಹಂತವಾಗಿ ಅದನ್ನು ತ್ವರಿತ ಬದಲಿಯಾಗಿ ಇರಿಸಲಾಗಿದೆ.
Google ಕ್ಲೌಡ್ ಡೇಟಾಫ್ಲೋ ಅಪಾಚೆ ಬೀಮ್‌ನ ಬದಲಾವಣೆಯನ್ನು ಆಧರಿಸಿದೆ ಎಂದು ಸೂಕ್ಷ್ಮವಾಗಿ ಗಮನಿಸಿದರೆ, ಅಪಾಚೆ ಬೀಮ್ ಉತ್ತಮವಾಗಿ ದಾಖಲಿಸಲಾದ ಅಪಾಚೆ ಸ್ಪಾರ್ಕ್ ಫ್ರೇಮ್‌ವರ್ಕ್ ಅನ್ನು ಒಳಗೊಂಡಿದೆ, ಇದು ಪರಿಹಾರಗಳ ಬಹುತೇಕ ಅದೇ ಕಾರ್ಯಗತಗೊಳಿಸುವ ವೇಗದ ಬಗ್ಗೆ ಮಾತನಾಡಲು ನಮಗೆ ಅನುಮತಿಸುತ್ತದೆ. ಸರಿ, ಅಪಾಚೆ ಸ್ಪಾರ್ಕ್ HDFS ಫೈಲ್ ಸಿಸ್ಟಮ್‌ನಲ್ಲಿ ಸಂಪೂರ್ಣವಾಗಿ ಕಾರ್ಯನಿರ್ವಹಿಸುತ್ತದೆ, ಇದು ಹಡೂಪ್ ಸರ್ವರ್‌ಗಳಲ್ಲಿ ನಿಯೋಜಿಸಲು ಅನುವು ಮಾಡಿಕೊಡುತ್ತದೆ.
Hadoop ಮತ್ತು Spark ವರ್ಸಸ್ Google Cloud Dataflow ಗಾಗಿ ದಸ್ತಾವೇಜನ್ನು ಮತ್ತು ಸಿದ್ಧ ಪರಿಹಾರಗಳನ್ನು ಇಲ್ಲಿ ಸೇರಿಸಿ, ಮತ್ತು ಉಪಕರಣದ ಆಯ್ಕೆಯು ಸ್ಪಷ್ಟವಾಗುತ್ತದೆ. ಇದಲ್ಲದೆ, ಎಂಜಿನಿಯರ್‌ಗಳು ಯಾವ ಕೋಡ್ ಅನ್ನು ಸ್ವತಃ ನಿರ್ಧರಿಸಬಹುದು - ಹಡೂಪ್ ಅಥವಾ ಸ್ಪಾರ್ಕ್‌ಗಾಗಿ - ಅವರು ಕಾರ್ಯ, ಅನುಭವ ಮತ್ತು ಅರ್ಹತೆಗಳ ಮೇಲೆ ಕೇಂದ್ರೀಕರಿಸಿ ಚಲಾಯಿಸಬೇಕು.
ಮೇಘ ಅಥವಾ ಸ್ಥಳೀಯ ಸರ್ವರ್
ಕ್ಲೌಡ್‌ಗೆ ಸಾಮಾನ್ಯ ಪರಿವರ್ತನೆಯ ಪ್ರವೃತ್ತಿಯು ಹಡೂಪ್-ಆಸ್-ಎ-ಸೇವೆಯಂತಹ ಆಸಕ್ತಿದಾಯಕ ಪದವನ್ನು ಸಹ ಹುಟ್ಟುಹಾಕಿದೆ. ಅಂತಹ ಸನ್ನಿವೇಶದಲ್ಲಿ, ಸಂಪರ್ಕಿತ ಸರ್ವರ್‌ಗಳ ಆಡಳಿತವು ಬಹಳ ಮುಖ್ಯವಾಯಿತು. ಏಕೆಂದರೆ, ಅಯ್ಯೋ, ಅದರ ಜನಪ್ರಿಯತೆಯ ಹೊರತಾಗಿಯೂ, ಶುದ್ಧ ಹಡೂಪ್ ಅನ್ನು ಕಾನ್ಫಿಗರ್ ಮಾಡಲು ಸಾಕಷ್ಟು ಕಷ್ಟಕರವಾದ ಸಾಧನವಾಗಿದೆ, ಏಕೆಂದರೆ ಬಹಳಷ್ಟು ಕೈಯಿಂದ ಮಾಡಬೇಕಾಗಿದೆ. ಉದಾಹರಣೆಗೆ, ಸರ್ವರ್‌ಗಳನ್ನು ಪ್ರತ್ಯೇಕವಾಗಿ ಕಾನ್ಫಿಗರ್ ಮಾಡಿ, ಅವುಗಳ ಕಾರ್ಯಕ್ಷಮತೆಯನ್ನು ಮೇಲ್ವಿಚಾರಣೆ ಮಾಡಿ ಮತ್ತು ಅನೇಕ ನಿಯತಾಂಕಗಳನ್ನು ಎಚ್ಚರಿಕೆಯಿಂದ ಕಾನ್ಫಿಗರ್ ಮಾಡಿ. ಸಾಮಾನ್ಯವಾಗಿ, ಕೆಲಸವು ಹವ್ಯಾಸಿಗಳಿಗೆ ಮತ್ತು ಎಲ್ಲೋ ಗೊಂದಲಕ್ಕೊಳಗಾಗುವ ಅಥವಾ ಏನನ್ನಾದರೂ ಕಳೆದುಕೊಳ್ಳುವ ದೊಡ್ಡ ಅವಕಾಶವಿದೆ.
ಆದ್ದರಿಂದ, ಆರಂಭದಲ್ಲಿ ಅನುಕೂಲಕರ ನಿಯೋಜನೆ ಮತ್ತು ಆಡಳಿತ ಸಾಧನಗಳನ್ನು ಹೊಂದಿರುವ ವಿವಿಧ ವಿತರಣಾ ಕಿಟ್‌ಗಳು ಬಹಳ ಜನಪ್ರಿಯವಾಗಿವೆ. ಸ್ಪಾರ್ಕ್ ಅನ್ನು ಬೆಂಬಲಿಸುವ ಮತ್ತು ಎಲ್ಲವನ್ನೂ ಸುಲಭಗೊಳಿಸುವ ಅತ್ಯಂತ ಜನಪ್ರಿಯ ವಿತರಣೆಗಳಲ್ಲಿ ಒಂದಾಗಿದೆ ಕ್ಲೌಡೆರಾ. ಇದು ಪಾವತಿಸಿದ ಮತ್ತು ಉಚಿತ ಆವೃತ್ತಿಗಳನ್ನು ಹೊಂದಿದೆ - ಮತ್ತು ನಂತರದಲ್ಲಿ ನೋಡ್‌ಗಳ ಸಂಖ್ಯೆಯನ್ನು ಸೀಮಿತಗೊಳಿಸದೆ ಎಲ್ಲಾ ಮೂಲಭೂತ ಕಾರ್ಯಗಳು ಲಭ್ಯವಿದೆ.
ಸೆಟಪ್ ಸಮಯದಲ್ಲಿ, ಕ್ಲೌಡೆರಾ ಮ್ಯಾನೇಜರ್ ನಿಮ್ಮ ಸರ್ವರ್‌ಗಳಿಗೆ SSH ಮೂಲಕ ಸಂಪರ್ಕಿಸುತ್ತದೆ. ಒಂದು ಕುತೂಹಲಕಾರಿ ಅಂಶ: ಅನುಸ್ಥಾಪಿಸುವಾಗ, ಅದನ್ನು ಕರೆಯಲ್ಪಡುವ ಮೂಲಕ ಕೈಗೊಳ್ಳಲಾಗುತ್ತದೆ ಎಂದು ನಿರ್ದಿಷ್ಟಪಡಿಸುವುದು ಉತ್ತಮ ಪಾರ್ಸೆಲ್ಗಳು: ವಿಶೇಷ ಪ್ಯಾಕೇಜುಗಳು, ಪ್ರತಿಯೊಂದೂ ಪರಸ್ಪರ ಕೆಲಸ ಮಾಡಲು ಕಾನ್ಫಿಗರ್ ಮಾಡಲಾದ ಎಲ್ಲಾ ಅಗತ್ಯ ಘಟಕಗಳನ್ನು ಒಳಗೊಂಡಿದೆ. ಮೂಲಭೂತವಾಗಿ ಇದು ಪ್ಯಾಕೇಜ್ ಮ್ಯಾನೇಜರ್‌ನ ಸುಧಾರಿತ ಆವೃತ್ತಿಯಾಗಿದೆ.
ಅನುಸ್ಥಾಪನೆಯ ನಂತರ, ನಾವು ಕ್ಲಸ್ಟರ್ ನಿರ್ವಹಣಾ ಕನ್ಸೋಲ್ ಅನ್ನು ಸ್ವೀಕರಿಸುತ್ತೇವೆ, ಅಲ್ಲಿ ನೀವು ಕ್ಲಸ್ಟರ್ ಟೆಲಿಮೆಟ್ರಿ, ಸ್ಥಾಪಿಸಲಾದ ಸೇವೆಗಳನ್ನು ನೋಡಬಹುದು, ಜೊತೆಗೆ ನೀವು ಸಂಪನ್ಮೂಲಗಳನ್ನು ಸೇರಿಸಬಹುದು/ತೆಗೆದುಹಾಕಬಹುದು ಮತ್ತು ಕ್ಲಸ್ಟರ್ ಕಾನ್ಫಿಗರೇಶನ್ ಅನ್ನು ಸಂಪಾದಿಸಬಹುದು.
ಪರಿಣಾಮವಾಗಿ, ಬಿಗ್‌ಡೇಟಾದ ಉಜ್ವಲ ಭವಿಷ್ಯಕ್ಕೆ ನಿಮ್ಮನ್ನು ಕರೆದೊಯ್ಯುವ ರಾಕೆಟ್‌ನ ಕ್ಯಾಬಿನ್ ನಿಮ್ಮ ಮುಂದೆ ಕಾಣಿಸಿಕೊಳ್ಳುತ್ತದೆ. ಆದರೆ ನಾವು "ಹೋಗೋಣ" ಎಂದು ಹೇಳುವ ಮೊದಲು ನಾವು ಹುಡ್ ಅಡಿಯಲ್ಲಿ ಚಲಿಸೋಣ.
ಹಾರ್ಡ್ವೇರ್ ಅವಶ್ಯಕತೆಗಳು
ಅದರ ವೆಬ್‌ಸೈಟ್‌ನಲ್ಲಿ, ಕ್ಲೌಡೆರಾ ವಿಭಿನ್ನ ಸಂಭವನೀಯ ಸಂರಚನೆಗಳನ್ನು ಉಲ್ಲೇಖಿಸುತ್ತದೆ. ಅವುಗಳನ್ನು ನಿರ್ಮಿಸಿದ ಸಾಮಾನ್ಯ ತತ್ವಗಳನ್ನು ವಿವರಣೆಯಲ್ಲಿ ತೋರಿಸಲಾಗಿದೆ:
MapReduce ಈ ಆಶಾವಾದಿ ಚಿತ್ರವನ್ನು ಮಸುಕುಗೊಳಿಸಬಹುದು. ಹಿಂದಿನ ವಿಭಾಗದಿಂದ ನೀವು ರೇಖಾಚಿತ್ರವನ್ನು ಮತ್ತೊಮ್ಮೆ ನೋಡಿದರೆ, ಬಹುತೇಕ ಎಲ್ಲಾ ಸಂದರ್ಭಗಳಲ್ಲಿ, ಡಿಸ್ಕ್ನಿಂದ ಅಥವಾ ನೆಟ್ವರ್ಕ್ನಿಂದ ಡೇಟಾವನ್ನು ಓದುವಾಗ MapReduce ಕೆಲಸವು ಅಡಚಣೆಯನ್ನು ಎದುರಿಸಬಹುದು ಎಂಬುದು ಸ್ಪಷ್ಟವಾಗುತ್ತದೆ. ಕ್ಲೌಡೆರಾ ಬ್ಲಾಗ್‌ನಲ್ಲಿಯೂ ಇದನ್ನು ಗಮನಿಸಲಾಗಿದೆ. ಪರಿಣಾಮವಾಗಿ, ನೈಜ-ಸಮಯದ ಲೆಕ್ಕಾಚಾರಗಳಿಗೆ ಹೆಚ್ಚಾಗಿ ಬಳಸಲಾಗುವ ಸ್ಪಾರ್ಕ್ ಮೂಲಕ ಸೇರಿದಂತೆ ಯಾವುದೇ ವೇಗದ ಲೆಕ್ಕಾಚಾರಗಳಿಗೆ, I/O ವೇಗವು ಬಹಳ ಮುಖ್ಯವಾಗಿದೆ. ಆದ್ದರಿಂದ, ಹಡೂಪ್ ಅನ್ನು ಬಳಸುವಾಗ, ಕ್ಲಸ್ಟರ್ ಸಮತೋಲಿತ ಮತ್ತು ವೇಗದ ಯಂತ್ರಗಳನ್ನು ಒಳಗೊಂಡಿರುವುದು ಬಹಳ ಮುಖ್ಯ, ಅದನ್ನು ಸ್ವಲ್ಪವಾಗಿ ಹೇಳುವುದಾದರೆ, ಕ್ಲೌಡ್ ಮೂಲಸೌಕರ್ಯದಲ್ಲಿ ಯಾವಾಗಲೂ ಖಾತ್ರಿಪಡಿಸಲಾಗುವುದಿಲ್ಲ.
ಶಕ್ತಿಯುತ ಮಲ್ಟಿ-ಕೋರ್ ಸಿಪಿಯುಗಳೊಂದಿಗೆ ಸರ್ವರ್‌ಗಳಲ್ಲಿ ಓಪನ್‌ಸ್ಟಾಕ್ ವರ್ಚುವಲೈಸೇಶನ್ ಬಳಕೆಯ ಮೂಲಕ ಲೋಡ್ ವಿತರಣೆಯಲ್ಲಿ ಸಮತೋಲನವನ್ನು ಸಾಧಿಸಲಾಗುತ್ತದೆ. ಡೇಟಾ ನೋಡ್‌ಗಳು ತಮ್ಮದೇ ಆದ ಪ್ರೊಸೆಸರ್ ಸಂಪನ್ಮೂಲಗಳು ಮತ್ತು ನಿರ್ದಿಷ್ಟ ಡಿಸ್ಕ್‌ಗಳನ್ನು ಹಂಚಲಾಗುತ್ತದೆ. ನಮ್ಮ ನಿರ್ಧಾರದಲ್ಲಿ ಅಟೋಸ್ ಕೋಡೆಕ್ಸ್ ಡೇಟಾ ಲೇಕ್ ಎಂಜಿನ್ ವೈಡ್ ವರ್ಚುವಲೈಸೇಶನ್ ಸಾಧಿಸಲಾಗಿದೆ, ಅದಕ್ಕಾಗಿಯೇ ನಾವು ಕಾರ್ಯಕ್ಷಮತೆಯ ವಿಷಯದಲ್ಲಿ (ನೆಟ್‌ವರ್ಕ್ ಮೂಲಸೌಕರ್ಯದ ಪ್ರಭಾವವನ್ನು ಕಡಿಮೆಗೊಳಿಸಲಾಗುತ್ತದೆ) ಮತ್ತು TCO (ಹೆಚ್ಚುವರಿ ಭೌತಿಕ ಸರ್ವರ್‌ಗಳನ್ನು ತೆಗೆದುಹಾಕಲಾಗುತ್ತದೆ) ಎರಡರಲ್ಲೂ ಪ್ರಯೋಜನ ಪಡೆಯುತ್ತೇವೆ.
BullSequana S200 ಸರ್ವರ್‌ಗಳನ್ನು ಬಳಸುವಾಗ, ಕೆಲವು ಅಡಚಣೆಗಳಿಲ್ಲದೆ ನಾವು ಏಕರೂಪದ ಲೋಡ್ ಅನ್ನು ಪಡೆಯುತ್ತೇವೆ. ಕನಿಷ್ಠ ಕಾನ್ಫಿಗರೇಶನ್ 3 BullSequana S200 ಸರ್ವರ್‌ಗಳನ್ನು ಒಳಗೊಂಡಿದೆ, ಪ್ರತಿಯೊಂದೂ ಎರಡು JBOD ಗಳನ್ನು ಹೊಂದಿದೆ, ಜೊತೆಗೆ ನಾಲ್ಕು ಡೇಟಾ ನೋಡ್‌ಗಳನ್ನು ಹೊಂದಿರುವ ಹೆಚ್ಚುವರಿ S200 ಗಳನ್ನು ಐಚ್ಛಿಕವಾಗಿ ಸಂಪರ್ಕಿಸಲಾಗಿದೆ. TeraGen ಪರೀಕ್ಷೆಯಲ್ಲಿನ ಲೋಡ್‌ನ ಉದಾಹರಣೆ ಇಲ್ಲಿದೆ:
ವಿಭಿನ್ನ ಡೇಟಾ ವಾಲ್ಯೂಮ್‌ಗಳು ಮತ್ತು ಪುನರಾವರ್ತನೆಯ ಮೌಲ್ಯಗಳೊಂದಿಗೆ ಪರೀಕ್ಷೆಗಳು ಕ್ಲಸ್ಟರ್ ನೋಡ್‌ಗಳ ನಡುವಿನ ಲೋಡ್ ವಿತರಣೆಯ ವಿಷಯದಲ್ಲಿ ಅದೇ ಫಲಿತಾಂಶಗಳನ್ನು ತೋರಿಸುತ್ತವೆ. ಕಾರ್ಯಕ್ಷಮತೆ ಪರೀಕ್ಷೆಗಳ ಮೂಲಕ ಡಿಸ್ಕ್ ಪ್ರವೇಶದ ವಿತರಣೆಯ ಗ್ರಾಫ್ ಕೆಳಗೆ ಇದೆ.
3 BullSequana S200 ಸರ್ವರ್‌ಗಳ ಕನಿಷ್ಠ ಕಾನ್ಫಿಗರೇಶನ್ ಅನ್ನು ಆಧರಿಸಿ ಲೆಕ್ಕಾಚಾರಗಳನ್ನು ನಡೆಸಲಾಯಿತು. ಇದು 9 ಡೇಟಾ ನೋಡ್‌ಗಳು ಮತ್ತು 3 ಮಾಸ್ಟರ್ ನೋಡ್‌ಗಳನ್ನು ಒಳಗೊಂಡಿದೆ, ಜೊತೆಗೆ ಓಪನ್‌ಸ್ಟ್ಯಾಕ್ ವರ್ಚುವಲೈಸೇಶನ್ ಆಧಾರದ ಮೇಲೆ ರಕ್ಷಣೆಯ ನಿಯೋಜನೆಯ ಸಂದರ್ಭದಲ್ಲಿ ಕಾಯ್ದಿರಿಸಿದ ವರ್ಚುವಲ್ ಯಂತ್ರಗಳನ್ನು ಒಳಗೊಂಡಿದೆ. TeraSort ಪರೀಕ್ಷಾ ಫಲಿತಾಂಶ: ಬ್ಲಾಕ್ ಗಾತ್ರ 512 MB ನಕಲು ಅಂಶವು ಎನ್‌ಕ್ರಿಪ್ಶನ್‌ನೊಂದಿಗೆ ಮೂರಕ್ಕೆ ಸಮನಾಗಿರುತ್ತದೆ 23,1 ನಿಮಿಷಗಳು.
ವ್ಯವಸ್ಥೆಯನ್ನು ಹೇಗೆ ವಿಸ್ತರಿಸಬಹುದು? ಡೇಟಾ ಲೇಕ್ ಎಂಜಿನ್‌ಗಾಗಿ ವಿವಿಧ ರೀತಿಯ ವಿಸ್ತರಣೆಗಳು ಲಭ್ಯವಿದೆ:
- ಡೇಟಾ ನೋಡ್‌ಗಳು: ಪ್ರತಿ 40 TB ಬಳಸಬಹುದಾದ ಜಾಗಕ್ಕೆ
- GPU ಅನ್ನು ಸ್ಥಾಪಿಸುವ ಸಾಮರ್ಥ್ಯದೊಂದಿಗೆ ವಿಶ್ಲೇಷಣಾತ್ಮಕ ನೋಡ್‌ಗಳು
- ವ್ಯಾಪಾರದ ಅಗತ್ಯಗಳನ್ನು ಅವಲಂಬಿಸಿ ಇತರ ಆಯ್ಕೆಗಳು (ಉದಾಹರಣೆಗೆ, ನಿಮಗೆ ಕಾಫ್ಕಾ ಮತ್ತು ಹಾಗೆ ಅಗತ್ಯವಿದ್ದರೆ)
ಅಟೋಸ್ ಕೋಡೆಕ್ಸ್ ಡೇಟಾ ಲೇಕ್ ಎಂಜಿನ್ ಸರ್ವರ್‌ಗಳು ಮತ್ತು ಪರವಾನಗಿ ಪಡೆದ ಕ್ಲೌಡೆರಾ ಕಿಟ್ ಸೇರಿದಂತೆ ಪೂರ್ವ-ಸ್ಥಾಪಿತ ಸಾಫ್ಟ್‌ವೇರ್ ಎರಡನ್ನೂ ಒಳಗೊಂಡಿದೆ; Hadoop ಸ್ವತಃ, RedHat ಎಂಟರ್‌ಪ್ರೈಸ್ ಲಿನಕ್ಸ್ ಕರ್ನಲ್, ಡೇಟಾ ರೆಪ್ಲಿಕೇಶನ್ ಮತ್ತು ಬ್ಯಾಕಪ್ ಸಿಸ್ಟಮ್‌ಗಳನ್ನು ಆಧರಿಸಿದ ವರ್ಚುವಲ್ ಯಂತ್ರಗಳೊಂದಿಗೆ ಓಪನ್‌ಸ್ಟ್ಯಾಕ್ (ಬ್ಯಾಕಪ್ ನೋಡ್ ಮತ್ತು ಕ್ಲೌಡೆರಾ BDR - ಬ್ಯಾಕಪ್ ಮತ್ತು ಡಿಸಾಸ್ಟರ್ ರಿಕವರಿ ಸೇರಿದಂತೆ). ಅಟೋಸ್ ಕೋಡೆಕ್ಸ್ ಡೇಟಾ ಲೇಕ್ ಎಂಜಿನ್ ಪ್ರಮಾಣೀಕರಿಸಿದ ಮೊದಲ ವರ್ಚುವಲೈಸೇಶನ್ ಪರಿಹಾರವಾಗಿದೆ .
ನೀವು ವಿವರಗಳಲ್ಲಿ ಆಸಕ್ತಿ ಹೊಂದಿದ್ದರೆ, ಕಾಮೆಂಟ್‌ಗಳಲ್ಲಿ ನಮ್ಮ ಪ್ರಶ್ನೆಗಳಿಗೆ ಉತ್ತರಿಸಲು ನಾವು ಸಂತೋಷಪಡುತ್ತೇವೆ.
ಮೂಲ: www.habr.com